Remote Config-Roll-outs

In diesem Leitfaden finden Sie Informationen zu wichtigen Konzepten im Zusammenhang mit Remote Config Rollouts, so dass Sie Folgendes tun können:

Mitgliedschaft in Rollout-Gruppen

Wenn Sie einen neuen Rollout erstellen und einen Prozentsatz zuweisen, platziert Firebase einen gleich großen Teil Ihrer Zielgruppe in einer Kontrollgruppe. So erhalten Sie genaue Ergebnisse, wenn Sie die Leistung der aktivierten Funktion vergleichen. Dadurch entstehen die folgenden Gruppen:

  • Aktiviert: Auf den Geräten der Nutzer, die dieser Gruppe zugewiesen sind, wird der Wert verwendet, den Sie im Rollout konfigurieren.
  • Kontrolle: Auf den Geräten der Nutzer, die dieser Gruppe zugewiesen sind, wird der Wert verwendet , den sie sonst von Remote Config erhalten hätten, nicht der Rollout Wert.
  • Nicht zugewiesen: Auf den Geräten der Nutzer in dieser Gruppe wird der Wert verwendet, den sie sonst von Remote Config erhalten hätten. Sie werden jedoch nicht in den Rollout- Vergleichsergebnissen berücksichtigt.

Wenn Sie den Rollout also für 2% Ihrer Nutzer durchführen, werden diese der Gruppe „Aktiviert“ hinzugefügt. Weitere 2% Ihrer Nutzer werden der Gruppe „Kontrolle“ hinzugefügt, die für den Vergleich verwendet wird. 96% Ihrer Nutzer bleiben in der Gruppe „Nicht zugewiesen“.

Dieser Ansatz ermöglicht einen fairen Vergleich zwischen der Leistung von Nutzern und Geräten, die den Rollout-Wert erhalten, und solchen, die ihn nicht erhalten. So können Sie auf der Seite „Rollout Ergebnisse“ effektiv feststellen, ob der Rollout erfolgreich war.

Die Zuweisung zu Rollout-Gruppen ist in allen Phasen eines Rollouts einheitlich. Wenn Sie also innerhalb desselben Rollouts den Prozentsatz auf 0 % reduzieren, erhalten alle Nutzer wieder den Parameterwert, der in der Remote Config Vorlage definiert ist. Wenn Sie später den Prozentsatz für den Rollout erhöhen, werden Nutzer, die zuvor Teil der Gruppen „Aktiviert“ oder „Kontrolle“ waren, wieder der Gruppe zugewiesen, der sie ursprünglich angehörten, und erhalten Werte, die mit diesen Gruppen übereinstimmen.

Wenn Sie bestätigt haben, dass Ihr Release erfolgreich ist, und es für 100% der Zielnutzer einführen möchten, verwendet Firebase die Kontrollgruppe nicht mehr. Alle Zielnutzer und -geräte erhalten den Rollout-Wert.

Wann sollte ein Rollout und wann ein A/B-Test verwendet werden?

Remote Config Rollouts und A/B Testing eignen sich für leicht unterschiedliche Anwendungs fälle und können ergänzend eingesetzt werden.

Rollouts sind schrittweise Releases und werden häufig verwendet, um eine neue Funktion für eine ausgewählte Gruppe von Nutzern freizugeben. Möglicherweise möchten Sie Nutzer in einem bestimmten Land oder mit einer bestimmten Version Ihrer App ansprechen. Mit Rollouts können Sie Risiken minimieren und neue Funktionen in einer realen Umgebung mit strengen Kontrollen testen, um zu sehen, wie die Funktion funktioniert. Sie können auch die Leistung Ihrer Back-End-Dienste bei der zusätzlichen Last der neuen Funktion beobachten und die Nutzung schätzen, um sicherzustellen, dass Ihre Änderung skalierbar ist, bevor Sie sie für eine größere Zielgruppe freigeben.

Rollouts sind hervorragende Tools für Situationen, in denen Sie neue Funktionen implementieren, die die Funktionalität erheblich verändern, zu unvorhersehbaren Ergebnissen führen oder Ihre Back-End-Infrastruktur, -Dienste oder externen APIs beeinträchtigen können.

A/B Testing ermöglicht es Ihnen, mehrere Versionen einer Funktion oder eines App-Elements zu präsentieren, z. B. das UI-Design zu aktualisieren, Werbetexte zu ändern oder den Schwierigkeitsgrad eines Spiels zu aktualisieren. Sie können dann verschiedene Varianten für Ihre Nutzer verfügbar machen, um herauszufinden, welche Option basierend auf dem von Ihnen ausgewählten Messwert (z. B. Nutzer-Engagement, Anzeigenklicks und Umsatz) bessere Ergebnisse erzielt.

Verwenden Sie A/B Testing für datengestützte Entscheidungen, Optimierungen und um die Präferenzen Ihrer Nutzer besser zu verstehen. Sie eignen sich perfekt für Situationen, in denen Sie mehrere vergleichbare Optionen und sehr spezifische Ziele haben. Beispielsweise ist A/B Testing für Änderungen geeignet, mit denen Sie Ihre App optimieren möchten, um einen bestimmten Messwert zu verbessern. Sie können z. B. testen, welche Platzierung von Banneranzeigen zu mehr Klicks führt.

Es ist auch eine gute Idee, Remote Config Rollouts und A/B Testing im Rahmen einer übergreifenden Strategie zu kombinieren. Erstellen Sie zuerst einen A/B-Test mit einer begrenzten Anzahl von Nutzern, um die Variante zu ermitteln, die die optimalen Ergebnisse für Ihre wichtigsten Messwerte liefert. Nachdem A/B Testing eine Gewinner-Variante ermittelt hat, erstellen Sie einen Rollout mit dieser Variante. Beobachten Sie die Stabilität und die wichtigsten Messwerte, während Sie die Anzahl der Nutzer, für die der Rollout verfügbar ist, schrittweise erhöhen. Wenn Sie mit der Leistung zufrieden sind, führen Sie den Rollout für 100 % der Nutzer durch.

Rollout-Ergebnisse verstehen

Nachdem Sie einen Rollout veröffentlicht haben, sollten Sie fast sofort Ergebnisse sehen.

In der Firebase Konsole können Sie die Ergebnisse auf verschiedene Arten ansehen:

  • Erweitern Sie auf der Seite DevOps & Engagement > Remote Config > Parameter den Parameter, den Sie für den Rollout konfiguriert haben, und klicken Sie unter dem Rollout auf Ergebnisse ansehen.

  • Klicken Sie auf der Seite DevOps & Engagement > Remote Config > Rollouts auf den Namen des Rollouts.

Mit der App-Auswahl oben auf der Seite DevOps & Engagement > Remote Config > Ergebnisse können Sie Ansichten für bestimmte Apps auswählen. Die Ergebnisse sind in mehrere Abschnitte unterteilt:

  • Im Abschnitt Zusammenfassung wird der konfigurierte Rollout-Prozentsatz angezeigt. Sie können den Rollout auch zurücksetzen oder bearbeiten. Wenn Sie den Abschnitt erweitern, sehen Sie eine Übersicht über die Konfigurationsdetails des Rollouts und den Änderungsverlauf.

  • Im Abschnitt Nutzer wird die Anzahl der einzelnen App-Installationen angezeigt, bei denen eine Rollout-Vorlage in den folgenden Gruppen abgerufen wurde:

    • Aktiviert:Anzahl der App-Instanzen, die der Zielbedingung für den Rollout entsprechen und den Rollout-Wert abgerufen haben.
    • Kontrolle:Anzahl der App-Instanzen, die der Zielbedingung für den Rollout entsprechen und den unveränderten Wert abgerufen haben.
    • Ziel: Geschätzte Gesamtzahl der Instanzen, die der in Ihrem Rollout festgelegten Bedingung entsprechen und entweder den Rollout-Wert oder einen unveränderten Wert erhalten sollten.

    Weitere Informationen finden Sie unter Mitgliedschaft in Rollout-Gruppen.

  • In den Abschnitten Crashlytics und Analytics werden Vergleichsdaten für die Gruppen „Aktiviert“ und „Kontrolle“ angezeigt. Sie können die erhobenen Daten nach dem Letzte 24 Stunden, Seit der letzten Veröffentlichung oder Letzte 7 Tage filtern. Die Standardansicht ist „Letzte 24 Stunden“.

Crashlytics Ergebnisse für Rollouts

Sie sehen die Gesamtzahl der Abstürze, Nicht schwerwiegenden Fehler und ANR-Fehler, die während des Rollouts aufgetreten sind. Für jede Ergebniskategorie wird ein Balkendiagramm angezeigt, in dem die Rohdaten der Gesamtzahlen der Nutzer in den Gruppen Aktiviert und Kontrolle verglichen werden, die die Bedingung des Rollouts erfüllt haben.

  • Abstürze:Anzahl und Prozentsatz der Abstürze sowie die Anzahl der einzelnen Nutzer, bei denen in den Gruppen „Aktiviert“ und „Kontrolle“ Abstürze aufgetreten sind.
  • Nicht schwerwiegende Fehler:Anzahl und Prozentsatz der nicht schwerwiegenden Fehler sowie die Anzahl der einzelnen Nutzer, bei denen nicht schwerwiegende Fehler aufgetreten sind.
  • ANR-Fehler (nur Android-Apps) : Anzahl und Prozentsatz der Ereignisse vom Typ „Anwendung reagiert nicht“ sowie die Anzahl der einzelnen Nutzer, bei denen ein oder mehrere ANR-Ereignisse aufgetreten sind.

Weitere Informationen zu Abstürzen finden Sie unter Weitere Informationen in Crashlytics. Dadurch wird die Crashlytics Seite mit einem aktiven Filter für den Rollout geöffnet, dessen Ergebnisse Sie gerade geprüft haben. Bei den Rollout-Ergebnissen auf der Crashlytics Seite werden alle Nutzer berücksichtigt, die jemals mit der jeweiligen Variante in Kontakt gekommen sind, also Aktiviert oder Kontrolle. Sie können sich Abstürze in der Kontrollgruppe, Abstürze in der Gruppe „Aktiviert“ oder beides ansehen.

Google Analytics Ergebnisse für Rollouts

Im Abschnitt mit den Google Analytics Rollout-Ergebnissen werden Analytics Messwerte für alle Nutzer, die jemals mit den Gruppen „Aktiviert“ oder „Kontrolle“ in Kontakt gekommen sind, detailliert und in Diagrammen verglichen. Es werden drei Messwerte angegeben:

  • Gesamtumsatz:Gesamtumsatz in USD, einschließlich Werbeeinnahmen und Umsatz aus Käufen. Sie können die Ergebnisse filtern, um nur die Ergebnisse für Werbeeinnahmen oder Umsatz aus Käufen anzuzeigen.
  • Conversions insgesamt:Rohdaten der Summe aller Conversion-Ereignisse. Sie können die Ergebnisse nach der Conversion filtern, die Sie hervorheben möchten.
  • Gesamte Interaktionszeit:Gesamte Interaktionszeit, die Ihre Nutzer mit einer der Rollout-Varianten verbracht haben. Die gesamte Interaktionszeit wird im Format „Stunden:Minuten:Sekunden“ angezeigt. Beispiel: 01:31:28. Das Diagramm enthält Daten aus dem Zeitraum, den Sie über dem Crashlytics Abschnitt ausgewählt haben.

Nächste Schritte