Ten przewodnik zawiera informacje o kluczowych pojęciach związanych z wdrożeniami Remote Config, dzięki którym możesz:
- Dowiedz się, jak działa wdrożenie członkostwa w grupie.
- Dowiedz się, kiedy warto stosować wdrożenie, a kiedy test A/B.
- Dowiedz się, jak interpretować wyniki wdrażania
Informacje o członkostwie w grupie wdrożeniowej
Gdy utworzysz nowe wdrożenie i przypiszesz mu procent, Firebase umieszcza równe części odbiorców w grupie kontrolnej, aby zapewnić prawidłowe wyniki podczas porównywania skuteczności włączonej funkcji. W ten sposób powstają następujące grupy.
- Włączona: urządzenia użytkowników przypisane do tej grupy otrzymują wartość skonfigurowaną podczas wdrażania.
- Kontrola: urządzenia użytkowników przypisane do tej grupy otrzymują wartość, którą w przeciwnym razie otrzymałyby z Remote Config, a nie wartość z wdrażania.
- Nieprzypisane:urządzenia użytkowników w tej grupie otrzymują wartość, którą w przeciwnym razie otrzymałyby z Remote Config, ale nie są używane w wynikach porównywania wdrożeń.
Oznacza to, że jeśli wdrożysz zmiany u 2% użytkowników, zostaną oni dodani do grupy włączonej, a dodatkowe 2% użytkowników zostanie dodane do grupy kontrolnej, która służy do porównania. 96% Twoich użytkowników pozostaje w grupie „Bez przydziału”.
Dzięki temu możesz rzetelnie porównywać wyniki użytkowników i urządzeń, które otrzymują wartość wdrożenia, z tymi, które jej nie otrzymują. Możesz też skutecznie określić, czy wdrożenie zakończyło się sukcesem, na stronie Wyniki wdrożenia.
Przypisanie do grupy wdrożeniowej jest spójne we wszystkich fazach wdrażania. Oznacza to, że w ramach tego samego wdrożenia, jeśli zmniejszysz procent do 0%, wszyscy użytkownicy będą otrzymywać wartość parametru zdefiniowaną w szablonie Remote Config. Jeśli później zdecydujesz się zwiększyć odsetek wdrożenia, użytkownicy, którzy należeli do poprzednich grup Włączona lub Kontrolna, wrócą do grupy, do której zostali pierwotnie przypisani, i otrzymają wartości zgodne z tymi grupami.
Gdy potwierdzisz, że wersja została opublikowana pomyślnie, i zdecydujesz się wdrożyć ją w pełni dla 100% docelowych użytkowników, Firebase przestanie korzystać z grupy kontrolnej, a wszyscy docelowi użytkownicy i urządzenia otrzymają wartość wdrożenia.
Kiedy stosować wdrożenie zamiast testu A/B?
Remote Config i A/B Testing są odpowiednie do nieco innych zastosowań i mogą być używane w sposób uzupełniający.
Wdrażanie to stopniowe wprowadzanie funkcji. Często służy do udostępniania nowej funkcji wybranej grupie użytkowników. Możesz na przykład kierować reklamy na użytkowników z określonego kraju lub korzystających z określonej wersji aplikacji. Dzięki wdrożeniom możesz ograniczyć ryzyko, przetestować nowe funkcje w rzeczywistym środowisku z dokładną kontrolą, aby sprawdzić ich działanie. Możesz też sprawdzać, jak działają usługi backendowe po dodaniu nowej funkcji i przybliżonej liczby użytkowników, aby upewnić się, że zmiany można skalować, zanim udostępnisz je szerszej publiczności.
Wdrożenia są świetnym narzędziem w sytuacjach, gdy wdrażasz nowe funkcje, które znacznie zmieniają funkcjonalność, wprowadzają zmiany, które mogą przynieść nieprzewidziane rezultaty, lub wpływają na infrastrukturę backendu, usługi lub zewnętrzne interfejsy API.
A/B Testing umożliwia prezentowanie wielu wersji funkcji lub elementu aplikacji, na przykład poprzez aktualizowanie wyglądu interfejsu, zmianę tekstu reklamy lub poziomu trudności w grze. Następnie możesz wyświetlać użytkownikom różne warianty, aby dowiedzieć się, która opcja przynosi lepsze wyniki na podstawie wybranych danych (np. zaangażowania użytkowników, kliknięć reklam i przychodów).
Używaj A/B Testing do podejmowania decyzji opartych na danych, optymalizacji i poznawania preferencji użytkowników. Ta metoda jest idealna w sytuacjach, gdy masz do wyboru kilka porównywalnych opcji i bardzo konkretne cele. Na przykład A/B Testing jest odpowiednia w przypadku zmian, które chcesz wprowadzić w aplikacji, aby poprawić konkretny rodzaj danych, np. testowanie, które miejsce na banerze reklamowym przynosi więcej kliknięć.
Warto też połączyć wdrożenia Remote Config i A/B Testing w ramach ogólnej strategii: najpierw utwórz test A/B z ograniczonym zestawem użytkowników, aby określić wariant, który przynosi optymalne wyniki pod kątem kluczowych danych. Następnie, gdy A/B Testing określi lidera, wprowadź wersję zwycięską. Monitoruj stabilność i kluczowe dane, gdy stopniowo zwiększasz liczbę użytkowników, do których kierowane są reklamy. Gdy będziesz mieć pewność, że reklamy działają prawidłowo, wprowadź je u wszystkich użytkowników.
Interpretowanie wyników wdrażania
Po opublikowaniu wdrożenia powinny zacząć się pojawiać wyniki.
Wyniki możesz wyświetlać na kilka sposobów:
- Na stronie Parametry rozwiń parametr skonfigurowany dla wdrożenia, a pod nim kliknij Wyświetl wyniki.
- Na stronie Wdrażanie kliknij nazwę wdrożenia.
Selektor aplikacji u góry strony Wyniki umożliwia wybranie widoku dla konkretnych aplikacji. Wyniki są podzielone na kilka sekcji:
- sekcję Podsumowanie, która zawiera skonfigurowany Procent wdrożonego produktu oraz umożliwia cofnięcie lub edytowanie wdrażania; Po rozwinięciu wyświetla omówienie szczegółów konfiguracji wdrożenia oraz historię zmian.
sekcja Użytkownicy, która zawiera liczbę unikalnych instalacji aplikacji, które pozyskały szablon wdrażania w tych grupach:
- Włączone: liczba instancji aplikacji, które spełniają warunek wdrożenia docelowego i pobrały wartość wdrożenia.
- Grupa kontrolna: liczba instancji aplikacji, które spełniają warunek wdrożenia docelowego i pobierają niezmienioną wartość.
- Docelowy: szacunkowa łączna liczba instancji, które spełniają warunek określony w ramach wdrożenia i które powinny otrzymać wartość wdrożenia lub wartość niezmienioną.
Więcej informacji znajdziesz w artykule Zrozumienie członkostwa w grupie wdrożeniowej.
Sekcje Crashlytics i Analytics, które zawierają dane porównawcze dotyczące grup Włączona i kontrolna. Zebrane dane możesz filtrować według ostatnich 24 godzin, od momentu ostatniej publikacji lub ostatnich 7 dni. Widok domyślny to Ostatnie 24 godziny.
Crashlytics wyników wdrożeń
Możesz zobaczyć łączną liczbę awarii, nieśmiertelnych awarii i błędów ANR, które wystąpiły podczas wdrożenia. Każda kategoria wyników zawiera wykres słupkowy, który porównuje łączne wartości nieprzetworzone użytkowników w grupie Włączono i kontrolnej, którzy spełniali warunek wdrożenia.
- Awarie:przedstawia liczbę i procent awarii oraz liczbę unikalnych użytkowników, u których wystąpiły awarie w grupach Włączona i Kontrolna.
- Niekrytyczne: pokazuje liczbę i odsetek niekrytycznych błędów oraz liczbę unikalnych użytkowników, którzy doświadczyli niekrytycznych błędów.
- Błędy ANR (dotyczy tylko aplikacji na Androida): pokazuje liczbę i procent zdarzeń „Aplikacja nie odpowiada”, a także liczbę unikalnych użytkowników, u których wystąpił co najmniej 1 taki błąd.
Aby uzyskać bardziej szczegółowe informacje o awariach, kliknij Wyświetl więcej informacjiCrashlytics. Otworzy się strona Crashlytics z aktywnym filtrem dotyczącym wdrożenia, którego wyniki sprawdzasz. Wyniki wdrożenia na stronie Crashlytics obejmują wszystkich użytkowników, którzy w ogóle mieli kontakt z odpowiednim wariantem, włączonym lub kontrolnym. Możesz wyświetlać tylko awarie grupy kontrolnej, tylko awarie grupy włączonej lub obie te opcje.
Google Analytics wyników wdrożeń
W sekcji Google Analytics wyników wdrożenia możesz porównać Analyticsdane wszystkich użytkowników, którzy kiedykolwiek byli członkami grupy eksperymentalnej lub kontrolnej, w szczegółowych widokach i widokach wykresów. Dostępne są 3 rodzaje danych:
- Łączne przychody: podaje łączną kwotę przychodów, w tym przychody z reklam i Przychody z zakupów w USD. Możesz filtrować wyniki, aby wyświetlać wyniki dotyczące przychodów z reklam lub przychodów z zakupów.
- Łączna liczba konwersji:podaje nieprzetworzoną liczbę wszystkich zdarzeń konwersji. Wyniki możesz filtrować według konwersji, którą chcesz wyróżnić.
- Łączny czas zaangażowania: pokazuje łączny czas zaangażowania użytkowników w jednym z wariantów wdrożenia. Łączny czas zaangażowania jest wyświetlany w formacie Godziny:Minuty:Sekundy. Na przykład 01:31:28. Wykres pokazuje dane z okresu wybranego w sekcji Crashlytics.