במדריך הזה מוסבר על מושגים חשובים שקשורים Remote Config להשקות, כדי שתוכלו:
- איך עובד החברות בקבוצת השקה
- מתי כדאי להשתמש בהשקה מדורגת ומתי כדאי להשתמש בבדיקת A/B.
- איך מפרשים את תוצאות ההשקה
הסבר על חברות בקבוצת השקה
כשיוצרים השקה חדשה ומקצים אחוז מסוים, מערכת Firebase מכניסה חלק מהקהל בגודל זהה לקבוצת בקרה, כדי לקבל תוצאות מדויקות בהשוואה בין הביצועים של התכונה שהפעלתם. כך נוצרות הקבוצות הבאות.
- מופעל: המכשירים של המשתמשים שהוקצו לקבוצה הזו מקבלים את הערך שהגדרתם בהשקה.
- בקרה: מכשירי משתמשים שהוקצו לקבוצה הזו מקבלים את הערך שהם היו מקבלים מ-Remote Config, ולא את הערך של הפריסה.
- לא הוקצה: המכשירים של המשתמשים בקבוצה הזו מקבלים את הערך שהם היו מקבלים מ-Remote Config, אבל לא נעשה בו שימוש בתוצאות ההשוואה של הפריסה.
כלומר, אם אתם משיקים את התכונה ל-2% מהמשתמשים, הם מתווספים לקבוצה 'מופעל' ועוד 2% מהמשתמשים מתווספים לקבוצה 'בקרה', שמשמשת להשוואה. 96% מהמשתמשים שלך נשארו בקבוצה 'לא הוקצו'.
הגישה הזו מאפשרת השוואה הוגנת בין הביצועים של משתמשים ומכשירים שמקבלים את ערך ההשקה לבין אלה שלא מקבלים אותו, ועוזרת לכם לקבוע בצורה יעילה אם ההשקה הצליחה או נכשלה בדף תוצאות ההשקה.
ההקצאה לקבוצת השקה עקבית בכל השלבים של ההשקה. כלומר, באותו השקה, אם תקטינו את האחוז ל-0%, כל המשתמשים יחזרו לקבל את ערך הפרמטר שהוגדר בתבנית Remote Config. אם תחליטו בהמשך להגדיל את אחוז ההשקה, משתמשים שהיו חלק מהקבוצות הקודמות 'מופעל' או 'בקרה' יחזרו לקבוצה שאליה הם שויכו במקור ויקבלו ערכים שתואמים לקבוצות האלה.
אחרי שמוודאים שההשקה הצליחה ומחליטים להשיק את התכונה באופן מלא ל-100% מהמשתמשים המטורגטים, Firebase כבר לא משתמש בקבוצת הבקרה וכל המשתמשים והמכשירים המטורגטים מקבלים את ערך ההשקה.
מתי כדאי להשתמש בהשקה מדורגת ומתי בבדיקת A/B?
Remote Config והשקות A/B Testing מתאימים לתרחישי שימוש שונים במקצת, ואפשר להשתמש בהם באופן משלים.
השקות הן הפצות הדרגתיות, ולרוב משמשות להשקת תכונה חדשה לקבוצה נבחרת של משתמשים. יכול להיות שתרצו לטרגט משתמשים במדינה מסוימת או משתמשים בגרסה מסוימת של האפליקציה. כדי לצמצם את הסיכון, כדאי להשתמש בהשקות מדורגות כדי לבדוק תכונות חדשות בסביבה אמיתית, עם אמצעי בקרה הדוקים, וכך לראות את הביצועים של התכונה. בנוסף, תוכלו לעקוב אחרי הביצועים של שירותי ה-backend שלכם עם העומס הנוסף של התכונה החדשה, ולבצע הערכה של השימוש כדי לוודא שהשינוי ניתן להרחבה לפני שאתם משיקים אותו לקהל רחב יותר.
השקות הן כלים מצוינים במצבים שבהם מטמיעים תכונות חדשות שמשנות באופן משמעותי את הפונקציונליות, שינויים שעשויים להוביל לתוצאות בלתי צפויות או שינויים שעשויים להשפיע על תשתית ה-Backend, על השירותים או על ממשקי ה-API החיצוניים.
A/B Testing מאפשרת להציג כמה גרסאות של תכונה או רכיב באפליקציה, לדוגמה, עדכון המראה והתחושה של ממשק המשתמש, שינוי הטקסט הפרסומי או עדכון רמת הקושי במשחק. לאחר מכן תוכלו להציג למשתמשים וריאציות שונות כדי ללמוד איזו אפשרות מניבה תוצאות טובות יותר על סמך המדד שבחרתם (כמו התעניינות המשתמשים, קליקים על המודעות והכנסות).
אפשר להשתמש ב-A/B Testing כדי לקבל החלטות שמבוססות על נתונים, לבצע אופטימיזציה ולהבין את ההעדפות של המשתמשים. השיטה הזו מתאימה במיוחד למצבים שבהם יש לכם כמה אפשרויות השוואה ויעדים ספציפיים מאוד. לדוגמה, A/B Testing מתאים לשינויים שבהם רוצים לבצע שינויים קלים באפליקציה כדי לשפר מדד ספציפי, כמו בדיקה של מיקום מודעת באנר שמניב יותר קליקים.
מומלץ גם לשלב Remote Config השקות A/B Testing במסגרת אסטרטגיה כוללת: קודם יוצרים בדיקת A/B עם קבוצה מוגבלת של משתמשים כדי לקבוע את הווריאציה שמניבה את התוצאות האופטימליות למדדים העיקריים. לאחר מכן, אחרי ש-A/B Testing קובע מוביל, יוצרים השקה עם הווריאציה המנצחת. כדאי לעקוב אחרי היציבות והמדדים המרכזיים שלו כשמגדילים בהדרגה את מספר המשתמשים שנחשפים אליו, ואחרי שאתם בטוחים בביצועים שלו, להשיק אותו ל-100% מהמשתמשים.
הסבר על תוצאות ההשקה
אחרי שמפרסמים השקה, אמורים לראות תוצאות כמעט באופן מיידי.
יש כמה דרכים לראות את התוצאות במסוף Firebase:
בדף DevOps & Engagement > Remote Config > Parameters, מרחיבים את הפרמטר שהגדרתם לפריסה ומתחת לפריסה לוחצים על View results.
בדף DevOps & Engagement > הגדרת תצורה מרחוק > Rollouts, לוחצים על שם ההשקה.
בתפריט לבחירת אפליקציות בחלק העליון של הדף DevOps & Engagement > Remote Config > Results אפשר לבחור תצוגות של אפליקציות ספציפיות. התוצאות מחולקות לכמה חלקים:
- בקטע Summary מוצג Rollout percentage שהוגדר, ויש אפשרות לבטל את ההשקה או לערוך אותה. כשמרחיבים את התצוגה, מופיעים סקירה כללית של פרטי ההגדרה של ההשקה והיסטוריית השינויים.
הקטע משתמשים, שבו מוצג מספר ההתקנות הייחודיות של האפליקציה שבהן נמשכה תבנית השקה בקבוצות הבאות:
- מופעל: מספר המקרים של האפליקציה שתואמים לתנאי הפריסה הממוקדת ושערך הפריסה הוחזר עבורם.
- קבוצת בקרה: מספר המקרים של האפליקציה שתואמים לתנאי הפריסה של היעד ואוחזרו בהם הערכים ללא שינוי.
- יעד: המספר הכולל המשוער של המקרים שתואמים לתנאי שהגדרתם בהשקה, שאמורים לקבל את ההשקה או ערך ללא שינוי.
מידע נוסף זמין במאמר הסבר על חברות בקבוצת השקה.
הקטעים Crashlytics וAnalytics, שבהם מוצגים נתוני השוואה של קבוצות מופעלות וקבוצות בקרה. אפשר לסנן את הנתונים שנאספו לפי 24 השעות האחרונות, מאז הפרסום האחרון או 7 הימים האחרונים. תצוגת ברירת המחדל היא '24 השעות האחרונות'.
Crashlytics תוצאות של השקות
אפשר לראות את המספר הכולל של קריסות, שגיאות לא קריטיות ומקרי ANR שהתרחשו במהלך ההשקה. בכל קטגוריית תוצאות מוצג תרשים עמודות שמשווה בין הסכומים הגולמיים של המשתמשים שהופעלה עבורם ההשקה לבין המשתמשים בקבוצת הבקרה שעמדו בתנאי ההשקה.
- קריסות: מספר הקריסות והאחוז שלהן, ומספר המשתמשים הייחודיים שנתקלו בקריסות בקבוצות 'מופעל' ו'בקרה'.
- שגיאות לא קריטיות: מוצגים המספר והאחוז של השגיאות הלא קריטיות, ומספר המשתמשים הייחודיים שחוו שגיאות לא קריטיות.
- מקרי ANR (באפליקציות ל-Android בלבד): מוצגים מספר האירועים מסוג 'האפליקציה לא מגיבה' והאחוז שלהם, וגם מספר המשתמשים הייחודיים שחוו אירוע ANR אחד או יותר.
כדי לקבל מידע מפורט יותר על קריסות, אפשר ללחוץ על הצגת פרטים נוספים ב-Crashlytics. ייפתח הדף Crashlytics עם מסנן פעיל של ההשקה שבדקתם את התוצאות שלה. התוצאות של ההשקה בדף Crashlytics מודדות את כל המשתמשים שנחשפו אי פעם לגרסה הרלוונטית, מופעלת או בקרה. אפשר לבחור להציג קריסות של קבוצת הבקרה, קריסות של קבוצה שהופעלה או את שתי האפשרויות.
Google Analytics תוצאות של השקות
בקטע Google Analyticsתוצאות ההשקה מוצגים השוואה של מדדים עבור כל המשתמשים שנחשפו לקבוצות 'מופעל' או 'בקרה', בפירוט ובתצוגות גרפיות.Analytics מוצגים שלושה מדדים:
- הכנסה כוללת: הסכום הכולל של ההכנסות, כולל הכנסות מפרסום והכנסות מרכישות, בדולר ארה"ב. אפשר לסנן את התוצאות כדי להציג תוצאות שקשורות ספציפית להכנסות מפרסום או להכנסות מרכישות.
- סך ההמרות: המספר הכולל של כל אירועי ההמרה. אתם יכולים לסנן את התוצאות לפי ההמרה שאתם רוצים להדגיש.
- משך ההתעניינות הכולל: משך ההתעניינות הכולל של המשתמשים באחד מהווריאציות של השקת התכונה. משך ההתעניינות הכולל מוצג בפורמט שעות:דקות:שניות. לדוגמה, 01:31:28. בתרשים מוצגים נתונים מהתקופה שבחרתם מעל הקטע Crashlytics.