遠端設定推出作業簡介

本指南提供 Remote Config 推出作業相關重要概念的資訊,協助您:

瞭解推出群組成員資格

建立新的推出作業並指派百分比時,Firebase 會將相同比例的目標對象放入控制組,以便在比較已啟用功能的成效時,取得準確的結果,進而產生下列群組。

  • 啟用:指派給這個群組的使用者裝置會收到您在推出作業中設定的值。
  • 控制組:指派至這個群組的使用者裝置會收到原本從 Remote Config 取得的值,而非推出值。
  • 未指派:這個群組中的使用者裝置會收到原本應從 Remote Config 收到的值,但不會用於推出比較結果。

也就是說,如果您向 2% 的使用者推出功能,這些使用者會加入「已啟用」群組,另外 2% 的使用者則會加入「控制組」,用於比較。96% 的使用者仍未指派。

這種做法可確保公平比較使用者和裝置在接收推出值前後的成效,並讓您在「Rollout Results」(推出結果) 頁面上有效判斷推出是否成功。

推出群組指派作業在推出作業的所有階段都一致。也就是說,在同一個推出作業中,如果將百分比降至 0%,所有使用者都會恢復接收 Remote Config 範本中定義的參數值。如果日後決定提高推出百分比,先前屬於實驗組或控制組的使用者會回到原本指派的群組,並接收與這些群組一致的值。

確認版本成功推出,並決定全面向 100% 的目標使用者推出後,Firebase 就不會再使用控制組,而「所有」目標使用者和裝置都會收到推出值。

何時該使用推出功能,何時該使用 A/B 測試?

Remote Config推出作業和A/B Testing適用於略有不同的用途,可搭配使用。

推出是指逐步發布,通常用於向特定使用者群組發布新功能。您可能想指定特定國家/地區的使用者,或使用特定版本的應用程式。請使用階段推出功能降低風險,在實際環境中測試新功能,並嚴格控管,以便瞭解功能成效。您也可以監控後端服務在新增功能負載後的效能,並估算用量,確保變更可擴充,再向更多使用者發布。

如果您要實作的新功能會大幅改變功能、可能導致無法預測的結果,或可能影響後端基礎架構、服務或外部 API,則推出功能是絕佳的工具。

A/B Testing 可讓您呈現多個版本的功能或應用程式元素,例如更新 UI 外觀和風格、變更廣告文案、更新遊戲關卡難度。接著,您可以向使用者展示不同的變化版本,根據所選指標 (例如使用者參與度、廣告點擊和收益),瞭解哪種選項能帶來更好的成效。

使用 A/B Testing 根據資料做出決策、進行最佳化,以及瞭解使用者偏好。如果有多個可比較的選項,且目標非常明確,就很適合使用這項功能。舉例來說,如果您想調整應用程式來改善特定指標,例如測試哪種橫幅廣告刊登位置能帶來更多點擊,就適合使用A/B Testing。

此外,建議您在整體策略中結合 Remote Config 推出和 A/B Testing:首先,建立 A/B 測試,並限制使用者人數,判斷哪個變化版本能為重要指標帶來最佳結果。接著,在 A/B Testing 決定勝出版本後,使用勝出版本建立推出作業。逐步增加接觸的使用者人數,同時監控穩定性和重要指標,等到對成效有信心後,再全面推出。

瞭解推出結果

發布推出作業後,應該很快就能看到結果。

您可以在 Firebase 控制台透過多種方式查看結果:

  • 在「DevOps & Engagement」>「遠端設定」>「參數」頁面中,展開您為推出作業設定的參數,然後點選推出作業下方的「查看結果」。

  • 在「DevOps & Engagement」>「遠端設定」>「推出」頁面中,按一下推出作業名稱。

在「DevOps & Engagement」>「遠端設定」>「結果」頁面頂端的應用程式選取器中,您可以選取特定應用程式的檢視畫面。結果會分成多個部分:

  • 「Summary」(摘要) 區段:顯示設定的「Rollout percentage」(推出百分比),並提供復原或編輯推出作業的功能。展開後,會顯示推出設定詳細資料的「Overview」(總覽) 和「Change history」(變更記錄)。
  • 「使用者」部分:顯示下列群組中擷取推出範本的不重複應用程式安裝次數:

    • 已啟用:符合目標推出條件,且已擷取推出值的應用程式執行個體數量。
    • 控制組:符合目標推出條件,且已擷取未變更值的應用程式執行個體數量。
    • 目標:符合推出作業設定條件的預估執行個體總數,這些執行個體應會收到推出作業或未變更的值。

    詳情請參閱「瞭解推出群組成員資格」。

  • Crashlytics 和Analytics 部分:顯示啟用組和控制組的比較資料。您可以篩選收集到的資料,查看「過去 24 小時」、「上次發布後」或「過去 7 天」的資料。預設檢視畫面為「過去 24 小時」。

Crashlytics 筆推出作業結果

您可以查看推出期間發生的當機、非致命錯誤和 ANR 總數。每個結果類別都會顯示長條圖,比較符合推出條件的「已啟用」和「控制組」使用者的原始總數。

  • 當機:顯示當機次數和百分比,以及啟用組和控制組中遇到當機的不重複使用者人數。
  • 非致命錯誤:顯示非致命錯誤的數量和百分比,以及發生非致命錯誤的不重複使用者人數。
  • ANR (僅限 Android 應用程式):顯示「應用程式無回應」事件的數量和百分比,以及遇到一或多個 ANR 事件的不重複使用者人數。

如要進一步瞭解當機情形,請按一下「View more in 」(在 Crashlytics 中查看更多資訊)。系統會開啟「Crashlytics」頁面,並套用篩選器,顯示您正在檢查結果的推出作業。Crashlytics 頁面上的推出結果會評估曾接觸過相應變化版本 (「啟用」或「控制組」) 的所有使用者。您可以選擇查看控制組當機、啟用組當機,或兩者都查看。

Google Analytics 筆推出作業結果

「Google Analytics rollout results」(推出結果) 專區會以詳細資料和圖表檢視畫面,比較 曾接觸過「啟用」或「控制」群組的所有使用者的Analytics指標 。系統會提供三項指標:

  • 總收益:顯示總收益金額 (以美元為單位),包括廣告收益和購買收益。您可以篩選結果,只顯示廣告收益或購買收益。
  • 轉換總數:顯示所有轉換事件總和的原始計數。您可以依要醒目顯示的轉換篩選結果。
  • 總參與時間:顯示使用者與其中一個推出版本互動的總時間。總參與時間會以「時:分:秒」格式顯示。例如 01:31:28。圖表會顯示您在「Crashlytics」部分上方所選時間範圍的資料。

後續步驟