應用程式測試代理程式 (Android)

應用程式測試代理是 Firebase 中由 Gemini 提供支援的測試案例產生、管理和執行代理程式。您可以使用自然語言定義測試目標,代理程式就會運用 AI 技術來瞭解及瀏覽應用程式、模擬使用者互動情形,並提供詳細的測試結果。

App Testing 服務代理如何使用您的資料

應用程式測試代理由 Firebase 中的 Gemini 提供,並受相同條款規範。如要進一步瞭解 Firebase 中的 Gemini 如何使用您的資料,請參閱「Firebase 中的 Gemini 如何使用您的資料」。

事前準備

如果您尚未註冊應用程式,請向 Firebase 註冊應用程式

如果您不使用任何其他 Firebase 產品,只需建立專案並註冊應用程式即可。您不需要在應用程式中新增任何 SDK。不過,如果您日後決定使用其他產品,請務必完成「使用 Firebase 控制台新增 Firebase」中的所有步驟。

當您準備好將應用程式的預先發布版發布給測試人員時,請使用一般程序建構 APK 或 AAB。您必須使用偵錯金鑰或應用程式簽署金鑰簽署 APK。

建立測試案例

Firebase 中使用 Gemini 的應用程式測試代理程式,可根據您在 Firebase 控制台選擇的自訂選項,建立 AI 輔助測試或隨機檢索測試。上傳 APK 或 AAB 檔案後,請開啟 Firebase 主控台的 App Distribution 頁面,然後按照下列步驟操作:

  1. 在「Test Cases」(測試案例) 頁面中,按一下「New test case」(新增測試案例)。如果您不想自行建立測試案例,可以修改或使用我們提供的測試案例範例。
  2. 如要自訂測試案例,請在「Add test case」對話方塊中新增測試案例名稱和目標,說明您希望應用程式測試代理程式在應用程式中測試的內容。
  3. (選用) 在「Add test case」對話方塊中,您可以新增選用的「Hint」,並提供額外資訊,協助應用程式測試虛擬服務專員瞭解及操作應用程式。
  4. (選用) 在「新增測試案例」對話方塊中,您可以新增選用的「成功條件」,並提供額外指引,讓應用程式測試代理程判斷測試何時算成功。
  5. 完成自訂測驗後,按一下「儲存」

您也可以選擇在測試案例中加入另一個步驟。如果您新增其他步驟,可以重新排列步驟順序,以便讓應用程式測試服務代理人以您偏好的順序進行測試。

您可以使用應用程式測試代理程式,在應用程式行為中新增系統變數,藉此修改應用程式在 Test Lab 中執行時的行為方式。詳情請參閱「使用 Android Studio 執行測試」。

測試案例範例

以下是使用應用程式測試代理程式建立測試案例的範例:

測試首頁
測試用標題

載入首頁

目標

載入首頁

提示

略過所有新手上路畫面。關閉所有彈出式視窗。請勿登入。

成功標準

應用程式主畫面會顯示在螢幕上,所有圖片都已載入,且不會顯示任何錯誤。

使用 Gemini 建立測試

應用程式測試代理可讓您點選「Run tests」按鈕,使用 Gemini 執行 AI 引導測試。您可以使用現有的測試案例,並在應用程式測試代理自訂畫面中選取「AI 引導測試」。Gemini 會使用你提供的測試案例,檢索核心使用者歷程。

如果您不想使用現有的測試案例建立 AI 引導測試,可以使用「執行測試」按鈕建立 AI 引導測試或隨機檢索測試。您可以在應用程式測試代理自訂畫面上,選取要執行的測試類型。

您可以在「版本」頁面的「應用程式測試代理程式」分頁中,查看測試結果。「查看詳細資料」按鈕會開啟「測試結果」對話方塊,並顯示任何問題、應用程式的螢幕截圖,以及 Gemini 在測試期間採取的歷程。

建立隨機檢索測試

在應用程式測試代理程式中建立隨機檢索測試時,您會使用自動化測試器功能。您可以使用自動化測試人員功能,自動將應用程式版本發布給測試人員。這項功能會根據您在「應用程式測試代理程式自訂」對話方塊中新增的自訂項目,隨機檢索應用程式。

自動測試建構作業

如要在新的版本上自動執行應用程式測試代理測試 (例如透過持續整合/持續推送軟體更新管道),您可以使用 Firebase CLI、App Distribution 的 Gradle 或 fastlane 外掛程式,將版本發布至代理。

對測試結果進行偵錯

如果測試結果與預期不同,您可以使用「測試結果」頁面「查看詳細資料」下方的「顯示代理程式檢視畫面」切換鈕來偵錯測試。代理檢視畫面會顯示應用程式測試代理在使用應用程式無障礙資訊時,所能偵測到的畫面元素。如要進一步查看服務專員看到的內容,可以從「動作溢位」選單下載相關資訊。

您也可以在「測試結果」頁面中使用「查看構件」按鈕,查看所有影片、記錄和 Cloud 構件,瞭解測試結果。

已知問題和限制

應用程式測試代理預先發布版有一些已知的限制:

  • 由於應用程式測試代理會使用生成式 AI 來測試您的應用程式,因此有時會在遵循相同指示的情況下採取不同的動作。
  • 應用程式測試代理程式只支援下列動作:輕觸、輸入文字、向上捲動、向下捲動和等待。
  • 應用程式測試代理無法執行僅包含單一步驟的測試,因為這個步驟需要執行多個動作才能完成。將複雜的任務拆解為多個較短的步驟,可提升效能。
  • 應用程式測試代理有時不會捲動畫面,因此無法顯示畫面外其他元素。在沒有視覺化捲動功能指示的情況下,這種情況會更常發生。解決方法是使用「提示」欄位,建議使用者捲動畫面。
  • 應用程式測試代理程式有時會發生計數問題,例如執行特定次數的動作。

測試配額

在預先發布版期間,系統會在配額限制內免費提供 AI 輔助測試。預設配額上限為每月 100 次測試。

請注意,如果您選擇在多部裝置上執行多個測試案例或相同的測試案例,系統會將這些測試計為多個測試。舉例來說,如果您在 2 部裝置上執行 2 個測試案例,則總計為 4 項測試。

如要將配額提高至超過預設上限,請與 Firebase 支援團隊聯絡,並說明您的用途。