L'agente di test delle app è un agente di generazione, gestione ed esecuzione di casi di test basato su Gemini in Firebase. Definisci gli obiettivi di test in linguaggio naturale e l'agente utilizza l'AI per comprendere e navigare nella tua app, simulare le interazioni degli utenti e fornire risultati di test dettagliati.
In che modo l'agente di test delle app utilizza i tuoi dati
Se non utilizzi altri prodotti Firebase, devi solo creare un progetto e registrare la tua app. Non è necessario aggiungere SDK all'app. Tuttavia, se decidi di utilizzare altri prodotti in futuro, assicurati di completare tutti i passaggi descritti in Aggiungere Firebase utilizzando la consoleFirebase.
Quando è tutto pronto per distribuire una versione pre-release della tua app ai tester, compila l'APK o l'AAB utilizzando la procedura normale e caricalo in App Distribution nella console Firebase.
Devi firmare l'APK con la chiave di debug o la chiave di firma dell'app.
Creare uno scenario di test
Per eseguire test guidati dall'AI, l'Agente di test delle app utilizza i casi di test in linguaggio naturale per eseguire test sulla tua app.
Ogni caso di test è suddiviso in passaggi che verranno eseguiti in sequenza.
I passaggi ti consentono di suddividere il test case in fasi, ognuna con i propri criteri di successo. L'agente può eseguire molte azioni durante un singolo passaggio.
Per creare un caso di test, apri la pagina App Distribution della
console Firebase
e segui questi passaggi:
Nella scheda Test case, fai clic su Nuovo test case. Se non vuoi creare il tuo caso di test, puoi modificare o utilizzare il caso di test di esempio fornito.
Nella finestra di dialogo Aggiungi scenario di test, assegna uno scenario di test. Viene utilizzato per identificare il test, ma viene ignorato dall'agente.
Valuta la possibilità di suddividere il test in più passaggi facendo clic sul pulsante Aggiungi un altro passaggio.
Assegna a ogni passaggio un scopo che descriva cosa deve fare l'agente di test dell'app durante quel passaggio.
(Facoltativo) Aggiungi un suggerimento per fornire ulteriori informazioni che aiutino l'agente di test dell'app a comprendere e navigare nella tua app durante il passaggio.
(Facoltativo) Aggiungi i Criteri di successo per aiutare l'agente di test dell'app a determinare quando il passaggio è stato completato correttamente.
Al termine della personalizzazione del test, fai clic su Salva.
Scenario di test di esempio
Di seguito è riportato un esempio di come creare un caso di test utilizzando l'agente di test delle app:
Test della home page
Titolo del test
Caricamenti della home page
Obiettivo
Carica la home page
Suggerimento
Vai oltre le schermate di onboarding. Chiudi eventuali popup. Non accedere.
Criteri di successo
La home page dell'app principale è visibile sullo schermo, tutte le immagini sono state caricate e non vengono visualizzati errori.
Esegui un test
L'agente di test delle app ti consente di eseguire test guidati dall'AI nella console facendo clic sul pulsante Esegui test nella pagina Uscite o Scenari di test.
Si apre la schermata di personalizzazione dell'agente di test dell'app, in cui puoi scegliere uno o più casi di test esistenti da eseguire dall'agente. Puoi anche scegliere i dispositivi su cui eseguire il test e se fornire le credenziali di accesso.
Puoi anche scegliere di eseguire un test di scansione casuale modificando il tipo di test.
I test di scansione casuale utilizzano la funzionalità Automated Tester.
Puoi visualizzare i risultati dei test dalla pagina Release nella scheda Agente di test dell'app di una release. Il pulsante Visualizza dettagli aprirà la finestra di dialogo Risultati test e mostrerà eventuali problemi, screenshot dell'app e le azioni intraprese da Gemini durante il test.
Testa automaticamente le build
Per eseguire automaticamente i test dell'agente di test delle app sulle nuove build, ad esempio dalle pipeline CI/CD, puoi distribuire le build all'agente utilizzando i plug-in Gradle o Fastlane di App Distribution o l'interfaccia a riga di comando di Firebase.
Testa automaticamente le build con l'interfaccia a riga di comando di Firebase
Per utilizzare la funzionalità Agente di test delle app, devi specificare almeno un dispositivo di test e un ID test case. Gli ID casi di test sono disponibili e possono essere scaricati nella pagina Test
Cases della console Firebase. Per saperne di più su come iniziare a utilizzare l'interfaccia a riga di comando di Firebase e sui diversi modi per configurare la distribuzione, consulta Distribuire app per Android ai tester utilizzando l'interfaccia a riga di comando di Firebase.
Esegui il comando appdistribution:distribute per caricare l'app e utilizza i seguenti parametri per configurare la distribuzione alla funzionalità Agente di test delle app:
appdistribution:distribute options
--test-devices o
--test-devices-file
I dispositivi di test su cui vuoi distribuire le build alla funzionalità Agente di test delle app.
Puoi specificare i dispositivi di test come elenco separato da punto e virgola:
Esegui i test in modo asincrono. Per i risultati dei test automatici, visita la Console Firebase.
--test-case-ids o
--test-case-ids-file
Un elenco separato da virgole di ID di casi di test per l'esecuzione di test automatici basati sull'IA:
--test-case-ids: "load-app,play-the-first-level"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di ID casi di test separati da virgole o da una nuova riga:
Per utilizzare la funzionalità Agente di test delle app, devi specificare almeno un dispositivo di test e un ID test case. Gli ID casi di test sono disponibili e possono essere scaricati nella pagina Test
Cases della console Firebase. Per saperne di più su come iniziare a utilizzare Gradle e sui diversi modi per configurare la distribuzione, consulta Distribuire le app Android ai tester utilizzando Gradle.
Puoi configurare App Distribution aggiungendo almeno una sezione firebaseAppDistribution e utilizzando i seguenti parametri per configurare la distribuzione alla funzionalità Agente di test delle app:
App Distribution Parametri di compilazione
testDevices o
testDevicesFile
I dispositivi di test su cui vuoi distribuire le build alla funzionalità Agente di test delle app.
Puoi specificare i dispositivi di test come elenco di specifiche del dispositivo separate da un punto e virgola
In alternativa, puoi specificare il percorso di un file contenente un elenco di specifiche del dispositivo separate da punto e virgola:
testDevicesFile="/path/to/testDevices.txt"
testUsername
Il nome utente per l'accesso automatico da utilizzare durante i test.
testPassword o
testPasswordFile
La password per l'accesso automatico da utilizzare durante i test.
In alternativa, puoi specificare il percorso di un file di testo normale contenente una password:
testPasswordFile="/path/to/testPassword.txt"
testNonBlocking
Esegui i test in modo asincrono. Visita la console di Firebase per visualizzare i risultati del test automatico.
testCaseso
testCasesFile
Un elenco separato da virgole di ID di casi di test per l'esecuzione di test automatici basati sull'IA:
testCases: "load-app,play-the-first-level"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di ID casi di test separati da virgole o da una nuova riga:
testCasesFile: "/path/to/test-case-ids.txt"
Testa automaticamente le build con fastlane
Per utilizzare la funzionalità Agente di test delle app, devi specificare almeno un dispositivo di test e un ID test case. Gli ID casi di test sono disponibili e possono essere scaricati nella pagina Test
Cases della console Firebase. Per scoprire di più su come iniziare a utilizzare
fastlane e sui diversi modi per configurare la distribuzione, consulta Distribuire
app per Android ai tester utilizzando
fastlane.
In una corsia ./fastlane/Fastfile, aggiungi un blocco firebase_app_distribution. Utilizza i seguenti parametri per configurare la distribuzione della funzionalità Agente di test delle app:
Parametri firebase_app_distribution
test_devices o
test_devices_file
I dispositivi di test su cui vuoi distribuire le build alla funzionalità Agente di test delle app. Puoi specificare i dispositivi di test come elenco separato da punto e virgola:
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di dispositivi di test separati da due punti:
test_devices_file: "/path/to/test-devices.txt"
test_username
Il nome utente per l'accesso automatico da utilizzare durante i test.
test_password o
test_password_file
La password per l'accesso automatico da utilizzare durante i test.
In alternativa, puoi specificare il percorso di un file di testo normale contenente una password:
test_password_file: "/path/to/test-password.txt"
test_non_blocking
Esegui i test in modo asincrono. Per i risultati dei test automatici, visita la Console Firebase.
--test_case_ids o
--test_case_ids_file
Un elenco separato da virgole di ID di casi di test per l'esecuzione di test automatici basati sull'IA:
--test_case_ids: "load-app,play-the-first-level"
In alternativa, puoi specificare il percorso di un file di testo normale contenente un elenco di ID casi di test separati da virgole o da una nuova riga:
Se i risultati del test sono diversi da quelli previsti, puoi eseguire il debug del test utilizzando l'opzione di attivazione/disattivazione Mostra visualizzazione agente in Visualizza dettagli nella pagina Risultati test. La visualizzazione dell'agente mostra gli elementi sullo schermo che l'agente di test dell'app è riuscito a rilevare durante l'utilizzo delle informazioni sull'accessibilità dell'app.
Se vuoi esaminare più da vicino ciò che ha visto l'agente, puoi scaricare queste informazioni dal menu overflow delle azioni.
Puoi anche utilizzare il pulsante Visualizza elementi nella pagina Risultati test per esaminare tutti i video, i log e gli altri elementi Cloud relativi ai risultati del test.
Problemi noti e limitazioni
L'anteprima dell'agente di test delle app presenta alcune limitazioni note:
Poiché l'agente di test delle app utilizza l'IA generativa per testare la tua app, a volte intraprenderà azioni diverse pur seguendo le stesse istruzioni.
L'Agente di test delle app supporta solo le seguenti azioni: toccare, inserire testo, scorrere verso l'alto, scorrere verso il basso e attendere.
L'agente di test delle app ha difficoltà a eseguire test contenenti un solo
passaggio che richiede molte azioni per essere completato. Il rendimento è migliore quando le attività complesse vengono suddivise in più passaggi più brevi.
A volte l'agente di test delle app non scorre per mostrare altri elementi al di fuori dello schermo. Questo accade più spesso quando non è presente alcuna indicazione visiva della scorrevolezza. Come soluzione alternativa, il campo "suggerimenti" può essere utilizzato per suggerire scorrimento.
A volte l'agente di test dell'app ha difficoltà a contare, ad esempio eseguire un'azione un numero specifico di volte.
Quote di test
Durante l'anteprima, i test basati sull'IA verranno offerti senza costi aggiuntivi
in base a un limite di quota. Il limite di quota predefinito è 100 test al mese.
Tieni presente che se scegli di eseguire più casi di test o lo stesso caso di test su più dispositivi, vengono conteggiati come più test. Ad esempio, se esegui 2
casi di test su 2 dispositivi, il conteggio è pari a un totale di 4 test.
Per aumentare la quota oltre il limite predefinito, contatta l'assistenza Firebase fornendo il tuo caso d'uso.
