Agent de test d'application (Android)

L'agent de test d'application est un agent de génération, de gestion et d'exécution de cas de test optimisé par Gemini dans Firebase. Vous définissez des objectifs de test en langage naturel, et l'agent utilise l'IA pour comprendre et naviguer dans votre application, simuler les interactions utilisateur et fournir des résultats de test détaillés.

Comment l'agent de test d'application utilise vos données

L'agent de test d'application est fourni par Gemini dans Firebase et est régi par les mêmes conditions. Pour en savoir plus sur l'utilisation de vos données par Gemini dans Firebase, consultez Comment Gemini dans Firebase utilise vos données.

Avant de commencer

Si ce n'est pas déjà fait, enregistrez votre application auprès de Firebase.

Si vous n'utilisez aucun autre produit Firebase, il vous suffit de créer un projet et d'enregistrer votre application. Vous n'avez pas besoin d'ajouter de SDK à votre application. Toutefois, si vous décidez d'utiliser des produits supplémentaires à l'avenir, veillez à suivre toutes les étapes de la section Ajouter Firebase à l'aide de la console Firebase.

Lorsque vous êtes prêt à distribuer une version préliminaire de votre application à des testeurs, compilez votre APK ou votre AAB à l'aide de votre processus habituel, puis importez-le dans App Distribution dans la console Firebase. Vous devez signer l'APK avec votre clé de débogage ou votre clé de signature d'application.

Créer un scénario de test

Pour exécuter des tests guidés par l'IA, l'agent de test d'application utilise vos cas de test en langage naturel pour exécuter des tests sur votre application.

Chaque scénario de test est divisé en étapes, qui seront exécutées dans l'ordre. Les étapes vous permettent de diviser votre scénario de test en phases, chacune avec ses propres critères de réussite. L'agent peut effectuer de nombreuses actions à chaque étape.

Pour créer un cas de test, ouvrez la page App Distribution de la console Firebase, puis procédez comme suit:

  1. Dans l'onglet Scénarios de test, cliquez sur Nouveau scénario de test. Si vous ne souhaitez pas créer votre propre cas de test, vous pouvez modifier ou utiliser l'exemple de cas de test fourni.
  2. Dans la boîte de dialogue Ajouter un scénario de test, attribuez un nom au scénario de test. Il permet d'identifier le test, mais est ignoré par l'agent.
  3. Pensez à diviser votre test en plusieurs étapes en cliquant sur le bouton Ajouter une étape.
  4. Attribuez à chaque étape un objectif qui décrit ce que l'agent de test d'application doit faire à cette étape.
  5. (Facultatif) Ajoutez une astuce pour fournir des informations supplémentaires afin d'aider l'agent de test d'application à comprendre et à parcourir votre application à cette étape.
  6. (Facultatif) Ajoutez des critères de réussite pour aider l'agent de test d'application à déterminer quand l'étape est terminée.
  7. Cliquez sur Enregistrer une fois que vous avez terminé de personnaliser votre test.

Exemple de scénario de test

Voici un exemple de création d'un scénario de test à l'aide de l'agent de test d'application:

Tester la page d'accueil
Titre test

Chargement de la page d'accueil

Objectif

Charger la page d'accueil

Indice

Passez les écrans d'accueil. Fermez les pop-ups. Ne vous connectez pas.

Critères de réussite

La page d'accueil principale de l'application est visible à l'écran, toutes les images ont été chargées et aucune erreur ne s'affiche.

Exécuter un test

L'agent de test d'application vous permet d'exécuter des tests guidés par l'IA dans la console en cliquant sur le bouton Run tests (Exécuter les tests) sur la page "Releases" (Versions) ou "Test Cases" (Scénarios de test). L'écran de personnalisation de l'agent de test d'application s'ouvre. Vous pouvez y choisir un ou plusieurs de vos scénarios de test existants à exécuter par l'agent. Vous pouvez également choisir les appareils sur lesquels vous souhaitez effectuer les tests et indiquer si vous souhaitez fournir des identifiants de connexion.

Vous pouvez également choisir d'exécuter un test d'exploration aléatoire en modifiant le type de test. Les tests d'exploration aléatoires utilisent la fonctionnalité Testeur automatisé.

Vous pouvez consulter les résultats de vos tests sur la page Versions, dans l'onglet Agent de test d'application d'une version. Le bouton Afficher les détails ouvre la boîte de dialogue "Résultats du test" et affiche les problèmes, les captures d'écran de l'application et les actions effectuées par Gemini pendant le test.

Tester automatiquement vos builds

Pour exécuter automatiquement les tests de l'agent de test d'application sur vos nouveaux builds, par exemple à partir de pipelines CI/CD, vous pouvez distribuer vos builds à l'agent à l'aide des plug-ins Gradle ou Fastlane de App Distribution, ou de la CLI Firebase.

Déboguer les résultats de vos tests

Si les résultats de votre test sont différents de ce que vous attendiez, vous pouvez déboguer votre test à l'aide du bouton Afficher la vue de l'agent sous Afficher les détails sur la page "Résultats du test". La vue de l'agent affiche les éléments à l'écran que l'agent de test d'application a pu détecter en utilisant les informations d'accessibilité de l'application. Si vous souhaitez examiner de plus près ce que l'agent a vu, vous pouvez télécharger ces informations depuis le menu à développer des actions.

Vous pouvez également utiliser le bouton Afficher les artefacts sur la page "Résultats des tests" pour consulter toutes les vidéos, les journaux et les autres artefacts Cloud pour vos résultats de test.

Limites et problèmes connus

L'aperçu de l'agent de test d'application présente certaines limites connues:

  • Étant donné que l'agent de test d'application utilise l'IA générative pour tester votre application, il effectue parfois des actions différentes tout en suivant les mêmes instructions.
  • L'agent de test d'application n'accepte que les actions suivantes: appuyer, saisir du texte, faire défiler l'écran vers le haut, faire défiler l'écran vers le bas et attendre.
  • L'agent de test d'application a du mal à exécuter des tests ne comportant qu'une seule étape nécessitant de nombreuses actions. Il fonctionne mieux lorsque les tâches complexes sont divisées en plusieurs étapes plus courtes.
  • L'agent de test d'application ne défile parfois pas pour afficher d'autres éléments en dehors de l'écran. Cela se produit plus souvent lorsqu'il n'y a aucune indication visuelle de la possibilité de faire défiler l'écran. Pour contourner ce problème, vous pouvez utiliser le champ "hints" pour suggérer le défilement.
  • L'agent de test d'application a parfois du mal à effectuer un comptage, par exemple en effectuant une action un certain nombre de fois.

Quotas de test

Pendant la phase de prévisualisation, les tests guidés par l'IA seront proposés sans frais dans la limite d'un quota. La limite de quota par défaut est de 100 tests par mois.

Notez que si vous choisissez d'exécuter plusieurs scénarios de test ou le même scénario sur plusieurs appareils, cela compte comme plusieurs tests. Par exemple, si vous exécutez deux cas de test sur deux appareils, cela équivaut à un total de quatre tests.

Pour augmenter votre quota au-delà de la limite par défaut, contactez l'assistance Firebase en indiquant votre cas d'utilisation.