앱 테스트 에이전트(Android)

앱 테스트 에이전트는 Firebase의 Gemini를 기반으로 하는 테스트 사례 생성, 관리, 실행 에이전트입니다. 자연어로 테스트 목표를 정의하면 에이전트가 AI를 사용하여 앱을 이해하고 탐색하고, 사용자 상호작용을 시뮬레이션하고, 자세한 테스트 결과를 제공합니다.

앱 테스트 에이전트가 사용자의 데이터를 사용하는 방식

앱 테스트 에이전트는 Firebase의 Gemini에서 제공하며 동일한 약관이 적용됩니다. Firebase의 Gemini에서 사용자 데이터를 사용하는 방식에 대한 자세한 내용은 Firebase의 Gemini에서 사용자 데이터를 사용하는 방식을 참조하세요.

시작하기 전에

아직 등록하지 않았다면 Firebase에 앱을 등록합니다.

다른 Firebase 제품을 사용하지 않는 경우 프로젝트를 만들고 앱을 등록하기만 하면 됩니다. 앱에 SDK를 추가할 필요는 없습니다. 그러나 이후에 추가 제품을 사용할 경우에는 Firebase Console을 사용하여 Firebase 추가의 모든 단계를 완료해야 합니다.

앱의 출시 전 버전을 테스터에게 배포할 준비가 되면 일반적인 프로세스에 따라 APK 또는 AAB를 빌드합니다. 디버그 키 또는 앱 서명 키를 사용하여 APK를 서명해야 합니다.

테스트 사례 만들기

Firebase의 Gemini를 사용하는 앱 테스트 에이전트는 Firebase Console에서 선택한 맞춤설정을 사용하여 AI 가이드 테스트 또는 무작위 크롤링 테스트를 만들 수 있습니다. APK 또는 AAB 파일을 업로드한 후 Firebase Console의 App Distribution 페이지를 열고 다음 단계를 따르세요.

  1. 테스트 사례 페이지에서 새 테스트 사례를 클릭합니다. 자체 테스트 사례를 만들지 않으려면 제공된 테스트 사례 예시를 수정하거나 사용할 수 있습니다.
  2. 테스트 사례 추가 대화상자에서 테스트 사례 이름과 앱 테스트 에이전트가 앱에서 테스트할 내용을 설명하는 목표를 추가하여 테스트 사례를 맞춤설정합니다.
  3. (선택사항) 테스트 사례 추가 대화상자에서 힌트(선택사항)를 추가하고 앱 테스트 에이전트가 앱을 이해하고 탐색하는 데 도움이 되는 추가 정보를 제공할 수 있습니다.
  4. (선택사항) 테스트 사례 추가 대화상자에서 성공 기준(선택사항)을 추가하고 앱 테스트 에이전트가 테스트 성공 시점을 판단하는 데 사용할 수 있는 추가 안내를 제공할 수 있습니다.
  5. 테스트 맞춤설정이 완료되면 저장을 클릭합니다.

테스트 사례에 다른 단계를 추가할 수도 있습니다. 다른 단계를 추가하는 경우 앱 테스트 에이전트가 테스트할 원하는 순서대로 단계의 순서를 재정렬할 수 있습니다.

앱 테스트 에이전트를 사용하면 앱 동작에 시스템 변수를 추가하여 Test Lab에서 실행할 때 동작하는 방식을 수정할 수 있습니다. 자세한 내용은 Android 스튜디오로 테스트 실행을 참조하세요.

테스트 사례 예시

다음은 앱 테스트 에이전트를 사용하여 테스트 사례를 만드는 방법의 예입니다.

홈페이지 테스트
테스트 제목

홈페이지 로드
목표

홈페이지 로드
힌트

온보딩 화면을 지나 탐색합니다. 팝업을 닫습니다. 로그인하지 마세요.
성공 기준

기본 앱 홈페이지가 화면에 표시되고 모든 이미지가 로드되었으며 오류가 표시되지 않습니다.

Gemini를 사용하여 테스트 만들기

앱 테스트 에이전트를 사용하면 Gemini에서 테스트 실행 버튼을 클릭하여 AI 가이드 테스트를 실행할 수 있습니다. 기존 테스트 사례 중 하나를 사용하고 앱 테스트 에이전트 맞춤설정 화면에서 AI 가이드 테스트를 선택할 수 있습니다. Gemini는 제공된 테스트 사례를 사용하여 핵심 사용자 여정을 크롤링합니다.

기존 테스트 사례를 사용하여 AI 가이드 테스트를 만들지 않으려면 테스트 실행 버튼을 사용하여 AI 가이드 테스트 또는 무작위 크롤링 테스트를 만들 수 있습니다. 앱 테스트 에이전트 맞춤설정 화면에서 실행할 테스트 유형을 선택할 수 있습니다.

출시 버전의 앱 테스트 에이전트 탭에 있는 출시 페이지에서 테스트 결과를 볼 수 있습니다. 세부정보 보기 버튼을 클릭하면 테스트 결과 대화상자가 열리고 문제, 앱 스크린샷, 테스트 중에 Gemini가 진행한 여정이 표시됩니다.

무작위 크롤링 테스트 만들기

앱 테스트 에이전트에서 무작위 크롤링 테스트를 만들 때는 자동 테스터 기능을 사용합니다. 자동 테스터 기능을 사용하면 앱 빌드를 테스터에게 자동으로 배포할 수 있습니다. 이 기능은 앱 테스트 에이전트 맞춤설정 대화상자에서 추가한 맞춤설정에 따라 앱을 무작위로 크롤링합니다.

빌드 자동 테스트

CI/CD 파이프라인에서와 같이 새 빌드에서 앱 테스트 에이전트 테스트를 자동으로 실행하려면 Firebase CLI, App Distribution의 Gradle 또는 fastlane 플러그인을 사용하여 빌드를 에이전트에 배포하면 됩니다.

테스트 결과 디버깅

테스트 결과가 예상과 다른 경우 테스트 결과 페이지의 세부정보 보기 아래에 있는 에이전트 보기 표시 전환 버튼을 사용하여 테스트를 디버깅할 수 있습니다. 에이전트 보기에는 앱 테스트 에이전트가 앱의 접근성 정보를 사용할 때 감지할 수 있었던 화면 요소가 표시됩니다. 에이전트가 확인한 내용을 자세히 살펴보려면 작업 더보기 메뉴에서 해당 정보를 다운로드하면 됩니다.

테스트 결과 페이지의 아티팩트 보기 버튼을 사용하여 테스트 결과의 모든 동영상, 로그, Cloud 아티팩트를 볼 수도 있습니다.

알려진 문제 및 제한사항

앱 테스트 에이전트 미리보기에는 몇 가지 알려진 제한사항이 있습니다.

  • 앱 테스트 에이전트는 생성형 AI를 사용하여 앱을 테스트하므로 동일한 안내를 따르더라도 다른 작업을 수행하는 경우가 있습니다.
  • 앱 테스트 에이전트는 탭, 텍스트 입력, 위로 스크롤, 아래로 스크롤, 대기 작업만 지원합니다.
  • 앱 테스트 에이전트는 실행하는 데 여러 작업이 필요한 단일 단계만 포함된 테스트를 실행하는 데 문제가 있습니다. 복잡한 작업을 여러 개의 짧은 단계로 나누면 성능이 향상됩니다.
  • 앱 테스트 에이전트는 화면 밖의 다른 요소를 노출하도록 스크롤하지 않는 경우가 있습니다. 스크롤 가능 여부를 시각적으로 표시하지 않는 경우 이러한 현상이 더 자주 발생합니다. 이 문제를 해결하려면 '힌트' 필드를 사용하여 스크롤을 제안할 수 있습니다.
  • 앱 테스트 에이전트는 계산하는 데 문제가 있을 수 있습니다(예: 특정 횟수만큼 작업 수행).

테스트 할당량

미리보기 기간에는 할당량 한도 내에서 AI 가이드 테스트가 무료로 제공됩니다. 기본 할당량 한도는 월 100회 테스트입니다.

여러 기기에서 여러 테스트 사례를 실행하거나 동일한 테스트 사례를 실행하는 경우 이는 여러 테스트로 집계됩니다. 예를 들어 기기 2대에서 테스트 사례 2개를 실행하면 총 4회의 테스트로 집계됩니다.

할당량을 기본 한도보다 늘리려면 사용 사례를 포함하여 Firebase 지원팀에 문의하세요.