Agen App Testing adalah agen yang mampu membuat, mengelola, dan menjalankan kasus pengujian dengan dukungan dari Gemini di Firebase. Anda menentukan sasaran pengujian dalam bahasa alami, dan agen ini menggunakan AI untuk memahami dan mengeksplorasi aplikasi Anda, menyimulasikan interaksi pengguna, dan memberikan hasil pengujian yang mendetail.
Cara agen App Testing menggunakan data Anda
Agen App Testing disediakan oleh Gemini di Firebase dan diatur berdasarkan persyaratan yang sama. Lihat Cara Gemini di Firebase menggunakan data Anda untuk mengetahui informasi selengkapnya tentang cara Gemini di Firebase menggunakan data Anda.
Sebelum memulai
Jika belum melakukannya, daftarkan aplikasi Anda ke Firebase.
Jika tidak menggunakan produk Firebase lainnya, Anda hanya perlu membuat project dan mendaftarkan aplikasi. Anda tidak perlu menambahkan SDK apa pun ke aplikasi. Namun, jika Anda memutuskan untuk menggunakan produk tambahan pada masa mendatang, pastikan untuk menyelesaikan semua langkah di Menambahkan Firebase menggunakan Firebase console.
Saat sudah siap untuk mendistribusikan versi pra-rilis aplikasi kepada penguji, bangun APK atau AAB menggunakan proses normal. Anda harus menandatangani APK dengan kunci debug atau kunci penandatanganan aplikasi.
Membuat kasus pengujian
Agen App Testing, yang menggunakan Gemini di Firebase, dapat membuat pengujian yang dipandu AI atau pengujian crawl acak menggunakan penyesuaian yang Anda pilih dari Firebase console. Setelah mengupload file APK atau AAB, buka halaman App Distribution di Firebase console dan gunakan langkah-langkah berikut:
- Di halaman Test Cases, klik New test case. Jika tidak ingin membuat kasus pengujian sendiri, Anda dapat mengubah atau menggunakan contoh kasus pengujian yang disediakan.
- Sesuaikan kasus pengujian dengan menambahkan nama kasus pengujian dan sasaran yang menjelaskan hal di aplikasi yang ingin Anda uji menggunakan agen App Testing, dalam dialog Add test case.
- (Opsional) Pada dialog Add test case, Anda dapat menambahkan Hint yang bersifat opsional dan memberikan informasi tambahan untuk membantu agen App Testing memahami dan mengeksplorasi aplikasi Anda.
- (Opsional) Pada dialog Add test case, Anda dapat menambahkan Success Criteria yang bersifat opsional dan memberikan panduan tambahan untuk agen App Testing yang akan digunakannya untuk menentukan keberhasilan pengujian.
- Klik Save setelah Anda selesai menyesuaikan pengujian.
Anda juga memiliki opsi untuk menambahkan langkah lain ke kasus pengujian. Jika menambahkan langkah lain, Anda dapat menyusun ulang urutan langkah-langkah pengujian sesuai dengan urutan yang Anda ingin agen App Testing jalankan.
Dengan agen App Testing, Anda dapat menambahkan variabel sistem ke perilaku aplikasi untuk mengubah cara aplikasi berperilaku saat berjalan di Test Lab. Untuk informasi selengkapnya, lihat Menjalankan pengujian dengan Android Studio.
Contoh kasus pengujian
Berikut adalah contoh cara membuat kasus pengujian menggunakan agen App Testing:
| Menguji halaman beranda | |
|---|---|
Judul pengujian |
Pemuatan halaman beranda |
Sasaran |
Memuat halaman beranda |
Petunjuk |
Buka layar orientasi. Tutup semua pop-up. Jangan login. |
Kriteria Keberhasilan |
Halaman beranda aplikasi utama terlihat di layar, semua gambar telah dimuat, dan tidak muncul error. |
Menggunakan Gemini untuk membuat pengujian
Agen App Testing memungkinkan Anda menggunakan Gemini untuk menjalankan pengujian yang dipandu AI, dengan mengklik tombol Run tests. Anda dapat menggunakan salah satu kasus pengujian yang ada dan memilih AI-guided tests di layar penyesuaian agen App Testing. Gemini akan menggunakan kasus pengujian yang disediakan untuk meng-crawl perjalanan pengguna inti Anda.
Jika tidak ingin menggunakan kasus pengujian yang ada untuk membuat pengujian yang dipandu AI, Anda dapat menggunakan tombol Run test untuk membuat pengujian yang dipandu AI atau pengujian crawl acak. Anda dapat memilih jenis pengujian yang ingin dijalankan menggunakan layar penyesuaian agen App Testing.
Anda dapat melihat hasil pengujian dari halaman Releases di tab Agen App Testing dari suatu rilis. Tombol View details akan membuka dialog Test Results dan menampilkan masalah, screenshot aplikasi, dan perjalanan yang dilakukan Gemini selama pengujian.
Membuat pengujian crawling acak
Saat membuat pengujian crawl acak di agen App Testing, Anda akan menggunakan fitur Penguji Otomatis. Dengan fitur Penguji Otomatis, Anda dapat mendistribusikan build aplikasi secara otomatis kepada penguji. Fitur ini akan melakukan crawling acak pada aplikasi Anda berdasarkan penyesuaian yang Anda tambahkan di dialog App Testing agent customization.
Menguji build secara otomatis
Untuk menjalankan pengujian agen App Testing secara otomatis pada build baru, misalnya dari pipeline CI/CD, Anda dapat mendistribusikan build ke agen menggunakan plugin Firebase CLI, Gradle App Distribution, atau fastlane.
Men-debug hasil pengujian
Jika hasil pengujian berbeda dari yang Anda harapkan, Anda dapat men-debug pengujian menggunakan tombol Show agent view di bagian View Details di halaman Test Results. Tampilan agen menampilkan elemen di layar yang dapat dideteksi oleh agen App Testing saat menggunakan informasi aksesibilitas aplikasi. Jika ingin menganalisis hal yang dideteksi oleh agen pengujian aplikasi ini, Anda dapat mendownload informasi tersebut dari menu tambahan tindakan.
Anda juga dapat menggunakan tombol View artifacts di halaman Test Results untuk melihat semua video, log, dan Artefak Cloud untuk hasil pengujian Anda.
Masalah umum dan batasan
Pratinjau agen App Testing memiliki beberapa batasan umum:
- Karena agen App Testing menggunakan AI generatif untuk menguji aplikasi Anda, agen ini terkadang akan melakukan tindakan yang berbeda meski petunjuk yang diberikan sama.
- Agen App Testing hanya mendukung tindakan berikut: ketuk, masukkan teks, scroll ke atas, scroll ke bawah, dan tunggu.
- Agen App Testing akan kesulitan saat menjalankan pengujian yang hanya berisi satu langkah, tetapi memerlukan banyak tindakan untuk menyelesaikannya. Model ini akan berperforma lebih baik saat tugas kompleks dibagi menjadi beberapa langkah yang lebih sederhana.
- Agen App Testing terkadang tidak akan men-scroll ke elemen aplikasi yang tidak terlihat di layar. Hal ini lebih sering terjadi jika aplikasi tidak memiliki indikasi visual yang menunjukkan bahwa layar dapat di-scroll untuk menemukan elemen lain. Sebagai solusi, kolom "hints" dapat digunakan untuk menyarankan agar agen melakukan scroll.
- Agen App Testing terkadang mengalami masalah dalam menghitung, misalnya saat diminta melakukan suatu tindakan dalam jumlah tertentu.
Kuota pengujian
Selama pratinjau, pengujian yang dipandu AI akan ditawarkan tanpa biaya dalam batas kuota. Batas kuota default adalah 100 pengujian per bulan.
Perlu diperhatikan bahwa jika Anda memilih untuk menjalankan beberapa kasus pengujian, atau menjalankan kasus pengujian yang sama di beberapa perangkat, masing-masing kombinasi akan dihitung sebagai pengujian terpisah. Sebagai contoh, jika Anda menjalankan 2 kasus pengujian di 2 perangkat, maka total pengujian yang dihitung adalah 4.
Untuk meningkatkan kuota di atas batas default, hubungi Dukungan Firebase dengan kasus penggunaan Anda.