Tác nhân kiểm thử ứng dụng là một tác nhân tạo, quản lý và thực thi trường hợp kiểm thử do Gemini cung cấp trong Firebase. Bạn xác định mục tiêu kiểm thử bằng ngôn ngữ tự nhiên và tác nhân này sử dụng AI để hiểu và điều hướng ứng dụng, mô phỏng các hoạt động tương tác của người dùng và cung cấp kết quả kiểm thử chi tiết.
Cách Trình kiểm thử ứng dụng sử dụng dữ liệu của bạn
Nếu không sử dụng sản phẩm Firebase nào khác, bạn chỉ cần tạo một dự án và đăng ký ứng dụng. Bạn không cần thêm SDK nào vào ứng dụng. Tuy nhiên, nếu bạn quyết định sử dụng các sản phẩm khác trong tương lai, hãy nhớ hoàn tất tất cả các bước trong phần Thêm Firebase bằng bảng điều khiển Firebase.
Khi bạn đã sẵn sàng phân phối phiên bản thử nghiệm của ứng dụng cho người kiểm thử, hãy tạo tệp APK hoặc AAB theo quy trình thông thường rồi tải tệp đó lên phần Phân phối ứng dụng trong bảng điều khiển Firebase.
Bạn phải ký APK bằng khoá gỡ lỗi hoặc khoá ký ứng dụng.
Tạo một trường hợp kiểm thử
Để chạy các bài kiểm thử do AI hướng dẫn, tác nhân Kiểm thử ứng dụng sẽ sử dụng các trường hợp kiểm thử bằng ngôn ngữ tự nhiên để thực thi các bài kiểm thử đối với ứng dụng của bạn.
Mỗi trường hợp kiểm thử được chia thành các bước và sẽ được thực thi theo trình tự.
Các bước cho phép bạn chia trường hợp kiểm thử thành các giai đoạn, mỗi giai đoạn có tiêu chí thành công riêng. Tác nhân có thể thực hiện nhiều hành động trong một bước bất kỳ.
Để tạo một trường hợp kiểm thử, hãy mở trang App Distribution của bảng điều khiển Firebase rồi làm theo các bước sau:
Trên thẻ Test Cases (Trường hợp kiểm thử), hãy nhấp vào New test case (Trường hợp kiểm thử mới). Nếu không muốn tạo trường hợp kiểm thử của riêng mình, bạn có thể sửa đổi hoặc sử dụng trường hợp kiểm thử mẫu được cung cấp.
Trong hộp thoại Add test case (Thêm trường hợp kiểm thử), hãy đặt tên cho trường hợp kiểm thử. Thuộc tính này dùng để xác định kiểm thử, nhưng tác nhân sẽ bỏ qua.
Hãy cân nhắc chia kiểm thử thành nhiều bước bằng cách nhấp vào nút Thêm bước khác.
Đặt cho mỗi bước một Mục tiêu mô tả những việc mà tác nhân Kiểm thử ứng dụng nên làm trong bước đó.
(Không bắt buộc) Thêm Gợi ý để cung cấp thêm thông tin giúp Trình kiểm thử ứng dụng hiểu và điều hướng ứng dụng của bạn trong bước đó.
(Không bắt buộc) Thêm Tiêu chí thành công để giúp Trình kiểm thử ứng dụng xác định thời điểm hoàn tất bước.
Nhấp vào Lưu sau khi bạn tuỳ chỉnh xong kiểm thử.
Ví dụ về trường hợp kiểm thử
Sau đây là ví dụ về cách tạo một trường hợp kiểm thử bằng cách sử dụng tác nhân Kiểm thử ứng dụng:
Kiểm thử trang chủ
Tiêu đề kiểm thử
Số lượt tải trang chủ
Mục tiêu
Tải trang chủ
Gợi ý
Chuyển qua mọi màn hình giới thiệu. Đóng mọi cửa sổ bật lên. Không đăng nhập.
Tiêu chí thành công
Màn hình chính của ứng dụng xuất hiện trên màn hình, tất cả hình ảnh đã tải và không có lỗi nào xuất hiện.
Chạy kiểm thử
Tác nhân Kiểm thử ứng dụng cho phép bạn chạy kiểm thử do AI hướng dẫn trong bảng điều khiển bằng cách nhấp vào nút Run tests (Chạy kiểm thử) trên trang Bản phát hành hoặc Trang kiểm thử.
Thao tác này sẽ mở ra màn hình tuỳ chỉnh của tác nhân Kiểm thử ứng dụng. Tại đây, bạn có thể chọn một hoặc nhiều trường hợp kiểm thử hiện có để tác nhân thực thi. Bạn cũng có thể chọn các thiết bị mà bạn muốn thử nghiệm và liệu có cung cấp thông tin đăng nhập nào hay không.
Bạn cũng có thể chọn chạy Kiểm thử thu thập dữ liệu ngẫu nhiên bằng cách thay đổi loại kiểm thử.
Kiểm thử thu thập dữ liệu ngẫu nhiên sử dụng tính năng Trình kiểm thử tự động.
Bạn có thể xem kết quả kiểm thử trên trang Bản phát hành trong thẻ Trình kiểm thử ứng dụng của một bản phát hành. Nút Xem chi tiết sẽ mở hộp thoại Kết quả kiểm thử và cho bạn thấy mọi vấn đề, ảnh chụp màn hình ứng dụng và các hành động mà Gemini đã thực hiện trong quá trình kiểm thử.
Tự động kiểm thử bản dựng
Để tự động chạy các chương trình kiểm thử của tác nhân Kiểm thử ứng dụng trên các bản dựng mới, chẳng hạn như từ quy trình CI/CD, bạn có thể phân phối các bản dựng cho tác nhân bằng cách sử dụng trình bổ trợ Gradle hoặc fastlane của App Distribution hoặc Firebase CLI.
Tự động kiểm thử bản dựng bằng Firebase CLI
Bạn phải chỉ định ít nhất một thiết bị kiểm thử và một mã trường hợp kiểm thử để sử dụng tính năng Trình kiểm thử ứng dụng. Bạn có thể tìm và tải mã trường hợp kiểm thử xuống trên trang Trường hợp kiểm thử của bảng điều khiển Firebase. Để biết thêm thông tin về cách bắt đầu sử dụng CLI Firebase và các cách định cấu hình bản phân phối, hãy xem bài viết Phân phối ứng dụng Android cho người kiểm thử bằng CLI Firebase.
Chạy lệnh appdistribution:distribute để tải ứng dụng lên và sử dụng các thông số sau để định cấu hình bản phân phối cho tính năng Trình kiểm thử ứng dụng:
appdistribution:distribute options
--test-devices hoặc --test-devices-file
Các thiết bị thử nghiệm mà bạn muốn phân phối bản dựng cho tính năng Trình mô phỏng kiểm thử ứng dụng.
Bạn có thể chỉ định thiết bị kiểm thử dưới dạng danh sách thiết bị kiểm thử được phân tách bằng dấu chấm phẩy:
Bạn phải chỉ định ít nhất một thiết bị kiểm thử và một mã trường hợp kiểm thử để sử dụng tính năng Trình kiểm thử ứng dụng. Bạn có thể tìm và tải mã trường hợp kiểm thử xuống trên trang Trường hợp kiểm thử của bảng điều khiển Firebase. Để biết thêm thông tin về cách bắt đầu sử dụng Gradle và các cách định cấu hình bản phân phối, hãy xem bài viết Phân phối ứng dụng Android cho người kiểm thử bằng Gradle.
Bạn có thể định cấu hình App Distribution bằng cách thêm ít nhất một phần firebaseAppDistribution và sử dụng các tham số sau để định cấu hình việc phân phối cho tính năng Trình kiểm thử ứng dụng:
App Distribution Tham số bản dựng
testDevices hoặc testDevicesFile
Các thiết bị thử nghiệm mà bạn muốn phân phối bản dựng cho tính năng Trình mô phỏng kiểm thử ứng dụng.
Bạn có thể chỉ định thiết bị kiểm thử dưới dạng danh sách thông số kỹ thuật của thiết bị được phân tách bằng dấu chấm phẩy
Hoặc bạn có thể chỉ định đường dẫn đến một tệp chứa danh sách thông số kỹ thuật của thiết bị được phân tách bằng dấu chấm phẩy:
testDevicesFile="/path/to/testDevices.txt"
testUsername
Tên người dùng để đăng nhập tự động được sử dụng trong quá trình kiểm thử.
testPassword hoặc testPasswordFile
Mật khẩu đăng nhập tự động được dùng trong quá trình kiểm thử.
Ngoài ra, bạn có thể chỉ định đường dẫn đến tệp văn bản thuần tuý chứa mật khẩu:
testPasswordFile="/path/to/testPassword.txt"
testNonBlocking
Chạy kiểm thử không đồng bộ. Truy cập vào bảng điều khiển Firebase để xem kết quả kiểm thử tự động.
testCaseshoặc
testCasesFile
Danh sách mã trường hợp kiểm thử được phân tách bằng dấu phẩy để chạy kiểm thử tự động dựa trên AI:
testCases: "load-app,play-the-first-level"
Hoặc bạn có thể chỉ định đường dẫn đến một tệp văn bản thuần tuý chứa danh sách mã trường hợp kiểm thử được phân tách bằng dấu phẩy hoặc dòng mới:
testCasesFile: "/path/to/test-case-ids.txt"
Tự động kiểm thử bản dựng bằng fastlane
Bạn phải chỉ định ít nhất một thiết bị kiểm thử và một mã trường hợp kiểm thử để sử dụng tính năng Trình kiểm thử ứng dụng. Bạn có thể tìm và tải mã trường hợp kiểm thử xuống trên trang Trường hợp kiểm thử của bảng điều khiển Firebase. Để biết thêm thông tin về cách bắt đầu sử dụng fastlane và các cách định cấu hình bản phân phối, hãy xem phần Phân phối ứng dụng Android cho người kiểm thử bằng fastlane.
Trong làn ./fastlane/Fastfile, hãy thêm một khối firebase_app_distribution. Sử dụng các thông số sau để định cấu hình bản phân phối cho tính năng Trình kiểm thử ứng dụng:
Thông số firebase_app_distribution
test_devices hoặc test_devices_file
Các thiết bị thử nghiệm mà bạn muốn phân phối bản dựng cho tính năng Trình mô phỏng kiểm thử ứng dụng. Bạn có thể chỉ định các thiết bị kiểm thử dưới dạng danh sách thiết bị kiểm thử được phân tách bằng dấu chấm phẩy:
Nếu kết quả kiểm thử khác với dự kiến, bạn có thể gỡ lỗi kiểm thử bằng cách bật/tắt nút Hiện chế độ xem tác nhân trong phần Xem chi tiết trên trang Kết quả kiểm thử. Chế độ xem tác nhân cho bạn thấy các phần tử trên màn hình mà tác nhân Kiểm thử ứng dụng có thể phát hiện khi sử dụng thông tin hỗ trợ tiếp cận của ứng dụng.
Nếu muốn xem kỹ hơn những gì mà trợ lý đã thấy, bạn có thể tải thông tin đó xuống từ trình đơn mục bổ sung của hành động.
Bạn cũng có thể sử dụng nút Xem cấu phần phần mềm trên trang Kết quả kiểm thử để xem tất cả video, nhật ký và cấu phần phần mềm khác trên Google Cloud cho kết quả kiểm thử của bạn.
Các vấn đề và hạn chế đã biết
Bản xem trước của Trình kiểm thử ứng dụng có một số hạn chế đã biết:
Vì tác nhân Kiểm thử ứng dụng sử dụng AI tạo sinh để kiểm thử ứng dụng, nên đôi khi tác nhân này sẽ thực hiện các hành động khác nhau trong khi vẫn tuân theo cùng một hướng dẫn.
Tác nhân kiểm thử ứng dụng chỉ hỗ trợ các thao tác sau: nhấn, nhập văn bản, cuộn lên, cuộn xuống và chờ.
Tác nhân Kiểm thử ứng dụng gặp sự cố khi thực thi các kiểm thử chỉ chứa một bước duy nhất cần nhiều thao tác để hoàn thành. Công cụ này hoạt động hiệu quả hơn khi các nhiệm vụ phức tạp được chia thành nhiều bước ngắn hơn.
Đôi khi, tác nhân Kiểm thử ứng dụng sẽ không cuộn để hiển thị các thành phần khác ngoài màn hình. Điều này thường xảy ra khi không có chỉ báo trực quan về khả năng cuộn. Để khắc phục vấn đề này, bạn có thể sử dụng trường "gợi ý" để đề xuất thao tác cuộn.
Đôi khi, tác nhân Kiểm thử ứng dụng gặp sự cố khi đếm, chẳng hạn như thực hiện một hành động một số lần cụ thể.
Kiểm thử hạn mức
Trong thời gian xem trước, các thử nghiệm do AI hướng dẫn sẽ được cung cấp miễn phí trong hạn mức. Hạn mức hạn mức mặc định là 100 lượt kiểm thử mỗi tháng.
Xin lưu ý rằng nếu bạn chọn chạy nhiều trường hợp kiểm thử hoặc chạy cùng một trường hợp kiểm thử trên nhiều thiết bị, thì đây sẽ được tính là nhiều lần kiểm thử. Ví dụ: nếu bạn chạy 2 trường hợp kiểm thử trên 2 thiết bị, thì tổng cộng sẽ có 4 lượt kiểm thử.
Để tăng hạn mức lên trên giới hạn mặc định, hãy liên hệ với Nhóm hỗ trợ Firebase để trao đổi về trường hợp sử dụng của bạn.
