عامل آزمایش برنامه یک عامل تولید، مدیریت و اجرای آزمایشی است که توسط Gemini در Firebase طراحی شده است. شما اهداف آزمون را به زبان طبیعی تعریف می‌کنید و نماینده از هوش مصنوعی برای درک و پیمایش برنامه شما، شبیه‌سازی تعاملات کاربر و ارائه نتایج دقیق آزمون استفاده می‌کند.
چگونه عامل تست برنامه از داده های شما استفاده می کند
عامل تست برنامه توسط Gemini در Firebase ارائه شده است و تحت همان شرایط اداره می شود. برای اطلاعات بیشتر درباره نحوه استفاده Gemini در Firebase از داده‌های شما، نحوه استفاده Gemini در Firebase از داده‌های شما را ببینید.
قبل از شروع
اگر قبلاً این کار را نکرده‌اید، برنامه خود را با Firebase ثبت کنید .
اگر از محصولات Firebase دیگری استفاده نمی کنید، فقط باید یک پروژه ایجاد کنید و برنامه خود را ثبت کنید. شما نیازی به افزودن SDK به برنامه خود ندارید. با این حال، اگر تصمیم به استفاده از محصولات اضافی در آینده دارید، مطمئن شوید که تمام مراحل افزودن Firebase را با استفاده از کنسول Firebase انجام دهید.
وقتی آماده توزیع نسخه پیش‌انتشاری برنامه‌تان برای آزمایش‌کنندگان هستید، APK یا AAB خود را با استفاده از فرآیند عادی خود بسازید و آن را در App Distribution در کنسول Firebase آپلود کنید. باید APK را با کلید اشکال زدایی یا کلید امضای برنامه امضا کنید.
یک مورد آزمایشی ایجاد کنید
برای اجرای تست‌های هدایت‌شده با هوش مصنوعی، عامل تست برنامه از موارد تست زبان طبیعی شما برای اجرای آزمایش‌ها علیه برنامه شما استفاده می‌کند.
هر تست به مراحلی تقسیم می شود که به ترتیب اجرا می شوند. مراحل به شما این امکان را می دهد که پرونده آزمایشی خود را به مراحلی تقسیم کنید که هر کدام معیارهای موفقیت خود را دارند. عامل ممکن است در طی هر مرحله اقدامات زیادی انجام دهد.
برای ایجاد یک مورد آزمایشی، صفحه App Distribution کنسول Firebase را باز کنید و مراحل زیر را انجام دهید:
- در برگه Test Cases ، روی New test case کلیک کنید. اگر نمی‌خواهید مورد آزمایشی خود را ایجاد کنید، می‌توانید نمونه آزمایشی ارائه شده را تغییر دهید یا از آن استفاده کنید.
- در کادر گفتگوی Add test case ، نام مورد آزمایشی را انتخاب کنید. این برای شناسایی آزمایش استفاده می شود، اما توسط عامل نادیده گرفته می شود.
- با کلیک بر روی دکمه افزودن مرحله دیگر ، تست خود را به چند مرحله تقسیم کنید.
- به هر مرحله یک هدف بدهید که توضیح می‌دهد عامل تست برنامه در طول آن مرحله چه کاری باید انجام دهد.
- (اختیاری) برای ارائه اطلاعات اضافی برای کمک به عامل تست برنامه برای درک و پیمایش برنامه شما در طول آن مرحله، راهنمایی اضافه کنید.
- (اختیاری) معیارهای موفقیت را اضافه کنید تا به عامل آزمایش برنامه کمک کنید تعیین کند که چه زمانی مرحله با موفقیت انجام شده است.
- پس از انجام سفارشی سازی تست، روی ذخیره کلیک کنید.
نمونه آزمایشی
در زیر نمونه ای از نحوه ایجاد یک تست با استفاده از عامل تست برنامه آورده شده است:
| تست صفحه اصلی | |
|---|---|
عنوان آزمون | صفحه اصلی بارگیری می شود |
هدف | صفحه اصلی را بارگیری کنید |
اشاره | از هر صفحه ورود به سیستم عبور کنید. رد کردن هر پنجره بازشو وارد سیستم نشوید |
معیارهای موفقیت | صفحه اصلی برنامه روی صفحه قابل مشاهده است، همه تصاویر بارگیری شده اند و هیچ خطایی نمایش داده نمی شود. |
یک آزمایش اجرا کنید
عامل تست برنامه به شما امکان می‌دهد با کلیک روی دکمه اجرای تست‌ها از صفحه نسخه‌ها یا موارد تست ، آزمایش‌های هدایت‌شده با هوش مصنوعی را در کنسول اجرا کنید. با این کار صفحه سفارشی‌سازی عامل تست برنامه باز می‌شود، جایی که می‌توانید یک یا چند مورد از آزمایش‌های موجود خود را برای اجرا انتخاب کنید. همچنین می‌توانید دستگاه‌هایی را که می‌خواهید با آن‌ها آزمایش کنید، و اینکه آیا هر گونه اعتبار ورود به سیستم را ارائه کنید، انتخاب کنید.
همچنین می‌توانید با تغییر نوع آزمایش، آزمایش خزیدن تصادفی را انتخاب کنید. تست‌های خزیدن تصادفی از ویژگی تست‌کننده خودکار استفاده می‌کنند.
می‌توانید نتایج آزمایش‌های خود را از صفحه نسخه‌ها در برگه عامل آزمایش برنامه یک نسخه مشاهده کنید. دکمه مشاهده جزئیات کادر گفتگوی نتایج تست را باز می کند و مشکلات، اسکرین شات های برنامه و اقدامات Gemini را در طول آزمایش به شما نشان می دهد.
به طور خودکار ساخت های خود را آزمایش کنید
برای اجرای خودکار آزمایش‌های عامل تست برنامه روی بیلدهای جدید خود، به عنوان مثال از خطوط لوله CI/CD، می‌توانید ساخت‌های خود را با استفاده از پلاگین‌های Gradle یا fastlane App Distribution یا Firebase CLI بین عامل توزیع کنید.
برای استفاده از ویژگی عامل آزمایش برنامه، باید حداقل یک دستگاه آزمایشی و یک شناسه مورد آزمایشی را مشخص کنید. شناسه های مورد آزمایشی را می توان در صفحه Test Cases کنسول Firebase پیدا و دانلود کرد. برای اطلاعات بیشتر درباره شروع کار با Firebase CLI و روش‌های مختلف برای پیکربندی توزیع، به توزیع برنامه‌های Android برای آزمایش‌کنندگان با استفاده از Firebase CLI مراجعه کنید.
دستور appdistribution:distribute برای آپلود برنامه خود اجرا کنید و از پارامترهای زیر برای پیکربندی توزیع خود بر روی ویژگی App Testing agent استفاده کنید:
| appdistribution: توزیع گزینه ها | |
|---|---|
--test-devices یا --test-devices-file | دستگاه‌های آزمایشی که می‌خواهید بیلدها را در ویژگی عامل آزمایش برنامه توزیع کنید. می‌توانید دستگاه‌های آزمایشی را به‌عنوان فهرستی از دستگاه‌های آزمایشی جدا شده با نقطه ویرگول مشخص کنید: --test-devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"یا، می‌توانید مسیر یک فایل متنی ساده حاوی فهرستی از دستگاه‌های آزمایشی جدا شده با نقطه ویرگول را مشخص کنید: --test-devices-file: "/path/to/test-devices.txt" |
--test-username | نام کاربری برای ورود خودکار که در طول آزمایش استفاده می شود. |
--test-password یا --test-password-file | رمز ورود خودکار برای استفاده در طول تست. یا می توانید مسیر یک فایل متنی ساده حاوی رمز عبور را مشخص کنید: --test-password-file: "/path/to/test-password.txt" |
--test-non-blocking | تست ها را به صورت ناهمزمان اجرا کنید. برای دریافت نتایج تست خودکار به کنسول Firebase مراجعه کنید. |
--test-case-ids یا --test-case-ids-file | فهرستی از شناسه‌های مورد آزمایشی جدا شده با کاما برای اجرای آزمایش‌های خودکار مبتنی بر هوش مصنوعی: --test-case-ids: "load-app,play-the-first-level"یا، می‌توانید مسیر یک فایل متنی ساده حاوی فهرستی با کاما یا خط جدید جدا شده از شناسه‌های مورد آزمایشی را مشخص کنید: --test-case-ids-file: "/path/to/test-case-ids.txt" |
برای استفاده از ویژگی عامل آزمایش برنامه، باید حداقل یک دستگاه آزمایشی و یک شناسه مورد آزمایشی را مشخص کنید. شناسه های مورد آزمایشی را می توان در صفحه Test Cases کنسول Firebase پیدا و دانلود کرد. برای اطلاعات بیشتر درباره شروع کار با Gradle و روش‌های مختلف برای پیکربندی توزیع، به توزیع برنامه‌های Android برای آزمایش‌کنندگان با استفاده از Gradle مراجعه کنید.
می‌توانید با افزودن حداقل یک بخش firebaseAppDistribution App Distribution پیکربندی کنید و از پارامترهای زیر برای پیکربندی توزیع به ویژگی عامل آزمایش برنامه استفاده کنید:
| پارامترهای ساخت App Distribution | |
|---|---|
testDevices یا testDevicesFile | دستگاه‌های آزمایشی که می‌خواهید بیلدها را در ویژگی عامل آزمایش برنامه توزیع کنید. می‌توانید دستگاه‌های آزمایشی را به‌عنوان فهرستی از مشخصات دستگاه جدا شده با نقطه ویرگول مشخص کنید testDevices="model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"یا می توانید مسیر فایلی را که حاوی لیستی از مشخصات دستگاه جدا شده با نقطه ویرگول است مشخص کنید: testDevicesFile="/path/to/testDevices.txt" |
testUsername | نام کاربری برای ورود خودکار که در طول آزمایش استفاده می شود. |
testPassword یا testPasswordFile | رمز ورود خودکار برای استفاده در طول تست. یا می توانید مسیر یک فایل متنی ساده حاوی رمز عبور را مشخص کنید: testPasswordFile="/path/to/testPassword.txt" |
testNonBlocking | تست ها را به صورت ناهمزمان اجرا کنید. برای دریافت نتایج تست خودکار به کنسول FIREbase مراجعه کنید. |
testCases یا testCasesFile | فهرستی از شناسه‌های مورد آزمایشی جدا شده با کاما برای اجرای آزمایش‌های خودکار مبتنی بر هوش مصنوعی: testCases: "load-app,play-the-first-level"یا، می‌توانید مسیر یک فایل متنی ساده حاوی فهرستی با کاما یا خط جدید جدا شده از شناسه‌های مورد آزمایشی را مشخص کنید: testCasesFile: "/path/to/test-case-ids.txt" |
برای استفاده از ویژگی عامل آزمایش برنامه، باید حداقل یک دستگاه آزمایشی و یک شناسه مورد آزمایشی را مشخص کنید. شناسه های مورد آزمایشی را می توان در صفحه Test Cases کنسول Firebase پیدا و دانلود کرد. برای اطلاعات بیشتر درباره شروع کار با fastlane و روش‌های مختلف برای پیکربندی توزیع، به توزیع برنامه‌های Android برای آزمایش‌کنندگان با استفاده از fastlane مراجعه کنید.
در یک مسیر ./fastlane/Fastfile ، یک بلوک firebase_app_distribution اضافه کنید. از پارامترهای زیر برای پیکربندی توزیع خود بر روی ویژگی عامل تست برنامه استفاده کنید:
| پارامترهای firebase_app_distribution | |
|---|---|
test_devices یا test_devices_file | دستگاه‌های آزمایشی که می‌خواهید بیلدها را در ویژگی عامل آزمایش برنامه توزیع کنید. می‌توانید دستگاه‌های آزمایشی را به‌عنوان فهرستی از دستگاه‌های آزمایشی جدا شده با نقطه ویرگول مشخص کنید: test_devices: "model=shiba, version=34, locale=en, orientation=portrait;model=b0q, version=33, locale=en, orientation=portrait"یا، می‌توانید مسیر یک فایل متنی ساده حاوی فهرستی از دستگاه‌های آزمایشی جدا شده با نقطه ویرگول را مشخص کنید: test_devices_file: "/path/to/test-devices.txt" |
test_username | نام کاربری برای ورود خودکار که در طول آزمایش استفاده می شود. |
test_password یا test_password_file | رمز ورود خودکار برای استفاده در طول تست. یا می توانید مسیر یک فایل متنی ساده حاوی رمز عبور را مشخص کنید: test_password_file: "/path/to/test-password.txt" |
test_non_blocking | تست ها را به صورت ناهمزمان اجرا کنید. برای دریافت نتایج تست خودکار به کنسول Firebase مراجعه کنید. |
--test_case_ids یا --test_case_ids_file | فهرستی از شناسه‌های مورد آزمایشی جدا شده با کاما برای اجرای آزمایش‌های خودکار مبتنی بر هوش مصنوعی: --test_case_ids: "load-app,play-the-first-level"یا، می‌توانید مسیر یک فایل متنی ساده حاوی فهرستی با کاما یا خط جدید جدا شده از شناسه‌های مورد آزمایشی را مشخص کنید: --test_case_ids_file: "/path/to/test-case-ids.txt" |
نتایج آزمایش خود را اشکال زدایی کنید
اگر نتایج آزمون شما با آنچه انتظار داشتید متفاوت است، می‌توانید با استفاده از دکمه Show agent view در زیر مشاهده جزئیات در صفحه نتایج آزمایش، آزمون خود را اشکال زدایی کنید. نمای نماینده عناصر روی صفحه را به شما نشان می‌دهد که عامل تست برنامه هنگام استفاده از اطلاعات دسترس‌پذیری برنامه قادر به شناسایی آن‌ها بوده است. اگر می‌خواهید نگاه دقیق‌تری به آنچه که نماینده دیده است بیندازید، می‌توانید آن اطلاعات را از منوی سرریز عمل دانلود کنید.
همچنین می‌توانید از دکمه مشاهده مصنوعات در صفحه نتایج آزمایش برای مشاهده همه ویدیوها، گزارش‌ها و سایر مصنوعات ابری برای نتایج آزمایش خود استفاده کنید.
مسائل و محدودیت های شناخته شده
پیش نمایش عامل تست برنامه دارای محدودیت های شناخته شده ای است:
- از آنجا که عامل تست برنامه از هوش مصنوعی مولد برای آزمایش برنامه شما استفاده می کند، گاهی اوقات اقدامات متفاوتی انجام می دهد در حالی که همچنان دستورالعمل های یکسانی را دنبال می کند.
- عامل تست برنامه فقط از اقدامات زیر پشتیبانی می کند: ضربه بزنید، متن را وارد کنید، به بالا بروید، پایین بروید و منتظر بمانید.
- عامل تست برنامه در اجرای آزمایش‌هایی که فقط شامل یک مرحله هستند مشکل دارد که انجام آن اقدامات زیادی را انجام می‌دهد. زمانی که وظایف پیچیده به چند مرحله کوتاه‌تر تقسیم می‌شوند، عملکرد بهتری دارد.
- عامل آزمایش برنامه گاهی اوقات برای نمایش سایر عناصر خارج از صفحه نمایش نمی‌رود. این بیشتر زمانی اتفاق می افتد که هیچ نشانه بصری از قابلیت اسکرول وجود نداشته باشد. به عنوان یک راه حل، می توان از فیلد "اشاره ها" برای پیشنهاد اسکرول استفاده کرد.
- عامل تست برنامه گاهی اوقات در شمارش مشکل دارد، به عنوان مثال انجام یک عمل به تعداد دفعات مشخص.
سهمیه های آزمایشی
در طول پیش‌نمایش، تست‌های هدایت‌شده با هوش مصنوعی بدون هیچ هزینه‌ای در محدوده سهمیه ارائه می‌شوند. حد پیش فرض سهمیه 100 آزمون در ماه است.
توجه داشته باشید که اگر چندین مورد آزمایشی را انتخاب کنید یا همان مورد آزمایشی را روی چندین دستگاه اجرا کنید، این به عنوان چندین آزمایش به حساب می‌آید. به عنوان مثال، اگر 2 مورد تست را روی 2 دستگاه اجرا کنید، در مجموع 4 تست محاسبه می شود.
برای افزایش سهمیه خود به بیش از حد پیش‌فرض، با پشتیبانی Firebase تماس بگیرید.