О развертывании Remote Config

В этом руководстве представлена информация о ключевых концепциях, связанных с развертыванием Remote Config , чтобы вы могли:

Понять членство в группе развертывания

Когда вы создаете новый выпуск и назначаете процент, Firebase помещает такую же по размеру часть вашей аудитории в контрольную группу для получения точных результатов при сравнении производительности включенной функции, что приводит к получению следующих групп.

  • Включено : пользовательские устройства, назначенные в эту группу, получают значение, которое вы настраиваете при развертывании.
  • Управление : Пользовательские устройства, назначенные в эту группу, получают значение, которое они в противном случае получили бы от Remote Config , а не значение развертывания.
  • Не назначено: пользовательские устройства в этой группе получают значение, которое они в противном случае получили бы от Remote Config , но не используются в результатах сравнения развертываний.

То есть, если вы распространите действие на 2% своих пользователей, они будут добавлены в группу «Включено», а еще 2% ваших пользователей будут добавлены в контрольную группу, которая используется для сравнения. 96% ваших пользователей останутся в группе «Неназначено».

Такой подход обеспечивает справедливое сравнение производительности пользователей и устройств, получивших ваше развертывание, и тех, кто его не получил, и позволяет вам эффективно определить успешность или неудачу развертывания на странице результатов развертывания .

Назначение групп развертывания происходит одинаково на всех этапах развертывания. То есть, если в рамках одного развертывания уменьшить процент до 0%, все пользователи вернутся к получению значения параметра, указанного в шаблоне Remote Config . Если впоследствии вы решите увеличить процент развертывания, пользователи, входившие в предыдущие группы Enabled или Control, вернутся в группу, которая им была изначально назначена, и получат значения, соответствующие этим группам.

Когда вы убедитесь, что ваш релиз прошел успешно, и решите полностью запустить его для 100% целевых пользователей, Firebase больше не будет использовать контрольную группу, а все целевые пользователи и устройства получат значение развертывания.

Когда следует использовать развертывание, а когда A/B-тестирование?

Развертывания Remote Config и A/B Testing подходят для немного разных вариантов использования и могут использоваться взаимодополняющим образом.

Развёртывания — это постепенные релизы, которые часто используются для предоставления новой функции определённой группе пользователей. Вы можете настроить таргетинг на пользователей из определённой страны или пользователей определённой версии вашего приложения. Используйте развёртывания для снижения рисков и тестирования новых функций в реальных условиях с строгим контролем, чтобы оценить их эффективность. Вы также можете отслеживать работу своих внутренних служб с учётом дополнительной нагрузки, создаваемой новой функцией, и ориентировочное использование, чтобы убедиться в масштабируемости изменений перед выпуском для более широкой аудитории.

Развертывания являются отличными инструментами для ситуаций, когда вы внедряете новые функции, которые существенно меняют функциональность, изменения, которые могут привести к непредсказуемым результатам, или изменения, которые могут повлиять на вашу внутреннюю инфраструктуру, службы или внешние API.

A/B Testing позволяет вам представить несколько версий функции или элемента приложения, например, обновить внешний вид пользовательского интерфейса, изменить рекламный текст или уровень сложности игры. Затем вы можете представить пользователям различные варианты, чтобы узнать, какой вариант даёт лучшие результаты на основе выбранных вами показателей (например, вовлечённости пользователей, количества кликов по рекламе и дохода).

Используйте A/B Testing для принятия решений на основе данных, оптимизации и понимания предпочтений пользователей. Оно идеально подходит в ситуациях, когда у вас есть несколько сопоставимых вариантов и очень конкретные цели. Например, A/B Testing подходит для изменений, когда вы хотите улучшить приложение для улучшения определённого показателя, например, для проверки того, какое размещение баннерной рекламы принесёт больше кликов.

Также рекомендуется объединить развёртывания Remote Config и A/B Testing в рамках общей стратегии: сначала проведите A/B-тестирование с ограниченной группой пользователей, чтобы определить вариант, дающий оптимальные результаты по вашим ключевым показателям. Затем, после того как A/B Testing определит лидера , выполните развёртывание с победившим вариантом. Отслеживайте его стабильность и ключевые показатели по мере постепенного увеличения числа пользователей, охваченных тестированием, и, убедившись в его эффективности, разверните его до 100%.

Понять результаты внедрения

После публикации обновления вы должны увидеть результаты практически сразу.

Просмотреть результаты можно несколькими способами:

  • На странице «Параметры» разверните параметр, который вы настроили для развертывания, и под развертыванием нажмите «Просмотреть результаты» .
  • На странице «Развертывания» щелкните имя развертывания.

Селектор приложений в верхней части страницы результатов позволяет выбрать представления для конкретных приложений. Результаты разделены на несколько разделов:

  • Раздел «Сводка » отображает настроенный процент развёртывания и предоставляет возможность откатить или изменить развёртывание. В развёрнутом виде он отображает обзор конфигурации развёртывания и историю изменений .

  • Раздел «Пользователи» , в котором отображается количество уникальных установок приложения, которые получили шаблон развертывания в следующих группах:

    • Включено: количество экземпляров приложения, соответствующих целевому условию развертывания и получивших значение развертывания.
    • Контроль: Количество экземпляров приложения, соответствующих целевому условию развертывания и получивших неизмененное значение.
    • Цель : расчетное общее количество экземпляров, соответствующих условию, заданному вами при развертывании, которые должны получить либо развертывание, либо неизмененное значение.

    Дополнительную информацию можно найти в статье «Понимание членства в группе развертывания» .

  • Разделы Crashlytics и Analytics , в которых отображаются сравнительные данные для групп «Включено» и «Контроль». Вы можете отфильтровать собранные данные по следующим параметрам : «Последние 24 часа» , «С момента последней публикации » или «Последние 7 дней» . «Последние 24 часа» — это представление по умолчанию.

Результаты Crashlytics для внедрений

Вы можете увидеть общее количество сбоев , нефатальных сбоев и ошибок ANR , произошедших во время развёртывания. Каждая категория результатов отображает столбчатую диаграмму, сравнивающую исходные итоговые значения для пользователей с включенными и контролируемыми параметрами , соответствующих условиям развёртывания.

  • Сбои: показывает количество и процент сбоев, а также количество уникальных пользователей, столкнувшихся со сбоями, для групп «Включено» и «Контроль».
  • Нефатальные ошибки: показывает количество и процент нефатальных ошибок, количество уникальных пользователей, столкнувшихся с нефатальными ошибками.
  • Ошибки ANR (только для приложений Android): показывает количество и процент событий «Приложение не отвечает», а также количество уникальных пользователей, столкнувшихся с одним или несколькими ошибками ANR.

Для получения более подробной информации о сбоях нажмите «Подробнее» в Crashlytics . Откроется страница Crashlytics с активным фильтром для развёртывания, результаты которого вы проверяли. Результаты развёртывания на странице Crashlytics содержат данные обо всех пользователях, когда-либо подвергавшихся воздействию соответствующего варианта: «Включённый» или «Управляющий» . Вы можете просмотреть сбои контрольной группы, сбои включённой группы или оба варианта.

Результаты Google Analytics для внедрений

В разделе результатов развёртывания Google Analytics подробно и в графическом виде сравниваются метрики Analytics для всех пользователей, когда-либо входивших в группы «Включено» или «Контроль». Доступны три метрики:

  • Общий доход: показывает общую сумму дохода, включая доход от рекламы и доход от покупок, в долларах США. Вы можете отфильтровать результаты, чтобы отобразить их только по доходу от рекламы или по доходу от покупок.
  • Общее количество конверсий: показывает общее количество всех событий конверсии. Вы можете отфильтровать результаты по конверсии, которую хотите выделить.
  • Общее время взаимодействия: показывает общее время взаимодействия, которое ваши пользователи провели с одним из вариантов развёртывания. Общее время взаимодействия отображается в формате «часы:минуты:секунды». Например, 01:31:28. На графике представлены данные за период времени, выбранный вами над разделом Crashlytics .

Следующие шаги