Eksportowanie danych z Crashlytics do BigQuery

Możesz wyeksportować dane Firebase Crashlytics do formatu BigQuery. Gdy dane znajdą się w BigQuery, możesz analizować je za pomocą zapytań SQL, tworzyć wizualizacje danych i niestandardowe panele, a nawet eksportować dane do innych usług.

Na tej stronie dowiesz się, jak skonfigurować eksportowanie danych o sesjach Crashlytics i (opcjonalnie) Firebase do BigQuery.

Konfigurowanie eksportu do BigQuery

  1. W konsoli Firebase otwórz stronę Integracje.

  2. Na karcie BigQuery kliknij Połącz.

  3. Postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby skonfigurować eksportowanie do BigQuery, w tym te opcje:

Odłączenie od BigQuery spowoduje zakończenie wypełniania odpowiednich zbiorów danych w BigQuery.

Pamiętaj:

  • Wszystkie dane wyeksportowane już do usługi BigQuery będą przechowywane przez dozwolony czas, a opłaty za przechowywanie i zapytania mogą być nadal naliczane. Aby uniknąć dalszych opłat, możesz ręcznie usunąć zbiory danych.

  • Jeśli przechowujesz dane BigQuery w innych usługach, mogą Cię obowiązywać inne warunki przechowywania danych.

Możesz odłączyć usługę BigQuery na poziomie projektu Firebase, na poziomie usługi lub na poziomie aplikacji w przypadku konkretnej usługi.

Aby odłączyć konto od BigQuery:

  1. W konsoli Firebase otwórz stronę Integracje.

  2. Na karcie BigQuery kliknij Zarządzaj.

  3. Możesz odłączyć konkretną usługę lub konkretne aplikacje w ramach danej usługi.

    Aby całkowicie odłączyć projekt Firebase, znajdź przycisk u dołu strony.

  4. Gdy pojawi się komunikat, potwierdź, że chcesz zatrzymać eksportowanie.


Co się stanie, gdy włączysz eksportowanie?

  • Firebase eksportuje dane z aplikacji połączonych z BigQuery.

    • Podczas konfiguracji domyślnie wszystkie aplikacje w projekcie są połączone z BigQuery, ale możesz nie łączyć konkretnych aplikacji podczas konfiguracji.

    • Wszystkie aplikacje, które dodasz później do projektu Firebase, zostaną automatycznie połączone z BigQuery.

    • W każdej chwili możesz określić, które aplikacje mają eksportować dane.

  • Firebase eksportuje dane do lokalizacji zbioru danych wybranej podczas konfiguracji.

    • Ta lokalizacja dotyczy zarówno zestawu danych Crashlytics, jak i zestawu danych sesji Firebase (jeśli eksportowanie danych o sesjach jest włączone).

    • Ta lokalizacja dotyczy tylko danych eksportowanych do BigQuery i nie ma wpływu na lokalizację danych przechowywanych do użytku w panelu Crashlytics w konsoli Firebase ani w Android Studio.

    • Po utworzeniu zbioru danych nie można zmienić jego lokalizacji. Możesz natomiast skopiować zbiór danych do innej lokalizacji lub go ręcznie przenieść przez ponowne utworzenie tego zbioru w innej lokalizacji. Więcej informacji znajdziesz w artykule Zmiana lokalizacji istniejących eksportów.

  • Firebase konfiguruje codzienne synchronizacje danych zbiorczych z BigQuery.

    • Po połączeniu z BigQuery eksport początkowej partii danych może potrwać do 48 godzin.

    • Synchronizacja dzienna odbywa się raz dziennie, niezależnie od zaplanowanego eksportu, który możesz skonfigurować w BigQuery. Pamiętaj, że czas i czas trwania zadania synchronizacji mogą się zmieniać, dlatego nie zalecamy planowania operacji ani zadań podrzędnych na podstawie konkretnego czasu eksportu.

  • Firebaseeksportuje kopię Twoich dotychczasowych danych do BigQuery.

    • W przypadku każdej połączonej aplikacji ten eksport obejmuje tabelę zbiorczą zawierającą dane z codziennej synchronizacji.

    • Możesz ręcznie zaplanować uzupełnianie danych w tabeli zbiorczej z okresu do 30 dni wstecz lub z najnowszego dnia, w którym włączono eksportowanie do BigQuery (w zależności od tego, która data jest nowsza).

    Pamiętaj, że jeśli włączysz eksportowanie danych Crashlytics przed połową października 2024 r., możesz też uzupełnić dane z okresu 30 dni przed dniem, w którym włączysz eksportowanie.

  • Jeśli włączysz eksportowanie strumieniowe do BigQuery, Firebase wykona te czynności:

    • Każda połączona aplikacja będzie też mieć własną tabelę w czasie rzeczywistym zawierającą stale aktualizowane dane (oprócz tabeli zbiorczej aplikacji do codziennego eksportu zbiorczego).

    • Po włączeniu przesyłania strumieniowego może minąć do godziny, zanim dane zaczną być przesyłane strumieniowo.


Korzyści z eksportu strumieniowego do BigQuery

Domyślnie dane są eksportowane do BigQuery w ramach codziennego eksportu zbiorczego. Możesz też przesyłać strumieniowo dane Crashlytics i sesje Firebase w czasie rzeczywistym za pomocą strumieniowania BigQuery. Dane przesyłane strumieniowo możesz wykorzystywać do dowolnych celów, które wymagają danych na żywo, np. do prezentowania informacji w panelu na żywo, obserwowania wdrożenia na żywo lub monitorowania problemów z aplikacją, które wywołują alerty i niestandardowe przepływy pracy.

Gdy włączysz eksport strumieniowy do BigQuery, będziesz mieć też tabele w czasie rzeczywistym (oprócz tabel wsadowych). Oba typy tabel mają ten sam schemat zbioru danych, ale istnieją między nimi pewne ważne różnice:

Tabela zbiorcza Tabela Czas rzeczywisty
  • Dane są eksportowane raz dziennie.
  • Zdarzenia są trwale przechowywane przed zapisaniem ich w BigQuery.
  • Dane mogą być uzupełniane do 30 dni wstecz*.
  • Dane są eksportowane w czasie rzeczywistym.
  • Wypełnianie wsteczne nie jest dostępne.

Tabela zbiorcza idealnie nadaje się do długoterminowej analizy i identyfikowania trendów w czasie, ponieważ trwale przechowujemy zdarzenia przed ich zapisaniem i możemy je uzupełniać w tabeli przez maksymalnie 30 dni*. Gdy zapisujemy dane w tabeli czasu rzeczywistego, od razu zapisujemy je w BigQuery, dlatego idealnie nadaje się ona do paneli na żywo i alertów niestandardowych. Te 2 tabele można połączyć za pomocą zapytania o łączenie, aby uzyskać korzyści z obu tych rozwiązań.

Domyślnie tabela czasu rzeczywistego ma czas ważności partycji wynoszący 30 dni. Aby dowiedzieć się, jak to zmienić, zapoznaj się z sekcją Ustawianie wygaśnięcia partycji w dokumentacji BigQuery.

* Szczegółowe informacje o obsłudze wypełniania znajdziesz w artykule Uaktualnianie do nowej infrastruktury eksportu.


Ceny i BigQuery piaskownica

Jeśli Twój projekt Firebase korzysta z bezpłatnego abonamentu Spark, możesz używać BigQuerypiaskownicy, która zapewnia bezpłatny dostęp do BigQuery. Informacje o BigQuerypiaskownicy i jej możliwościach znajdziesz w artykule Korzystanie z BigQuerypiaskownicy.

Jeśli Twój projekt Firebase korzysta z abonamentu Blaze (płatność według zużycia zasobów), możesz używać wszystkich funkcji BigQuery. Korzystanie z BigQuery podlega BigQuerycennikowi, który obejmuje ograniczone bezpłatne użytkowanie.


Przejście na nową infrastrukturę eksportu w przypadku BigQuery

W połowie października 2024 r. Crashlytics wprowadziła nową infrastrukturę do zbiorczego eksportowania danych Crashlytics do BigQuery.

  • Jeśli włączysz eksportowanie zbiorcze po październiku 2024 r., Twój projekt Firebase będzie automatycznie korzystać z nowej infrastruktury eksportowania. Nie musisz nic robić.

  • Jeśli eksportowanie zbiorcze zostało włączone przed październikiem 2024 r. lub w tym miesiącu, zapoznaj się z informacjami w artykule „Jak przejść na nową infrastrukturę eksportowania danych do BigQuery?”, aby sprawdzić, czy musisz podjąć jakieś działania.


Co dalej?