Testy A/B aplikacji mobilnych w Google Play

Eksperymenty Google Play pozwalają ocenić, która wersja opisu, grafiki, ikony aplikacji mobilnej sprawdza się lepiej i generuje większą ilość pobrań. Jest to jedna z odmian testowania A/B, a całość procesu odbywa się w konsoli Google Play dla programistów. Możliwe jest prowadzenie testów dotyczących jednego elementu, jak i wielu jednocześnie, na wybranych przez Ciebie rynkach.

Testy A/B aplikacji mobilnych to jedna z najczęściej używanych metod zwiększania wydajności aplikacji w sklepach z aplikacjami. Jest to także element optymalizacji widoczności aplikacji w storach, czyli tzw. ASO. Dzięki wiedzy, które elementy mają wpływ na konwersję, jesteś w stanie lepiej je dostosowywać dla Twojej grupy odbiorców.

Google Play oferuje funkcję testów A/B, które można samodzielnie skonfigurować w konsoli. Do tego wymagany będzie najwyższy poziom dostępu do konsoli dla programistów. Docelowo, wyższy współczynnik konwersji to więcej instalacji z tego samego poziomu ruchu, tym samym większy ruch w aplikacji.

Rodzaje testów aplikacji w Google Play

W nowej wersji konsoli Google Play możesz ustawić dwa rodzaje eksperymentów:

1. Globalny, czyli domyślny. Ten rodzaj testu pozwala na testowanie tylko materiałów wizualnych, takich jak zrzuty ekranów, ikony, czy materiały video. W tej wersji testu nie sprawdzisz różnych wariantów opisów! Dodatkowo możesz mieć tylko jeden aktywny test globalny na koncie. Wszystkie eksperymenty w tym rodzaju dotyczą tylko języka domyślnego aplikacji mobilnej. W związku z tym, jeśli używasz kreacji również na inne rynki, to użytkownicy tych rynków, nie zobaczą eksperymentu.
2. Lokalny. Ten typ eksperymentu może testować wszystkie elementy aplikacji w storze. Można jednocześnie skonfigurować aż pięć aktywnych testów dla różnych lokalizacji.

Jakie elementy ASO możesz testować w ramach eksperymentów Google Play?

• Ikonę,
• grafiki,
• zrzuty ekranu,
• materiał video,
• krótki opis (dostępny w lokalnych eksperymentach aplikacji),
• pełny/długi opis (dostępny w lokalnych eksperymentach aplikacji).

Niestety, obecnie nie można testować nazw aplikacji za pomocą eksperymentów Google Play. 

Jak skonfigurować test A/B aplikacji mobilnej?

Aby przeprowadzić test, musisz najpierw zalogować się na swoje konto Google Play Console. Pamiętaj, że Twoje konto musi posiadać uprawnienia do tworzenia eksperymentów. Po wybraniu aplikacji mobilnej przejdź do zakładki Rozwój -> Eksperymenty dotyczące strony aplikacji. Następnie kliknij przycisk Utwórz eksperyment.

Na ekranie z utworzeniem eksperymenty skonfigurujesz:

• jego nazwę, głównie dla celów statystycznych,
• informację o aplikacji (zazwyczaj będziesz posiadał jedną główną),
• typ eksperymentu: domyślny (tylko elementy wizualne) lub globalny.

Kolejny krok to ustawienia eksperymentu. Pierwszy elementy dotyczy grupy badawczej, gdzie masz do wyboru test na wszystkich użytkownikach, bez względu na ich jakość. Drugi (i to nowość w konsoli Google Play), który bierze pod uwagę tylko tę grupę użytkowników, która zachowała aplikację na urządzeniu przez co najmniej jeden dzień. Zasadniczo ma to wykluczyć przypadkowych użytkowników i mało jakościowy ruch. Mógłby on mieć zły wpływ na jakość wyników.

Następnie wybierz liczbę testowanych wariantów (max. do 3 wersji alternatywnych). Zauważ, że przy każdej opcji system na bieżąco “estymuje” liczbępotrzebnych nowych użytkowników, aby wynik eksperymentu był wiarygodny.

Opcja odbiorców eksperymentu pozwoli ustalić odsetek użytkowników odwiedzających stronę aplikacji, którzy zamiast aktualnie używanych informacji zobaczą wariant eksperymentalny. Użytkownicy ci zostaną podzieleni po równo pomiędzy wszystkie warianty eksperymentalne.

Minimalny wykrywalny efekt to wymagana procentowa różnica między oryginałem a testowaną wersją, która pozwala uznać, że test daje efekt pozytywny. Google Play sugeruje tutaj minimum 2,50%. Im mniejszy ten wskaźnik, tym większy rozmiar próby jest wymagany, aby osiągnąć określony przedział ufności. Dzieje się tak, ponieważ potrzeba więcej jakościowych danych, aby wykryć mniejszą zmianę współczynnika konwersji między grupą kontrolną a oryginałem.

Na koniec pozostaje ustalenie poziomu pewności, czyli procentowego wskaźnika, który określi zaufanie do eksperymentu. Im większej pewności oczekujesz, tym więcej użytkowników musisz zebrać. Wydaje się jednak, że 90% przedział ufności jest zdecydowanie wystarczający w większości przypadków (1/10 wyników testu może wtedy dać wynik fałszywie pozytywny).

Podczas konfiguracji testu Google Play oblicza wymaganą liczbę nowych użytkowników niezbędnych do ukończenia eksperymentu. Dzięki temu widzisz, ile dni potrzebuje test na zebranie danych. Dane do kalkulatora to po prostu dane historyczne z ostatnich dni i tygodni.

Na ostatnim etapie pozostaje już tylko skonfigurowanie wariantów do testowania. Możesz zaimportować materiały graficzne oraz dostosować nazwy poszczególnych wariantów, aby łatwiej je później ocenić.

Po uruchomieniu eksperymentu będą widoczne dane odnośnie testowanych wariantów. Wyniki prezentowane są zgodnie z przyjętym przedziałem ufności, a przycisk zastosuj pozwala szybko wybrać najlepszą wersję i wdrożyć ją jako docelową.

Zaprojektuj nową strategię rozwoju dla swojej aplikacji mobilnej!

Dla naszego partnera Blinkee zdobyliśmy 11 000 nowych i zaangażowanych użytkowników aplikacji zdobywając pozycję lidera w Polsce.

Porozmawiajmy!

Dobre praktyki do testowania widoków aplikacji mobilnych

Na początku procesu testowania dobrze jest ustalić celu testu – ułatwia to projektowanie eksperymentu. Testowanie jednego atrybutu naraz (na przykład tylko ikony, albo tylko zrzutów ekranu)  pomaga dokładnie zrozumieć, który element wpłynął na zmianę. Gdy będziesz testował wiele elementów jednocześnie, nigdy nie nabierzesz pewności, jaki wpływ na wynik miały poszczególne składowe.

 Warto w procesie testowania przejść po kolei przez wszystkie elementy strony aplikacji, z priorytetowym potraktowaniem elementów graficznych. Ustawienie czasu trwania eksperymentu na co najmniej 7 dni pozwoli na pozyskanie danych z zachowań użytkowników zarówno podczas tygodnia pracy jak i weekendu, które mogą się znacząco różnić.

Warto również pokazywać test wielu odbiorcom, co najmniej 50% – większa grupa pozwoli na szybsze uzyskanie rezultatów. O ile pierwsze testy mogą dotyczyć znaczących zmian graficznych, wyniki można dalej udoskonalać, testując na przykład wezwanie do akcji na pozornie podobnych grafikach.

Analiza wyników z eksperymentami Google Play

W procesie testowania warto pamiętać o sezonowości. Google Play ma algorytmy dobre statystyczne, ale tylko Ty możesz zrozumieć, dlaczego określony wariant działa lepiej lub gorzej niż aktualna wersja.

Jeśli użyjesz wielu różnych wariantów testowych będą one otrzymywać ruch z różnych źródeł, kampanii, czy słów kluczowych. Jeśli w trakcie trwania testu znacząco zmienisz źródła ruchu, włączysz nowe media, zmienisz widoczność aplikacji, wpłynie to na wyniki końcowe.

Testy Google Play, podobnie jak eksperymenty Google Ads mogą także dawać fałszywe wyniki. Jak temu zaradzić? Najlepszym sposobem na sprawdzenie jest przeprowadzenie testu A/B/B. W takim przypadku, jeśli oba warianty B działają tak samo, możesz polegać na wynikach. Jeśli natomiast istnieje duża rozbieżność między obydwoma wariantami B, to prawdopodobnie coś jest nie tak (zbyt mała próbka danych, wpływ losowości, trendy etc.).

Musisz także pamiętać, że większość testów daje negatywne wyniki. Nawet jeśli nie zastosujesz rekomendacji Google Play, nie stracisz zainwestowanego czasu. Zrozumiesz, co nie zadziałało, dzięki czemu kolejne testy będą zaprojektowane inaczej.

Jeśli zastosujesz wyniki testów na swojej stronie z aktualnymi informacjami o sklepie, pamiętaj o monitorowaniu wyników w kolejnych okresach. To, że w trakcie testu wynik wyszedł pozytywnie nie oznacza, że tak będzie zawsze. Mogą np. na rynku pojawić się konkurenci, którzy przejmą dotychczasowych ruch.

Ograniczenia eksperymentów Google Play

Eksperymenty wersji aplikacji wiążą się z pewnymi ograniczeniami, które warto znać, aby lepiej zrozumieć mechanikę, ale też interpretować wyniki:

• Nie możesz wybrać źródeł ruchu do testów w Google Play – w każdym przypadku konsola będzie wykorzystywać cały spływający ruch (warto więc inaczej interpretować wyniki, jeśli zachodzą duże zmiany w źródłach ruchu do aplikacji).
• Dane w testach nie pokazują wartości generowanych przez użytkowników, opierają się tylko na instalacjach, co jest dużym wyzwaniem przy audytach ux aplikacji mobilnych.
• Jeśli planujesz przeprowadzić wiele testów i wariantów testów z różnymi atrybutami, nie będziesz miał możliwości zobaczyć jaki wpływ miały poszczególne składowe (co mocno obniża jakość takiego eksperymentu).

Testowanie wariantów aplikacji mobilnej

Google Play udostępnia proste, przejrzyste i przyjemne w konfiguracji narzędzie do eksperymentowania z różnymi wariantami aplikacji w storach. Jednocześnie zapewnia kalkulator statystyczny, który pokazuje niezbędną ilość danych potrzebnych do uznania testu na wiarygodny. Trudno popełnić obecnie błąd i wyciągnąć zbyt wcześnie wnioski dotyczące skuteczności testowanych wariantów. Jako element marketingu aplikacji, testowanie powinno być stałym elementem procesu ulepszania widoczności aplikacji.

Zawsze warto rozpoczynać od twardej hipotezy i zaplanowania odpowiedniej liczby czasu na jeden test. Mając to na uwadze warto testować duże zmiany, zamiast skupiać się na niewielkich obszarach, pojedynczych kolorach czy wezwaniach do działania. Istotne będą także rynki, które mają wyższe współczynniki konwersji, ponieważ tam testy będą trwały krócej. W przypadku rynków docelowych, które nie mają dużego przypływu nowych użytkowników możesz na przykład użyć kampanii płatnych, aby zwiększyć liczbę próbek. Nawet jeśli uzyskasz pozytywny wynik w krótkim czasie, poczekaj jeszcze kilka dni, aby go potwierdzić.