Photomath je brzorastuća EdTech tvrtka čija je istoimena mobilna aplikacija #1 na svijetu za učenje matematike. Uz pomoć napredne tehnologije strojnog učenja, aplikacija skenira i potom rješava i objašnjava matematičke zadatke, bilo tiskane, bilo one napisane rukom.

Od svog nastanka 2014. godine, ova višestruko nagrađivana aplikacija kontinuirano se nalazi pri vrhu ljestvice edukacijskih aplikacija u App Storeu i Google Play Storeu, a Apple ju je nedavno proglasio aplikacijom dana. Broj preuzimanja aplikacije je premašio 220 milijuna globalno, a aktivno ju koristi desetine milijuna korisnika u svijetu svaki mjesec, čime je Photomath postao najpopularnija mobilna aplikacija iz Hrvatske i jedna od najpopularnijih obrazovnih aplikacija svih vremena. Photomath tim u Zagrebu je narastao na preko 100 zaposlenih i više od 150 studenata koji rade na kreiranju sadržaja, a imaju i tim od desetak ljudi u Silicijskoj dolini u USA. Misija Photomatha je demokratizirati edukaciju korištenjem umjetne inteligencije i softverski generiranog edukacijskog sadržaja.

Što su AB testovi?

Photomath je aplikacija s oko 5 milijuna aktivnih korisnika dnevno, a sa tolikim brojem korisnika dolazi i velika odgovornost za osiguravanjem stabilnog korisničkog iskustva. U Photomathu se prilikom dodavanja novih mogućnosti u aplikaciju ili kod izmjene postojećeg korisničkog iskustva promjenama pristupa vrlo pažljivo. Veće promjene u aplikaciji nisu odmah dostupne svim korisnicima nego se promjena prvo omogućava samo jednom dijelu korisnika. Određeno vrijeme se prati korisničko ponašanje te, kada smo sigurni da korisničko iskustvo nije narušeno, promjena se omogućava svim korisnicima.

Opisani postupak se zove A/B testiranje i, po definiciji, to je vrsta eksperimenta u kojoj se testira određena hipoteza na barem dvije korisničke skupine. U praksi to znači da se jednoj skupini korisnika prikazuje izmijenjeno korisničko iskustvo dok se drugoj skupini korisnika prikazuje originalno korisničko iskustvo. Eksperiment uglavnom može trajati po nekoliko tjedana, a kada podaci koji se mjere postanu statistički značajni, eksperiment se zaustavlja te počinje analiza.

Kod analize eksperimenta, usporedbom podataka dobivenih od svake korisničke grupe koja je sudjelovala u eksperimentu, dobivamo odgovor da li je originalna hipoteza bila istinita ili nije. Na temelju analize, odlučuje se hoće li promjena biti prihvaćena ili će se ostaviti originalno korisničko iskustvo.

A/B Testiranje u Photomathu

U nekom trenutku u Photomathu može biti pokrenuto i po nekoliko A/B testova samo na jednoj platformi. S aplikacijske strane to predstavlja određeni izazov jer inženjer koji radi na implementaciji A/B eksperimenta mora na jednom mjestu omogućiti prikaz više različitih sučelja ili osigurati drugačiji UX. Broj aktivnih eksperimenata također povećava kompleksnost implementacija zato sto se određeni eksperimenti ne smiju preklapati, tj. korisnici u jednom A/B eksperimentu ne bi nikada smjeli biti u nekom drugom aktivnom eksperimentu. Razlog tome je što u tim situacijama podaci za takve korisnike nisu valjani te nije moguće odrediti zbog kojeg eksperimenta je nastala moguća promjena u korisničkom ponašanju. Zato prilikom implementacije inženjer mora osigurati da je korisnik dodijeljen samo jednom A/B eksperimentu. Ovakav način razmišljanja prilikom implementacije je specifičan, no tijekom vremena smo izradili dobre prakse koje slijedimo kako bi efikasno i bez grešaka mogli pružali mogućnost dodavanja novih eksperimenata.

Kako ne bi sve ostalo samo na teoriji, prikazat ćemo dva A/B eksperimenta koji su bili provedeni u Photomathu.

A/B eksperiment za odabir imena animacijskih rješenja

U jednom od eksperimenata testirao se naziv animacijskog tipa rješenja i “Call To Action” (CTA) na kartici rješenja. Prijave za moguće kombinacije su bile otvorene za sve zaposlenike Photomatha. Na kraju se definiralo šest mogućih varijanti kao na slici i kontrolna grupa koja je zadržala trenutni naziv i CTA.

Nakon završetka eksperimenta zaključeno je da se korisnici više pretplaćuju kada je prikazan “Show Me How” CTA. Taj CTA se pojavljuje u dvije varijante te je između te dvije varijante varijanta 3 bila uspješnija. Varijanta 3 je u usporedbi s kontrolnom grupom povećala broj pretplatnika za preko 150%! Eksperiment je dodatno pokazao da promjena teksta na gumbu značajnije utječe na ponašanje korisnika nego promjena samog naziva kartice.

A/B Eksperiment pozicioniranja opcija pretplate

Za pristup plaćenom sadržaju Photomath nudi mjesečnu, polugodišnju i godišnju vrstu pretplate. Pozicija pretplata koja se nudi bila je sortirana prema vremenu. Hipoteza koja se testirala tijekom A/B eksperimenta je bila da će se broj korisnika koji kupuju godišnju pretplatu povećati ako se navedena pretplata pozicionira u sredini (kao na slici 2).

Kupnjom godišnje pretplate korisniku se povećava “Life Time Value” (LTV) tj. kupnjom godišnje pretplate, korisnik dulje ostaje pretplaćen. Rezultati eksperimenta su potvrdili hipotezu te je zaključeno kako korisnici češće kupuju opciju koja je istaknutija. Broj pretplatnika koji kupuju godišnju pretplatu se povećao za preko 15%, bez negativnih posljedica. Novi raspored pretplata je zatim primijenjen za sve korisnike.

Za svaki eksperiment definira se količina korisnika koja je raspodijeljena na odabrane varijante. Za definiranje slučajne grupe korisnika koji će sudjelovati u eksperimentu i distribuciju tih vrijednosti te za analizu podataka koristimo Firebase A/B Testing alat.

Firebase A/B Testing

Firebase je platforma koju je razvio Google u svrhu pružanja mogućnosti upotrebe raznovrsnih alata koje su potrebne mobilnim ili web aplikacija. U Photomathu koristimo niz dostupnih alata među kojima je i Firebase A/B Testing servis. To je alat koji se koristi za kreiranje i mjerenje rezultata eksperimenata.

Kod kreiranja eksperimenta potrebno je definirati skupinu korisnika koji će sudjelovati u A/B eksperimentu. Za definiranje skupine korisnika moguće je koristiti različite filtere poput verzije aplikacije, države, platforme, jezika uređaja ili aplikacije i još mnogo drugih. Na temelju tih filtera servis na slučajan način odabire korisnike koji će biti dio testa.

Nakon završetka eksperimenta, kada se utvrdi statistička značajnost i postoji pobjednička varijanta, promjene u varijanti je moguće primijeniti na sve korisnike.

Naravno, A/B testiranje ne bi bilo moguće na malom broju korisnika.

Ako želite čuti više o A/B testiranju ili o tome kakva je stabilnost Photomath aplikacije i što sve koristimo prilikom developmenta u application timu, pridružite nam se na sljedećem Photomath Talku, online meetupu koji će se održati u srijedu, 16. lipnja 2021. od 18 sati. Petar i Domagoj će opisati proces razvoja Photomath aplikacije na dvije vama već poznate platforme – iOS i Android. Upoznat će vas sa strukturom aplikacije provodeći vas kroz njezinu arhitekturu i tehnologije koje primjenjuju. Objasnit će kako izgleda release cycle kroz dinamiku rada s ostalim timovima te otkriti koje su zadaće i odgovornosti mobile developera.

Nakon predavanja koje će održati Domagoj i Petar, sudionici će moći postavljati pitanja te osvojiti Photomath poklon pakete. Sudjelovanje je besplatno uz prethodnu prijavu putem ove poveznice.

Petar Alilović, Android Koordinator

Senior Android inženjer i voditelj Android tima u Photomathu. Još tijekom studiranja radio je u IT agencijama i ima iskustva u dizajniranju i implementiranju softverskih rješenja. Nakon završenog fakulteta iskušao se i u podizanju svog startupa. Zavolio je rad na proizvodu i usmjerenost na najbolje moguće rješenje te je takvu kulturu pronašao u Photomathu. Android developmentom se počeo baviti dok je Android Jelly Bean verzija još bila popularna.

Domagoj Boroš, iOS Koordinator

Domagoj je prije šest godina bio student FER-a, a danas je voditelj iOS tima za razvoj Photomath iOS aplikacije. Kako? Njegova karijera započela je studentskim radom na verziji Photomath 2 na kojoj je uz iOS development prošao razvijanje i primjenu Core i ML tehnologija. Radom u Microblinku i Photomatu stekao je iskustvo u izradi i dizajnu aplikacijskih arhitektura i njegovog UI-a, ali i osvijestio svoju strast prema pixel perfekt UI i UX te Apple sustavima. Za njega iOS development nije samo posao već izazovno i zanimljivo iskustvo.

P.S. Domagoj je trenutno u potrazi za novim članom tima, Senior iOS Developerom, a više informacija o toj i drugim otvorenim pozicijama u Photomathu možete potražiti na njihovoj web stranici karijera.