Praviš AI startap u 2025? Ovo treba da znaš!

Generativna vještačka inteligencija je donela niz novih mogućnosti osnivačima startapa. Ukoliko ste među onima koji prave AI startap ili u svoj postojeći startap ugrađujete AI, čestitke - Stiv Blenk, poznati guru startap misli, bi rekao da niste unaprijed prevaziđeni.

Naravno nije svaki AI startap jednako dobar i interasantan. Da bismo dobili zaista interesantne rezultate, one koje će mušterije da plate, moramo da pružimo više vrijednosti nego što može da nam da vanila verzija nekog od AI proizvoda sa kojima ćaskamo. U tome nam mogu pomoći RAG i fine-tuning.

Zamislimo dva hipotetička primjera.

Rješenje: ChatTown je chatbot platforma kreirana da pomaže malim lokalnim firmama u odgovaranju na tipična pitanja korisnika - radno vrijeme, lokacija, osnovne usluge.

Problem: Pošto ChatTown koristi samo generalni LLM, chatbot često daje neprecizne odgovore kada su u pitanju specifičnosti, kao što su zalihe artikala ili sezonske ponude. Model nema uvid u aktuelne podatke, niti je dublje obučen u domenu lokalnog biznisa.

Rješenje: AdCreative generiše osnovne marketinške slogane i kratke tekstove za reklamne kampanje.

Problem: Bez fine-tuninga ili integracije sa nekom bazom podataka, tekstovi su generički i ne uzimaju u obzir brend "ton" ili aktuelne marketinške trendove. Korisnici nisu nezadovoljni u ranim fazama validacije, ali žele više personalizacije i relevantnosti da bi postali klijenti.

Ovakvi primjeri pokazuju da je "vanila" LLM potencijalno koristan za brzo testiranje ideja, ali može postati ograničavajući kada poželite dublju preciznost, ažuriranje u realnom vremenu ili konzistentan stil komunikacije vašeg brenda.

Da bismo otišli nivo dublje, na meniju imamo RAG i/li fine-tuning.

RAG je tehnika u kojoj veliki jezički model povezujemo sa eksternom bazom znanja, podacima na kojima model nije treniran, kojima nije imao pristup. Pijre generisanja odgovora, model "povuče" (preuzme) relevantne činjenice, dokumente ili podatke iz memorije - tehnički govoreći uglavnom iz vektorske baze ili specijalizovanog skladišta informacija. Tako obogaćen, model može da kreira odgovore koji su zapravo bolji od klot četbota i vrijedni naplaćivanja.

Aktuelnost podataka: S obzirom na to da se baza znanja redovno ažurira, RAG rešenja mogu da budu u toku sa najnovijim informacijama, a da se sam model ne trenira ponovo jer bi to bilo jako, jako skupo.

Finansijska efikasnost: Kad smo već na toj temi - treniranje ili fine-tuninga velikih jezičkih modela ume da bude izuzetno skupo i stoga je RAG dobro rješenje sa stanovišta novca, iako će možda biti skuplji za održavanje i sporiji u realnom vremenu.

Fine-tuning podrazumijeva uzimanje već istreniranog LLM-a (npr. ChatGPT-a 4o) koga dodatno obučimo na vrlo specifičnom skupu podataka.

To mogu biti dokumenti iz naše grane privredne delatnosti (npr. knjigovodstvo u RS i zakoni, pravilnici, mišljenja minastarstva koji određuju isto), interne baze korisničke podrške (stotine hiljada tiketa iz korisničke podrške) ili bilo koji drugi relevantan tekst.

Takav, "fino podešen" model onda stiče dublju ekspertizu i preciznost u niši. Jasno je da plaćamo više u novcu i vremenu, ali dobijamo i neke prednosti.

Specijalizovani rezultati: Dobro do-obučen model razume terminologiju i kontekst naše industrije ili brenda, stvarajući konzistentniji i kvalitetniji sadržaj.

Poboljšana preciznost: Stabilniji domeni ili tržišta koja se ne mjenjaju toliko brzo najviše profitiraju od fine-tuninga, jer se troškovi redovnog ažuriranja podataka mogu držati pod kontrolom.

Hajde da zamislimo par startapa da bismo bolje razumjeli ove koncepte.

Glavna usluga je brzo i precizno sažimanje sudskih odluka, pravnih spisa i stručnih izvještaja.

Zašto fine-tuning? Dok se pravni propisi mogu mjenjati, jezik i struktura pravnih tekstova ostaju u velikoj mjeri konzistentni. Fine-tuningna ogromnom korpusu pravnih tekstova omogućava visoku tačnost i pouzdanost.

Glavna usluga je prenos cijene usjeva u realnom vremenu, vremenske prognoze i tržišni trendovi za poljoprivrednike.

Zašto RAG? Poljoprivreda se oslanja na neprestano ažuriranje: od promena cijena na berzama do vremenskih uslova i izvještaja o zalihama. Dodavanje svježih podataka preko baze znanja čini RAG praktičnijim rješenjem od čestog ponovnog treniranja modela.

RAG

Podaci koji se često mjenjaju: Ako vaša vrijednost proističe iz aktuelnih informacija – npr. sportski rezultati, cijene akcija, vijesti – RAG obezbeđuje pristup najnovijim podacima.

Ograničen budžet: Fine-tuning velikih modela zahteva značajna sredstva. RAG je jeftiniji ako su potrebne česte izmene u bazi znanja.

Raznorodni izvori informacija: Ako se modeli oslanjaju na više eksternih izvora, RAG će elegantno objediniti te podatke u realnom vremenu.

Fine-tuning

Niša sa stabilnim podacima: Ako se vaše tržište ili tehnologija ne mjenjaju iz dana u dan, fine-tuning nudi dosljedniju i dublju preciznost.

Prepoznatljiv brend ili ton: U aplikacijama gde je važan "glas" ili stil (npr. mentalno zdravlje, edukacija, luksuzni brendovi), fine-tuning obezbeđuje konzistentnost.

Bogata interne baze podataka: Ako posjedujete vrijedan i jedinstven skup dokumenata, fine-tuning može biti izuzetna konkurentska prednost.

Kada želimo da se prebacimo sa RAG-a na fine-tuning:

Stabilizacija podataka: Ako se vremenom smanji promenljivost informacija (npr. industrija u zrelijoj fazi), fine-tuning može da poveća preciznost i kvalitet odgovora.

Veća specijalizacija: Kada vaš startap pređe na užu nišu ili razvija napredne analitičke funkcije, fajntjunovan model pruža dublje i smislenije odgovore.

I obrnuto:

Ubrzan tempo promjena: Ako iznenada postane ključno oslanjati se na ažurne informacije, preskupo je stalno ponovo trenirati model. RAG je tada efikasnija opcija.

Ekspanzija u više izvora: U trenutku kada počnete da integrišete nove spoljne baze, API-je i korisnički generisan sadržaj, RAG omogućava jednostavnije "povezivanje" s tim izvorima.

Ako je cilj inicijalna validacija mudro je probati LLM sa pametnim promtovanjem, pa tek kad postane jasno da je potrebna veća preciznost, ažurnost ili specifični komunikacioni nastup, vredi uložiti u naprednije metode i to prvo jeftinija i brža pa onda ova druga.