Veštačka inteligencija → Modul 2 → Kako rade četbotovi

Kako „razmišlja“ četbot?

Četbotovi kao ChatGPT, Gemini ili Claude pišu odgovore koji zvuče kao da ih je napisao čovek. Kako to rade? U osnovi je iznenađujuće jednostavna ideja: predviđanje sledeće reči. U ovoj lekciji saznaćeš kako jezički model nastaje, zašto zvuči uverljivo – i zašto ponekad samouvereno pogreši.

Igra: koja reč dolazi sledeća?

Dopuni rečenice:

• „Posle kiše izašlo je …“
• „Dva plus dva je …“
• „Sedim u školskoj …“

Verovatno si brzo pomislio: sunce, četiri, klupi. Tvoj mozak je, na osnovu svega što si pročitao i čuo, „znao“ koja je reč najverovatnija. Jezički model radi nešto slično – samo što je „pročitao“ ogromnu količinu teksta.

Predviđanje sledeće reči

1. Model dobije početak teksta (tvoje pitanje i ono što je već napisao).
2. Za svaku moguću sledeću reč izračuna koliko je verovatna.
3. Izabere jednu od verovatnih reči (ne uvek baš najverovatniju – zato isti četbot na isto pitanje ne odgovori uvek isto).
4. Doda je na tekst i ponovi postupak – reč po reč – dok ne završi odgovor.

Tačnije, modeli ne rade sa celim rečima nego sa tokenima – delovima reči (npr. „programi“ + „ranje“). Za razumevanje ideje dovoljno je da misliš na reči.

Probaj: najmanji jezički model

Klikni nekoliko puta. Rečenice ponekad imaju smisla, a ponekad su smešne (npr. „danas je lepa kada je zabavno.“)? Ovaj program gleda samo jednu prethodnu reč i zna samo deset rečenica. Pravi jezički modeli gledaju hiljade prethodnih reči, uče iz ogromne količine teksta i imaju milijarde težina – pa zvuče mnogo bolje. Ali osnovna ideja je ista: na osnovu prethodnog teksta predvidi sledeću reč.

Kako nastaje četbot

Model posle treninga ne uči iz svakog razgovora sa tobom automatski. Ono što „zna“, naučio je tokom treninga – zato može da ne zna za najnovije događaje.

Zašto četbot ponekad greši

• Uverljivo ≠ tačno. Model bira reči koje „zvuče“ verovatno. Ako u podacima nije bilo tačnog odgovora, napisaće nešto što samo liči na odgovor – to je halucinacija.
• Znanje je zastarelo. Trening se završi u nekom trenutku; za kasnije događaje model ne zna ako nema pristup pretrazi.
• Računanje. Model ne računa kao kalkulator, nego „pogađa“ cifre kao reči; kod dugih računa može da pogreši (noviji modeli zato koriste alate).
• Podaci imaju greške i pristrasnosti – a model ih nasledi.

Zato važi pravilo iz lekcije Kako koristiti AI alate: proveri važne odgovore.

Da li četbot razume?

Ovo pitanje deli i naučnike. Jedni kažu da model samo veoma vešto predviđa reči i da ne razume ništa (setimo se „kineske sobe“ iz lekcije o Tjuringovom testu). Drugi smatraju da, da bi tako dobro predviđao, model mora da izgradi neku vrstu unutrašnjeg „modela sveta“. Odgovor još nije poznat – o tome više u modulu AI i društvo.

Česte zablude

• „Četbot traži odgovor u bazi gotovih odgovora“ – odgovor se pravi reč po reč, svaki put iznova.
• „Četbot pamti sve što mu kažeš i uči iz toga“ – model se ne menja tokom razgovora; neke aplikacije čuvaju razgovore, ali to nije isto što i učenje modela.
• „Ako četbot nešto napiše samouvereno, sigurno je tačno“ – samouverenost ne znači tačnost.

Zadaci za vežbu

Pokušaj prvo sam, pa tek onda otvori rešenje.

1. Svojim rečima objasni kako jezički model pravi odgovor (3–4 rečenice).
2. Zašto isti četbot na isto pitanje ponekad odgovori različitim rečima?
3. U demu „najmanji jezički model“ pojavila se rečenica „danas je lepa kada je zabavno.“ Zašto ovaj program ne može da napiše smislenu dužu priču?

Šta dalje

Završio si modul Kako mašina uči. U sledećem modulu sve ovo pišemo u Pythonu: algoritam najbližeg suseda, perceptron i prava neuronska mreža. Ako još ne znaš Python, počni od vodiča Python.

Proveri znanje