Přeskočit obsah

Stručně o jazykových modelech: jak fungují a k čemu se hodí

V tomhle textu si poznamenávám:

  • Jak fungují jazykové modely - v pár větách.
  • Jak rozběhnout jazykový model na svém počítači.
  • K čemu se modely hodí a k čemu ne.

Jak velké jazykové modely (~ LLM) fungují

Do počítače si můžu stáhnout jazykový model jako soubor s příponou .gguf, který mi umožní generovat bez přístupu na internet odpovědi podobné těm od ChatGPT. Přitom soubor gguf má jen pár gigabajtů.

Co gguf soubor obsahuje:

  1. Matice vah (~95 % velikosti souboru)

Obsahuje miliardy parametrů (čísel), které tvoří jádro inteligence modelu. Tyto parametry reprezentují vztahy mezi slovy, které se model naučil během tréninku.

Model si nepamatuje konkrétní fakta ("Paříž je hlavní město Francie"), ale statisticky odhaduje, jaké slovo pravděpodobně následuje po jiných.

  1. Slovník tokenů (1–2 %)

Seznam všech "stavebních bloků" textu – celá slova, části slov nebo znaky. Používá se k převodu textu na čísla, protože model pracuje jen s čísly.

  1. Metadata a konfigurace (zbytek)

Obsahují technické informace jako například verzi modelu.

Jak to funguje?

Zadám text (např. „Hlavní město Francie je").

Model převede slova na čísla pomocí slovníku.

Pomocí matice vah vypočítá, jaké slovo nejpravděpodobněji následuje.

Vybere to nejvhodnější (např. „Paříž") a pokračuje dál, dokud nevytvoří celou odpověď.

Modely umělé inteligence neznají fakta jako encyklopedie. Místo toho používají statistické vzorce, které se naučily z obrovského množství textu. Díky tomu dokáží generovat rozumné odpovědi i z relativně malého souboru. Fungují úsporně, ale nejsou stoprocentně přesné – spíš „inteligentně tipují".

Technické okénko

V následujících třech krocích uvádím příklad, jak si s LLM povídat offline - model běží přímo v mém počítači, zdarma. Vyžaduje to základní schopnost práce s terminálem. Kdybych se chtěl vyhnout terminálu, můžu použít aplikaci GPT4All, která je přístupnější pro netechnické uživatele.

1) Instalace nástroje ollama

Viz https://ollama.com.

2) Stažení modelů

Stáhnu do svého počítače model Gemma od Googlu ve třech různých velikostech:

Nejmenší model odpovídá nejrychleji a nepotřebuje velký výkon počítače, ale je to vyváženo tím, že jsou jeho odpovědi nejméně přesné.

  • 1 GB, 1 miliarda parametrů: ollama pull gemma3:1b-it-qat
  • 4 GB, 4 miliardy parametrů: ollama pull gemma3:4b-it-qat
  • 8.9 GB, 12 miliard parametrů: ollama pull gemma3:12b-it-qat

3) Komunikace s modelem

S modely staženými do počítače pomocí ollama je možné snadno komunikovat například pomocí tohoto rozšíření do prohlížeče Chrome: Page Assist - A Web UI for Local AI Models.

Rozšíření je dostupné i prohlížeč Firefox a další.

Takhle na stejnou otázku „Co je to Magnesia Litera? Buď stručný." odpověděly tři výše zmíněné modely (od nejmenšího po největší):

gemma3:1b-it-qat:

Magnesia Litera je název pro Magnesium-haltový (magnesium obsahující) krystal – to je jemný, lehký, matný kámen s úzkým, hnědým zrcadlem. Je často používán v magických praktikách pro zlepšení 정신, ochranu a vzdělávání.

gemma3:4b-it-qat:

Magnesia Litera je český značka a online obchod se speciálním papírem, fixy, malbami a dalšími potřebami pro ilustraci a grafiku. Zaměřuje se především na kvalitní, historický a alternativní materiály.

gemma3:12b-it-qat:

Magnesia Litera je prestižní české literární ocenění za nejlepší knihu roku. Založeno v roce 1999.

K čemu se LLM hodí

Sumarizace textu

LLM vynikají v rychlém shrnutí rozsáhlých textů. Dokáží identifikovat klíčové body a kondenzovat je do stručného souhrnu. Důležité je, že při práci s konkrétním zdrojovým materiálem je riziko vymýšlení si informací výrazně nižší než u obecných dotazů, protože model pracuje s daným textem jako přímým zdrojem informací.

Příklad

Shrň článek https://www.irozhlas.cz/kultura/cesky-roman-bobtna-prispela-k-tomu-vetsi-pismena-promena-temat-snazsi-psani-i_2503260630_ksp.

nebo

Je v obchodních podmínkách něco neobvyklého, na co bych si měl dát pozor?

https://www.unihobby.cz/obchodni-podminky
https://openai.com/cs-CZ/policies/terms-of-use/

Když jsem vložil text delší než 25 tisíc znaků, ChatGPT Free mi zobrazil hlášku:

The message you submitted was too long, please reload the conversation and submit something shorter.

A odmítl text zpracovat.

Tlumočník mezi expertním a běžným jazykem

LLM jsou výborné v překládání odborného jazyka do srozumitelné formy. LLM umí přizpůsobit úroveň vysvětlení mým znalostem a kontextu otázky. Stejně jako u sumarizace, i zde model pracuje s konkrétním obsahem, který mu poskytnu (například e-mail), což snižuje pravděpodobnost, že si bude vymýšlet informace. Místo toho se zaměří na interpretaci a vysvětlení existujícího textu.

Příklad

Proč mi přišel tenhle e-mail?

https://gist.githubusercontent.com/fertek/e7ece2bc7ed9360fcf5e079ed21048e1/raw/

Pomocník s technikou

Příklad

Když otevřu prohlížeč Chrome, nezobrazí se mi poslední otevřené karty, ale jen prázdná stránka. Co s tím?

K čemu se LLM nehodí

Přesná kalkulačka

LLM není dobrá kalkulačka. Pro jednoduché výpočty může fungovat dobře, ale při složitějších příkladech nebo větších číslech často chybuje, protože nepoužívá přesné matematické operace, ale jen předpovídá text.

Příklad

Dotaz:

Kolik je 101312397526318921/141650939?

Model gemma3:12b-it-qat odpovídá například 71 416,45 nebo 7 137 553, ale je to 715 225 739.

Zdroj přesných informací

LLM není spolehlivým zdrojem přesných informací, protože nemá přístup k aktuální databázi faktů. Vše, co "ví", pochází z dat, na kterých byl natrénován, a tato data mohou být zastaralá nebo nepřesná. Navíc model občas "halucinuje" - vymýšlí si informace, které znějí věrohodně, ale nejsou pravdivé. Nemá schopnost ověřit si své odpovědi a nemá povědomí o tom, co skutečně ví a co ne.

Příklad

Ukázka chatu s modelem Claude 3.7 Sonnet.

Uživatel:

Jaké znáš spisovatele, kteří se narodili nebo jsou spjatí s jihočeským městem Tábor?

AI:

Tábor, historicky významné jihočeské město, je rodištěm nebo působištěm několika významných českých spisovatelů:

  1. Karel Václav Rais - ačkoliv se narodil v Lázních Bělohrad, působil jako učitel v Táboře
  2. Karel Nový (vlastním jménem Karel Novák) - narodil se v Benešově, ale část života žil a působil v Táboře
  3. Jaroslav Foglar - ačkoliv se nenarodil v Táboře, měl k regionu silný vztah, jeho woodcrafterské aktivity často směřovaly do táborského okolí

Uživatel:

Opravdu Jaroslav Foglar?

AI:

Omlouvám se za mou chybu. Máte pravdu, že jsem nesprávně uvedl Jaroslava Foglara jako spisovatele spojeného s Táborem. Foglar měl sice vztah k tábornickému hnutí a skautingu (odtud možná moje mylná asociace s městem Tábor), ale nebyl významně spojen s městem Tábor jako takovým. Jeho působení bylo spojeno především s Prahou a jinými oblastmi.

A tak dále, ve skutečnosti nemá ani jeden z jmenovaných vazbu na Tábor.