Věda a technika

@Gordon (09.04.2024 13:46): To by super bylo, ale už méně bych byl nadšený, kdyby se nějaké náhodné AI NPCčko rozhodlo, že ten hráč za monitorem je strašný looser a dohrálo hru za mne, včetně romancí. Ačkoli by asi mohlo být zajímavé jít v jeho stopách, lemovaných mrtvolami nepřátel, prázdnými truhlicemi s poklady, vyřešenými rébusy a zneuctěnými pannami :-)

@Gordon (09.04.2024 11:03): To mne nepřekvapuje, že takové věc už existuje a já o ní nevím. Vždy jsem za pokrokem doby tak nějak kulhal :-). Před časem jsem četl o technologii ACE (Avatar Cloud Engine) od Nvidie, která se právě využitím LLM pro dialogy (plus technologie na synchronizaci rtů a podobně) týká. Psalo se o tom na herních i HW webech, takže je to všeobecně známo, ale že se něco podobného už používá i v praxi, to je pro mne novinka. Otázka je, kdy se technologie posune natolik a ta dosud tupá NPCčka budou chytřejší než hráč a v případě nouze nám pomohou vyřešit nějaký zákys, nebo logický rébus :-)

Mám vážné obavy, že téma, které z  laicky nadhodím, bude někoho zajímat, ale přesto s ním zdejší diskuzi zašpiním. Možná nejsem sám, koho současný fenomén AI a velkých jazykových modelů (LLM) fascinuje. To že jsou LLM dostupné on-line je jasné a každý se s nimi asi již setkal, ale já se v posledních dvou dnech zamyslel, jestli lze provozovat LLM off-line na vlastním PC. Kupodivu to možné je. Meta má svou open-source LLamu, Francouzi mají až pozoruhodně dobrý Mistral a i další firmy uvolnily k volnému používání nějaké menší LLM. Takže stačí sehnat nějaké rozhraní, kde tyto neuronové sítě provozovat. Podařilo se mi najít dva programy, které jsou silně user-friendly a nevyžadují žádné znalosti kódu, nepoužívají příkazovou řádku, nevyžadují ovládání přes nějaké parametry a podobně. Konkrétně jde o LM Studio ( https://lmstudio.ai/ ) a Farady.dev ( https://faraday.dev/ ). Bohužel jsem shledal, že na průměrném PC lze provozovat jen sítě natolik malé a blbé, že nemají skoro žádný praktický význam. V LM Studiu jsem testoval sítě LLama, Phi-2, Gemma a Mistral, povětšinou o velikosti 2B a 7B (2 a 7 miliard parametrů), které vyžadují přibližně 4 až 14 GB RAM (pokud použijete nejkvalitnější fp16 quantization, ale jsou ke stažení i v int8 až int2). Tyhle modely jsou občas tak tupé, až je to vtipně strašidelné. Chvílemi některé modely úplně zapomněly na základy gramatiky i slohu a psaly neuvěřitelné bláboly. Nedokázaly spočítat ani příklady typu 2+6*3-3 a podobně. V této kategorie byl asi nejméně špatný Francouzský Mistral 7B. Otřesná byla Gemma od Googlu (obecně je AI od Google v současnosti horší než se jeví z oficiálních benchmarků). Pochopitelně existují i větší free LLM (LLama 70B a Mistral 8x7B), které již budou mnohem schopnější, ale jsou tak šíleně náročné na HW, že pokud nemáte nabušené PC s alespoň 128 GB RAM a 4090, asi nemá cenu je ani zkoušet.

Nicméně zajímavý je onen druhý user-friendly program, který jsem tu zmínil, tedy Fadaday.dev. Ten totiž trochu připomíná textovou hru. Do něj lze stáhnout (přímo z rozhraní programu, je to triviální) různé charaktery, které na vás poté mluví v rámci své role. Zkoušel jsem nějakou upírku, postavu z Cyberpunku a pár dalších. Kupodivu konverzace s nimi je celkem... normální. Nijak neblábolí, ale do Shakespeara to má hodně daleko. Spíše to připomíná nějaký béčkový brak. Většina charakterů ne mne mluvila anglicky, ale já jim odpovídal česky a oni to chápali. Jde vlastně o takovou první vlaštovku, co asi za pár let uvidíme ve hrách. Už jsem někde četl, že různá RPGčka by mohla využívat při konverzaci s NPC podobnou technologii, aby dialogy s nimi nebyly jen opakování stejných frází stále dokola. Asi to stojí za vyzkoušení, ale sám jsem se tomu věnoval tak hodinku či dvě a pak jsem to všechno odinstaloval. Je to zajímavé, ale zatím ještě ne moc užitečné.

Mimochodem, v rámci testování jsem zkoušel na ženské charaktery i různé "sprosťárny", tedy hlavně dotaz, aby mi ukázaly prsa. Jsou to ale cudné holky a vždy mne celkem slušně poslaly do patřičných mezí. Zkrátka nejde o nějaký erotických chat, ale o relativně seriózní pokus o roleplay. Pokud se někomu podaří některých charakter přimět k vilné diskuzi, nechť neváhá se zde pochlubit :-)