Lokální LLM

Čtyřdílný seriál o tom, jak dnes vypadá provoz jazykových modelů mimo velké cloudy — a co z toho dává smysl pro běžnou firmu. Začínáme u křemíku a končíme u konkrétní volby hardwaru.

Proč to řešíme: u klientů, kteří nechtějí posílat firemní data do cizích cloudů, stavíme AI na jejich vlastních serverech. Otázka „co na to koupit" pak přijde vždycky — a odpověď není tak přímočará, jak se zdá.

Díly seriálu

• Díl 1 — AI model vypálený přímo do čipu? Startup Taalas obětoval univerzálnost a hlásí 17 000 tokenů za sekundu. Co to říká o tom, kde se v AI ztrácí výkon.
• Díl 2 — Výkonné GPU, nebo prostě rychlá paměť? Porovnáme Mac mini, Mac Studio, AMD Ryzen AI Max a klasické PC jako levný lokální AI server. Připravujeme.
• Díly 3 a 4 — Připravujeme.