Lokální umělá inteligence aneb když aplikace přemýšlí lokálně bez cloudu
Ještě nedávno byla umělá inteligence vnímána hlavně jako vzdálená cloudová služba. Data se odeslala na externí server, model je zpracoval a aplikace uživateli jen zobrazila výsledek. Tento model však dnes naráží na řadu omezení – nejen technologických, ale také bezpečnostních, právních a provozních. Stále více se proto prosazuje koncept lokální AI, tedy řešení, kdy modely fungují přímo na koncovém zařízení nebo v rámci interní infrastruktury organizace a data tak neopouštějí kontrolované prostředí.
„Právě lokální velké jazykové modely (LLM) se začínají prosazovat jako nová aplikační vrstva. Nejde přitom jen o „chatbota bez internetu“. Lokální LLM se stále častěji používají jako rozhodovací mozek aplikace – analyzují texty, třídí dokumenty, vyhodnocují vstupy uživatele a navrhují další kroky. Z pohledu vývojáře se tak nejedná ani o frontend, ani o klasický backend, ale o samostatnou vrstvu, která zásadně mění způsob návrhu softwaru,“ říká Martin Krček z Počítačové školy GOPAS.
Tento posun dobře ilustruje přístup, který v posledních letech ukazuje Google. Místo jednoho univerzálního modelu sází na jasné oddělení rolí. Pro vnímání světa – obrazu, zvuku či gest – využívá lehké a rychlé lokální nástroje, například framework MediaPipe, který běží přímo na zařízení a pracuje deterministicky s velmi nízkou latencí. Pro práci s významem, kontextem a rozhodováním pak nabízí otevřený jazykový model Gemma, navržený tak, aby mohl běžet lokálně a byl plně pod kontrolou vývojáře.
