Apple bude využívat volné GPU v Macích. Minions z nich poskládá výpočetní cloud pro AI

Dnes

GPU výkon může být v rámci Minions využíván na všech Macích s Apple Silicon.

Většina Maců není ani zdaleka využívána naplno a maximální výkon běžící aplikace vyžadují jen minimum času. Zbývající systémové prostředky ale mohou sloužit pro běh cloudové AI. Apple již takový systém testuje.

Přidat mezi oblíbené zdroje na Googlu

Nejznámější platformou distribuovaného výkonu byl projekt SETI@home, který propojoval výkon domácích počítačů s cílem objevit mimozemskou civilizaci. Byť byl v roce 2020 po 21 letech provozu pozastaven, koncept nebyl ojedinělý. Na stejném principu fungují i další projekty a využít jej chce i Apple s platformou Minions. Ta má za úkol propojit výkon GPU v Macích pro běh náročných firemních AI úloh. Mohla by tak zlevnit pořízení hardwaru nutného pro běh lokální AI, který je nyní extrémně drahý.

Jak se práce dělí

Tým stojící za Minions podrobně popisuje funkčnost na webu Applu. O řízení se stará Minion Server, který rozdělí zadanou úlohu na menší části a jejich stav eviduje v databázi PostgreSQL. Na zapojených Macích běží tzv. Minion Executor, který si pomocí REST API sám vyzvedává dostupnou práci a následně ji lokálně zpracovává. Vstupy a výsledky se následně ukládají do úložiště Amazon S3. Systém samozřejmě počítá i s tím, že zaměstnanec MacBook uspí nebo odpojí. Executor posílá každých pět minut zprávu o své aktivitě, a když přestane reagovat, Minion Watchdog vrátí nedokončenou část úlohy do fronty. Jiný Mac ji pak může zpracovat znovu.

Podporované jsou dva typy úloh. Prvním je tvorba embeddingů pomocí modelů z Hugging Face, například pro sémantické vyhledávání. Druhým je provoz lokálních jazykových modelů prostřednictvím Ollama.

Testování v Applu

Apple systém Minions v rámci testu používá napříč několika týmy, které popisují, že jsou některé úlohy zpracovány během minut, byť dřív čekaly ve frontě několik hodin. Samotné dokončení sice trvá déle, výsledek je ale k dispozici dřív. Výhodou je možnost přidat kapacitu bez nákupu dalších GPU serverů – zapojením dalších pracovních Maců.

Platforma sice rozděluje práci mezi samostatné počítače, jejich paměť se ale nesčítá pro jeden velký model. Hodí se proto především pro rozsáhlé dávky nezávislých úloh, například zpracování dokumentů. Pro mnohé firemní použití to ale bude dostatečné. Otázkou samozřejmě v mnoha případech zůstává bezpečnost dat, kdy data opouští počítače jednotlivých týmů i lokální síť.

Apple kromě tohoto firemního použití ale popisuje i rozsáhlejší sítě pro distribuovaný výkon využívající hardware Maců. V budoucnu by proto Minions mohly podporovat propojení více organizací, případně tvorbu velké globální komunity z běžných uživatelů Maců.