Už několik let vyvíjí Google vlastní procesory či akcelerátory pro aplikace strojového učení (tzv. umělé inteligence založené na neuronových sítích). Jeho procesory TPU mají docela vysoký výkon, ale potíž například oproti GPU Nvidie je, že je firma neprodává. Pouze je poskytuje jako službu v rámci svého cloudu. Ovšem to se teď změní. Google totiž vyvinul i menší, dalo by se říct kapesní verzi těchto akcelerátorů. Tyto čipy se jmenují „Edge TPU“ a nyní jsou dostupné široké veřejnosti v podobě zařízení, které má velikost Raspberry Pi, nebo USB adaptéru. A také nestojí o moc víc, což je na tom ještě pozoruhodnější.
Umělá inteligence Google v kapesním (IoT) provedení
Pod pojmem „edge“ se v tomto kontextu myslí provoz neuronových sítí přímo lokálně v nějakém zařízení, kde analyzovaná data vznikají, třeba rovnou v kameře, dronu nebo obecně IoT zařízení. Edge TPU je tedy čip určený pro takové aplikace. Na prodej je toto zařízení ve dvou verzích: malé vývojářské ARM desce, podobné Raspberry Pi, nebo v podobě USB klíčenky, která se dá připojit k jinému zařízení. Určení těchto zařízení bude asi kromě IoT aplikací i vývoj.
Srdcem obou zařízení je malý čip označený Google Edge TPU. Jeho architektura by měla být odvozena od velkého akcelerátoru Cloud TPU, ale je optimalizovaná na poměr cena/výkon a nízkou spotřebu a asi také zjednodušená. Edge TPU je i proto určené jen pro „inferenci“, tedy pro aplikaci hotových neuronových sítí, nikoliv pro jejich trénování. Podle fotek jde o opravdu malé BGA pouzdro i celkem nízkým počtem kontaktů. Má dosahovat výkon asi 4 TOPS (tera celočíselných/AI operací za sekundu).
Čip Edge TPU (Zdroj: CNX-Software)Coral Dev Board
Ona ARM deska či jednočipový počítač se jmenuje Coral Dev Board. Má toto Edge TPU připojená k obslužnému procesoru NXP (dříve Freescale) i.MX 8M, což je SoC se čtyřmi jádry Cortex-A53 a real-time mikrořadičem Cortex-M4F. K tomu má integrované GPU Vivante GC7000 Lite. Tyto čipy by jinak měly mít dobrou podporu v Linuxu s otevřenými ovladači grafiky. Procesor má k dispozici 1 GB paměti LPDDR4 a 8GB úložiště eMMC. Edge TPU je k němu připojeno zdá se přes rozhraní PCI Express 2.0. Doplněna je ještě konektivita Wi-Fi 802.11ac (dvoupásmový adaptér s 2×2 MIMO) a Bluetooth 4.1.
Procesor a jeho doplňky plus Edge TPU jsou osazené na malém modulu s rozměrem 48 × 40 mm. V provozu se na něj nasazuje malý aktivní chladič (který by se asi ale dal nahradit větším pasivem). Ten se pak osazuje do základní desky s rozměrem 88 × 60 mm, která vyvádí různé porty a konektivitu pro vývoj a dělá z modulu samostatný jednodeskový počítač. Nachází se na ní slot MicroSD pro rozšíření úložiště, standardní port USB 3.0 typu A, dvojice USB-C (jeden je OTG, druhý je pro 5V napájení) a ještě Micro USB typu B, které slouží pro připojení sériové konzole.
Deska má dál gigabitový Ethernet, video výstup HDMI 2.0a, 39pinový výstup MIPI-DSI pro displej a 24pinový konektor MIPI-CSI2 pro připojení kamery (pro zpracovávání obrazových dat). Volitelně má být v budoucnu dostupný i kompaktní kamerový modul s rozlišením 5 MP a rozměrem 25 × 25 mm. Na desce je audio jack pro výstup, dvojice digitálních mikrofonů a 4pinový terminál pro stereo reproduktory. A k tomu se přidává ještě 40pinový konektor GPIO, který obsahuje i 3,3V napájení.
Coral Dev Board se dá koupit za 150 dolarů, což je sice dražší než běžné jednodeskové počítače, ale s přihlédnutím k přítomnosti samotného akcelerátoru to není úplně špatné, protože desky s ARM procesory NXP/Freescale jsou vždy dražší a nejsou zas tak běžně dostupné. Tato firma se totiž specializuje na embedded a průmyslový sektor a nikoliv na levné hobby desky.
Galerie: Google Coral Dev Board s čipem Edge TPU
Coral USB Accelerator
Kromě této desky bude ale dostupný také samostatný akcelerátor v podobě klíčenky. Coral USB Accelerator je tedy podobné zařízení jako například Intel Neural Compute Stick. V tomto případě sedí čip Edge TPU na sběrnici USB 3.1 Gen1 (5 Gb/s) a klíčenka používá k připojení i napájení USB-C. Kompatibilní je s různými zařízeními běžícími na Linuxu, včetně Raspberry Pi (kde je ale rychlost rozhraní omezena na USB 2.0). Pouzdro má i otvory, které by se měly dát použít k přimontování na RPi. Tuto verzi si můžete pořídit za 75 dolarů.
Google Edge TPU Coral USB AcceleratorGalerie: Google Coral USB Accelerator s čipem Edge TPU
Oba akcelerátory mají být přímo kompatibilní s TensorFlow Lite, takže vytrénované modely se dají přímo aplikovat. Na desce Coral Dev Board běží derivát distribuce Debian Linux, takže lze používat standardní nástroje.
