Google hat die Markteinführung von MediaPipe für Raspberry Pi bekannt gegeben. Es handelt sich dabei um ein Python-basiertes Software Development Kit (SDK) für Machine Learning (ML)-Aufgaben mit Beispielen für Audio-Klassifizierung, Text-Klassifizierung, Gestenerkennung und mehr.

Bereits im Mai wurden die MediaPipe Solutions veröffentlicht, eine Reihe von Tools für No-Code- und Low-Code-Lösungen für gängige Machine-Learning-Aufgaben. Das spannende ist, dass diese Aufgaben alle auf dem Gerät selbst ausgeführt werden und keine Cloud benötigen. MediaPipe ist für Android, Web Apps und Python” verfügbar.

Nun ist die erste Version des iOS-SDK sowie ein Update für das Python-SDK zur Unterstützung des Raspberry Pi verfügbar.

MediaPipe Solutions wurde erstmals im Dezember letzten Jahres in Form einer Vorschau vorgestellt, bevor es auf der Google I/O im Mai 2023 richtig eingeführt wurde. Es soll Developer einen Vorsprung bei der Arbeit mit maschinellem Lernen auf Geräten (ML on Device) bieten. Mit dem jüngsten Update unterstützt die Python-Seite der Plattform nun offizielle den Einplatinencomputer der Raspberry Pi-Reihe. Die Leistung variiert jedoch von Gerät zu Gerät, wobei die Spitzenleistung nur bei den Modellen Raspberry Pi 4 und Raspberry Pi 400 erreicht wird.

Neben der Einrichtung Ihrer Raspberry Pi-Hardware mit einer Kamera kann man mit der Installation der MediaPipe-Dependencies direkt zusammen mit OpenCV und NumPy starten. Danach sind werden die Python-Files und die Imports direkt geöffnet, die ein ML-Modell lokal auf dem Raspberry Pi nutzen können.

Derzeit hat Google Raspberry-Pi-kompatible Beispiele in Python für MediaPipe-für Audioklassifizierung, Gesichtserkennung, Gestenerkennung, Bildklassifizierung, Objekterkennung und Textklassifizierung veröffentlicht. Weitere Beispiele, die für die frühere generische Python-Version geschrieben wurden, sind noch nicht als kompatibel gekennzeichnet worden. Für iOS und natürlich auch für Android sind mehr Code-Beispiele, etwa zur Unterteilung von Bildern oder zur Erkennung von Gesichtsmerkmalen auch zu finden. Letzteres kann man für Avatar-Effekte und ähnliches benutzen. Zudem können nicht nur Handgesten, sondern auch die Körperhaltung von Menschen identifiziert werden und vieles mehr.

Weitere Informationen zu MediaPipe gibt es auf der Projekt-Webseite von Google Developers. Die Beispiele sind auf GitHub unter der Apache 2.0-Lizenz veröffentlicht.

Quelle: Google Developers (Englisch) via hackster.io (Englisch)