Raspberry Pi stellt KI-Kit vor

von Yves Jeanrenaud

Lesedauer: 3 Minuten

KI ist in aller Munde. Doch auf die Lösungen von OpenAI, Google und Microsoft zu setzen und die Daten in der Cloud verarbeiten lassen, ist nicht immer eine gute Lösung. Manchmal ist es sogar nicht zugelassen oder schlicht gar nicht möglich. Da kommen lokale KI-Anwendungen ins Spiel, die mit entsprechenden Beschleunigern endlich richtig Fahrt aufnehmen und so auch auf Mini-Computern und Single Board Computern (SBC) wie dem Raspberry Pi 5 sinnvoll laufen.

Dazu hat Rasperry Pi nun das AI Kit vorgestellt. Das Raspberry Pi AI Kit bündelt einen Hailo 8L AI-Beschleuniger im M.2-Format mit dem Raspberry Pi M.2 HAT+ und bietet so eine zugängliche, kostengünstige und energieeffiziente Möglichkeit, leistungsstarke AI in den Raspberry Pi 5 zu integrieren. Es soll dabei helfen, Anwendungen wie Prozesssteuerung, Sicherheit, Heimautomatisierung und Robotik zu erkunden.

Das Raspberry Pi AI Kit besteht aus unserem M.2 HAT+, der mit einem Hailo-8L AI-Beschleunigungsmodul vormontiert ist. Der M.2 Hat+ dient sonst in der Regel dazu, SSD-Speicherriegel eben im Format M.2 2230 und M.2 2242 mit dem Raspberry Pi 5 über die PCIe-Schnittstelle zu benutzen.

Auf einem Raspberry Pi 5 installiert, ermöglicht das KI-Kit die schnelle Entwicklung komplexer KI-Vision-Anwendungen, die in Echtzeit, mit geringer Latenz und geringem Energiebedarf laufen. Hochmoderne neuronale Netzwerke für Objekterkennung, semantische und Instanzsegmentierung, Posenschätzung und Gesichtserkennung (um nur einige zu nennen) laufen vollständig auf dem Hailo-8L-Coprozessor, so dass die CPU des Raspberry Pi 5 für andere Aufgaben frei bleibt.

Inhaltsverzeichnis

Spezifikationen des Raspberry Pi AI Kits

Zu den wichtigsten Merkmalen des Raspberry Pi AI Kit gehören:

13 Tera-Operationen pro Sekunde (TOPS) Inferencing-Leistung
Single-Lane-PCIe-3.0-Verbindung mit 8 Gbit/s
Vollständige Integration mit dem Raspberry Pi Bildsoftware-Subsystem
Kompatibilität mit Kameras von Herstellern oder Drittanbietern
Effiziente Planung der Beschleuniger-Hardware: Ausführung mehrerer neuronaler Netze auf einer einzigen Kamera oder einzelner/mehrerer neuronaler Netze mit zwei Kameras gleichzeitig

Hailo hat einen umfangreichen KI-Modell-Zoo eingerichtet, in dem die Nutzer eine grosse Auswahl an vortrainierten neuronalen Netzwerkmodellen finden, die für den Einsatz auf dem AI Kit optimiert sind. Diese reichen von Gesichtserkennung über Bildrauschen-Unterdrückung bis zu Low-Light-Verbesserung und der Einschätzung der Körperhaltung einer einzelnen Person.

Die Software

Eine grosse Hürde bei der Entwicklung realer KI-basierter Bildverarbeitungsanwendungen kann die Komplexität der Software-Integration des Kamera-Subsystems in das KI-Framework darstellen. Raspberry Pi hat dies darum so weit wie möglich vereinfacht. Die rpicam-apps-Suite von Kameraanwendungen verfügt jetzt über eine Nachbearbeitungsvorlage für die Integration der Inferenz von neuronalen Netzen, die in Echtzeit in der Kamerapipeline läuft. Durch die Verwendung der vorinstallierten Hailo Tappas Post-Processing-Bibliotheken ist der Raspberry Pi nun in der Lage, fortschrittliche KI-basierte Anwendungen in nur ein paar hundert Zeilen C++ Code realisieren. Ein ähnlich weitreichende Integration in das Picamera2-Framework wird bald folgen und so die Möglichkeit zur Nutzung mittels Python vereinfachen.

Raspberry Pi AI Kit auf einem Raspberry Pi 5. Bild: Raspberry Pi

Die Schritte zur Installation der Software damit sehr einfach. Nachdem der HAT+ aufgesetzt ist, installiert man ein paar Pakete über apt, starten den rPi 5 neu und schon kann man einige der KI-Demos in wenigen Minuten ausprobieren.

Mit dem Raspberry Pi AI Kit ist man jedoch nicht darauf beschränkt, den Hailo-8L Co-Prozessor lediglich mit der rpicam oder Picamera2 zu verwenden. Es müssen nicht immer Live-Bilder sein. Dank der API für das GStreamer-Framework und einer native Python und C/C++-API können auch Anwendungsfälle auf dem Raspi realisiert werden, die nichts mit der Kamera zu tun haben, wie z.B. die Durchführung von Inferenzen auf voraufgezeichneten Videodateien. Wer wollte nicht schon mal seine Videosammlung nach verdächtig auftretenden Personen durchsuchen?!

Die vollständige Anleitung, derzeit leider nur auf Englisch verfügbar, führt einfach und verständlich durch die ersten Schritte.

Die Hardware

Das KI-Modul, in Zusammenarbeit mit Hailo.ai entwickelt, ist ein 13 Tera-Operationen pro Sekunde (TOPS) starker neuronaler Netzwerk-Inferenzbeschleuniger, der auf dem Hailo 8L KI-Chip basiert. Dabei handelt es sich um einen Einstiegs-Chipsatz, der mit einer hohen Kosteneffizienz und eine niedrigen Stromverbrauch von gerade mal 1.5 Watt daher kommt. Die Hailo 8L NPU (neural processing unit) ist von Haus aus kompatibel zu TensorFlow, TensorFlow Lite, Keras, PyTorch und ONNX und wird vom Hersteller mit einer Reihe an Software-Lösungen, auch für x86-CPUs, ausgeliefert.

Das KI-Modul von Raspberry Pi verwendet nun also den Formfaktor M.2 2242 und ist im M.2 HAT+ vorinstalliert, an den es über einen M-Key Edge-Anschluss angeschlossen wird. Der M.2 HAT+ kommuniziert zwischen der M.2-Schnittstelle des AI-Moduls und der PCIe 2.0-Schnittstelle des Raspberry Pi 5.

Wenn auf dem Raspberry Pi 5 ein aktuelles Raspberry Pi OS-Image läuft, wird das Hailo-Modul automatisch erkannt und die NPU für KI-Rechenaufgaben verfügbar gemacht. Die in Raspberry Pi OS integrierten Kameraanwendungen rpicam-apps unterstützen das KI-Modul von Haus aus und nutzen die NPU automatisch für kompatible Nachbearbeitungsaufgaben.

Das Bundle wird mit einem 16-mm-Stacking-Header und Abstandshaltern/Schrauben geliefert, damit der M.2 HAT+ mit dem Raspberry Pi Active Cooler (separat erhältlich) an einem Raspberry Pi 5 angebracht werden kann. Ein Wärmeleitpad ist zwischen dem Modul und dem M.2 HAT+ vormontiert.

Damit passt das KI-Bundle auch in viele andere Gehäuse und kann zudem weitere HAT-Module aufnehmen und so umfangreiche Lösungen ermöglichen.

Das Raspberry Pi HAILO Modul im M.2 2242 Format. Bild: Raspberry Pi

Leider gibt es den den Hailo 8L-Beschleuniger derzeit nicht separat zu kaufen. Wer also den M.2 HAT+ schon hat, kann hier nicht sparen. Zudem ist das Raspberry Pi AI Kit nur mit Raspberry Pi 5 kompatibel. Ältere Raspis und auch SBC-Geräte anderer Hersteller laufen damit nicht. Als Betriebstemperatur werden 0 °C bis 50 °C Umgebungstemperatur angegeben. Ein Abkühlen mittels Lüfter ist somit nicht verkehrt.

Preis und Verfügbarkeit

Das Raspberry Pi KI-Kit, bestehend aus dem M.2 HAT+ und dem HAILO 8L-KI-Beschleunigerboard gibt es für 70 US-Dollar in Kürze über die bekannten rPI-Shops – bei Raspberry Pi selbst eine Übersicht – zu bestellen.

Dokumentation und Demo-Videos

Die Dokumentation zum Raspberry Pi AI Kit ist hier zu finden und nachfolgend sind zudem noch interessante Demo-Videos zum Raspberry Pi Ai-Kit zu sehen. Sie zeigen ganz gut, welches Potential in dem NPU-Board des KI-Kits steckt.