Der Kunde wollte einen Prototyp zur Evaluierung eines Programms, mit dem die von den Mitarbeitern durchgeführten Übungen verfolgt werden können. Das System soll Anreize für körperliche Aktivität am Arbeitsplatz schaffen. Die Lösung muss in der Lage sein, bekannte Mitarbeiter von Fremden zu unterscheiden und die Anzahl der durchgeführten vordefinierten Übungen genau zu zählen sowie diese über kurze Zeiträume, z. B. einen Kalendermonat, zu verfolgen.

Vorgefertigte Modelle für die Gesichtserkennung und die Posenerkennung sind als Open-Source verfügbar. Aufgrund der Rechenleistung der NPU auf der Zielhardware können sie mit hohen Frameraten ausgeführt werden. Dadurch wird die Verfolgung der wichtigsten Körpergelenke möglich und die Zählung der verschiedenen Bewegungen kann durchgeführt werden. Da die Zahl der Mitarbeiter relativ begrenzt ist, reichen Arbeitsspeicher und Speicherplatz aus, um diese Anwendung zu unterstützen. Das Gerät muss eine Webcam für die Aufnahme von Videos unterstützen und in der Lage sein, einen Videofeed über das Netzwerk an ein Gerät mit einer HMI zu streamen.

Die Hardware besteht aus dem Toradex Verdin iMX8M Plus SoM, das an das lokale Ethernet-Netzwerk und an eine USB-Webcam angeschlossen ist. Wenn eine Person den Rahmen der Webcam betritt, wird eine Gesichtserkennung durchgeführt, um zu ermitteln, welchem Mitarbeiter die gezählten Übungen zuzuordnen sind. Zunächst wird das Gesicht erkannt, und der sich ergebende Bereich wird ausgeschnitten und von einem vorab trainierten Resnet50-Modell analysiert. Die daraus resultierende 4096-dimensionale Einbettung wird mit den Einbettungen bekannter Mitarbeiter verglichen, und wenn eine Übereinstimmung gefunden wird, beginnt die Posenerkennung. Während der Posenerkennung kann die Person Kniebeugen machen, und die korrekt ausgeführten Kniebeugen werden gezählt, indem die Position der Hüft- und Kniegelenke verfolgt wird. Sobald eine Person den Rahmen betritt oder verlässt, wird die gezählte Anzahl gespeichert. Die Datenbank und der Dashboard-Server befinden sich auf einem entfernten Rechner, z. B. einem Server. Als experimentelle neue Funktion wurden Text-to-Speech-Meldungen implementiert, um dem Benutzer Feedback zu geben. Diese werden jedoch derzeit auf dem Server und nicht auf dem SoM ausgeführt.

Weitere Informationen finden Sie im Whitepaper

"Whitepaper"