Ausgangssituation
Das Vorgängerprojekt "Flexible SoM-Frontend" (FSF) entwickelte eine modulare Hardware-Plattform basierend auf dem SparkFun MicroMod-System. Diese Basisplatine ermöglicht den Einsatz verschiedener Prozessoren (ESP32, STM32, Teensy) und austauschbarer HAT-Module für unterschiedliche Messaufgaben.
Die bestehende Hardware (V1.0) umfasste:
- Basisplatine: MicroMod Carrier mit 36-Pin HAT-Connector
- Stationäre Messplatine: 24-bit ADC für hochpräzise Messungen
- Mobile Messplatine: 9-Achsen IMU + 16-bit ADC
- Displayplatine: TFT Touch-Display für Benutzerinteraktion
Die Firmware war jedoch nur als Grundgerüst vorhanden – ohne vollständige Anwendungslogik oder intelligente Datenverarbeitung.
FSF Hardware-Stack (Vorgängerprojekt)
Problemstellung
⚠️ Identifizierte Herausforderungen
- Fehlende Anwendung: Die Hardware hatte keine konkrete Anwendung – nur isolierte Sensor-Tests
- Keine intelligente Auswertung: Rohe Sensordaten ohne Interpretation oder Klassifikation
- Fragmentierte Firmware: Einzelne Treiber ohne zusammenhängende State-Machine-Architektur
- Keine Visualisierung: Display-HAT war nicht in Workflow integriert (keine / minimale UI)
- HAT Schnittstelle: Der HAT Connector war ziemlich filigran und nur schwer abzumessen
- M.2 Stecker: Die Schnittstelle der Micromod Module halten nur 60 Steck-Zyklen aus
Projektziele
🎯 Konkrete Anwendung
Statt nur Hardware zu demonstrieren, wollen wir eine echte Anwendung implementieren: Gestenerkennung durch Machine Learning.
🔧 Vollständiges System
Von der Datenerfassung über Training bis zur Echtzeit-Inferenz – ein durchgängiger Workflow.
🤖 Edge AI
ML-Inferenz direkt auf dem Mikrocontroller – ohne Cloud, ohne Latenz. TensorFlow Lite macht dies auf ESP32 möglich.
✅ Primäre Ziele
- SD-Logging: Datenerfassung für ML-Training mit strukturiertem Binärformat
- Display UI: Benutzeroberfläche für Pairing, Status und Ergebnisanzeige
- Drahtlose Kommunikation: Zuverlässige Datenübertragung zwischen Slave und Master über selbst entworfenes ESP-NOW Protokoll
- TFLite Integration: CNN-Modell auf ESP32 für Echtzeit-Inferenz
- Digit Recognition: Erkennung von in die Luft gezeichneten Ziffern (0-9) mittels IMU-Daten