Projektdetails

Projektziel von SensAR ist die Entwicklung einer Beispielanwendung für den Einsatz von Augmented Reality (AR) zum Abrufen und Darstellen von Sensordaten. Dabei sollen geeignete Technologien ermittelt und kombiniert werden. Ziel ist es, hierüber die Wettbewerbsfähigkeit der Anwender und Softwarehersteller in der Region zu verbessern.

Sensoren erheben Umgebungsdaten, wie beispielsweise optisch (Kamera, Laser), Temperatur oder Verbrauchsdaten (z. B. Strom). Die Darstellung der Daten erfolgt mithilfe von Smartphone, Tablet oder Datenbrille.

Teilbereiche des Projekts sind dabei:

• die Objekterkennung, beispielsweise von Einrichtung oder Ladungsträger in Industriehallen, aus Laserpunktwolken bzw. Kamera
• das Lokalisieren von Mitarbeitern über das Smartphone mittels Indoorpositionsbestimmung
• das Auslesen der Daten verschiedener Sensoren mit verschiedenen Standards
• das User Interface mit der grafischen Darstellung der Sensordaten und Bedienelemente für Nutzereingaben
• Datensicherheit und Datenschutz, um sicherzustellen, dass nur befugte Personen die Daten nutzen und diese nicht von außen verändert werden können  

Anhand von drei Beispielszenarien, die in Zusammenhang mit den Industriepartnern entwickelt werden, soll die Möglichkeiten für Augmented Reality Anwendungen dargestellt werden. Geplant ist jeweils eine User Story aus den Bereichen:

1. Facility Management, zum Beispiel Auslesen von im Gebäude angebrachten Sensoren mit dem Smartphone und grafische Darstellung von Wartungsbedarf oder Fehlern
2. Industrie, wie beispielsweise das Erkennen von Industriegebäudeeinrichtung und Ladungsträgern in Laserpunktwolken
3. Logistik: Eine Fachkraft benötigt an einer Maschine Unterstützung. Mittels Smartphone-App mit Indoor-Lokalisierung kann hierfür der Mitarbeiter mit dem kürzesten Laufweg alamiert werden. Alternativ kann mittels Remote Assistance Hilfe zur Fehlerbehebung geleistet werden.

Use Case RFID-Messkammer:

Im Use Case der RFID-Messkammer vereinigen sich alle Forschungsbereiche des Projekts (Objekterkennung, Indoorlokalisierung, User Interface, Sensordatenübertragung und IT-Sicherheit) in einem Anwendungsfall.

Die RFID-Messkammer wird schon länger an der HFT betrieben und dient dem Ziel, die Stärke der Rücksendung von RFID-Chips zu messen. RFID-Chips werden beispielsweise in Bekleidungsgeschäften zur Sicherung der Ware eingesetzt oder in Industriehallen zur Kennzeichnung von Ladungsträgern. Die RFID-Messkammer ermöglicht es, RFID-Chips auf unterschiedlichen Materialen und mit unterschiedlichen Drehwinkeln zu testen.

Im Rahmen des SensAR-Projekts soll eine App entwickelt werden, die die Indoornavigation zur Messkammer sowie die Datendarstellung der Messdaten in einer AR-Anwendung ermöglicht. Die iBeacons senden ein Bluetooth-Signal aus. Abhängig von der vom Smartphone erhaltenen Stärke der Signale kann der Standort bestimmt werden. Für das User Interface der Navigation wurden Möglichkeiten wie Pfeile, Kartenausschnitte, Kompass und Leiste mit Zielrichtung geprüft. 

Ein Sensor der Messkammer misst die vom RFID-Chip zurückgeworfene Energie. Ziel ist es, diese Daten mittels MQTT (Messenger-Subscriber-Architektur) verfügbar zu machen. Die App zur Darstellung der Daten empfängt diese und blendet die virtuelle Messkammer mit Daten über das Kamerabild. Dies erfolgt an der Stelle, an der zuvor mittels Objekterkennung die Messkammer erkannt wurde. Die Objekterkennung wird mittels des Neuronalen Netzes DeepLab V3 durchgeführt.

Die Bedienung erfolgt beim Smartphone mittels verschiedener Touches (One-Finger-Tap, Two-Finger-Rotate, Wipe-Left-Right). Die Daten (wie zurückgeworfene Energie, Frequenz und Winkel) werden eingeblendet und abhängig von der mittels Two-Finger-Rotate einstellbaren Rotation des Drehtellers aktualisiert. Aktuell wird an der Integration der vielen Projektteile in eine Anwendung gearbeitet und die neue HoloLens2 ausprobiert.