Hardware-Entwicklung und haptische Interaktion
Ein wichtiger Bestandteil des Projekts MammAware ist die Entwicklung einer VR-basierten Trainingslösung zur Vermittlung der Brust-Selbstuntersuchung. Ziel ist es, Nutzerinnen nicht nur theoretisches Wissen zu vermitteln, sondern auch die praktischen Bewegungsabläufe der Untersuchung realistisch zu trainieren.
Ursprünglich war also geplant, den Frauen die Selbstuntersuchung mit einem VR-Headset und haptischen Handschuhen näher zu bringen.
Damit eine solche Trainingsanwendung sinnvoll funktionieren kann, müssen Hand- und Fingerbewegungen möglichst präzise erfasst werden. Moderne VR-Headsets verfügen zwar über integriertes Handtracking, dieses stößt jedoch bei körpernahen Interaktionen schnell an seine Grenzen. Sobald sich die Hände außerhalb des Sichtfelds der Headset-Kameras befinden oder sich teilweise selbst verdecken – wie es bei einer Untersuchung am Oberkörper der Fall ist – wird die Positionsbestimmung ungenau oder bricht vollständig ab.
Um dieses Problem zu lösen, untersuchte das Projektteam den Einsatz zusätzlicher Hardware, insbesondere sogenannter haptischer Handschuhe. Diese Geräte können Fingerbewegungen erfassen und gleichzeitig Berührungen oder Kräfte simulieren z.B. durch Vibrationen . Die Idee war, sowohl die Genauigkeit der Bewegungserfassung zu verbessern als auch ein realistischeres Trainingserlebnis zu ermöglichen.
Im Rahmen des Projekts wurden mehrere kommerziell verfügbare Systeme technisch eingerichtet, in die bestehende VR-Anwendung integriert und unter realistischen Bedingungen getestet. Dazu gehörten unter anderem die TouchDIVER Pro Gloves (Weart), die TactGlove DK2 in Kombination mit der TactSuit Pro (bHaptics), GloveOne, sowie der SenseGlove DK1 und Nova 2 (SenseGlove). Diese Hardware wurde teilweise ausgeliehen, die TouchDIVER Pro Gloves (Weart) wurden im Rahmen des Projektes von Kabetec angeschafft, da dies die aktuellsten Haptischen Handschuhe auf dem Markt waren. Leider konnten die Handschuhe dann sowohl in der optischen als auch in der funktionellen Ausstattung nicht überzeugen, so dass die Handschuhe im Rahmen der gesetzlichen Rückgabefrist wieder zurückgegeben wurden.
Bei den ausführlichen Tests der haptischen Handschuhe zeigte sich, dass die Systeme zwar grundsätzlich Fingerbewegungen erfassen und haptisches Feedback erzeugen können. Die Positionsbestimmung der Hände im Raum bleibt jedoch weiterhin vom Tracking des VR-Headsets oder zusätzlicher Tracker abhängig.
Gerade bei Interaktionen am eigenen Oberkörper führte dies weiterhin zu Tracking-Problemen. Wenn Nutzerinnen während der Untersuchung ihren Blick von der Brust abwenden, können die Hände vom Headset häufig nicht mehr zuverlässig erkannt werden. Damit konnte das zentrale Problem des Anwendungsszenarios – die stabile Erfassung körpernaher Handpositionen – durch die getesteten Handschuhsysteme nicht gelöst werden.
Zusätzlich traten bei den getesteten Geräten weitere praktische Einschränkungen auf, darunter prototypische Hardware mit eingeschränkter Funktionalität, inkonsistente haptische Rückmeldungen sowie fehlende Unterstützung für Standalone-VR-Headsets.
Die Tests lieferten dennoch wichtige Erkenntnisse für die weitere technische Entwicklung im Projekt. Dabei wurde deutlich, dass die größte Herausforderung weniger in der haptischen Rückmeldung selbst liegt, sondern in der zuverlässigen Positionsbestimmung der Hände bei körpernahen Interaktionen.
Auf Grundlage dieser Ergebnisse wurde im Projekt entschieden, alternative Trackingansätze zu untersuchen, etwa durch zusätzliche externe Kamerasysteme am VR-Headset. Diese sollen künftig eine stabilere Erfassung der Hände auch im Bereich des Oberkörpers ermöglichen.
Die Untersuchung haptischer Hardware hat damit einen wichtigen Beitrag zur technischen Weiterentwicklung des Projekts geleistet und die Anforderungen an zukünftige Interaktionslösungen präziser definiert.