AR Nuggets: Pattern-Based Components for Using and Authoring Augmented Reality Applications

Abstract

Augmented Reality (AR) can be applied to various applications to enhance physical environments or objects virtually. Although there is a growing interest in AR applications, challenges in authoring and using AR remain. Creating AR applications typically requires programming and domain-specific knowledge and thus is a time- and resource-intensive task. Similarly, using AR applications involves challenges, e.g., unfamiliar interactions.

This thesis explores how pattern-based software components can target such challenges and introduces \textit{AR nuggets}. %This thesis introduces pattern-based software components that we call \textit{AR nuggets}. AR nuggets draw from the educational concept of microlearning, where a learning unit consists of multiple elementary self-contained learning nuggets. This thesis transfers the idea of self-contained nuggets to AR in the form of stand-alone and self-contained AR applications. We propose to base these AR applications on patterns and to provide interactive, ready-to-use applications. For example, an application based on a quiz pattern can provide all required scripts, interactions, and virtual 3D~objects. Together with domain experts, we identified eight patterns with different variations. We call our ready-to-use, pattern-based, stand-alone, and self-contained AR applications AR nuggets.

AR nuggets target to support users by utilizing tangible interactions and providing proactive user assistance. Furthermore, this thesis develops concepts to combine multiple AR nuggets into one larger AR experience or a mixed experience that includes Virtual Reality (VR) nuggets. AR nuggets also support location-specific experiences, where they can guide users from one AR nugget to another. In five user studies, we show that AR nuggets can add value to continuing medical education as well as contribute to complex location-specific and non-linear AR experiences and experiences with VR.

We introduce three approaches for authoring with AR nuggets that we also implement and evaluate. In three further user studies, we show that persons without programming knowledge or experience with AR can use AR nuggets to create their own AR applications.

Finally, this thesis describes lessons learned from the user studies that can serve as guidelines for future researchers. It contributes to lowering barriers to authoring AR by supporting domain experts with little or no programming and AR experience in creating individual and interactive AR experiences on their own. Overall, this contributes to a) opening up using AR for a larger audience, b) reducing barriers to using and authoring AR, and c) exploiting the advantages of AR in many use cases.

Augmented Reality (AR) kann in verschiedensten Anwendungen physische Umgebungen oder Objekte virtuell erweitern. Obwohl das Interesse an AR Anwendungen wächst, gibt es nach wie vor Herausforderungen bei der Erstellung und Nutzung von AR. Die Erstellung von AR Anwendungen erfordert in der Regel Programmier- und Fachkenntnisse und ist daher eine zeit- und ressourcenintensive Aufgabe. Auch die Nutzung von AR Anwendungen ist mit Herausforderungen verbunden, z. B. mit ungewohnten Interaktionen.

Diese Arbeit untersucht, wie musterbasierte Softwarekomponenten solche Herausforderungen adressieren können und stellt dazu \textit{AR nuggets} vor. AR nuggets basieren auf dem pädagogischen Konzept des Mikrolernens, bei dem eine Lerneinheit aus mehreren elementaren, in sich abgeschlossenen Lernnuggets besteht. Wir übertragen dies in Form von eigenständigen und in sich abgeschlossenen AR Anwendungen auf AR und stellen interaktive, gebrauchsfertige AR Anwendungen auf der Basis von Anwendungsmustern zur Verfügung. Zum Beispiel kann eine auf einem Quiz-Muster basierende Anwendung alle erforderlichen Skripte, Interaktionen und virtuellen 3D-Objekte bereitstellen. Mit Domänenexperten haben wir acht Muster und verschiedene Variationen identifiziert. Diese gebrauchsfertigen, musterbasierten, eigenständigen und in sich geschlossenen AR Anwendungen nennen wir AR nuggets.

AR nuggets bieten auch Interaktionen mit Tangibles (greifbaren Objekten) und proaktive Unterstützung für Personen, die AR nuggets nutzen, an. Darüber hinaus entwickeln wir Konzepte, die mehrere AR nuggets zu einem größeren AR Erlebnis oder einem gemischten AR und Virtual Reality (VR) Erlebnis mit VR nuggets kombinieren können. AR nuggets unterstützen auch ortsspezifische Erlebnisse, bei denen sie Personen von einem AR nugget zum anderen führen können. In fünf Nutzerstudien zeigen wir, dass AR nuggets einen Mehrwert für die medizinische Fortbildung bieten sowie zu komplexen ortsspezifischen, nicht-linearen AR-Erlebnissen und zu Erfahrungen mit AR sowie VR beitragen können.

Wir präsentieren, implementieren und evaluieren drei Vorgehensweisen für das Erstellen eigener AR Anwendungen mit AR nuggets. In drei weiteren Nutzerstudien zeigen wir, dass dies auch für Personen ohne Programmierkenntnisse oder Erfahrung mit AR möglich ist.

Abschließend beschreibt diese Arbeit die aus den Nutzerstudien gewonnenen Erkenntnisse, die als Leitfaden für zukünftige Forschende dienen können. Sie trägt dazu bei, die Hürden für die Erstellung von AR-Anwendungen zu senken, indem sie Domänenexperten mit wenig oder keinen Programmierkenntnissen und Erfahrung mit AR dabei unterstützt, individuelle und interaktive AR Erlebnisse selbst zu erstellen. Insgesamt trägt dies dazu bei, a) die Nutzung von AR für ein größeres Publikum zu öffnen, b) die Barrieren für die Nutzung und Erstellung von AR zu verringern und c) die Vorteile von AR in vielen Anwendungsfällen zu nutzen.