Interactive Storytelling in Immersive Augmented Reality: Supporting the Authoring Process with Software Tools

Abstract

Stories can be found everywhere. Though, to receive stories, they need to be created. In this context, Interactive Storytelling (IS) not only requires traditional story writing, but also the design of interactions. The creation process including the necessary technical development is called authoring. In combination with Augmented Reality (AR), the authoring process for IS presents many issues. Especially since the advent of head-mounted devices, not many projects have tried to combine IS with head-mounted AR. The two examples that explain their authoring process in further detail are Jin et al. (2020) and Hammady et al. (2020). However, they finish the story before the implementation starts, disabling an iterative evolution of the story alongside other components of the application, such as assets and interactions. Moreover, testing the story on the target device with prototypical assets helps to build a sound application in the end (Kampa & Spierling, 2017). Therefore, the objective of this thesis is to determine how authoring tools can be built to support the authoring process of IS in immersive AR. The work follows the method of Design Science Research suggested by Mateas and Stern (2005) and Vaishnavi and Kuechler (2004). Consequently, after the awareness of the problem, three artifacts were built using a pre-described scenario. These were subsequently evaluated to find solutions to the objective of this work. The artifacts each consist of an Interactive Fictiontool, namely Ink, YarnSpinner and Twine, in combination with the game engine Unity3D. The major findings from the evaluation are that this combination indeed enables iterating the story throughout the authoring process with prototypical assets. In addition, Ink offers the most suitable functionalities for this use case in comparison to Twine/Cradle and YarnSpinner. The authoring tasks are dividable between different authoring roles, of which Media Managers can adopt the role of the conceptual/technical author, following the suggestion of Spierling (2012). Still, the artifacts face existing authoring issues. The limitations of this work are for example that the author evaluated the tools alone, therefore no user test was conducted. In addition, the artifacts need further development to enhance the authoring process. To sum up, the contributions of this thesis are the theoretical lessons learned from the development and evaluation, and the practical artifacts.

Geschichten sind überall zu finden. Doch um Geschichten rezipieren zu können, müssen sie erst einmal geschaffen werden. In diesem Zusammenhang erfordert Interaktives Storytelling (IS) nicht nur das traditionelle Schreiben von Geschichten, sondern auch die Gestaltung von Interaktionen. Der Erstellungsprozess einschließlich der notwendigen technischen Entwicklung wird als Authoring bezeichnet. In Kombination mit Augmented Reality (AR) wirft der Authoring-Prozess für IS viele Fragen auf. Besonders mit Hinblick auf Datenbrillen gibt es nicht viele Projekte, die sich mit dem Authoring von IS für immersive AR beschäftigen. Jin et al. (2020) und Hammady et al. (2020) sind zwei Beispiele, die den Erstellungsprozess näher erläutern. Sie schließen die Verfassung der Geschichte jedoch ab, bevor die Implementierung der Applikation beginnt, was eine iterative Entwicklung der Geschichte zusammen mit anderen Komponenten der Anwendung, wie Assets und Interaktionen, verhindert. Darüber hinaus hilft das Testen der Story auf dem Zielgerät mit prototypischen Assets, um am Ende eine solide Anwendung zu erstellen (Kampa & Spierling, 2017). Ziel dieser Arbeit ist es daher, herauszufinden, wie Autorentools entwickelt werden können, um den Erstellungsprozess von IS in immersiver AR zu unterstützen. Die Arbeit folgt der von Mateas und Stern (2005) und Vaishnavi und Kuechler (2004) vorgeschlagenen Methode des Design Science Research. Folglich wurden nach der Problembeschreibung drei Artefakte anhand eines zuvor beschriebenen Szenarios erstellt und anschließend evaluiert, um Lösungen für den Gegenstand dieser Arbeit zu finden. Die Artefakte bestehen jeweils aus einem Interactive Fiction-Tool, und zwar Ink, YarnSpinner und Twine in Kombination mit der Spiel-Engine Unity3D. Die wichtigsten Ergebnisse der Evaluierung sind, dass diese Kombination in der Tat die Iteration der Geschichte während des gesamten Erstellungsprozesses mit prototypischen Assets ermöglicht. Darüber hinaus bietet Ink im Vergleich zu Twine/Cradle und YarnSpinner die für diesen Anwendungsfall am besten geeigneten Funktionalitäten. Die Autorenaufgaben sind auf verschiedene Autorenrollen aufteilbar, von denen Medienmanager die Rolle des von Spierling (2012) vorgeschlagenen konzeptionellen/technischen Autors übernehmen können. Dennoch weisen die Artefakte bestehende Autorenprobleme auf. Die Grenzen dieser Arbeit liegen beispielsweise darin, dass die Autorin die Werkzeuge allein evaluiert hat. Es wurde daher kein Benutzertest durchgeführt. Außerdem bedürfen die Artefakte weiterer Entwicklung, um den Erstellungsprozess zu verbessern. Zusammenfassend lässt sich sagen, dass der Beitrag dieser Arbeit in den theoretischen Erkenntnissen aus der Entwicklung und Bewertung der Artefakte sowie in den praktischen Artefakten selbst besteht.