Inhalt anspringen

ATLAS

Sprachsteuerung von generativen künstlichen Intelligenzen in einer Augmented Reality-Umgebung

Schnelle Fakten

Über das Projekt

Studierende des Bachelor Studiengangs Digitale Technologien haben im Rahmen Ihrer Projektarbeit 1 eine Sprachsteuerung von Künstlichen Intelligenzen in einer...

Worum geht es?

Im Rahmen der ersten Projektarbeit entwickelten zwei Studierende des Bachelorstudiengangs Digitale Technologien die Anwendung ATLAS. Dieser Name steht für eine "Augmentier-Technik für linguistische Analyse und Steuerung" und besteht aus einer Anwendung für die HoloLens 2, einem Augmented Reality Headset des Unternehmens Microsoft. ATLAS ermöglicht seinen Nutzer*innen mittels sprachbasierter Interaktion mit der OpenAI-Schnittstelle für Generative Pretrained Transformer – und damit mit generativen künstlichen Intelligenzen – zu interagieren.

Zusätzlich zu allgemeinen Informationsausgaben lassen sich mit der Anwendung verschiedene Funktionen der HoloLens 2 durch die gesprochene Konversation starten. Zu diesen Funktionen gehören das Fotografieren, das Generieren von Bildern, die visuelle Darstellung längerer Ausgaben und das Anzeigen der von der HoloLens erkannten Umgebung im Bereich des Nutzenden.

Wie wurde es realisiert?

Die Anwendung basiert auf der Unity Spiel-Engine und dem Mixed Reality Toolkit 2 (MRTK2) von Microsoft. Mithilfe des MRTKs wurden die von OpenAI generierten Ausgaben in einer interaktiven Augmented Reality-Darstellung visualisiert. Das Transkribieren der gesprochenen Eingabe des Nutzers (Umwandlung von Sprache in Text), sowie das Synthetisieren der Ausgabe (Umwandlung von Text in Sprache) erfolgt ebenfalls durch die Sprach-Bibliotheken innerhalb des MRTKs. Für die Implementierung der Anwendung kam die Programmiersprache C# zum Einsatz.

Kontakt & Team

Projektbeteiligte Studenten

Tim Schlierkamp
Tim Blankenstein

Portrait von Karsten Lehn __ Portrait of Karsten Lehn
Prof. Karsten Lehn, Dr.-Ing.
Telefax
  • 0231 91128183
Sprechzeiten

nach Vereinbarung

Diese Seite verwendet Cookies, um die Funktionalität der Webseite zu gewährleisten und statistische Daten zu erheben. Sie können der statistischen Erhebung über die Datenschutzeinstellungen widersprechen (Opt-Out).

Einstellungen (Öffnet in einem neuen Tab)