KI und multimodale Analyse
Ein Bild, eine Ortsangabe und ein gesprochener Satz beschreiben unterschiedliche Ausschnitte einer Situation. FILA untersucht, welche zusätzliche Information ihre Verbindung liefert und wie sich dieser Beitrag prüfen lässt. Im Mittelpunkt stehen konkrete Aufgaben: die Vorhersage von Bewegungsverläufen und die Analyse nutzbarer Landflächen.
AURORA verbindet GPS-Verläufe mit Sprachkontext; ReSeDiUm betrachtet Satellitenbilder und Beobachtungen aus der landwirtschaftlichen Praxis. Entscheidend ist, wie die Informationen zeitlich, räumlich und inhaltlich zusammenpassen. Eine Bewertung vergleicht auch, was sich ohne die jeweils zusätzliche Datenquelle erkennen oder vorhersagen lässt.
GTA-NarrativeTraj verbindet Koordinaten und Dialog aus Grand Theft Auto V in einem kontrollierten Forschungsdatensatz. Die Veröffentlichung von 2025 beschreibt etwa 30 Stunden Spielaufzeichnung und 8.392 Äußerungen mit Text. Zeitlich zugeordnete Bewegungen und Gesprächsinhalte ermöglichen die Untersuchung, welche Hinweise Sprache auf den nächsten Wegpunkt geben kann.
Der Datensatz und die Aufzeichnungspipeline unterstützen Experimente mit zeitlich zugeordneten Bewegungen und Sprachdaten. Da die Bewegungen aus der Spielwelt stammen, erfordert die Übertragung auf den realen Straßenverkehr eine gesonderte Auswertung. Im GTA-NarrativeTraj-Repository mit Daten, Quellcode, Analyse-Notebooks und Einrichtungsanleitung lässt sich die Arbeit nachvollziehen. Der Datensatzartikel erläutert Aufbau und Forschungsfragen.
Sprachverarbeitung wird ebenfalls als vollständige Verarbeitungskette untersucht. Eine Gruppenpublikation vergleicht Rauschunterdrückung, Erkennung von Sprachaktivität und automatische Transkription unter definierten Störbedingungen. So werden die Wechselwirkungen zwischen den Verarbeitungsschritten sichtbar. Frühere VoicePredict-Arbeiten bilden historischen Kontext; die zugehörigen Projektseiten und Publikationen erläutern die konkreten Untersuchungen. Mögliche Forschungs- und studentische Themen können mit dem FILA-Team besprochen werden.
Ausgewählte Publikationen
- Anastasiia Sapeha, Eduard Sariiev, Mykyta Sapeha, Ibrahim Kovan, Subashkumar Rajanayagam, Kirill Karpov, Maksim Gering, Dmitry Kachan, Eduard Siemens (2025). GTA-NarrativeTraj: Language-Aware Trajectory Prediction from GPS and Dialogue in an Open-World Simulator. Proceedings of the International Conference on Applied Innovations in IT (ICAIIT), 13(5), 193–199 DOI: 10.25673/122853.
- Anastasiia Sapeha, Ibrahim Kovan, Subashkumar Rajanayagam, Kirill Karpov, Maksim Gering, Dmitry Kachan, Eduard Siemens (2026). A Comparative Study of Noise Effects, VAD, and ASR Methods in Speech Recognition. Proceedings of the International Conference on Applied Innovations in IT (ICAIIT), 14(2), 103–110 DOI: 10.25673/123832.
Forschungsgebiete · Team und Kontakt
Entdecken Sie die Abschlussarbeiten und Studienprojekte am FILA oder die Themen für eine eigene Arbeit.
