MLSim-BV Ph2

Das Thema Photorealismus wird in modernen Videospielen immer präsenter. Dies wird einerseits durch kontinuierliche Fortschritte in der Leistungsfähigkeit moderner Grafikkarten sowie Game- bzw. Grafikengines, aber auch durch Entwicklungen in Bereichen, die sich unter dem großen Themenfeld "Künstliche Intelligenz" zusammenfassen lassen, ermöglicht. Im Bereich seriöser Simulation steht jedoch mehr die exakte Berechnung komplexer Modelle im Vordergrund, wodurch diese Simulationen in Sachen Photorealismus kommerziellen Videospielen sichtbar hinterherhinken. Dabei kann der unvermeidlicherweise stattfindende Vergleich zwischen kommerziellen Produkten und den zur Verfügung gestellten Simulationen durchaus Begehren bei der Truppe wecken. Des Weiteren ist zu bedenken, dass die Qualität des Trainings durch eine höhere Immersion verbessert wird, die bspw. durch gesteigerten Photorealismus erzielt werden kann. Fortschritte im Feld der "Künstlichen Intelligenz" bieten nun die Möglichkeit, diese Erfolge aus dem kommerziellen Bereich auf einen Teil der Simulationssysteme zu übertragen. Daher sollen im Rahmen des Vorhabens "Machine Learning in Simulation zur Bildverbesserung" (MLSim-BV) F&T-Untersuchungen zur Bildverbesserung mittels künstlicher Intelligenz (KI) sowohl im Bereich des sichtbaren Lichts als auch im infraroten Bereich (zur thermischen Simulation) durchgeführt werden. Dabei ist eine optische Aufwertung der sowohl in der Bundeswehr als auch im internationalen Umfeld verbreitet genutzten Software Virtual Battlespace (VBS) 4 mit dem Ziel des Photorealismus zu erproben. Hierfür ist der infrarote Spektralbereich basierend auf RGB Bilddaten künstlich zu erzeugen. Langfristig sollen so diverse, an die jeweiligen Simulationsdaten angepasste KI-Algorithmen (im Nachfolgenden als Enhancer bezeichnet) erzeugt werden, die zu höherem Photorealismus der Simulation führen. Diese sollen dann über eine einheitliche, standardkonforme Datenbasis (bspw. SimDBasisBw / ZGeoBw-DB) gemeinsam mit den für die jeweilige Simulation notwendigen Gelände-, Objekt- und sonstigen Daten den Nutzern bereitgestellt werden und den Wert der Daten durch erhöhten Photorealismus steigern. Von zentraler Bedeutung hierbei ist, dass das angestrebte Ziel nicht nur ein scheinbarer, visueller Realismus sein darf, der zwar optisch ansprechend ist, aber die simulierte Umwelt verfälscht, sondern (insbesondere im IR-Bereich) eine tatsächliche Erhöhung des Realismus im visuellen Bereich erzielt werden soll. Im Kontext hochimmersiver Simulationen wie bspw. XR-Simulationsumgebungen könnten die zu entwickelnden Enhancer ihr volles Potential entfalten. Derzeit wird eine derartige Umgebung im Rahmen des bei der WTD 91 aufgebauten VirtHT - Virtueller Handlungstrainer (VirHT) erprobt. Der VirtHT setzt aktuell auf die Unreal-Engine, aber auch die Integration der VBS Engine ist als weitere Ausbauoption geplant. Deshalb besteht die Absicht, den im Verlauf des Vorhabens entwickelten Enhancer im Vorhaben JF102 - "Virtuelles Training urbaner Operationen als Multi-User-Szenario - VirTuOS" zu erproben und dessen Einfluss auf den dort erzielbaren Immersionsgrad zu untersuchen. Aus diesem Grund sind Voraussetzungen an den Enhancer für eine ggf. spätere Integration in den VirHT im Rahmen des Vorhabens MLSim-BV bereits zu berücksichtigen.