03.06.2025, 09:00 Uhr

Universität Wien
Besprechungsraum 4.34
Währinger Str. 29
1090 Wien

Titel: Forecasting Irregularly Sampled CT Image Time Series of Lung
Cancer Patients Using Deep Learning

Kurzfassung:
Frühzeitige Erkennung und fundierte Behandlungsentscheidungen sind entscheidend
für die Heilungschancen von Lungenkrebs. Dabei liefern Computertomographie (CT)-
Bildgebungen von der Entwicklung von Lungenrundherden Ärzten wertvolle Erkenntnisse,
die zu rechtzeitigen und wirksamen Interventionen beitragen. Die Möglichkeit, Tumorentwicklungen
anhand einer begrenzten Anzahl vorhandener CT-Scans vorherzusagen, könnte
die Strahlenbelastung für Patienten erheblich verringern und frühere Behandlungsentscheidungen
ermöglichen. Deswegen präsentieren wir in dieser Arbeit ein Deep-Learning-Modell,
das basierend auf einer Sequenz vergangener 3D CT-Bilder eines Patienten ein zukünftiges
3D CT-Bild zu einem beliebigen Zeitpunkt vorhersagen können soll. Im klinischen Alltag
werden solche CT-Scans in der Regel nicht in regelmäßigen Abständen, sondern nur bei klinischer
Notwendigkeit erstellt. Das vorgeschlagene Deep-Learning-Modell kann daher eine
Zeitreihe mit einer variablen Anzahl von Scans verarbeiten, wobei diese Scans zu beliebigen
Zeitpunkten aufgenommen worden sein können. Unser Modell basiert auf bestehender
Arbeit im Bereich der Videoverarbeitung. Wir entwickeln ein zweistufiges Modell, bei
dem zuerst ein Vector-Quantized Generative Adversarial Network eingesetzt wird, um die
hochdimensionalen CT-Bilder zu komprimieren und einen strukturierten latenten Raum
zu erzeugen. In diesem Raum sagt ein Sequenzmodell dann zukünftige unbekannte Bilder
vorher. Für das Sequenzmodell vergleichen wir einen Transformer mit einem selektiven
Zustandsraummodell, genauer gesagt Mamba. Die unregelmäßigen Aufnahmezeitpunkte
der Bilder werden durch eine Repräsentation integriert, in der Werte, 3D-Positionen
und Zeitpunkte kombiniert werden. Das Modell wird auf einem internen Datensatz einer
heterogenen Routine-Kohorte bestehend aus Lungenkrebspatienten trainiert und evaluiert.