Entwicklung des weltweit ersten dreidimensionalen OCT-Bildgebungssystems zur Darstellung in Echtzeit mit LabVIEW und NI FlexRIO

Gallery

Abbildung 1: In Echtzeit gerendertes 3D-Bild der Haut eines Fingers

Author(s):
Dr. Kohji Ohbayashi 大林 康二 - Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授
D. Choi 崔 東学 - Kitasato University, Center for Natural Science 北里大学 一般教育部 自然科学教育センター
H. Hiro-Oka 廣岡 秀明 - Kitasato University, Center for Natural Science 北里大学 一般教育部 自然科学教育センター
A. Kubota 久保田 敦 - System House Co. 株式会社システムハウス
T. Ohno 大野 努 - System House Co. 株式会社システムハウス
R. Ikeda 池田 練造 - System House Co. 株式会社システムハウス つくば事業所 所長
K. Shimizu 清水 公也 - Kitasato University, Department of Opthalmology 北里大学 医学部 眼科学教室　教授

Bei OCT handelt es sich um eine nichtinvasive Bildgebungsmethode, die verdeckte Querschnittbilder von Materialien abbildet. Das Interesse an OCT nimmt fortwährend zu, da es eine wesentlich höhere Auflösung ermöglicht als andere Bildgebungsverfahren, wie etwa die Magnetresonanztomografie (MRT) oder die Positronen-Emissions-Tomografie (PET). Darüber hinaus erfordert diese Methode keine große Vorbereitung und ist für den Patienten sehr sicher, da eine geringe Laserleistung verwendet wird und keine ionisierende Strahlung nötig ist.

OCT verwendet eine niederenergetische Lichtquelle und die entsprechenden Reflexionen, um Bilder darzustellen. Diese Technik ähnelt dem Ultraschall, nur wird hier Licht anstatt Schall gemessen. Dazu wird ein Lichtstrahl in die zu untersuchende Probe geleitet, wobei ein Großteil des Lichts gestreut wird. Ein kleiner Teil wird allerdings als gerichtetes Strahlenbündel reflektiert, das dann erkannt und zur Bildgebung verwendet wird.

OCT ist ein in vielen medizinischen Bereichen vielversprechendes Diagnosewerkzeug. Bei OCT-Anwendungen ist die Aufnahmegeschwindigkeit entscheidend, um schnelle Sichtprüfungen zu ermöglichen und eine gute Bildqualität ohne Bewegungsartefakte zu erzielen. Zur Untersuchung des menschlichen Auges (die erforderliche Haltung wird mithilfe einer Kinnstütze erreicht) muss eine hohe Geschwindigkeit beim A-Scan eingesetzt werden, um alle Bewegungsartefakte auszuschließen. Bei endoskopischer OCT, etwa des Verdauungs- oder des Atmungssystems, kann das abzubildende Gewebe nicht an einer Stelle fixiert werden. Daher müssen wir Ultrahochgeschwindigkeits-OCT-Methoden anwenden, um Bewegungsartefakte zu vermeiden. Zudem muss bei einer nichtinvasiven optischen Biopsie in Echtzeit die Aufnahmegeschwindigkeit so hoch sein, dass das dreidimensionale Bild zur sofortigen Diagnose auch in Echtzeit dargestellt werden kann, so wie bei einem konventionellen Endoskop. Einige wenige Methoden wurden bislang für die OCT mit Ultrahochgeschwindigkeit in Erwägung gezogen. Jedoch konnte keine erfolgreich dreidimensionale OCT-Filme in Echtzeit zeigen.

Das System der ersten Generation

Wir konzipierten das SD-OCT-System der ersten Generation für eine Geschwindigkeit beim A-Scan von 60 MHz. Das Schlüsselelement der OCT-Methode bestand im Einsatz optischer Demultiplexer, um 256 schmale Spektralbänder von einem Auflicht zu trennen. Dadurch wurde die simultane, parallele Erkennung des Signals eines Interferenzstreifens (eine entscheidende Anforderung bei der OCT-Bildgebung) bei alle Wellenlängen im gemessenen Spektrum möglich. Das Ergebnis war eine Geschwindigkeit beim A-Scan, die der Datenerfassungsgeschwindigkeit der Digitalisierungsrate des A/D-Wandlers des Systems entsprach.

Kern des Datenerfassungssystems waren 32 Digitizer des Typs NI PXI-5105 mit je acht Kanälen, die wir für die simultane Digitalisierung aller 256 Spektralbänder mit einer Abtastrate von 60 MS/s einsetzten. Mithilfe des integrierten Speichers erfassten wir Daten, übertrugen sie anschließend an einen PC und nutzten LabVIEW zur Verarbeitung und Darstellung dieser Daten. Das Timing- und Sychronisationsmodul NI PXI-6652 sowie die Synchronisationstechnologie NI-TClk bildeten einen weiteren wesentlichen Bestandteil des Systems der ersten Generation. Sie lieferten die Phasenkohärenz im zweistelligen Pikosekundenbereich zwischen den Kanälen des Systems.

Mit den optischen Demultiplexern, die in einem SD-OCT-System als Spektrumanalysatoren fungierten, konnte eine OCT-Darstellung von 60 Millionen Axial-Scans pro Sekunde erreicht werden. Mit einem Resonanzscanner für die laterale Abtastung boten wir eine 16-kHz-Bildrate mit 1400 Axial-Linien pro Bild, einem Tiefenbereich von 3 mm und einer Auflösung von 23 µm.

Systemarchitektur der nächsten Generation

Mit dem bisherigen System konnten wir zwar Volumen-OCT-Videos erfassen, jedoch waren wir aufgrund der Masse der von allen Kanälen simultan erfassten Daten durch den Onboard-Speicher der Digitizer eingeschränkt. Insgesamt beschränkte sich die Dauer eines OCT-Videos auf etwa 2,5 Sekunden. Nach Übertragung der Daten an den PC benötigten wir ungefähr drei Stunden, um die dreidimensionalen Videodaten komplett zu verarbeiten und zu rendern. Schlussendlich war allerdings mit diesem System keine optische Biopsie in Echtzeit (ein primäres Ziel der endoskopischen OCT) möglich. Das neue System hingegen erreicht eine dreidimensionale OCT-Bildanzeige in Echtzeit (im Wesentlichen eine vierdimensionale OCT-Darstellung) mit einem A-Scan, einem B-Scan und einer Volumenrate von 10 MHz bzw. 4 kHz und 12 Volumen pro Sekunde.

Das experimentelle System wird in Abbildung 1 gezeigt. Die Konfiguration ähnelt dem Vorgängersystem, beinhaltet aber zwei wesentliche Änderungen: Anstelle einer Wellenlänge von 1550 nm wählten wir 1310 nm und außerdem passten wir unser Datenerfassungssystem für die Echtzeitverarbeitung an.

Die Lichtquelle des Systems ist eine Breitband-Superluminescent-Diode. Ein Filter wählt den Wellenlängenbereich, der den optischen Demultiplexern entspricht. Das von der Diode ausgehende Licht wird mit einem optischen Halbleiterverstärker verstärkt und mit dem Koppler zu gleichen Teilen auf den Probenarm und den Referenzarm aufgeteilt. Das System steuert das Licht, das auf die Probe fällt, mit einer Kollimatorlinse und einer Objektivlinse. Wir nutzen einen Resonanzscanner und einen Galvano-Spiegel, um den Lichtstrahl auf die Probe zu lenken. Die Resonanzfrequenz des Scanners beträgt 4 kHz. Sie bestimmt die Geschwindigkeit beim B-Scan innerhalb des Systems. Das System „sammelt“ von der Probe zurückgestreutes oder reflektiertes Licht und leitet es mit einem optischen Zirkulator an einen anderen optischen Verstärker weiter. Der verstärkte Ausgang und das Referenzlicht werden mit einem weiteren Koppler kombiniert. Der Referenzarm beinhaltet einen optischen Zirkulator, eine Kollimatorlinse und einen Referenzspiegel.

Das System schickt die Ausgänge des Kopplers an zwei optische Demultiplexer und sorgt so für eine abgestimmte Erkennung. Die optischen Demultiplexer teilen das Licht in 320 Wellenlängen. Anschließend wird es an die unterschiedlichen Lichtempfänger geleitet. Die Datenausgaben des Lichtempfängersystems werden an das Datenerfassungssystem geschickt. Obwohl das OCT-System aufgrund der Rate der A/D-Wandlung von 50 MHz eine höhere Geschwindigkeit beim A-Scan erzielen kann, entschieden wir uns für die ersten Arbeitschritte für eine A-Scan-Geschwindigkeit von 10 MHz.

Datenerfassung und Echtzeitverarbeitung

Das Datenerfassungssystem mit 320 Kanälen ist um die modulare FPGA-Hardware NI FlexRIO herum aufgebaut, die mithilfe des NI LabVIEW FPGA Module programmiert wurde. Dabei handelt es sich um eine grafische Entwurfssprache, die wir auch ohne Kenntnisse der VHDL-Programmierung für die Entwicklung der FPGA-Schaltkreise einsetzen können. NI FlexRIO verbindet benutzerdefinierte austauschbare I/O-Adaptermodule mit einem durch den Anwender programmierbaren FPGA-Modul in einem PXI- oder PXI-Express-Chassis. FPGAs ermöglichen die Implementierung von Verarbeitungsalgorithmen in Hardware. Wir konnten also deutliche Steigerungen bei der Verarbeitungsleistung erzielen, indem wir Abschnitte des Programmcodes vom PC auf den FPGA verlagerten.

Abbildung 2 zeigt ein Diagramm des Datenerfassungssystems. Zur Hochgeschwindigkeitserfassung setzen wir das Adaptermodul NI 5751 ein, das eine Abtastrate von 50 MS/s an 16 simultanen Kanälen mit einer Auflösung von 14 bit bietet. Das Adaptermodul ist mit dem FPGA-Modul NI PXIe-7962R verbunden, das wir zur Durchführung der ersten Verarbeitungsstufe nutzen: Subtraktion des vom Schnitt der Probe ausgehenden Rauschens und Multiplikation einer Fensterfunktion. Insgesamt sind 20 Module über zwei PXI-Express-Chassis verteilt. Beispielsweise nutzen wir zwei Timing- und Synchronisationsmodule des Typs NI PXIe-6674T, um Takte für das System zu verteilen und eine präzise Phasensynchronisation über alle Kanäle des Systems sicherzustellen.

Der Einsatz der NI-PXI-Plattform als Grundlage des Systems war der entscheidende Faktor, um die notwendige Leistung erzielen zu können. Zunächst benötigten wir den hohen Datendurchsatz von PXI Express. Dank der Verbindung von PCI Express mit x4-Lanes mit jedem Steckplatz der Backplane kann das System einen Datendurchsatz von über 700 MB/s für jedes Modul aufrechterhalten. Des Weiteren ermöglicht die Architektur der PXI-Express-Backplane mithilfe direkten Speicherzugriffs (DMA) eine Punkt-zu-Punkt-Kommunikation zwischen verschiedenen Messgeräten. Dadurch entfällt die Notwendigkeit, Daten für die Kommunikation zwischen Modulen über den Host-Prozessor oder den Speicher zu schicken. Um die Durchsatz- und Verarbeitungsanforderungen zu erfüllen, musste eine Kommunikation zwischen verschiedenen NI-FlexRIO-FPGA-Modulen mit geringer Latenz und hohem Durchsatz möglich sein. Die Implementierung des direkten Speicherzugriffs, der dafür notwendig ist, erfordert normalerweise eine komplexe, maschinennahe Programmierung. Hier kam uns die NI-Peer-to-Peer-Streaming-Technologie (P2P) zugute, die eine hohe Abstraktionsebene bereitstellt, mit der sich mehrere FPGAs innerhalb des Systems leicht ohne Bedenken hinsichtlich der maschinennahen Implementierung verbinden lassen. Stattdessen konnten wir das vorhandene Fachwissen auf die FPGA-Algorithmen lenken, die die Leistung des Systems bei der Bildverarbeitung bestimmen.

Mithilfe des P2P-Streaming übertragen wir die vorverarbeiteten Daten der FPGA-Module NI PXIe-7962R an zwei FPGA-Module des Typs NI PXIe-7965R, deren Grundlage der leistungsstarke FPGA Virtex 5 SX95 bildet. Diese FPGAs beinhalten eine große Anzahl von DSP-Slices (Digital Signal Processing), durch die sie optimal für die Signalverarbeitung geeignet sind. Deshalb setzen wir sie für die Verarbeitung der rechenintensiven schnelle Fourier-Transformation (FFT) ein. Damit eine dreidimensionale Bildverarbeitung möglich wird, verarbeiten die zwei FPGAs des Systems jede Sekunde über 700.000 schnelle Fourier-Transformationen mit 512 Abtastpunkten. Zwar nutzen wir für die Entwicklung meistens LabVIEW-FPGA-IP, konnten aber dennoch das VHDL-IP des Xilinx CORE Generator™ leicht in die LabVIEW-FPGA-Anwendung integrieren, um diese komplexe FFT-Verarbeitung umzusetzen.

Mithilfe von LabVIEW für die Integration und Steuerung der verschiedenen Bestandteile des Systems übertragen wir Daten über eine schnelle MXI-Express-Glasfaserschnittstelle vom PXI-System an einen Quad-Core-PC Dell Precision T7500, der mit einer Grafikkarte des Typs NVIDIA Quadro FX 3800 ausgestattet ist, um das 3D-Rendering und die 3D-Darstellung in Echtzeit durchzuführen. Zudem müssen wir Daten über längere Zeiträume für die mögliche Anwendung bei Gruppenuntersuchungen auf Krebs protokollieren. Die Architektur ist keine Begrenzung für die Bilderfassungszeit. Dennoch sorgten wir dafür, dass bis zu 100 Minuten auf dem Prototypensystem protokolliert werden können, indem Daten auf einem RAID-System des Typs NI HDD-8264 gespeichert werden, das 3 TB Festplattenspeicher bereitstellt.

Im Rahmen der Definition des Systems kalkulieren wir die Datenmengen und die erforderlichen Durchsatzgeschwindigkeiten (siehe Tabelle 1). Die Anzahl an Kanälen (320) bestimmt die Werte pro A-Scan (Tiefenscan). Dann wählen wir 256 A-Scans in einem B-Scan (zweidimensionales Querschnittbild), um eine annehmbare Bildqualität zu erzielen. Somit setzt sich also der B-Scan aus 81.920 Messwerten zusammen. Mit 256 B-Scans pro Volumenscan erhalten wir 20.971.520 Messwerte pro Volumen, und mithilfe von 14-bit-A/D-Wandlern umfasste jeder Messwert zwei Bytes. Da wir darauf abzielten, eine Volumenrate mit 12 Volumen pro Sekunde zu erreichen, war eine Gesamtdatenrate von etwas über 500 MB/s erforderlich. Diese erzielen wir mit der MXI-Express-Schnittstelle NI PXIe-8375.

Datenmenge und Geschwindigkeit des Datenverkehrs

Das System ist in Abbildung 4 dargestellt. Im linken Gestell befinden sich die Lichtempfänger und rechts das Datenerfassungssystem. Die zwei PXI-Chassis befinden sich in der Mitte des Gestells mit Prüfboxen darüber und darunter. Der Dell-PC steht unten links auf dem Boden.

Ergebnisse

Das System verfügt über drei verschiedene Echtzeitdarstellungsmodi: (a) Daueranzeige gerenderter 3D-Bilder, (b) fortlaufende Abtastung des im Querschnitt dargestellten 2D-Einzelbilds in einem dreidimensionalen Würfel entlang aller Achsen und (c) Daueranzeige aller erfassten B-Scan-Bilder.

Abbildung 5 zeigt ein Beispiel einer fortlaufend gerenderten 3D-Darstellung. Die Probe zeigt die Haut eines menschlichen Fingers. Die gerenderten Bilder werden laufend aktualisiert und wir können die Blickrichtung willkürlich in Echtzeit ändern. Abbildung 5 a zeigt ganz deutlich das Muster des Fingerabdrucks. Abbildung 5 b zeigt die Schweißdrüsen. Wir können in Echtzeit beobachten, wie sich die Schweißdrüsen verändern.

Obgleich Daten mit 12 Volumen/s kontinuierlich vom Datenerfassungssystem an den PC übertragen werden, müssen Anordnungen von Volumendaten für den Renderingprozess der Grafikkarte umformatiert werden. Dadurch entsteht ein Engpass bei der Datenverarbeitung. Derzeit aktualisiert das Prototypensystem die gerenderten Bilder zweimal pro Sekunde. Die Grafikkarte ist allerdings darauf ausgelegt, das Volumenrendering viermal pro Sekunde auszuführen. Daher können wir die Aktualisierungsrate des Systems durch weitere Optimierung der Algorithmen erhöhen.

Abbildung 6 a zeigt einen Abschnitt eines Echtzeitvideos, in dem gerenderte OCT-Bilder der dreischichtigen Struktur der Speiseröhre eines Schweins dargestellt werden. Eine Echtzeitdarstellung der im Querschnitt dargestellten 2D-Bildschicht entlang einer Achse mit der Bezeichnung x, y oder z ist ebenfalls möglich (siehe Abbildung 6 b, c und d). Der Tiefenbereich beträgt 4 mm. Diese Bildtiefe reicht aus, um Krebs im Frühstadium zu erkennen.

Neben gerenderten 3D-Bildern können wir auch virtuell Teile des Gewebes wegschneiden und die innere Struktur in Echtzeit offenlegen. In Abbildung 7 a ist ein gerendertes Bild eines von oben gezeigten Stücks Hühnerfleisch zu sehen. Abbildung 7 b zeigt einen virtuellen Schnitt der dünnen Deckschicht des Gewebes. Wird die Dicke der zu schneidenden Schicht erhöht (wie in Abbildung 7 c und d), können wir ein stabähnliches Objekt im Hühnerfleisch erkennen. Der virtuelle Schneideprozess kann auch umgekehrt in Echtzeit ausgeführt werden. In diesem speziellen Fall ist stark reflektiertes Licht von einer Nähnadel aus Stahl erkennbar, die in die Probe eingeführt wurde. Wird das Bild gedreht, sieht man den Stab direkt ohne virtuellen Schnitt (Abbildung 7 e). Ein gerendertes Bild virtuell zu schneiden, ist für die Abschätzung der Tiefe und der Ausbreitung von Krebs in Echtzeit hilfreich.

Fazit

Wir nutzten also die Flexibilität und Skalierbarkeit der PXI- und der NI-FlexRIO-Plattform, um das weltweit erste OCT-Bildgebungssystem zur dreidimensionalen Darstellung in Echtzeit zu entwickeln. Mithilfe von LabVIEW programmierten, integrierten und steuerten wir die unterschiedlichen Bestandteile des Systems und verbanden so die Erfassung zahlreicher Kanäle mit FPGA- und Grafikprozessorverarbeitung zur Echtzeitberechnung, -wiedergabe und -darstellung.

Mithilfe der durch NI FlexRIO möglichen FPGA-basierten Verarbeitung verarbeiteten wir jede Sekunde über 700.000 schnelle Fourier-Transformationen mit 512 Abtastpunkten, um eine 3D-Bildgebung zu erreichen und zugleich eine hohe Kanaldichte für das System mit 320 Kanälen aufrechtzuerhalten. Mit PXI nutzten wir Datenübertragungen mit hohem Durchsatz über PCI Express, das genaue Timing und die präzise Synchronisation mehrerer Module sowie Peer-to-Peer-Datenströme, um Daten direkt zwischen FPGA-Modulen zu übertragen, ohne über den Host gehen zu müssen. Uns gelang es zudem, eine Verbindung mit hohem Durchsatz zwischen den Ein- und Ausgängen und der Verarbeitung auf der Grafikkarte des Host-PCs aufrechtzuerhalten sowie RAID-Hardware zur erweiterten Bilddatenprotokollierung zu integrieren.

Dank dieses Verarbeitungssystems demonstrierten wir eine kontinuierliche Echtzeitdarstellung von dreidimensionalen OCT-Bildern. Außerdem können wir das gerenderte 3D-Bild in Echtzeit in jede Richtung drehen. Die Beobachtung von Gewebe, wie beispielsweise der Luftröhre oder Speiseröhre, mit guter Bildtiefe zeigt die Anwendbarkeit unserer Methode auf die optische Biopsie. Des Weiteren kann die Offenlegung der Innenseite einer Struktur durch virtuelles Schneiden der Gewebeoberfläche in Echtzeit bei der Krebsdiagnose sehr hilfreich sein. Wir konnten mit dem System sogar dynamische Gewebeveränderungen beobachten, anhand derer Chirurgen den Blutfluss und Veränderungen des Gewebes während einer Operation beobachten können.

Danksagung

Diese Arbeit wird durch das Programm „Development of Systems and Technology for Advanced Measurement and Analysis“ der Japan Science and Technology Agency (JST) unterstützt.

Author Information:
Dr. Kohji Ohbayashi 大林 康二
Kitasato University, Graduate School of Medical Science 北里大学 大学院 医療系研究科 教授
Kitasato 1-15-1, Sagamihara
Kanagawa
Japan
Tel: +81-42-778-8034
obayashi@kitasato-u.ac.jp