Bildverarbeitungssystem zur Koordinierung eines autonomen mobilen Roboters für die EUROBOT 2007

Author(s):
Bernhard Brandsteidl - FH Oberösterreich Campus Wels, Studiengang Sensorik und Mikrosysteme

Industry:
Education

Products:
Smart Cameras, Vision Development Module, LabVIEW

The Challenge:
Entwicklung eines mobilen, autonomen Roboters zur Mülltrennung auf der EUROBOT2007 in Frankreich.

The Solution:
Die Erkennung des Mülls wird durch ein Bildverarbeitungssystem, bestehend aus einer Compact Vision System von National Instruments und zwei Farbkameras durchgeführt.

Kurzfassung

Für den internationalen Roboterwettkampf EUROBOT2007 in Frankreich ist ein Roboter entwickelt worden, der in 90 Sekunden Müll trennen muss. Die Erkennung des Mülls wird durch ein Bildverarbeitungssystem (BVS), bestehend aus einer Compact Vision System (NI-CVS-1455) von National Instruments und zwei Farbkameras von Unibrain, durchgeführt. Das BVS berechnet die Koordinaten aller Müllobjekte auf der Spielfläche, ermittelt die Position der Behälter und liefert zusätzliche Informationen über den Standort des Roboters. Abhängig vom ausgewählten Modus benötigt das BVS 50 - 180 ms für die Verarbeitung und Analyse der Daten und sendet nur die erforderlichen Informationen (z.B. Koordinaten der Müllobjekte) an ein Modulares Elektronisches System (MES). Das am FH OÖ Campus Wels entwickelte MES kommuniziert mit der CVS über eine serielle Schnittstelle und steuert das BVS sowie die Manövrierung des Roboters.

Das entwickelte BVS wird auch noch für Roboterkonzepte verwendet, die an europäischen (EUROBOT) sowie internationalen Wettbewerben in San Francisco (ROBOGAMES) Einsatz finden.

Einleitung

Im Rahmen eines Berufpraktikums mit anschließender Diplomarbeit wird an der FH OÖ Campus Wels ein mobiler autonomer Roboter entwickelt, um an dem internationalen Roboterwettkampf

EUROBOT teilzunehmen. Der diesjährige Schwerpunkt dieses Wettbewerbs besteht in der autonomen Mülltrennung.

Durch Verwendung eines Compact Vision Systems von National Instruments wird die Bildverarbeitung und somit das maschinelle Sehen des Roboters realisiert.

Aufgabenstellung

Die diesjährige Aufgabe des Roboters besteht darin, auf einer definierten Fläche (210 cm x 300 cm) Müll bestehend aus Aluminium-Dosen, Kunststoff-Flaschen und Batterien, binnen 90 Sekunden, in 3 verschiedene Behälter zu sortieren. Es werden jeweils zwei Roboter gegeneinander starten und somit ist auch Teil der Aufgabe den gegnerischen Roboter nicht zu behindern oder mit ihm zu kollidieren.

In Bild 1 ist ein schematischer Aufbau der Wettbewerbsfläche dargestellt.

Genauere Informationen bezüglich der Aufgabenstellung und des Wettbewerbs finden Sie auf www.eurobot.org

Gesamtsystem

Der von uns entwickelte Roboter Achilles (Bild 2) kann in drei Hauptbestandteile gegliedert werden.

• Mechanisches System: bestehend aus mechanischem Aufbau, Antrieb, Sensorik und einem Modul zur Handhabung des Mülls.
• Modulares elektronisches System (MES): bestehend aus einem Master-Modul für die Kommunikation mit der Bildverarbeitungseinheit sowie Steuerung des Roboters und mehreren Slave-Modulen, welche für bestimmte Aufgabengebiete zuständig sind und diverse Befehle des Master-Moduls ausführen.
• Bildverarbeitungssystems (BVS): besteht aus zwei Fire-i Farbkameras von

Unibrain und einem Compact Vision System (NI-CVS-1455) von National Instruments. 

Der Datenaustausch zwischen dem BVS und dem Masterboard findet über eine serielle Schnittstelle statt. Um das Masterboard nicht permanent mit Daten zu belasten, wird das BVS die nötigen Daten nur nach Abruf senden. Somit übernimmt das Bildverarbeitungssystem keine Steuerung des Roboters, sondern befasst sich rein mit der Analyse der Bilddaten und liefert dem Masterboard komprimierte und lösungswichtige Informationen.

Mechanisches System

Das mechanische System besteht aus einer Aluminium-Karosserie, zwei Gleichstrommotoren für den Antrieb, einige Infrarotsensoren, zwei Ultraschallsensoren zur Gegnererkennung und eine Aufnahmevorrichtung für den Müll.

Modulares elektronisches System (MES)

Das elektronische System übernimmt die Steuerung des Ablaufs, der Antriebe und der Sensoren, sowie jegliche Auswertung der Messdaten. Durch die Aufteilung der Aufgaben auf mehrere Module ist ein einziger µ-Controller nie so stark belastet wie üblicherweise, das bedeutet, dass z.B. die Steuereinheit keine Treiber für die Sensoren oder Antriebe benötigt und nur den korrekten Ablauf der künstlichen Intelligenz steuert.

Bildverarbeitungssystem (BVS)

Die Erstellung des Bildverarbeitungsprogramms wurde mit diversen Programmen versucht. Labview in Kombination mit NI-Vision hat sich als hervorragende Software zur Lösung unserer Problematik erwiesen. Durch die große Anzahl der verwendbaren Funktionen im Gebiet der Bildverarbeitung ist ein rasches Erstellen von funktionstüchtigen Programmen möglich.

Unsere Entscheidung für eine CVS von National Instruments ist einerseits durch ihre kompakte leichte Bauform, Anschluss von bis zu drei Fire-Wire-Kameras und eine Schnittstelle mit 44 Ein/Ausgänge für eine Statusanzeige begründet.

Ein weiterer Vorteil der CVS liegt in der Entwicklung der Programmcodes. Durch die Benützung der National Instruments Software (Labview / Vision), kann die Entwicklung auf einem normalen PC durchgeführt und mit einer Ethernetverbindung zur CVS im laufendem System ausgeführt und ausgetestet werden. Aufgrund dieser Autonomie und der abgeschlossenen Einheit, muss die Spannungsversorgung direkt am Roboter montiert sein. Infolgedessen ist die benötigte Eingangspannung von 24V der CVS ein weiterer positiver Aspekt für unsere Wahl.

Aufgaben des Bildverarbeitungssystems

Die Hauptaufgabe des Bildverarbeitungssystems besteht darin, im bewegten Zustand des autonomen Roboters folgende Punkte zu berechnen (siehe auch Bild 1).

• Position des Behälters für die Batterien (Basket),
• Detektion der Behälter für die Dosen und Flaschen,
• Koordinaten der Dosen, Flaschen, rote und blaue Batterien,
• Datenanalyse und Aufbereitung für das Masterboard.

Zusätzlich zu den Hauptaufgaben werden noch weitere nützliche Funktionen mit dem Bildverarbeitungssystem durchgeführt.

• Gebietsanalyse über den prozentuellen Anteil des Mülls,
• Auswahlverfahren zur Errechnung des nähersten Müllobjekts mit bestimmter Orientierung und Priorität,
• Abschirmung des Geschehens abseits der Spielfläche,
• Roboterpositionskoordinaten-Korrektur,
• Gegnererkennung für das Verhindern einer Kollision mit anderen Robotern.

Die Auswertung der Hauptaufgaben sollten in einer konstanten schnellen Verarbeitungszeit durchgeführt werden, denn um einen Großteil des Mülls in 90 Sekunden zu trennen, dürfen nur sehr geringe Standzeiten des Roboters vorkommen. Um diese Bearbeitungszeiten auch zu garantieren, wird die Programmierung mit schnellen einfachen Programmabschnitten durchgeführt.

Durch das Größenverhältnis der Spielfläche zum Roboter, ist es nicht möglich eine effiziente BVS-Lösung durch Verwendung nur einer Kamera zu realisieren. Unser BVS ist mit einer Kamera für die Nahfelddetektion und einer für die Fernfelddetektion ausgerüstet. Im laufendem System wird, abhängig vom benützen Modus, zwischen verschieden Bildanalysealgorithmen für die jeweiligen Kameras (mit veränderbaren Einstellungen) gewechselt. Folglich ist es uns möglich eine detaillierte Detektion im Nahfeld und eine großflächige Analyse im Fernfeld durchzuführen.

Um besser Einblick in die technischen Herausforderungen zu erhalten und die Problematik des Hintergrunds darzustellen, ist in Bild 2 eine Aufnahme des Spielfeldes aus Sicht des Roboters abgebildet. Wie in Bild 2 erkennbar, ist der Hintergrund abseits der Spielfläche nicht definiert und stellt damit eine mögliche Fehlerquelle für die Bildverarbeitung dar.

Position des Basket für die Batterien

Der Basket für die Batterien kann sich auf drei definierten Positionen im Spielfeld befinden. Zur vereinfachten Erkennung besitzt der Basket eine deutlich andere Färbung als der Boden der Spielfläche. Somit kann eine Segmentierung der Bildelemente durch deren HSV-Farb-Werte durchgeführt werden. Anhand der Form und der Größe kann von den möglichen Objekten genau auf den Basket geschlossen werden.

Detektion der Behälter für die Dosen und Flaschen

Nach der Aufnahme eines Müllobjekts muss die genaue Position der Behälter berechnet werden. Durch das Wissen der Position der Behälter (anhand der Wettbewerbsbestimmungen) kann eine grobe Ausrichtung des Roboters durchgeführt werden. Infolgedessen ist gewährleistet, dass die Behälter mit Hilfe der Kameras detektiert werden. Die genaue Orientierung zu den Behältern wird durch das Anwenden von verschiedenen Kantenfiltern und Farbfiltern berechnet und an das Masterboard gesendet.

Koordinaten der Dosen, Flaschen und Batterien

Wegen der zufälligen Müllverteilung auf der Wettbewerbsfläche ist die Detektion, speziell durch die Größenänderung von nahen und fernen Objekten und die damit verbunden stark variierenden Abbildungen der Objekte (aufgrund der perspektivischen Verzerrungen), keinesfalls trivial.

Die Oberflächen der Müllobjekte sind je nach Typ mit unterschiedlichen Farbstreifen markiert. Durch eine erneute Anwendung einer HSV-Farb-Filterung wird für jeden Mülltyp vorselektiert und mit Hilfe der Form und Größe des Objekts auf einen der Mülltypen klassifiziert. Wurden die gewünschten Müllobjekte selektiert, können durch eine Mittelpunktermittlung der einzelnen Elemente die Bildkoordinaten berechnet werden. Durch ein Entzerren der nichtlinearen Optik und der Perspektive wird nun auf die wahren Koordinaten zurück gerechnet.

Datenanalyse und Aufbereitung für das Masterboard

Die ermittelten Daten werden vom BVS dementsprechend aufbereitet, damit das Masterboard des Roboters unverzüglich agieren kann. Die Kommunikation zwischen Master und der BVS wird sich auf sehr kurze und schlichte Befehle mit darauf folgenden kurzen Daten basieren.

Zusammenfassung und Ausblick

Mit dem BVS (NI CVS 1450, Fire-i) wird die Koordinierung eines autonomen mobilen Roboters realisiert. Es wird eine Positionsermittlung für die diversen Müllobjekte und Behälter durchgeführt und an die elektronische Einheit (MES) des Roboters gesendet. Durch die Verwendung eines CVS wird eine kompakte, hoch qualifizierte Bildverarbeitung mit mehreren Kameras am Roboter ermöglicht.

Das Bildverarbeitungssystem wird weiters auch bei Bewerben in Österreich (AUSTROBOT), in Frankreich (EUROBOT) und in San Francisco (ROBOGAMES) angewandt. Weitere Informationen bezüglich der Wettbewerbe oder unserer Roboter können Sie unter http://rrt.fh-wels.at nachlesen.

Author Information:
For more information on this Case Study, contact:
Bernhard Brandsteidl
FH Oberösterreich Campus Wels, Studiengang Sensorik und Mikrosysteme
Stelzhamerstr. 23
Wels 4600
Austria
bernhardbrandsteidl@gmx.at

Browse All Case Studies »