Forscher am Fraunhofer IOF haben jetzt ein 3D-Messsystem geschaffen mit dem der Anwender dem Roboter mit dem Finger zu verstehen gibt, was er tun soll. Und so geht das...
Mensch-Maschine-Interaktionen kombinieren die Stärken beider Protagonisten. Mit dem neuartigen Kosyma-System und zwei Sensoren folgt der Roboter sogar jedem Fingerzeig.
(Bild: Fraunhofer IOF)
Menschen und Roboter arbeiten immer öfter zusammen. Beide haben ihre Stärken. Im Alltag kommt es vor allem auf einen intuitiven Umgang an. Das neue 3D-Messsystem erlaubt nun eine Robotersteuerung per Fingerzeig – fast so, wie der Meister früher dem Lehrling die Aufgabe klar machte.Das sogenannte Kosyma-System nutzt zwei Sensoren: Der untere überwacht kontinuierlich den Raum vor dem Prüfobjekt und erfasst die Gesten. Der obere übernimmt dann die eigentliche Prüfaufgabe am Werkstück.
Ein bunter Strauß von Herausforderungen
Im BMW-Presswerk in Leipzig ist das Routine: eine Tür soll vermessen werden. Der Bediener zeigt mit dem Finger auf eine verdächtige Stelle. Der Roboter fährt den Messkopf an die beschriebene Stelle und macht dort eine exakte 3D-Messung der Blechkontur. Das Teil ist in Ordnung.
Während die Aufgabe täglich steht, ist die Lösung noch nicht in der Serienfertigung. Im Forschungsprojekt 3D-Kosyma haben Expertinnen und Experten von fünf Firmen und drei Fraunhofer-Instituten über drei Jahre die Hardware und Software für so einen interaktiven Roboter entwickelt.
„Uns ging es darum, einen möglichst niedrigschwelligen Umgang zwischen dem Menschen und dem Roboter in der Qualitätssicherung umzusetzen“, beschreibt Dr. Peter Kühmstedt vom Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF in Jena den Ansatz. Projektleiter Dr. Tilo Lilienblum von der INB Vision GmbH in Magdeburg ergänzt: „Ganz intuitiv kann der Mensch auf ein Teil zeigen. Der Roboter folgt der Geste und vermisst das Bauteil.“
Die Ansprüche an das System waren dabei von Anfang an hoch. Es sollte eine Vielzahl unterschiedlicher Teile prüfen können. Teile bis zu einer Größe von 2 m waren zu erwarten. Die Detailgenauigkeit sollte aber auch unter 0,1 mm liegen. Die genaue Prüfposition war natürlich unbekannt, denn die sollte ja der Bediener dem Roboter erst zeigen. Das Ganze sollte möglichst einfach passieren – also ohne große Programmieraufwand. Gleichzeitig sollten die Messergebnisse aber schnell vorliegen.
Mit zwei Augen sieht man mehr...
Mensch und Maschine haben beide ihre Stärken: Der Roboter kann mit dem passenden Sensorkopf 3D-Konturen exakt vermessen. Bei großen Flächen kann das allerdings dauern. Der Mensch wiederum sieht dabei viel schneller, wo etwas nicht stimmt, kann aber keine Messdaten liefern. Im Team aber sind beide schnell und genau. Mit dieser Vision wurde im 3D-Kosyma-Projekt eine Sensorlösung entwickelt und die entsprechende Robotersteuerung programmiert.
Das IOF steuerte dabei den 3D-Sensor bei, der die Gesten erkennen kann. Das Sensorsystem projiziert dazu ein Streifenmuster auf das Zielgebiet. Zwei monochrome Kameras „sehen“ den menschlichen Arm im Zielvolumen und die Steuereinheit erkennt den Fingerzeig. Das Messvolumen ist dabei auf 80 cm × 80 cm × 50 cm vorgegeben. Die strukturierte Beleuchtung mit Infrarotlicht der Wellenlänge 850 nm ist harmlos für die Augen und die Kameras arbeiten damit unabhängig vom Umgebungslicht.
Jetzt reicht ein Fingerzeig zum Steuern aus...
Im Projekt wurden auch die Varianten mit einem Zeigestab oder einem Laserpointer untersucht – am Ende war der Fingerzeig die einfachste Lösung. Das System kann übrigens kontinuierlich den Zielbereich scannen. Sobald ein Finger auftaucht, wird er vom System erkannt und die Oberfläche in Zeigerichtung identifiziert.
Der 3D-Sensor des Kosyma-Systems nimmt zuerst den menschlichen Arm auf...
(Bild: Fraunhofer IOF)
Die Zielposition auf der Oberfläche wird dazu an die Robotersteuerung übergeben. Danach positioniert der Roboter den Prüfsensor so, dass er die Fläche des Prüfobjektes erfassen kann. Der berechnete Punkt kommt dann in der Mitte des Prüfvolumens zum Liegen.
...und dann bestimmt es die Zielposition, auf die der Finger zeigt.
(Bild: Fraunhofer IOF)
Schlussendlich führt der Prüfsensor seine Messung durch und das Ergebnis wird angezeigt. Das kann die Entscheidung für ein Gut- oder Schlechtteil sein oder auch die Information zu einer Formabweichung von einer vorgegebenen Kontur. Der Mensch kann auf einem separaten Monitor die Abweichung sehen und gegebenenfalls eine Entscheidung für das weitere Vorgehen treffen.
In der Praxis schon mal angekommen
Vorgeführt wurde das System beim Technologiepitch2020 im BMW-Werk Leipzig im Oktober. Externe Experten hatten dafür viele Vorschläge begutachtet und unter anderem das 3D-Kosyma-Projekt für eine Vorführung ausgewählt.
Und wie geht es weiter? „Nun, der Demonstrator steht bereits bei einem Unternehmen und wird in der Praxis erprobt.“, erklärt Projektleiter Dr. Lilienblum. Mit dem Ende der Förderung ist das Projekt ja nicht zu Ende, sondern es geht eigentlich erst richtig los, ergänzt der Spezialist. Entwickelt ist das System für die Automobilindustrie, aber auch eine Anwendung im Consumerbereich oder der Medizintechnik kann er sich vorstellen. Wo immer eine undefinierte Situation in der Fertigung auftaucht, kann das System Gesten oder Signale des Menschen in eine passende Aktion des Roboters umsetzen.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel Communications Group GmbH & Co. KG, Max-Planckstr. 7-9, 97082 Würzburg einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.