Generative KI: Robotics Transformer PickGPT ohne Vorkenntnisse steuern

Der Robotics Transformer von Sereact kombiniert Large Language Models und Computer Vision.

PickGPT lässt sich nach Herstellerangaben in natürlicher Sprache steuern. (Bild: Sereact)
PickGPT lässt sich nach Herstellerangaben in natürlicher Sprache steuern. (Bild: Sereact)
Therese Meitinger

Sereact hat am 5. Juli die Markteinführung von „PickGPT“ bekannt gegeben – einem sogenannten Robotics Transformer, der Large Language Models (LLMs) mit Computer Vision kombiniert. Somit sei es möglich, Roboter mit natürlicher Sprache zu instruieren, heißt es in einer Mitteilung. Das Stuttgarter Tech-Start-up hat sich auf die Fahnen geschrieben, auf diese Weise die Art der Interaktion mit Robotern zu vereinfachen und die Robotik so auch für Personen ohne Vorkenntnisse zugänglich zu machen. Insbesondere in der Logistik könne diese Technologie zentrale Problemstellungen wie beispielsweise die Retourenabwicklung lösen, so der Anbieter.

LLMs stehen seit der Einführung von ChatGPT im Fokus und bieten ein großes Potenzial in Kombination mit anderen Technologien. Dieses Potenzial adressiert auch Sereact: PickGPT verbindet Unternehmensangaben zufolge die Leistungsfähigkeit von LLMs, ähnlich den Modellen, die in ChatGPT verwendet werden, mit Sereacts Computer-Vision-Modellen. Dies ermöglicht es Robotern, natürliche Sprache und visuelle Informationen zu verarbeiten und multimodale Daten zu korrelieren. Sie können ihre Umgebung so mit einer bisher nicht gekannten Intelligenz und Genauigkeit wahrnehmen und Instruktionen in natürlicher Sprache verstehen und ausführen.

Natürliche Zusammenarbeit von Mensch und Roboter

PickGPT versteht sich als softwarebasierte Robotiklösung, die weder Programmierung noch Training erfordert.  Anstatt komplexe Programmierkenntnisse zu benötigen, um Roboter zu steuern, können laut dem Anbieter Mitarbeiter nun einfach sprachbasierte Anweisungen oder intuitive Benutzeroberflächen verwenden. Dies reduziere die Zeit, die für die Einrichtung und Anpassung von Robotern benötigt wird, und ermögliche es den Mitarbeitern, sich auf andere wichtige Aufgaben zu konzentrieren, so Sereact. Zum anderen mache die intuitive Schnittstelle die Robotertechnologie auch für Menschen ohne Vorkenntnisse oder Schulungen zugänglich und erweitere damit die Palette der Personen, die Roboter im Warehouse bedienen können.

„PickGPT ermöglicht eine unkomplizierte Kommunikation zwischen Mensch und Roboter über Sprachbefehle und intuitive Schnittstellen. Dies vereinfacht die Verknüpfung mit anderen Warehouse-Management-Systemen und ermöglicht es den Mitarbeitenden, den Roboter auf einfache Weise zu instruieren – zum Beispiel, um Pickpunkte zu definieren oder bestimmte Artikel auf eine Blacklist zu setzen“, erläutert Ralf Gulde, Co-Founder und CEO von Sereact.

Mit PickGPT können laut Anbieter Roboter schnell auf neue Aufgaben oder veränderte Umgebungsbedingungen reagieren. Besonders wichtig sei dies in dynamischen und sich schnell verändernden Arbeitsumgebungen, wie sie in der Logistik üblich sind. Zudem kann laut Sereact der Robotics Transformer Objekte und Produkte in Echtzeit anhand ihrer visuellen Eigenschaften erkennen und identifizieren. PickGPT analysiert demnach automatisch Produktbilder und gleicht sie mit Artikeln in jedem realen Szenario ab. Darüber hinaus versteht und interpretiert PickGPT Produkttitel, Beschreibungen und andere Textinformationen, um entsprechende Produkte automatisch zu identifizieren und Regionen in einem Bild zuzuordnen. Vor allem für die Qualitätskontrolle bietet diese Fähigkeit großes Potenzial. Denn dadurch können Roboter falsche oder defekte Produkte sowie Blacklist-Artikel erkennen.

Branchenguide