Dieser Algorithmus verbessert die Roboterleistung

Ingenieure der Northwestern University haben einen neuen Algorithmus für künstliche Intelligenz (KI) für intelligente Robotik entwickelt. Indem die neue Methode Roboter dabei unterstützt, komplexe Fähigkeiten schnell und zuverlässig zu erlernen, könnte sie die Praktikabilität – und Sicherheit – von Robotern für eine Vielzahl von Anwendungen, darunter selbstfahrende Autos, Lieferdrohnen, Haushaltsassistenten und Automatisierung, erheblich verbessern.

Während die Forscher ihren neuen Algorithmus nur an simulierten Robotern testeten, bauten sie NoodleBot für zukünftige Tests in der realen Welt. Bildnachweis: Northwestern University

Der Erfolg des Algorithmus namens Maximum Diffusion Reinforcement Learning (MaxDiff RL) liegt in seiner Fähigkeit, Roboter dazu zu ermutigen, ihre Umgebung so zufällig wie möglich zu erkunden, um vielfältige Erfahrungen zu sammeln. Diese „gestaltete Zufälligkeit“ verbessert die Qualität der Daten, die Roboter über ihre eigene Umgebung sammeln. Und durch die Verwendung qualitativ hochwertigerer Daten zeigten die simulierten Roboter ein schnelleres und effizienteres Lernen und verbesserten so ihre Gesamtzuverlässigkeit und Leistung.

Beim Test mit anderen KI-Plattformen übertrafen simulierte Roboter, die den neuen Algorithmus von Northwestern nutzten, durchweg bessere Modelle als moderne Modelle. Tatsächlich funktioniert der neue Algorithmus so gut, dass die Roboter neue Aufgaben lernten und diese dann in einem einzigen Versuch erfolgreich ausführten, und zwar gleich beim ersten Mal. Dies steht im krassen Gegensatz zu aktuellen KI-Modellen, die ein langsameres Lernen durch Versuch und Irrtum ermöglichen.

Die Forschung wurde heute in der Fachzeitschrift Nature Machine Intelligence veröffentlicht.

„Andere KI-Frameworks können etwas unzuverlässig sein“, sagte Northwestern. Thomas Berrueta, der die Studie leitete. „Manchmal gelingt ihnen eine Aufgabe vollkommen, ein anderes Mal scheitern sie jedoch völlig. Mit unserem Framework können Sie, solange der Roboter in der Lage ist, die Aufgabe zu lösen, jedes Mal, wenn Sie Ihren Roboter einschalten, erwarten, dass er genau das tut, wozu er aufgefordert wurde. Dies erleichtert die Interpretation der Erfolge und Misserfolge von Robotern, was in einer zunehmend von KI abhängigen Welt von entscheidender Bedeutung ist.

Berrueta ist Presidential Fellow am Northwestern und Ph.D. Kandidat für Maschinenbau an der McCormick School of Engineering. Der Robotikexperte Todd Murphy, Professor für Maschinenbau an der McCormick University und Berruetas Berater, ist der Hauptautor des Papiers. Berrueta und Murphey haben das Papier gemeinsam mit Allison Pinosky, ebenfalls Doktorandin, verfasst. Kandidat in Murphys Labor.

Die körperlose Trennung

Um Algorithmen für maschinelles Lernen zu trainieren, nutzen Forscher und Entwickler große Mengen massiver Daten, die Menschen sorgfältig filtern und organisieren. Aus diesen Trainingsdaten lernt die KI durch Ausprobieren, bis sie optimale Ergebnisse erzielt. Während dieser Prozess für körperlose Systeme wie ChatGPT und Google Gemini (ehemals Bard) gut funktioniert, funktioniert er nicht für körperlose KI-Systeme wie Roboter. Roboter hingegen sammeln selbstständig Daten, ohne den Luxus menschlicher Kuratoren.

„Herkömmliche Algorithmen sind in zweierlei Hinsicht nicht mit der Robotik kompatibel“, sagte Murphey. „Erstens können körperlose Systeme von einer Welt profitieren, in der physikalische Gesetze nicht gelten. Zweitens haben individuelle Fehler keine Konsequenzen. Bei Computeranwendungen kommt es nur darauf an, dass sie in den meisten Fällen erfolgreich sind. In der Robotik kann ein Ausfall katastrophale Folgen haben.

Um diese Diskrepanz zu beheben, versuchten Berrueta, Murphey und Pinosky, einen neuen Algorithmus zu entwickeln, der sicherstellt, dass Roboter unterwegs qualitativ hochwertige Daten sammeln. Grundsätzlich befiehlt MaxDiff RL Robotern, sich zufälliger zu bewegen, um umfassende und vielfältige Daten über ihre Umgebung zu sammeln. Durch das Lernen durch selbstorganisierte, randomisierte Experimente erwerben Roboter die Fähigkeiten, die sie benötigen, um nützliche Aufgaben auszuführen.

Beim ersten Mal erfolgreich sein

Um den neuen Algorithmus zu testen, verglichen die Forscher ihn mit aktuellen Modellen auf dem neuesten Stand der Technik. Mithilfe von Computersimulationen forderten die Forscher simulierte Roboter auf, eine Reihe von Standardaufgaben auszuführen. Insgesamt lernten Roboter, die MaxDiff RL verwenden, schneller als andere Modelle. Sie führten Aufgaben auch viel konsequenter und zuverlässiger korrekt aus als andere.

Vielleicht noch beeindruckender: Roboter, die die MaxDiff RL-Methode verwenden, haben es oft geschafft, eine Aufgabe in einem einzigen Versuch korrekt auszuführen. Und das sogar, als sie ohne Wissen begannen.

„Unsere Roboter waren schneller und agiler und konnten das Gelernte effektiv verallgemeinern und auf neue Situationen anwenden“, sagte Berrueta. „Für reale Anwendungen, bei denen Roboter sich nicht unendlich viel Zeit für Versuch und Irrtum leisten können, stellt dies einen großen Vorteil dar. »

Da MaxDiff RL ein allgemeiner Algorithmus ist, kann er für verschiedene Anwendungen verwendet werden. Die Forscher hoffen, dass dadurch grundlegende Probleme gelöst werden, die dem Feld im Weg stehen, und den Weg für zuverlässige Entscheidungen in der intelligenten Robotik ebnen.

„Dies muss nicht unbedingt nur für Roboterfahrzeuge verwendet werden, die sich bewegen“, sagte Pinosky. „Es könnte auch für stationäre Roboter eingesetzt werden, etwa für einen Roboterarm in einer Küche, der lernt, die Spülmaschine zu beladen. Je komplexer Aufgaben und physische Umgebungen werden, desto wichtiger wird die Berücksichtigung der Rolle der Verkörperung im Lernprozess. Dies ist ein wichtiger Schritt hin zu echten Systemen, die kompliziertere und interessantere Aufgaben erfüllen können.

Quelle: NNordwestliche Universität