Robotar som interagerar med människor

Danica Kragic Jensfelt utvecklar robotsystem som ska kunna tolka sin omgivning på ett sätt som liknar människans sinnen och lära sig saker genom att interagera med människor och sin miljö. Målet är robotar som kan utföra olika uppgifter i våra hem och andra komplexa miljöer.

Danica Kragic Jensfelt

Professor i datalogi med inriktning mot datorseende och robotik

Wallenberg Scholar

Lärosäte:
KTH

Forskningsområde:
Robotsystem som kan interagera med människor och omgivning

En vit, meterhög industrirobot står på ett bord i Danica Kragic Jensfelts labb. Den håller i en sked.

– Roboten lär sig rörelsen att föra över ris från en kastrull till en tallrik. Den använder kameran som vi använder ögonen, för att centrera skeden över skålen, säger Danica Kragic Jensfelt, som är professor i datalogi vid KTH.

Här i labbet utvecklar hon robotsystem som ska kunna samverka med människor på ett naturligt sätt; lära sig av oss och fungera i våra miljöer.

Smartare robotar med artificiell intelligens

I dag utför de flesta robotar väldefinierade, förprogrammerade uppgifter – samma sak hela tiden, ofta i fabriker och andra förutsägbara miljöer. För att hantera verkliga miljöer, där uppgifter och förutsättningar snabbt kan förändras, måste robotarna bli mycket mer självständiga. De måste kunna samla in information från sin omgivning, analysera den och ändra sitt beteende därefter.

Det här har nu blivit möjligt tack vare artificiell intelligens, AI. Forskare inom datavetenskap har lärt sig hur robotsystem kan utveckla egna motoriska färdigheter och bygga upp en förståelse för omvärlden med hjälp av stora datamängder och AI-tekniker som maskininlärning och djupinlärning.

– Nu kan vi träna robotar i stället för att programmera robotar, vilket gör det mycket lättare att hitta lösningar till miljöer där saker och ting förändras. Robotar kan också hitta egna lösningar som en människa inte kan komma på.

En viktigt del av utvecklingen är så kallade multimodala AI-modeller, som kan hantera flera olika typer av data, exempelvis ljud, bild och kraft. Det påminner om hur vi människor uppfattar världen med våra olika sinnen och ger robotar bättre möjlighet att förstå och hantera komplexa situationer.

Lär robotar lära sig

Danica Kragic Jensfelt greppar robotens stela arm. Inlärning där människan håller direkt i roboten och visar med sina egna rörelser hur uppgiften ska göras är en av metoderna som används i labbet. Under rörelsen samlar robotens sensorer in data om exempelvis kraft och läge, som den sedan använder för att bygga modeller för att kunna utföra rörelsen själv.

Bredvid robotarna ligger också ett par virtual reality-glasögon; ett annat sätt för forskarna att lära roboten nya uppgifter. Med glasögonen på kan människan se roboten i en virtuell miljö och styra robotens armar på ett verklighetstroget sätt med med hjälp av handkontroller.

– Vi vill gärna att robotar ska kunna lära sig på ett naturligt sätt från människor. Min forskning handlar om att vi ska kunna visa för robotarna hur man ska göra någonting i våra miljöer.

Danica Kragic Jensfelt har bland annat utvecklat metoder för hur robotar kan lära sig att greppa objekt, även sådana de inte har använt förut, utifrån bilder där människor använder olika objekt. Hon har också tagit fram metoder som gör att robotar kan lära sig även när det inte finns stora mängder data.

Det är jätteroligt när en robot har lärt sig från data och olika exempel och utför något på ett sätt som du inte har tänkt på.”

Robotar som viker kläder och öppnar påsar

En röd robot håller sina griparmar över ett bord. Framför den ligger ett tygstycke. Här lär forskargruppen roboten att vika tvätt, en uppgift som inte är så enkel som det kan låta.

– Först måste du göra tyget slätt. Sedan är frågan vad du vill åstadkomma med din vikning – ska plagget bli så litet som möjligt eller vill du undvika veck mitt fram? Alla viker lite olika och det där kräver att roboten kan anpassa sig.

Danica Kragic Jensfelt och hennes forskargrupp bygger inte egna robotar, utan utvecklar tekniker som kan användas med robotar som finns på marknaden idag. Nu har de kommit så långt att de söker kontakt med industriella partners för att visa vad som går att göra och ta utvecklingen vidare med dem.

– Vi tittar på att gå från det vi kan här i labbet till en produkt som ett företag kan testa. Vi vill gärna jobba med industrier där det finns uppgifter som handlar om att interagera med mjuka objekt.

En möjlighet är företag som tar emot inskickade påsar med kläder som ska säljas vidare. Här tänker Danica Kragic Jensfelt att robotar skulle kunna sköta det människor gör idag; öppna påsar, kontrollera det som finns i, klä på en docka och fotografera. Eller vid förpackning av måltidslådor, så att människor slipper stå vid ett löpande band och plocka ned grönsaker eller sushi i en låda.

– Det är en utmaning att använda AI för att automatisera uppgifter för sådana icke-repetitiva miljöer. När det gäller bildelar i en fabrik ser alla likadana ut, men alla broccolibitar är inte exakt lika stora och man kan aldrig veta vad som finns i en klädpåse som roboten öppnar.

Hjälp i hemmet

På sikt vill Danica Kragic Jensfelt att robotar ska kunna utföra avancerade uppgifter i våra hem. En viktig drivkraft är hennes son, som på grund av en funktionsnedsättning behöver hjälp i hemmet dygnet runt.

– Jag ser verkligen värdet med sådana här system. Samtidigt är det så himla roligt att göra saker som gör saker!

Text Sara Nilsson
Foto Magnus Bergström

 

Mer om Danica Kragic Jensfelts forsskning