För människor är det ganska enkelt att hitta en förlorad plånbok begravd under en hög med föremål -- vi tar helt enkelt bort saker från högen tills vi hittar plånboken. Men för en robot innebär denna uppgift komplexa resonemang om högen och föremålen i den, vilket innebär en brant utmaning.
MIT-forskare har tidigare demonstrerat en robotarm som kombinerar visuell information och radiofrekvenssignaler (RF) för att hitta dolda föremål som var märkta med RFID-taggar (som reflekterar signaler som skickas av en antenn). Med utgångspunkt i det arbetet har de nu utvecklat ett nytt system som effektivt kan hämta alla föremål som är begravda i en hög. Så länge som vissa föremål i högen har RFID-taggar, behöver målobjektet inte märkas för att systemet ska kunna återställa det.
Algoritmerna bakom systemet, känt som FuseBot, resonerar kring den troliga placeringen och orienteringen av objekt under högen. Sedan hittar FuseBot det mest effektiva sättet att ta bort obstruerande objekt och extrahera målobjektet. Detta resonemang gjorde det möjligt för FuseBot att hitta fler dolda föremål än ett toppmodernt robotsystem, på halva tiden.
Denna hastighet kan vara särskilt användbar i ett e-handelslager. En robot med uppgift att bearbeta returer skulle kunna hitta föremål i en osorterad hög mer effektivt med FuseBot-systemet, säger seniorförfattaren Fadel Adib, docent vid institutionen för elektroteknik och datavetenskap och chef för gruppen Signalkinetics i Media Lab.
"Vad den här uppsatsen visar, för första gången, är att bara närvaron av ett RFID-märkt föremål i miljön gör det mycket lättare för dig att utföra andra uppgifter på ett mer effektivt sätt. Vi kunde göra detta eftersom vi lade till multimodala resonemang till systemet -- FuseBot kan resonera om både vision och RF för att förstå en hög med föremål", tillägger Adib.
Med Adib på tidningen är forskningsassistenterna Tara Boroushaki, som är huvudförfattare; Laura Dodds; och naziska Naeem. Forskningen kommer att presenteras på Robotics: Science and Systems-konferensen.
Inriktningstaggar
En färsk marknadsrapport visar att mer än 90 procent av amerikanska återförsäljare nu använder RFID-taggar, men tekniken är inte universell, vilket leder till situationer där endast vissa objekt i högar är taggade.
Detta problem inspirerade gruppens forskning.
Med FuseBot använder en robotarm en ansluten videokamera och RF-antenn för att hämta ett omärkt målobjekt från en blandad hög. Systemet skannar högen med sin kamera för att skapa en 3D-modell av miljön. Samtidigt skickar den signaler från sin antenn för att lokalisera RFID-taggar. Dessa radiovågor kan passera genom de flesta fasta ytor, så roboten kan "se" djupt in i högen. Eftersom målobjektet inte är taggat vet FuseBot att föremålet inte kan placeras på exakt samma plats som en RFID-tagg.
Algoritmer kombinerar denna information för att uppdatera 3D-modellen av miljön och lyfta fram potentiella platser för målobjektet; roboten känner till sin storlek och form. Sedan resonerar systemet om objekten i högen och RFID-taggplatserna för att avgöra vilket objekt som ska tas bort, med målet att hitta målobjektet med minst drag.
Det var utmanande att införliva detta resonemang i systemet, säger Boroushaki.
Roboten är osäker på hur föremål är orienterade under högen, eller hur ett squishy föremål kan deformeras av tyngre föremål som trycker på den. Den övervinner denna utmaning med probabilistiska resonemang, genom att använda vad den vet om storleken och formen på ett objekt och dess RFID-taggplats för att modellera 3D-utrymmet som objektet sannolikt kommer att uppta.
Eftersom det tar bort objekt, använder det också resonemang för att avgöra vilket objekt som skulle vara "bäst" att ta bort härnäst.
"Om jag ger en människa en hög med föremål att söka efter, kommer de med största sannolikhet att ta bort det största föremålet först för att se vad som finns under det. Vad roboten gör är liknande, men den innehåller också RFID-information för att fatta ett mer välgrundat beslut. Den frågar, 'Hur mycket mer kommer den att förstå om den här högen om den tar bort det här föremålet från ytan?'" säger Boroushaki.
Efter att roboten tagit bort ett föremål skannar den högen igen och använder ny information för att optimera sin strategi.
Hämtning av resultat
Detta resonemang, såväl som dess användning av RF-signaler, gav FuseBot en fördel gentemot ett toppmodernt system som endast använde vision. Teamet körde mer än 180 experimentella försök med riktiga robotarmar och högar med hushållsartiklar, som kontorsmaterial, gosedjur och kläder. De varierade storleken på högarna och antalet RFID-märkta föremål i varje hög.
FuseBot extraherade målobjektet framgångsrikt 95 procent av tiden, jämfört med 84 procent för det andra robotsystemet. Den åstadkom detta med 40 procent färre drag och kunde lokalisera och hämta riktade föremål mer än dubbelt så snabbt.
"Vi ser en stor förbättring av framgångsfrekvensen genom att införliva denna RF-information. Det var också spännande att se att vi kunde matcha prestandan för vårt tidigare system och överträffa den i scenarier där målobjektet inte hade en RFID tag", säger Dodds.
FuseBot kan användas i en mängd olika inställningar eftersom programvaran som utför sina komplexa resonemang kan implementeras på vilken dator som helst -- den behöver bara kommunicera med en robotarm som har en kamera och antenn, tillägger Boroushaki.
Inom en snar framtid planerar forskarna att införliva mer komplexa modeller i FuseBot så att den presterar bättre på deformerbara föremål. Utöver det är de intresserade av att utforska olika manipulationer, till exempel en robotarm som skjuter föremål ur vägen. Framtida iterationer av systemet kan också användas med en mobil robot som söker igenom flera högar efter förlorade föremål.
Detta arbete finansierades delvis av National Science Foundation, ett Sloan Research Fellowship, NTT DATA, Toppan, Toppan Forms och MIT Media Lab.