Svet posmatran kroz zvuk

Narednog meseca, na Konferenciji o učenju robota (CoRL 2024) u Minhenu, Nemačka, stručnjaci sa Univerziteta Djuk predstaviće SonicSense. Ovaj sistem omogućava robotima sposobnost percepcije sličnu ljudskoj.

„Predstavljamo SonicSense, sveobuhvatan dizajn hardvera i softvera koji omogućava bogatu percepciju predmeta putem akustičnih vibracija u dodiru sa rukom robota,” navode istraživači.

„Iako su prethodne studije pokazale obećavajuće rezultate sa akustičnim senziranjem za percepciju predmeta, trenutna rešenja su ograničena na nekoliko objekata jednostavne geometrije i homogenih materijala, senzoriku sa jednim prstom i mešanje obuke i testiranja na istim objektima.”

Percepcija zvuka kod robota

Vodeći autor studije, Jiaxun Liu, prvi je student doktorskih studija u laboratoriji profesora Bojuana Čena sa Odeljenja za mašinsko inženjerstvo i nauku o materijalima na Univerzitetu Djuk.

„Danas se roboti uglavnom oslanjaju na vizuelne informacije kako bi interpretirali svet“, objašnjava Liu. „Želeli smo da kreiramo rešenje koje može da radi sa složenim i raznovrsnim objektima koji se svakodnevno sreću, dajući robotima bogatiju sposobnost da 'osete' i razumeju svet.“

SonicSense je robotska ruka opremljena sa četiri prsta, a svaki prst ima mikrofon za kontakt na vrhu. Kada robot komunicira sa objektom – tapkanjem, držanjem ili tresenjem – senzori registruju vibracije i eliminišu ambijentalnu buku.

Proces podešavanja zvuka

Sistem SonicSense identifikuje objekte i određuje njihov oblik na osnovu detektovanih signala i frekventnih karakteristika.

Sistem se oslanja na prethodno znanje i koristi napredak u veštačkoj inteligenciji kako bi prepoznao materijal i trodimenzionalni oblik objekta. Liu i Čen su kroz demonstracije pokazali impresivne mogućnosti SonicSense-a. Na primer, sistem procenjuje koliko kockica se nalazi u kutiji ili koliko vode ima u boci tresenjem ili tapkanjem po površini predmeta.

Senzorna percepcija kod robota

Iako SonicSense nije prvi takve vrste, njegovo postavljanje je jedinstveno. Četiri prsta opremljena mikrofonima i napredne tehnike veštačke inteligencije razlikuju ovaj sistem od prethodnih pokušaja. Integracija ovih tehnologija omogućava SonicSense-u da identifikuje objekte različite složenosti. Sistem je naročito koristan za rad sa materijalima koji predstavljaju izazov za sisteme zasnovane na vizuelnim informacijama, kao i za predmete sastavljene od više materijala sa reflektujućim ili providnim površinama.

Kako SonicSense nastavlja da se razvija, istraživači se fokusiraju na poboljšanje interakcije sa više objekata. Budući razvoj uključuje unapređenu robotsku ruku sa naprednim veštinama manipulacije, otvarajući mogućnost da roboti obavljaju zadatke koji zahtevaju suptilnost u osećaju dodira.

SonicSense u različitim okruženjima

Jedan od uzbudljivih pravaca za evoluciju SonicSense-a je njegova upotreba u raznovrsnim okruženjima van laboratorije.

Istraživači proučavaju potencijal SonicSense-a da funkcioniše u dinamičnim i nepredvidivim okruženjima poput urbanih sredina ili područja pogođenih katastrofama.

Preciznim podešavanjem svojih senzorskih sposobnosti, SonicSense bi mogao omogućiti robotima da se kreću kroz ruševine, procene stabilnost ili identifikuju materijale ključne za spasilačke operacije.

Uključivanje spoljašnjih izvora podataka i algoritama za prilagođavanje okruženju je ključno za dalji napredak, čime bi SonicSense proširio opseg scenarija u kojima robotske intervencije mogu biti korisne.

Prednosti robota koji koriste zvuk

Etika i društveni uticaji postaju ključni kako SonicSense bude sve više integrisan u autonomne robotske sisteme. Roboti koji tumače i komuniciraju sa svetom putem zvuka otvaraju pitanja u vezi sa privatnošću, vlasništvom nad generisanim podacima i mogućim pristrasnostima ugrađenim u sisteme veštačke inteligencije.

Kako roboti budu zauzimali sve veću ulogu u zdravstvenoj zaštiti, maloprodaji i domaćim okruženjima, važno je osigurati transparentnost u načinu na koji SonicSense tumači senzorske podatke.

Proces razvoja mora uključiti različite perspektive, sa ciljem kreiranja inkluzivne tehnologije koja poštuje prava pojedinaca i maksimalizuje društvene koristi SonicSense-ovih sposobnosti.

Sposobnost da roboti postanu bliži ljudskoj adaptabilnosti predstavlja dokaz napretka u robotici i veštačkoj inteligenciji.

Potencijal ove tehnologije da premosti jaz između veštačkih laboratorijskih uslova i složenosti stvarnog sveta mogao bi revolucionisati način na koji ljudi razmišljaju o robotima i njihovoj ulozi u svetu.

Studija je objavljena u časopisu ArXiv.