Mūsų projekto tikslas buvo sukurti demonstracinę sistemą, kurioje mažas robotas pamatęs ištiestą žmogaus ranką priima tai kaip pasisveikinimą ir ištiesia savąją. Vaizdinis rankos atpažinimas ‒ pagrindinė sistemos dalis ‒ pasirodė esanti nelengva užduotis. Skirtingai nuo daugybės kitų gestų atpažinimo tyrimų, mes nenaudojome gylio informacijos, kurią suteikia tokie jutikliai kaip Microsoft Kinect, ar laikinių vaizdo įrašų. Norime panaudoti paprastą aparatinę įrangą, todėl atpažinimo sistemą kūrėme iš statinių paprastos kameros vaizdų, o rankos pasiūlymas sveikintis yra gan statinis gestas.
Šiame darbe specialiai ėmėmės visiškai naujo taikymo, kūrėme sprendimą nuo pradžių. Šiai užduočiai atlikti patys surinkome specialų duomenų rinkinį, jame pozavo mūsų komanda, draugai ir artimieji. Surinktą duomenų aibę galime pasiūlyti ir kitiems tyrėjams.
Pasitelkę pažangius giliojo mokymosi modelius bei bibliotekas (Keras, TensorFlow), išbandėme skirtingas konvoliucinių neuroninių tinklų konfigūracijas ir mokymosi algoritmus, stebėjome ir tyrėme apmokytų modelių tikslumą. Eksperimentai parodė, kad svarbu ne tik naudojami mašininio mokymosi modeliai, algoritmai ir jų parametrai, bet ir įvesties vaizdų transformacijos. Didžiausias proveržis buvo pasiektas apmokymo imtyje atskiriant stebimą asmenį nuo fono. Greičiausiai taip yra todėl, kad šiuo būdų mašininio mokymosi modelio dėmesys sutelkiamas į asmenį esantį priešais, o ne į tai kas vyksta fone. Pačiam prototipui nėra lengva tai padaryti neturint gylio ar judesio informacijos.
Šioje parodoje pristatome interaktyvią savo sukurtos robotinės sistemos demonstraciją. Šiuo metu geriausi rezultatai yra naudojant duomenis, turinčius paprastą, vienspalvį natūralų foną. Atpažinimo tikslumas su šiais validacijos duomenimis siekia 92%. Artimiausiu metu mes bandysime sukurti modelį, kuris geriau atpažintų siūlomus rankos judesius įvairesnėse aplinkose. „Technorama‟ yra puiki proga išbandyti sistemą su daugiau skirtingų aplinkų ir žmonių.
Tikimės, kad mūsų sukurta demonstracija padės pritraukti besidominčius tiksliaisiais mokslais, mašininiu mokymusi, robotika bei jaunuosius būsimus tyrėjus ir specialistus.
Trukmė:
2018 - 2018
