Vizuálna navigácia humanoidného robota podľa textových inštrukcií
Opíšte humanoidnému robotovi cestu tak, ako by ste ju opísali človeku: „choď rovno a na ďalšej križovatke odboč doprava“. Cieľom projektu TalkToWalk je doladiť vision-language-action (VLA) model, napríklad NVIDIA GR00T N1, tak, aby humanoid Unitree G1 takúto trasu prešiel v skutočnej budove len podľa kamery a textu, a to bez kolízií.
Choď rovno. Na ďalšej križovatke doprava, potom znova doprava, rovno, doprava, doprava a zastav tam, kde si začal.
Na riadenie humanoidných robotov sa čoraz častejšie používajú vision-language-action (VLA) modely: siete, ktoré sa pozerajú na obraz z kamery, čítajú inštrukciu a na výstupe dávajú akcie. Otvorené základné modely ako GR00T N1 sú trénované hlavne na manipuláciu rukami. Táto práca jeden z nich prispôsobuje inej úlohe: prejsť v konkrétnej budove trasu opísanú len slovami.
Vstup
Obraz z kamery
Čo robot práve vidí.
Vstup
Trasa v texte
Príkaz, ktorý práve plní, napríklad „na ďalšej križovatke doprava“.
Model
Doladený VLA model
GR00T N1 s ďalšou výstupnou hlavou, ktorá rozpoznáva križovatky.
Výstup
Príkazy na chôdzu
Choď dopredu, otoč sa, zastav. Rovnováhu drží vlastný kontrolér robota G1.
Spätná väzba pri dolaďovaní
Vzdialenosti z LiDARu pomáhajú robotovi držať odstup od stien, ľudí a iných prekážok. Opravy od človeka ukazujú, ako vyzerá dobrý prechod trasy.
Návrh ešte nie je konečný. Toto je aktuálny plán a s prvými experimentmi sa bude meniť.
Trasa je krátka postupnosť príkazov, napríklad „choď rovno“, „na ďalšej križovatke doprava“ a „zastav“.
V každom kroku model dostane aktuálny obraz z kamery spolu s príkazom, ktorý práve plní.
Doladený GR00T N1 premení obraz a príkaz na akciu chôdze. Ďalšia výstupná hlava odpovedá na jedinú otázku: som práve na križovatke?
Na križovatke robot vykoná aktuálny príkaz (rovno, doľava alebo doprava) a vstupom modelu sa stane ďalší príkaz z postupnosti.
Akcia ide do vstavaného kontroléra chôdze robota G1 cez Unitree SDK2 a ROS 2, takže model nikdy nemusí sám udržiavať rovnováhu.
LiDAR meria vzdialenosť k stenám, ľuďom a ďalším statickým aj pohyblivým prekážkam. Spolu s opravami od človeka dáva spätnú väzbu na doladenie.
Miesto, kde sa robot musí naozaj rozhodnúť:
Spoľahlivé rozpoznávanie križovatiek je prvý výskumný míľnik, pretože každý príkaz v trase sa viaže na jednu z nich.
Väčšina práce prebehne v NVIDIA Isaac Sim, s modelom robota G1 a chodieb budovy.
Zo simulácie a z niekoľkých trás prejdených s reálnym robotom pri ručnom alebo čiastočne ručnom (asistovanom) ovládaní.
Učenie s učiteľom (supervised learning), posilňované učenie (reinforcement learning) alebo ich kombinácia; zatiaľ nerozhodnuté.
Celý okruh chodieb v budove fakulty so statickými aj pohyblivými prekážkami.
Plánované odovzdanie: jar 2027. Zoznam sa priebežne aktualizuje.
Hotovo
Zadanie práce z októbra 2026; preštudované kľúčové články o VLA modeloch a navigácii humanoidov.
Na rade
Napájanie a bezpečnosť, rozhranie ROS 2, streamovanie kamery a LiDARu, príkazy na chôdzu.
Plánované
Robot G1 a prostredie chodieb v NVIDIA Isaac Sim.
Plánované
Dataset zo simulácie a reálnych trás; ďalšia výstupná hlava na GR00T N1.
Plánované
Doladenie GR00T N1 na plnenie postupnosti príkazov.
Plánované
Celý okruh chodieb v budove fakulty so statickými aj pohyblivými prekážkami.
Plánované
Hotová bakalárska práca; kód a podľa možností aj dáta a modely zverejnené v tomto repozitári.
Tri články, z ktorých práca vychádza, podľa zadania záverečnej práce.
arXiv:2503.14734
Model, ktorý sa bude dolaďovať. Pomalý vision-language „System 2“ rozumie scéne aj inštrukcii, rýchly diffusion-transformer „System 1“ z toho robí motorické akcie.
arXiv:2601.12790
Nekolízna lokálna navigácia na rovnakom robotovi, Unitree G1, s attention vedenou predikovanými waypointmi.
PMLR 229, s. 711–733
Ukazuje, že predtrénovaný navigačný model sa dá lacno prispôsobiť novému prostrediu aj novým typom cieľov, vrátane pokynov typu „odboč doľava“.
Táto práca využíva skúsenosti z môjho ročníkového projektu, v ktorom som od základov postavil pipeline na reinforcement learning.
Ročníkový projekt na FMFI UK
Od DQN agenta pre hru Snake po kompletný self-play pipeline s CNN a Monte Carlo tree search pre súťaž Kaggle Hungry Geese, porovnaný s verejným agentom, ktorý v súťaži získal zlatú medailu. Skúsenosti s tréningovými slučkami, self-play a dôslednou evaluáciou využijem aj v tejto práci.
Práca sa ešte píše. Ak tento repozitár použijete skôr, než bude práca hotová, citujte ho takto:
@misc{monis2026talktowalk,
author = {Moni{\v{s}}, D{\'a}vid},
title = {{TalkToWalk}: Text-Guided Visual Navigation of a Humanoid Robot},
year = {2026},
howpublished = {\url{https://github.com/DavidMonis/talk-to-walk}},
note = {Bachelor's thesis in preparation, Comenius University Bratislava}
}