Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редс
Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редстоуна .
Авторы, наверное, сами на нем выросли, и вот теперь они представили агента OmniJARVIS, который способен выполнять комплексные таски, такие как крафт каменной (не деревянной) кирки. Т.е. он понимает, что сначала ему нужно сделать верстак, потом деревянную кирку, и только потом, добыв булыжник, каменную.
Для этого используют, можно сказать, новый вид мультимодальных LLM - VLA (Vision Language Action).
У нас здесь есть как бы два мозга. Мозг LLM и спинной мозг – поведенческий детокенайзер, который интерпретирует аутпут LLM в действие. Действия предварительно тренируются, используя датасет из кучи видосов по Майнкрафту. LLM пишет, что делать, детокенайзер находит у себя в базе выученных действий нужное и шаг за шагом идет к своей цели. И все это вроде как работает очень дружно и слаженно.
В видосе агент сам поставил себе план: добыть дерево, создать верстак и скрафтить необходимые инструменты. Все эти действия он научился делать заранее, здесь они выполняются командой экшн. В записи показано, как это выглядит.
Еще один пример смотрите в первом комменте.
Что это значит?
Мы уже научились обучать роботов делать какие-то простые таски: Вот свежий пост про живую сталь и GR00T среду для виртуальной тренировки. У нас уже много примеров того, как боты складывают вещи, моют, убирают и прочее, тут и тут . В этом посте показан не первый, конечно, но очень качественный пример системы, которая объединяет все эти отдельные выученные действия в один общий план, когда бот сам анализирует обстановку, планирует и решает задачи.
Кажется, это уверенные шаги в сторону автономных агентов и происходят они в Майнкрафте (т.к., там проще тестировать и обучать). Теперь ждем более сложного планирования и для физических роботов.
Project page
Пейпер
Код!
И даже Датасет обещают скоро
1 view
54
9
12 months ago 00:05:13 1
Новая чугунная сковорода? Делаем антипригарное покрытие!
12 months ago 00:52:46 1
Привет, Пап! Автомобильное путешествие через всю Россию в одиночку.
12 months ago 00:04:10 1
EMIN - Прости, моя любовь ft. Максим Фадеев (Official video)
12 months ago 01:19:31 1
Затормози ум и дай проявиться реальности (Роберт Адамс.НикОшо)
12 months ago 00:05:09 1
Научили в дорогом ресторане❗ Я больше не плачу в ресторанах! НИ ОДНОГО ПРАЗДНИКА БЕЗ ЭТОГО БЛЮДА
12 months ago 02:19:35 1
Сергей Бубновский: здоровая спина и суставы, мифы о сахаре, оземпик и новое тело в любом возрасте
12 months ago 11:07:19 1
РУБИКОН | КНИГА ПЕРВАЯ | ПОПАДАНЦЫ КОНСТАНТИНА КАЛБАЗОВА | ФАНТАСТИКА
12 months ago 00:05:24 1
Он остается единственным, кому я завидовал! - Гонка(2013)
12 months ago 00:05:30 1
Когда есть селёдка, всегда готовлю ЭТОТ САЛАТ ЗА ДВЕ МИНУТЫ. Лучше шубы!
12 months ago 00:03:52 1
Обзор OXFORTPACK. Хардкорная реалистичная сборка для майнкрафта (Minecraft java edition)
12 months ago 00:18:45 1
Как долго НЕ КОНЧАТЬ - будто ты ПОРНОЗВЕЗДА, а не скорострел/ ЭДЖИНГ
12 months ago 00:14:25 1
СЕКРЕТЫ и ХИТРОСТИ наших бабушек, которые НАДО ЗНАТЬ! Часть 2 - КУХНЯ НАИЗНАНКУ
12 months ago 00:56:47 1
Модуль для автодома #4x4 своими руками. Серия 2
12 months ago 00:03:32 1
ШЕДЕВР на зиму без стерилизации. Закуска из помидоров и капусты “ Осенний вальс“
12 months ago 00:32:59 1
Как я делаю вакуум живота (для начинающих) | Остеопат Марина Просветина
12 months ago 00:11:04 1
КАК ИЗБАВИТЬСЯ ОТ КАШЛЯ ЗА 5 МИН! Я В ВОСТОРГЕ КАК ЭТО РАБОТАЕТ!!!
12 months ago 00:14:11 1
Маринованная капуста от Татьяны👍👍👍 Такой капусты вы ещё точно не пробовали)))
12 months ago 01:02:12 1
Стоимость обучения на планере и самолете. Программы, лицензии, возможности
12 months ago 00:00:04 1
Левиафан ““Я ничего не понимаю““
12 months ago 00:05:16 1
Просто натрите 1 кабачок, 1 картофелину и добавьте яйца ! Так вкусно, что я готовлю часто летом
12 months ago 10:00:03 1
Да пошла ты на хуй, я не буду плакать 10 часов попугайчик автор лох и кстати его взламали
12 months ago 00:56:19 1
Руки Вверх - Без тормозов
12 months ago 00:17:47 1
НЕДЕЛЯ с Realme 10 | все так ПЛОХО? ЧЕСТНЫЙ ОТЗЫВ | ПЛЮСЫ и МИНУСЫ