Embodied AI Reading Club | Построение стратегии поведения по языковой инструкции в сложных мультимодальных средах

В докладе рассматриваются идеи, предложенные в статьях “Game On: Towards Language Models as RL Experimenters“ () и “Instruction Following with Goal-Conditioned Reinforcement Learning in Virtual Environments“ (). В первой работе авторы используют большую языковую модель для построения учебного плана обучения RL-агента в задаче следования инструкциям, что позволяет автоматически генерировать последовательность подзадач для эффективного обучения. Во второй статье языковая модель предсказывает высокоуровневый план по языковой инструкции, а RL-агент обучается с помощью учебного плана на различных списках возможных задач Недостатком этих подходов является необходимость иметь заранее определенный список подзадач, на основе которого языковая модель формирует план. Однако хотелось бы, чтобы модель самостоятельно строила план, не полагаясь на заданный перечень возможных задач Рассматриваются подходы, которые позволяют: – строить стратегию поведения в сложных мультимодальных средах по языковой инструкции – формировать автономные учебные планы с помощью языковых моделей для обучения RL-агента – создавать гибкие планы действий без фиксированного списка подзадач Статьи: 1. Game On: Towards Language Models as RL Experimenters: 2. Instruction Following with Goal-Conditioned Reinforcement Learning in Virtual Environments: Не пропускайте анонсы новых мероприятий и будьте в курсе новостей: ▪️Телеграм-канал AIRI: ▪️Комьюнити AIRI: g57c7ytnSY9jYzUy ▪️Телеграм-канал Embodied AI Reading Club: