Подпишись на авторов видео в Телеграме, чтобы не пропустить новые материалы: Павел Комаровский и Игорь Котенков
Текстовая версия материала про эволюцию языковых моделей:
Прослушать выпуск как аудиоподкаст:
- SoundCloud —
- Яндекс Музыка —
- Другие агрегаторы подкастов —
Поддержи проект RationalAnswer:
- Patreon (в валюте) –
- Boosty (в рублях) –
СОДЕРЖАНИЕ:
00:00 – Интро
00:31 – T9: языковая модель в телефоне
02:43 – Откуда нейросети берут вероятности слов?
05:41 – Почему языковые модели умеют в творчество
08:16 – 2018: GPT-1 и архитектура Трансформера
11:47 – 2019: GPT-2, или 7000 Шекспиров в нейросети
15:25 – Как измеряется сло