Тестируем: сможет ли сберовский GigaChat справится с тестовой частью российского экзамена на адвоката.
Результаты нашего тестирования такие.
Даже с учётом скидки на организационные недостатки проведения тестирования GigaChat правильный ответ по итогам теста был получен только на 11 из 28 вопросов, т.е. 39% из числа заданных вопросов. В то время как по условиям прохождения тестирования необходимо дать 70 правильных ответов на 100 вопросов, т.е. 70%.
На данный момент GigaChat не может обойти по знаниям адвоката-человека. В пользу сберовской разработки говорит то, что YandexGPT вообще отказался отвечать на вопросы теста на адвоката.
Американскую нейросеть ChatGPT мы не тестировали. Сделаем в будущем. Методики тестирования будем совершенствовать, чтобы обойти организационные ограничения.
7 views
77
16
2 months ago 00:16:26 1
5 золотых правил в любом бизнесе. Это нужно знать каждому предпринимателю!
2 months ago 00:15:14 1
5 ГЛАВНЫХ ВОПРОСОВ ДЛЯ ОБСУЖДЕНИЯ СО СВОИМ ПАРТНЕРОМ
4 months ago 00:55:42 1
Юридический маркетинг |
4 months ago 00:01:56 1
SOFT PLAY - Bin Juice Disaster (Official Audio)
4 months ago 00:18:35 1
Установка пиратского софта | Что грозит за программы с торрентов?
6 months ago 00:04:26 3
Mastered English.
6 months ago 00:50:37 1
Soft skills и юридический дизайн |
6 months ago 00:37:25 1
▶️ Как скоро его уволят из МВД? / Мент с высшим юридическим обвиняет почту в своем проигрыше
7 months ago 01:19:31 1
Как работает Нейро: новый способ искать ответы feat. Wylsacom (yet another podcast #35)
10 months ago 00:43:17 7
Адвокатский софт. Выпуск от
1 year ago 01:02:26 1
Нет разногласий с партнёрами? Значит кто-то из вас – лишний | Дмитрий Гриц | Эксперт по партнерствам
2 years ago 00:05:25 2
Зачем включаться в реестр российского ПО и с какими трудностями можно столкнуться в процессе?
2 years ago 00:43:40 1
ХУЯРМАРКА | Динара Галиева: юридические советы, книжная иллюстрация и выгорание
2 years ago 00:38:00 5
Интервью с Антоном Мамичевым о деле против Veeam Softwarе. Гардиум и Legal Insight
2 years ago 00:40:34 2
Адвокатский софт с Иваном Сергеевичем. Выпуск №1 от
2 years ago 00:44:37 1
Пресс-конференция по итогам проведения Всероссийского чемпионата “Soft Skills Russia“
3 years ago 00:58:09 1
НОВЫЕ ПРАВИЛА ОРФОГРАФИИ 2021 | Подробный разбор и комментарий лингвиста