Игорь Щукин. Тестирование системы синтеза речи или crowdsourcing is one love

В настоящий момент технологии синтеза речи — неотъемлемая составляющая современных виртуальных ассистентов. Разумеется, её нужно уметь тестировать, но, к сожалению, обойтись только программой здесь невозможно, ведь нет алгоритмов, которые могли бы надежно оценить качество сгенерированной речи. Достаточно хорошо это может сделать только человек. Строго говоря — «много человек». Например, можно найти людей, готовых помогать нам в этой задаче на краудсорсинг-платформах. С их помощью мы получаем репрезентативные метрики качества(MOS, SBS, PSER), которые позволяют надежно оценивать наши модели Помимо простой оценки качества, результаты замеров могут быть использованы для ускорения и упрощения процесса тестирования сервиса синтеза речи. Важно, что полностью возложить тестирование такого сервиса на плечи найденных на краудсорсинг-платформах людей невозможно, в силу многих факторов: отсутствие необходимого понимания именно нашей существующей системы; не публичность этой информации; высокая ответственность за результаты тестирования. Но, тем не менее, они могут значительно ускорить и упростить процесс тестирования, предоставляя дополнительную информацию тестировщикам. В докладе мы поделимся нашим уникальным опытом работы с краудсорсинг-платформами под нестандартные задачи, что поможет слушателям по-новому взглянуть на процесс тестирования. Презентация – Сайт –