Embodied AI Reading Club | Методы определения неопределённости языковых моделей

В докладе рассказывается про методы определения неопределённости языковых моделей. В частности, про семантическую энтропию, решающую проблему получения разной энтропии у семантически эквивалентных предложений в различных формулировках (The capital of France is Paris = France’s capital is Paris). Также рассматриваются две статьи, в которых обсуждается, можно ли вычислить неуверенность модели элицитацией — извлечением эксплицитной информации про неуверенность модели от модели, а также можно ли с помощью определения неуверенности языковой модели уменьшить количество галлюцинаций и повысить reliability модели. Статьи: 1. Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation () 2. Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs () 3. Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback () 4. Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations () Не пропускайте анонсы новых мероприятий и будьте в курсе новостей: ▪️Телеграм-канал AIRI: ▪️Комьюнити AIRI: g57c7ytnSY9jYzUy ▪️Телеграм-канал Embodied AI Reading Club: