МГППУ создал ПО для выявления «галлюцинаций» у ИИ
Учёные МГППУ разработали алгоритмы и программное обеспечение для автоматического обнаружения ложных, но правдоподобных ответов у больших языковых моделей, что упростит работу промпт-инженеров.
Исследователи Московского государственного психолого-педагогического университета создали программные решения и алгоритмические методы для обнаружения так называемых «галлюцинаций» у крупных языковых моделей — ситуаций, когда система выдаёт убедительные, но фактически неверные сведения. Данная информация была распространена пресс-службой учебного заведения.
«Специалисты университета подготовили алгоритмы и программное обеспечение, которые дают возможность контролировать содержательную точность ответов интеллектуальных помощников, а также формировать запросы согласно предоставленному описанию ожидаемого результата, что автоматизирует труд промпт-инженеров», — проинформировали в пресс-службе вуза.Для осуществления проверки языковых моделей научным коллективом были предложены два независимых алгоритма.
- Первый из них отвечает за формирование корректного запроса,
- в то время как второй анализирует степень достоверности полученных утверждений.
Новый метод базируется на концепции, согласно которой как пользовательские запросы, так и ответы системы рассматриваются в качестве объектов особых метрических пространств. Расстояние между текстовыми элементами в этих пространствах определяется через показатель семантического сходства. Как пояснили в университете, количественное измерение расхождений между текстами даёт возможность формализовать понятие «смысловой близости» и задействовать инструменты статистического анализа.
Разработчики полагают, что итоги их работы могут найти применение у специалистов в области программирования и математики, которые занимаются разработкой и эксплуатацией больших языковых моделей.