Сенатор Шейкин объяснил, почему ИИ льстит пользователям
Сенатор Артем Шейкин в интервью ТАСС рассказал, что искусственный интеллект не имеет злого умысла при обмане, а склонен льстить (сикофантия) из-за особенностей обучения на человеческой обратной связи.
Заместитель председателя совета по развитию цифровой экономики при Совете Федерации, сенатор Артем Шейкин в интервью ТАСС заявил, что искусственный интеллект способен вводить пользователей в заблуждение, однако это происходит не из-за злого умысла, а вследствие особенностей работы больших языковых моделей.
Мы привыкли думать, что если машина нас обманывает, то там точно есть злой умысел. Но скажу вам, что злого умысла у искусственного интеллекта точно нет. Это является стандартным свойством всех больших языковых моделей. Есть такое понятие "сикофантия" - это подхалимство, склонность модели льстить тому человеку, который с ней общается, — пояснил парламентарий.Сенатор также обратил внимание на то, что значительную роль играет форма, в которой пользователь формулирует вопрос.
Если вы задаете вопрос: "Этот стол - он деревянный, не так ли?" То у модели возникает, я думаю, дилемма: либо ответить то, как действительно есть, либо все-таки подтвердить то утверждение, которое вы ей задаете. И причина очень простая: она кроется в человеческой психологии, потому что процесс обучения моделей идет в результате подкрепления обратной связи от людей, потому что модели так обучаются. И именно здесь формируется тот самый механизм усиления лести. Потому что люди-оценщики подсознательно выше оценивают ответы, которые подтверждают их собственное мнение, — отметил Артем Шейкин.