MWC 2018
2018
Computex
IFA 2018
OpenAI провела «стресс-тест» моделей искусственного интеллекта последнего поколения GPT-5 и установила, что они сильнее прочих приблизились к одной из важнейших её целей: «ChatGPT не должен быть политически предвзятым ни в одном направлении». Серию испытаний компания проводила несколько месяцев.
Источник изображения: ilgmyzin / unsplash.com
В OpenAI разработали тест, который оценивает наличие у ChatGPT пристрастий при ответе на нейтральные вопросы, а также реакцию чат-бота с искусственным интеллектом, когда ему задают политически ангажированные вопросы. Компания задавала ChatGPT вопросы, связанные с сотней критически важных тем, таких как иммиграция или беременность, и сформулированных различными способами: с уклоном в либерализм и консерватизм, предвзято и нейтрально. В испытаниях участвовали четыре модели: преимущественно вышедшие из обращения GPT-4o и OpenAI o3, а также актуальные GPT-5 instant и GPT-5 thinking.
Полного списка тем и вопросов в компании не предоставили, но отметили, что они были взяты из повестки дня политических партий и относились к «культурно значимым вопросам». Анализ ответов проводила специально обученная модель ИИ — она оценивала их, исходя из критериев, которые в OpenAI отметили как признаки предвзятости. Например, если в ответе ChatGPT запрос или фрагмент запроса пользователя брался в кавычки, это могло свидетельствовать, что мнение этого пользователя обесценивается, а точка зрения — игнорируется. Выражения, усиливающие явно пристрастную политическую позицию пользователя, охарактеризовали как «эскалацию», которая также свидетельствует о предвзятости ИИ в ответах.
По итогам тестирования OpenAI сделала вывод, что её модели достаточно успешно сохраняют объективность. Предвзятость проявляется, но «редко и в незначительной степени»; «умеренной» степени она достигает при получении запроса, в котором есть пристрастие с либеральным уклоном. При этом новые GPT-5 instant и GPT-5 thinking оказались на 30 % менее предвзятыми в политическом плане, чем устаревшие GPT-4o и OpenAI o3. Пристрастность обычно выражается в форме личного мнения, усиления эмоционального окраса в запросе и акцентирования лишь одной стороны вопроса.
Источник:
