OpenAI будет бороться с «галлюцинациями» ИИ При помощи нового метода обучения
В OpenAI утверждают, что даже самые продвинутые модели ИИ склонны делать ложные выводы и изобретать те или иные факты. Обычно такое происходит в тех случаях, где требуется многоступенчатое рассуждение, поскольку для ложного вывода достаточно всего одной логической ошибки. Ученые намерены поощрять ИИ за каждый правильный шаг в процессе обучения.
Раньше вознаграждение выдавалось лишь за окончательный вывод. Такой подход исследователи назвали «наблюдение за процессом» вместо «наблюдения за результатом». Это позволит прийти к более понятной модели, поскольку стратегия побуждает ИИ следовать более похожей на логику человека цепочке мыслей.
«Обнаружение и устранение логических ошибок модели, или «галлюцинаций», является важным шагом на пути к созданию искусственного интеллекта общего назначения», — подчеркнули в OpenAI. Компания выпустила сопроводительный набор данных из 800 тысяч вручную размеченных записей, которые использовались для обучения текстовой модели.
Здесь мы рассказываем, что такое ChatGPT и как он работает:
Использованные источники:
