Популярные модели ИИ проверили на прозрачность Результаты оказались неутешительны

Исследователи из Стэнфордского и Принстонского университетов совместно с коллегами из Массачусетского технологического института решили проверить прозрачность популярных моделей ИИ с помощью специально разработанного индекса FMTI. Он оценивает 10 крупнейших моделей ИИ по 100 различным критериям, связанным с прозрачностью и открытостью — информации, на которой они обучались, потребности в вычислительных ресурсах, защите данных и многом другом.

Средняя оценка по всем моделям ИИ составила всего 37% — ученые заявили, что ни одна из моделей не обеспечивает прозрачности. Модель Llama 2 заняла первое место с результатом 54%, Bloomz — второе место с 53%, GPT-4 — третье с 48%. Stable Diffusion 2 заняла четвёртое место с 47%, PaLM2 — пятое с 40%.

У открытых моделей код размещается публично как открытое ПО — это, например, Llama 2 и Bloomz, к закрытым относится GPT-4. Исследователи надеются, что FMTI окажет позитивное влияние на политику создателей ИИ и в дальнейшем они планируют публиковать свой рейтинг ежегодно. Девять из десяти участников рейтинга уже присоединились к инициативам правительства США по ответственному использованию ИИ, а FMTI может стать дополнительной мотивацией для выполнения обязательств.

Здесь мы рассказываем, как устроены языковые модели на примере ChatGPT: