Александр Пономарёв

Текст

Команда американских ученых разработала «Индекс прозрачности основной модели» FMTI (Foundational Model Transparency Index) и проверила с его помощью десять крупнейших моделей ИИ

Исследователи из Стэнфордского и Принстонского университетов совместно с коллегами из Массачусетского технологического института решили проверить прозрачность популярных моделей ИИ с помощью специально разработанного индекса FMTI. Он оценивает 10 крупнейших моделей ИИ по 100 различным критериям, связанным с прозрачностью и открытостью — информации, на которой они обучались, потребности в вычислительных ресурсах, защите данных и многом другом.

Средняя оценка по всем моделям ИИ составила всего 37% — ученые заявили, что ни одна из моделей не обеспечивает прозрачности. Модель Llama 2 заняла первое место с результатом 54%, Bloomz — второе место с 53%, GPT-4 — третье с 48%. Stable Diffusion 2 заняла четвёртое место с 47%, PaLM2 — пятое с 40%.

У открытых моделей код размещается публично как открытое ПО — это, например, Llama 2 и Bloomz, к закрытым относится GPT-4. Исследователи надеются, что FMTI окажет позитивное влияние на политику создателей ИИ и в дальнейшем они планируют публиковать свой рейтинг ежегодно. Девять из десяти участников рейтинга уже присоединились к инициативам правительства США по ответственному использованию ИИ, а FMTI может стать дополнительной мотивацией для выполнения обязательств.

Здесь мы рассказываем, как устроены языковые модели на примере ChatGPT:

Читать на ЦО.РФ

ChatGPT: Языковая модель и текстовый ИИ  Что такое ChatGPT, для чего он нужен, куда развивается и что о себе думает

ChatGPT называют «прорывом, равным по значению появлению интернета», и о нем написано много статей. Однако мы решили спросить «Что такое ChatGPT?» у самого ChatGPT. Кто, как не он, имеет наилучший ответ о себе?

Использованные источники: Freepik