Microsoft создала SpreadsheetLLM Это фреймворк, учащий ИИ работать с таблицами

Исследователи из Microsoft представили новый фреймворк SpreadsheetLLM, который предназначен для облегчения работы с большими электронными таблицами с помощью больших языковых моделей.

Электронные таблицы содержат множество однородных строк и столбцов — это затрудняет как машинный, так и человеческий анализ. SpreadsheetLLM решает эту проблему, направляя данные в поток, который упрощает обработку информации большими языковыми моделями.

Однако фреймворк сталкивается с ограничениями в обработке больших объемов данных из-за ограничений маркеров, используемых в языковых моделях. Чтобы решить эту проблему, был разработан дополнительный инструмент SheetCompressor, который эффективно сжимает данные. Этот инструмент состоит из нескольких модулей: один анализирует структуру таблицы, удаляя лишнее, второй преобразует данные, чтобы они отображались более компактно, а третий агрегирует данные для дальнейшего упрощения обработки.

SheetCompressor показал выдающуюся способность сокращать использование лексем на 96%, что существенно уменьшает вычислительные затраты. Это открывает двери для использования ИИ в электронных таблицах на практике, даже с большими наборами данных.

Что такое текстовый ИИ и как он работает: