Microsoft создала SpreadsheetLLM Это фреймворк, учащий ИИ работать с таблицами
Исследователи из Microsoft представили новый фреймворк SpreadsheetLLM, который предназначен для облегчения работы с большими электронными таблицами с помощью больших языковых моделей.
Электронные таблицы содержат множество однородных строк и столбцов — это затрудняет как машинный, так и человеческий анализ. SpreadsheetLLM решает эту проблему, направляя данные в поток, который упрощает обработку информации большими языковыми моделями.
Однако фреймворк сталкивается с ограничениями в обработке больших объемов данных из-за ограничений маркеров, используемых в языковых моделях. Чтобы решить эту проблему, был разработан дополнительный инструмент SheetCompressor, который эффективно сжимает данные. Этот инструмент состоит из нескольких модулей: один анализирует структуру таблицы, удаляя лишнее, второй преобразует данные, чтобы они отображались более компактно, а третий агрегирует данные для дальнейшего упрощения обработки.
SheetCompressor показал выдающуюся способность сокращать использование лексем на 96%, что существенно уменьшает вычислительные затраты. Это открывает двери для использования ИИ в электронных таблицах на практике, даже с большими наборами данных.
Что такое текстовый ИИ и как он работает:
Использованные источники: