Twitter опубликовал часть исходного кода Включая рекомендательный алгоритм

В открытом доступе выложено два репозитория Twitter — main repo и ml repo, а также инструкция по работе с кодом рекомендательного алгоритма от инженеров. Она подробно рассказывает про конвейер рекомендаций, который, как утверждают разработчики, выполняется около пяти миллиардов раз в день. Twitter просит сообщество разработчиков изучить код алгоритма и создавать свои issue и pull request для доработки проекта.

«Мы пытаемся извлечь 1500 лучших твитов из пула сотен миллионов. Сегодня хронология ленты «Для вас» состоит в среднем из 50% твитов от пользователей, на которых вы не подписаны, и 50% твитов от пользователей, на которых вы подписаны. Хотя это может варьироваться от пользователя к пользователю», — уточнили в Twitter.

Рейтинг твитов достигается при помощи нейронной сети с 48 миллионами параметров, которая постоянно обучается взаимодействию с твитами, чтобы оптимизировать взаимодействие — лайки, ретвиты и ответы. Текущий релиз не включает в себя код рекомендаций по рекламе.

Здесь мы рассказываем о том, как скачать что угодно откуда угодно: