31 марта 2023 года Twitter опубликовала на GitHub часть своего исходного кода, включая код рекомендательного алгоритма. Компания выложила в открытый доступ два репозитория: main repo и ml repo.
Инструкция по работе с кодом рекомендательного алгоритма от инженеров Twitter. Там рассказывается о конвейере рекомендаций, который, как утверждается, выполняется примерно пять миллиардов раз в день.
«Мы пытаемся извлечь 1500 лучших твитов из пула сотен миллионов… Сегодня хронология ленты «Для вас» состоит в среднем из 50% (твитов от пользователей, на которых вы не подписаны) и 50% (твитов от пользователей, на которых вы подписаны). Хотя это может варьироваться от пользователя к пользователю», — уточнили в Twitter.
«Рейтинг твитов достигается с помощью нейронной сети с ~48 млн параметров, которая постоянно обучается взаимодействию с твитами, чтобы оптимизировать положительное взаимодействие, например, лайки, ретвиты и ответы», — рассказали инженеры соцсети.
Twitter попросила сообщество разработчиков изучить код алгоритма, создавать свои issue и pull request для улучшения и доработки этого проекта.
Разработчики пояснили, что текущий релиз алгоритма не включает в себя код, который приводит в действие рекомендации соцсети по рекламе. В открытых репозиториях также нет информации об обучающих данных для рекомендательного алгоритма.
Сторонние разработчики уже нашли в алгоритме несколько первоапрельских вставок.
