Нейросеть научили определять геолокацию по фотографии С точностью 95%

Нейросеть PIGEON (Predicting Image GEOlocatioNs) появилась на свет в результате увлечения разработчиков знаменитой онлайн-игрой GeoGuessr, в которой участникам предлагается определять геолокацию изображенных на фото объектов. Аспиранты решили создать игрока с искусственным интеллектом, который сумел бы обыграть людей, и обратились для этого к системе анализа изображений CLIP и сервису Google Street View.

В результате был создан набор данных из 500 000 изображений, после чего ученые добавили в нейросеть дополнительные элементы, в том числе классификатор изображений по их расположению на планете. В итоге PIGEON стал первым ИИ, победившим легенду GeoGuessr Тревора Рэйнболта. У нейросети есть несколько сценариев использования — от определения локации на старых фото до исследований снимков.

Но есть и очевидный недостаток — PIGEON может раскрывать информацию о людях, которой те никогда не собирались ни с кем делиться. В Американском союзе гражданских свобод уже заявили, что нейросеть могут использовать злоумышленники для сбора досье по общедоступной информации и слежки за жертвами — PIGEON позволит им чтобы узнать, какие регионы, страны и города посещал тот или иной человек. По этой причине аспиранты воздержались от публикации полноценной модели нейросети.

Здесь мы рассказываем, что такое разведка по открытым данным (OSINT):