Алгоритмы, вдохновленные физикой

Во время долгого рассвета машинного обучения - с 1950-х до начала 2000-х годов - «академические круги поддерживали фундаментальные исследования, которые часто носили поисковый характер», - говорит Петар Величкович, штатный научный сотрудник Google DeepMind. «Некоторые из самых интересных направлений исследований, которые привели к масштабному развитию ИИ в том виде, в котором мы знаем его сейчас, были созданы в академических кругах».

Физика и машинное обучение в научных кругах давно переплелись. В 1960-х годах физик Пол Хоф разработал преобразование Хафа -- алгоритм распознавания образов для сканирования фотографий от детекторов частиц (пузырьковых камер) на предмет треков. Позже ученые-компьютерщики использовали преобразование Хафа в таких приложениях машинного обучения, как компьютерное зрение, которое позволяет идентифицировать и понимать объекты на изображениях.

В 1980-х годах исследователи в области статистической физики работали с так называемым спиновым стеклом -- материалом с интересными магнитными свойствами. Ученые поняли, что беспорядочная намагниченность материала может быть физическим проявлением математических правил, используемых в машинном обучении, и это позволит пролить свет на то, как обучаются машины.

Многие методы машинного обучения вдохновлены идеями и методами физики. Диффузионные модели, которые используются в машинном обучении как для создания изображений, так и для удаления из них шума, напрямую вдохновлены неравновесной термодинамикой. Исследователи добавляют шум в изображение, а затем обращают процесс вспять, чтобы восстановить его структуру, что создает новую модель данных - идея, используемая в неравновесной статистической физике.

Совсем недавно профессор Принстонского университета и научный сотрудник Google AI Аджи Буссо Диенг, работающая на стыке искусственного интеллекта и естественных наук, вдохновилась физикой в своей работе. Она разработала методику под названием Vendi Score для измерения разнообразия набора данных - насколько разные точки данных находятся внутри набора, что является важным критерием для создания полезной системы машинного обучения. Для создания этой методики она объединила определения разнообразия из области экологии с уравнениями, используемыми в квантовой механике.

Возможно, самым важным вкладом физики частиц в машинное обучение является идея симметрии - принцип, который играет роль во всем, от Стандартной модели до квантовой механики. Сегодня люди пытаются разработать методы машинного обучения, способные находить симметрию в данных. Определив все способы расположения данных без изменения их основных свойств, исследователи смогут построить более надежные модели машинного обучения.

«Я бы утверждал, что физика сыграла важную роль в том, как мы понимаем и строим системы машинного обучения в наши дни», - говорит Величкович. «Есть много общего между принципами, которые мы используем для построения архитектур глубокого обучения, и принципами, которые мы используем для построения базовых моделей в физике».

Сотрудничество с компьютерными науками

После 2010 года, когда появились вычислительные мощности и масштабируемые методы машинного обучения, ученые и инженеры индустрии стали доминировать в этой области, а крупные технологические компании стали лидерами в области инноваций. «В целом, промышленные позиции, как правило, предоставляют больше вычислительных ресурсов, а также доступ к интересным данным и проблемам, которые не так просто получить в академических кругах», - говорит Величкович.

Сегодня физики работают со специалистами в области компьютерных технологий как из академии, так и из индустрии, чтобы использовать машинное обучение для развития физики высоких энергий. Многие считают, что такое сотрудничество не имеет разногласий. В конце концов, многие из тех, кто работает в промышленности, получили докторскую степень в академических кругах, поэтому сотрудничество кажется естественным.

Специалист в области компьютерных технологий Жиль Луппе, профессор Льежского университета, работал с физиками над проблемой машинного обучения в европейском исследовательском центре CERN, где находится Большой адронный коллайдер. В CERN Луппе помог физикам, показав им, как нейронные сети могут объяснить экспериментальные данные лучше, чем алгоритмы, которые они использовали ранее. «Цель состоит в том, чтобы начать с конца - с частиц или конечного наблюдения - и использовать машинное обучение для перемотки этих данных и восстановления параметров модели», - говорит он.

Диенг также работает с учеными в разных областях, в том числе разрабатывает методы молекулярного моделирования и создает модели машинного обучения, которые предсказывают свойства кристаллов по их текстовым описаниям. Ей нравится работать с учеными, использовать их теории и знания о предметной области, чтобы помочь им делать прогнозы и открытия. И как человек, который учился в аспирантуре как раз в то время, когда область машинного обучения переживала бурный расцвет, она считает, что лучшее для ИИ в науке еще впереди.

«У физиков иногда создается впечатление, что нейронная сеть откроет что-то новое, но она может работать только с теми данными, которые у вас есть, и с теми предположениями, которые были сделаны при проектировании сети», - говорит Луппе.

Знакомство с индустрией искусственного интеллекта

Впервые в истории крупные технологические компании сделали огромные инвестиции в искусственный интеллект и машинное обучение. Например, система AlphaFold компании Google DeepMind предсказывает структуры белков по их аминокислотным последовательностям (сложная задача, включающая несколько сил и механизмов) и в конечном итоге может сыграть большую роль в понимании и лечении болезней. Она предсказала более 214 миллионов структур, и ее база данных использовалась в исследованиях вакцины от малярии и при создании лекарств от рака.

В физике высоких энергий индустрия предоставляет исследователям доступ к лучшим вычислительным ресурсам, а исследователи предоставляют индустрии огромные объемы чистых данных для тестирования новых систем искусственного интеллекта. LHC, например, производит 500 терабайт данных в секунду. Этот массив данных привел к плодотворному сотрудничеству. Но физике частиц есть что предложить промышленности, помимо ценных данных.

Фил Харрис, профессор физики из Массачусетского технологического института, разработавший методы машинного обучения, которые помогли открыть бозон Хиггса на LHC, входил в состав команды, сотрудничавшей с Microsoft, чтобы создать прототип анализа данных LHC на базе системы Azure Machine Learning компании. Он также получил гранты от Google Cloud и Amazon Web Services на использование вычислительных ресурсов этих компаний для изучения данных LHC.

«По моему опыту, сотрудничество с промышленностью в целом было положительным», - говорит он. «Они хотят работать с нами, и это очень полезно. И это дает нам доступ к вычислительным ресурсам, которых у нас обычно нет».

Чтобы отсортировать столкновения частиц на LHC, физики разработали методы обработки данных в реальном времени, позволяющие отфильтровать столкновения, которые стоит изучать. Этот процесс чрезвычайно быстр - алгоритмы за миллиардную долю секунды решают, сохранять ли событие регистрации частицы или нет. Когда в 2016 году Харрис и его коллеги разрабатывали методы решения этой задачи, они поняли, что никаких сверхбыстрых алгоритмов машинного обучения не существует. «Мы случайно наткнулись на проблему, которая еще не была решена в индустрии, и мы сели посмотреть, как быстро мы можем ее решить», - говорит Харрис.

Обучение алгоритмов работе на полевых программируемых вентильных матрицах - полупроводниковых устройствах, способных обрабатывать большой объем данных с минимальной задержкой, - позволило им работать быстрее, что дало возможность сохранить и изучить больше событий. «Тогда мы поняли, что можем превратить разработанное нами программное обеспечение в библиотеку и напрямую связать ее с промышленностью», - говорит он. В результате появился hls4ml - программный пакет, обеспечивающий быстрый перевод моделей машинного обучения в код, который можно запускать на программируемых вентильных матрицах.

«Это привлекло внимание индустрии автономных транспортных средств», - говорит Ааррестад из ETH Zurich, который использует машинное обучение для улучшения сбора и анализа данных на LHC.

Беспилотные автомобили должны принимать быстрые решения в режиме реального времени, используя те же самые программируемые вентильные матрицы. Ааррестад и Харрис работали с компанией Zenseact, занимающейся автономными транспортными средствами, чтобы показать, что их методы могут также снизить потребление энергии программируемыми вентильными матрицами.

На самом деле промышленников привлекла не скорость работы техники, а низкое энергопотребление. «Допустим, вам нужен кардиостимулятор или портативное медицинское устройство, которое могло бы обрабатывать сигнал на ходу», - говорит Харрис. «Наши быстрые методы машинного обучения позволяют это сделать и потребляют меньше энергии».

Ааррестад также работает с Google над созданием энергоэффективных алгоритмов машинного обучения, которые ученые смогут использовать в детекторах LHC, охлаждаемых до низких температур. Если компьютеры будут выполнять алгоритмы внутри детекторов, исследователи не захотят, чтобы они потребляли большое количество энергии и нагревали систему.

«У нас есть конкретная проблема, которую мы хотим решить, и мы предоставляем Google пример для тестирования новых методов», - говорит Ааррестад. «Мы все - исследователи, и все мы хотим узнать больше в своих областях».

Команда специалистов по быстрому машинному обучению решила сделать свои методы открытыми, а не пытаться коммерциализировать свои находки (и самим стать частью индустрии), потому что «мы все преданы физике, и мы видели в этом ценный научный инструмент», - говорит Харрис. «Мы не хотели быть обязанными какой-то индустрии, чтобы заработать много денег».

Ориентация на прибыль с возможностью исследований

Когда индустрия проявляет интерес к научной области, сотрудничество может быть подавлено, поскольку знания могут быть напрямую связаны с прибылью. По словам физиков и ученых, взрыв популярности больших языковых моделей, таких как ChatGPT, например, заставил некоторых ученых в индустрии и инженеров "держать свои карты поближе к груди". Действительно, те физики, которые сотрудничают с индустрией, говорят, что их часто держат в неведении относительно конечных целей компании в том или ином проекте.

«Раньше вы могли работать в индустрии и проводить исследования, которые представлялись на лучших конференциях по машинному обучению», - говорит Диенг. «Сейчас в промышленности меньше свободы для этого».

Индустрия будет и дальше играть важную роль в исследованиях в области ИИ, «потому что они знают, что в конечном итоге это принесет много денег», - говорит Луппе. Но, по его словам, промышленность также часто гонится за самыми горячими тенденциями, как, например, нынешнее внимание к большим языковым моделям. Это оставляет академическим кругам достаточно места для инноваций и сотрудничества в решении других проблем. «Академия останется в игре, потому что это все еще очень широкая область», - говорит он. «Нам еще предстоит ответить на слишком много вопросов».

В физике аспиранты все чаще проходят специальную подготовку по машинному обучению, поскольку многие физики считают, что настоящие открытия будущего будут получены благодаря этим обученным алгоритмам.

«Почти в каждой дипломной работе аспиранта есть тот или иной аспект машинного обучения», - говорит Ааррестад. «Каждый физик должен знать, как это работает, потому что в будущем это станет огромным компонентом наших исследований. Оно поможет нам найти явления, о которых мы еще не догадывались».