На сайте Лос-Аламосской национальной лаборатории размещена интересная и в каком-то смысле философская (для портала ядерных знаний) заметка "How does artificial intelligence really work? Comparing neural networks gives a peek into the black box" -"Как на самом деле работает искусственный интеллект? Сравнение нейронных сетей позволяет заглянуть в черный ящик". Мы обращаем на нее внимание, поскольку в настоящий момент и, что самое главное, - в ближайшем будущем без использования искусственного интеллекта (ИИ) не обойдется ни одно направление в науке и технике, в том числе - в области ядерных знаний.

ИИ повсюду. Когда-то это было областью научной фантастики, но теперь оно используется во всем: от виртуальных помощников до систем распознавания лиц и беспилотных автомобилей. Но как именно это работает? Ответ на самом деле не понят толком до сих пор, и это является проблемой. В конце концов, неполное понимание «как» означает, что мы не до конца понимаем, почему и когда это терпит неудачу. Это может иметь серьезные последствия, особенно когда речь идет о безопасности — подумайте о том, чтобы не знать, почему беспилотный автомобиль способен на это.

Большинство современных ИИ построено на нейронных сетях, представляющих собой серию алгоритмов, которые распознают закономерности в массивных наборах данных, подобно тому, как работает человеческий мозг. Наш мозг использует миллиарды клеток, называемых нейронами, которые образуют сети соединений друг с другом, обрабатывая информацию, посылая сигналы друг другу и друг другу, отсюда и название нейронной сети.

Эти сети «обучаются», получая примеры входных данных и желаемых выходных данных. Например, многократно обучая сети на парах вход-выход, они находят «функции» во входных данных, которые помогают им выполнять свою задачу — например, обнаружение кошачьих ушей или кошачьих хвостов или просто определение того, является ли изображение кошкой или нет.

Хотя мы все больше и больше используем ИИ, сообщество исследователей искусственного интеллекта не обязательно имеет полное представление о том, что делают нейронные сети; они дают нам хорошие результаты, но мы не всегда знаем, как и почему. И это то, что мы пытаемся решить.

Команда из Лос-Аламосской национальной лаборатории разработала новый подход к сравнению нейронных сетей, который заглядывает в «черный ящик» искусственного интеллекта, чтобы помочь нам лучше понять поведение нейронных сетей.

Нейронные сети высокопроизводительны, но хрупки. Например, беспилотные автомобили используют нейронные сети для обнаружения знаков. Когда условия идеальны, они делают это довольно хорошо. Однако мелочь — например, наклейка на знаке «стоп» — может привести к тому, что нейронная сеть неправильно идентифицирует знак и никогда не остановится.

Чтобы улучшить нейронные сети, мы ищем способы повысить надежность сети. Один из современных подходов, метрика сходства между нейронными сетями, включает в себя «атаку» на сети в процессе их обучения. Мы намеренно вводим аберрации и обучаем ИИ игнорировать их. Этот процесс называется состязательным обучением и, по сути, затрудняет обман сетей.

Команда ученых применила новую метрику сетевого сходства для обучения нейронных сетей со стороны противника и неожиданно обнаружила, что обучение со стороны противника приводит к тому, что нейронные сети для компьютерного зрения сходятся к очень похожим представлениям данных, независимо от сетевой архитектуры, по мере увеличения масштабов атаки. Они обнаружили, что когда нейронные сети обучаются быть устойчивыми к атакам со стороны, они начинают использовать те же функции для выполнения своей задачи...

Продолжение см. здесь и здесь.