Не могли бы вы рассказать, как вы впервые заинтересовались микроскопией и как используете её в контексте электромеханических измерений?

Полагаю, впервые я столкнулся со сканирующей микроскопией, когда в середине 1990-х был студентом по обмену в POSTECH в Южной Корее. Тогда у меня была возможность узнать об атомно-силовой микроскопии (АСМ).

В то время над этой темой работало очень мало исследовательских групп, что придавало ей загадочности и привлекательности. Я решил поехать в Южную Корею на полгода, чтобы узнать как можно больше о методе атомно-силовой микроскопии.

Как оказалось, лаборатория была не полностью оборудована для проведения АСМ исследований. Однако там была хорошо укомплектованная библиотека, и я могу честно сказать, что прочитал почти всё, что было опубликовано в области АСМ и сканирующей туннельной микроскопии (СТМ) с момента их появления до середины 1990-х годов.

На этом фундаменте я начал искать место для обучения в аспирантуре в США и присоединился к группе профессора Дон Боннелл в Пенсильванском университете. Группа специализировалась на сканирующей туннельной микроскопии и атомно-силовой микроскопии, и именно там я начал работать с атомно-силовой микроскопией для своего докторского исследования.

Затем я перешёл в Национальную лабораторию Ок-Ридж, чтобы продолжить работу с атомно-силовыми и туннельными микроскопами, и это, по сути, определило траекторию моей карьеры.

Что касается электромеханических измерений, то этот путь начался во время моей учёбы в Пенсильванском университете. Мой научный руководитель познакомил меня с интересным методом, который называется силовой микроскопией пьезоотклика. Она попросила меня изучить этот метод и выяснить, какую пользу он может принести, особенно в отношении сегнетоэлектрических материалов. По сути, это стало отправной точкой для моей работы в области электромеханики.

Изображение предоставлено: Георгий Шафеев/Shutterstock.com

На каких материалах вы специализируетесь и почему вам особенно интересно их изучать?

В первую очередь я занимаюсь микроскопией, а не каким-то конкретным классом материалов. Однако, как можно догадаться, микроскопия и материаловедение часто идут рука об руку.

Что касается материальных систем, меня особенно интересуют те, которые демонстрируют электромеханические реакции. Сегнетоэлектрические материалы — это первый класс материалов, которые относятся к этой категории. Они демонстрируют относительно небольшие электромеханические реакции, обычно порядка нескольких пикометров на вольт или нескольких десятков пикометров на вольт.

Большим преимуществом сканирующего зондового микроскопа является то, что он позволяет нам делать две ключевые вещи. Во-первых, мы можем не только получать изображения этих материалов и изображения сегнетоэлектрических доменов с высоким разрешением, но и проводить физические эксперименты, изменяя поляризацию.

Интересно, что за последние 20 лет эта возможность сканирующей зондовой микроскопии — получать изображения и управлять поляризацией — позволила нам создать первого автоматизированного учёного с искусственным интеллектом.

Второй важный аспект силовой микроскопии с пьезооткликом заключается в том, что механизм формирования сигнала является количественным по своей сути. Хотя большинство методов сканирующей зондовой микроскопии позволяют получать качественные изображения, зачастую очень сложно преобразовать эти изображения в числовые данные, характеризующие свойства конкретных материалов.

Эта проблема возникает из-за фундаментального физического ограничения: во многих методах сканирующей зондовой микроскопии сигнал зависит от площади контакта между зондом и образцом, и мы, как правило, не можем точно определить или откалибровать эту площадь.

Однако в силовой микроскопии с пьезооткликом сигнал не зависит от площади контакта, что делает этот метод, по крайней мере в теории, количественным. Это позволяет нам изучать свойства материалов на нанометровом уровне с помощью реальных числовых данных.

Большая часть моей работы за последние два десятилетия, включая разработку мультимодальных методов SPM и SPM с использованием машинного обучения, была основана на возможности получения количественных данных.

Третья область моих интересов выходит за рамки традиционных сегнетоэлектрических материалов. Работая в Национальной лаборатории Ок-Ридж, мы с коллегами обнаружили, что сильные электромеханические реакции характерны не только для сегнетоэлектриков. Ионные материалы, такие как те, что используются в батареях и топливных элементах, также демонстрируют значительное электромеханическое поведение.

В таких случаях метод нельзя назвать пьезооткликовой силовой микроскопией, поскольку сигнал не возникает в результате пьезоэлектрического эффекта. Вместо этого мы называем его электрохимической тензометрической микроскопией. Несмотря на различия в происхождении сигналов, основной принцип измерения остаётся неизменным.

Изучая как сегнетоэлектрические материалы, так и ионно-проводящие твёрдые тела, мы затрагиваем многие из наиболее актуальных направлений в материаловедении и физике конденсированного состояния — от хранения и преобразования энергии до устройств памяти и многого другого. Это действительно захватывающая и быстро развивающаяся область.

Вы являетесь первопроходцем в использовании ИИ для автоматизированного проведения экспериментов, что может быть незнакомым термином для многих наших читателей. Не могли бы вы объяснить, что такое автоматизированное проведение экспериментов и почему оно важно для учёных?

Есть несколько подходов к автоматизации. С одной стороны, рассмотрим ситуацию, когда у нас есть большой образец, но диапазон сканирования атомно-силового микроскопа (АСМ) ограничен. В таком случае мы можем использовать АСМ для получения плотной сетки изображений, чтобы составить карту всей поверхности образца. Можно утверждать, что это базовая форма автоматизированного эксперимента.

При ближайшем рассмотрении в этом определении обнаруживается нечто ограниченное. Со временем, то есть за последние шесть лет, в течение которых моя группа работала над автоматизированной микроскопией, мы пришли к пониманию того, что основная идея автоматизированного эксперимента должна заключаться в воспроизведении операций и решений, которые обычно принимает человек.

Чтобы проиллюстрировать это, давайте рассмотрим типичный день из жизни микробиолога. Учёный берёт образец, помещает его в микроскоп и выполняет ряд действий: настраивает прибор, находит интересующие его области, увеличивает и уменьшает масштаб, возможно, проводит спектроскопические измерения и так далее.

В течение дня происходит непрерывный процесс диалога и принятия решений. Оператор-человек наблюдает за данными, поступающими от прибора, интерпретирует их и сопоставляет с имеющимися знаниями, а затем принимает решение о дальнейших действиях, которые выполняются в режиме реального времени.

С этой точки зрения автоматизированное экспериментирование — это процесс, в ходе которого алгоритм машинного обучения или, в более широком смысле, агент искусственного интеллекта (ИИ) частично или полностью берёт на себя принятие решений, которое обычно осуществляется человеком.

Вместо того чтобы каждый раз решать, что делать дальше, ИИ-агент интерпретирует поступающие с микроскопа данные, принимает обоснованные решения на основе этих данных и реализует их с помощью прибора.

По крайней мере на начальном этапе качество решений, принимаемых ИИ, может не соответствовать качеству решений, принимаемых опытным оператором-человеком. Однако у ИИ есть ключевые преимущества: он может принимать решения гораздо быстрее и работать непрерывно, не уставая.

В нашей концепции автоматизированное экспериментирование определяется как сценарий, в котором процесс принятия решений либо дополняется, либо полностью управляется искусственным интеллектом, что в корне меняет подход к проведению научных экспериментов.

Изображение предоставлено: NicoElNino/Shutterstock.com

Как вы думаете, насколько полезны ИИ-агенты для менее опытных пользователей или для стандартизации получения изображений в микроскопии?

Я считаю, что в ближайшем будущем ИИ-агенты смогут управлять инструментами на уровне начинающего или среднестатистического пользователя. Они также могут стать ценными инструментами для обучения начинающих операторов. В долгосрочной перспективе мы можем достичь такого уровня, когда нажатие кнопки позволит микроскопу работать с производительностью оператора среднего уровня.

Я не уверен, что ИИ-агенты скоро смогут сравняться по уровню квалификации с высококвалифицированными специалистами-людьми. Люди, как правило, исключительно хорошо справляются со своими задачами, а за последние 20 лет модели машинного обучения в целом достигли лишь уровня чуть выше среднего человеческого.

Конечно, есть и заметные исключения. Например, алгоритмы ИИ для игры в шахматы или го могут работать на сверхчеловеческом уровне. Но это в первую очередь связано с тем, что правила этих игр чётко определены и неизменны.

ИИ по-прежнему с трудом реагирует на неизвестное, например на новую среду, незнакомые образцы или неожиданные условия эксперимента. Это одна из причин, по которой полностью автономные транспортные средства пока находятся в стадии разработки, а не стали повседневной реальностью.

Тем не менее ИИ отлично справляется с задачами, в которых чётко определены правила и существуют отлаженные рабочие процессы, позволяющие собирать большие объёмы обучающих данных. Именно в таких условиях ИИ может по-настоящему проявить себя. Но когда дело доходит до того, чтобы отправиться в неизведанное и сделать что-то совершенно новое, что лежит в основе научных исследований, ИИ пока не справляется.

Тем, кто хочет начать автоматизировать эксперименты в своих лабораториях, вы бы посоветовали с чего начать.

Я не совсем уверен, что подход, основанный исключительно на имеющихся данных, является наиболее эффективным. Для такого скептицизма есть две причины.

Во-первых, если мы посмотрим на то, как учатся люди, то увидим, что обычно для этого требуется очень небольшой объём данных. Например, сравните количество партий, сыгранных шахматистом за всю жизнь, с количеством партий, которые нужно сыграть AlphaZero или AlphaGo, чтобы достичь уровня человека. Разница в несколько порядков.

Точно так же, когда мы учимся водить, нам требуется относительно небольшой объём обучающих данных, чтобы научиться делать это уверенно. То же самое относится к обучению работе с микроскопом. Человеческий мозг удивительно пластичен и способен осваивать новые задачи, используя гораздо меньше данных, чем обычно требуется алгоритмам машинного обучения.

Поэтому, когда я слышу предложение создать систему машинного обучения для управления микроскопом с нуля, используя подход, основанный на больших данных, у меня возникают сомнения. В целом научные исследования и микроскопия не предполагают использования «больших данных» в традиционном смысле.

Второй аспект заключается в том, что действительно существуют сценарии, в которых использование больших массивов данных уместно и эффективно. К ним относятся такие области, как медицинская визуализация, или промышленные сферы, например производство полупроводников, где рабочие процессы отлажены и стандартизированы. В таких условиях большие данные играют важнейшую роль.

В поисковых исследованиях, где условия часто меняются и постоянно возникают новые вопросы, это по-прежнему остаётся сложной задачей. Люди гораздо лучше справляются с принципиально новыми ситуациями, в то время как машинное обучение пока имеет ограничения в этой области.

Тем не менее эта область развивается очень быстро. Теперь у нас есть доступ к моделям общего назначения, таким как SAM от Meta, которые можно использовать сразу после установки. Мы экспериментировали с интеграцией SAM в рабочие процессы визуализации для автоматизированной электронной микроскопии.

В настоящее время эти модели решают только очень специфические задачи, такие как сегментация изображений. Хотя они могут помогать операторам-людям, они пока не способны принимать решения, которые люди принимают во время эксперимента. Таким образом, хотя большие данные и полезны, их одних недостаточно.

Какие, по вашему мнению, основные препятствия мешают внедрению автоматизированных экспериментов в лабораториях в будущем?

Когда мы только начинали работать над подобными проектами в Ок-Ридже примерно 10–15 лет назад, одной из самых сложных задач было инженерное управление, независимо от того, использовали ли мы сканирующие зондовые микроскопы или электронные микроскопы. У вас может быть агент машинного обучения, написанный на Python или MATLAB, но в конечном счёте этот агент должен отправлять команды непосредственно на прибор, а этот шаг часто бывает трудно реализовать.

Сегодня ситуация совершенно иная. Многие компании предлагают API (интерфейсы прикладного программирования), которые позволяют управлять приборами напрямую с помощью таких сред, как Python.

Десять лет назад такой поддержки просто не существовало. Я помню, что на ранних этапах автоматизации экспериментов с использованием электронного микроскопа одной из главных проблем был потенциальный риск для сервисного контракта на обслуживание прибора.

Прибор стоил около 5 миллионов долларов, и если бы мы подключили его к контроллеру, созданному по индивидуальному заказу, возникли бы опасения по поводу поддержки и гарантии. Со сканирующими зондовыми микроскопами было проще, так как они стоили дешевле и были менее рискованными. В то время это было основным ограничением.

Сейчас многие коммерческие производители предлагают API или планируют это сделать. В некоторых случаях они даже готовы напрямую сотрудничать с клиентами для реализации определённых функций. Таким образом, ситуация в этом аспекте улучшается.

Второй ключевой компонент — алгоритмы машинного обучения. Пятнадцать лет назад они были гораздо менее доступны. Возможно, вам трудно это представить, но двадцать лет назад мы не могли даже провести простой анализ главных компонент (PCA) на реальных наборах данных.

В то время атомно-силовые микроскопы генерировали больше данных, чем могли обработать настольные компьютеры. Хотя объём данных, получаемых с помощью атомно-силовых микроскопов, практически не изменился — он по-прежнему ограничен физическими возможностями визуализации, — наши возможности по обработке этих данных значительно улучшились. Сегодня на GitHub можно найти практически любой нужный вам алгоритм, и во многих случаях эти инструменты уже хорошо протестированы и готовы к использованию.

Одним из самых сложных и часто упускаемых из виду аспектов экспериментов с использованием ИИ является организация рабочего процесса. Когда человек управляет инструментом, он последовательно принимает ряд решений. Эта последовательность и составляет рабочий процесс. Его можно рассматривать с разных точек зрения: как поэтапный путь к цели, как поиск в пространстве возможных действий или как взаимодействие с постоянно меняющейся средой, где на экране в режиме реального времени появляются новые функции или данные.

По сути, проектирование рабочих процессов заключается в воспроизведении процесса принятия решений человеком с помощью ИИ-агента. И здесь начинаются сложности.

Многие недооценивают этот этап. Вот простой способ сформулировать проблему: представьте, что у вас есть полный доступ к инструменту и его API. Он будет делать именно то, что вы ему скажете.

Итак, что же ему делать? На этот вопрос ответить сложнее, чем кажется. Даже при использовании одного и того же прибора и работе с одним и тем же образцом разные люди часто применяют совершенно разные подходы к проведению экспериментов.

Каким вы видите будущее принятия решений и анализа данных в режиме реального времени и какую роль в этом играют квантовые вычисления?

Принятие решений человеком зависит от имеющихся знаний, данных, полученных в ходе экспериментов в реальном времени, и, что особенно важно, от формирования гипотез. Даже такие личные решения, как выбор профессии, предполагают формирование и проверку гипотез. Но есть ещё один ключевой фактор, который часто определяет направление всего процесса: вознаграждение.

По сути, наградой может быть практически что угодно. Это может быть признание в какой-либо области, открытие новых физических законов или понимание взаимосвязи между структурой и свойствами материалов. Однако с точки зрения ИИ нам нужно различать награды и цели. Цели ведут нас к долгосрочным результатам, а награды — это измеримые результаты, которые могут быть получены в ходе конкретного эксперимента.

Возьмём, к примеру, эксперимент, целью которого является настройка микроскопа для достижения определённого разрешения. Это разрешение и будет вознаграждением. Или рассмотрим случай, когда мы хотим обучить модель машинного обучения, которая прогнозирует локальные вольт-амперные характеристики (ВАХ) или петли гистерезиса поляризации на основе данных о локальной микроструктуре. В этом случае вознаграждением может быть точность модели или качество прогнозирования.

Вот ключевой момент, который, на мой взгляд, является основополагающим для автоматизированных и автономных экспериментов: ИИ полезен только в том случае, если чётко определена функция вознаграждения. При наличии функции вознаграждения можно использовать относительно простые алгоритмы оптимизации для управления микроскопом и максимизации вознаграждения в рамках допустимого набора действий.

Люди обладают уникальной способностью переключаться между целями и вознаграждениями, мысля как в прямом, так и в обратном направлении. Простые ИИ-агенты, особенно те, которые управляют научными приборами, не обладают такой гибкостью. Они полагаются на людей, которые определяют функцию вознаграждения. Поэтому нам не нужны сложные системы ИИ: базовые рабочие процессы оптимизации справятся с задачей.

Итак, какую роль играют системы логического вывода, большие языковые модели (БЯМ) или более продвинутые агенты машинного обучения? Их ценность заключается в том, что они помогают людям формулировать функции вознаграждения на основе целей более высокого уровня. Именно здесь подход «сверху вниз» (использование БЯМ для уточнения целей и разработки структур вознаграждения) дополняет подход «снизу вверх» (выполнение оптимизационных процессов с использованием инструментов). Когда эти два подхода согласованы, система становится намного эффективнее.

Тем не менее постановка долгосрочных целей по-прежнему остаётся обязанностью человека. В каком-то смысле определение того, что мы хотим делать, — это не только научная проблема, но и вопрос философии и личной ответственности. Это вопрос свободы воли, а он выходит далеко за рамки возможностей ИИ.

О профессоре Сергее Калинине

Профессор, доктор Сергей Калинин — ведущий учёный в области машинного обучения для физических наук. Он получил докторскую степень в области материаловедения в Пенсильванском университете. Почти два десятилетия он проработал в Ок-Риджской национальной лаборатории, пройдя путь от стипендиата Вигнера до корпоративного стипендиата. Его работа сосредоточена на открытиях в области микроскопии, поатомного производства и автономного экспериментирования, основанных на данных. Калинин занимал ключевые должности в Amazon, Тихоокеанской северо-западной национальной лаборатории и Университете Теннесси. Лауреат престижных премий, в том числе премии Фейнмана и премии Блаватника, член нескольких научных обществ, член Европейской академии и Национальной академии изобретателей.