Облачные сервисы на платформе iOk избавят исследователей в сфере микроскопии, материаловедения и фармакологии от рутины по подсчету и определению параметров объектов на изображениях.
Платформа iOk включает набор облачных цифровых сервисов для автоанализа изображений с применением методов глубокого машинного обучения и искусственного интеллекта (ИИ). На платформе размещены три сервиса. Универсальный телеграм-сервис No Code ML предназначен для классического обучения нейронной сети (НС) на датасетах пользователя. DLgram — для распознавания многочисленных однородных объектов различного характера. ParticlesNN — для автоматического распознавания наночастиц на изображениях сканирующей зондовой микроскопии (СЗМ) и электронной микроскопии (ЭМ) обученной нейронной сетью.
Все сервисы предусматривают обучение НС на объектах пользователя, автоматическое распознавание объектов на изображениях и возможность корректировки результатов распознавания пользователем. Также они анализируют обнаруженные объекты и определяют их параметры (количество, размеры, площадь и концентрацию). Сервисы способны работать с изображениями — снимками с электронных микроскопов и цифровых камер (в том числе со смартфонов), видеозаписями. Они распознают различные объекты: наночастицы, микроорганизмы, клетки, семена растений, а также более крупные объекты. При этом для работы с сервисами от пользователя не требуется владеть спецнавыками программирования или разбираться в НС. Не нужна и предварительная обработка изображения. Результаты предоставляются в виде информации обо всех обнаруженных объектах, и при необходимости пользователь может их корректировать.
По словам завлаба глубокого машинного обучения в физических методах Института интеллектуальной робототехники НГУ Андрея Матвеева, идея создания онлайн-сервиса ParticlesNN появилась в 2019 г. Цель — избавить научных работников от рутины и сэкономить их время.
Мы начали с изображений сканирующей зондовой микроскопии, которая в настоящее время является золотым стандартом при изучении и создании новых материалов. При этом довольно часто стоит задача характеризации изображений, полученных с микроскопа: необходимо определить, например, средний размер объектов или их количество. Ученым приходилось производить эти манипуляции вручную, затрачивая массу усилий и времени. Существовали автоматические методы обработки изображений, основанные на так называемых пороговых подходах, но они давали хорошие результаты только на изображениях высокого качества, а шумы и области засветки воспринимались как отдельные объекты и результаты оказывались недостоверными. В создании наших сервисов мы решили использовать современные методы компьютерного зрения, основанные на методах ИИ, — рассказал Матвеев.
Ученые разметили более 5 тыс. объектов и обучили на них нейронную сеть Cascade Mask-RCNN, работающую на сервере Института интеллектуальной робототехники НГУ. Подход был распространен и на анализ данных электронной микроскопии.
Мы решили сделать эту НС доступной для пользователей других лабораторий и научных институтов и создали веб-сервис ParticlesNN. Пользователь может загрузить свое изображение, получать статистические результаты его обработки и корректировать их. Но у этого сервиса имеются и недостатки — он может работать только с теми типами объектов, на которых обучалась нейросеть. Мы поняли, что каждый раз обучать ее работе с новыми типами объектов — задача довольно трудоемкая, поэтому решили разработать сервис, который позволял бы пользователю самому обучать нейронную сеть на нужных ему объектах. Так возник онлайн-сервис DLgram, а вскоре и No Code ML. Теперь же для удобства пользователей мы объединили их на одной платформе iOk. Уже сейчас суммарное количество ее пользователей составляет более 500 специалистов, — сообщил Матвеев.