Британский стартап Mindtech Global Ltd представил поддержку контейнерного формата, позволяющую сразу нескольким копиям его инструмента для генерирования искусственных данных Chameleon функционировать на кластерных платформах. Подобный подход обеспечивает возможность полноценного использования доступных компьютерных ресурсов, что, в свою очередь, приводит к заметному сокращению продолжительности циклов обучения нейронных сетей с использованием синтезированных данных.

Масштабируемость за счет конструкции 

При разработке Chameleon инженеры Mindtech изначально стремились обеспечить возможность расширения системы с целью генерирования больших объемов данных и удовлетворения потребностей обучения визуальных нейронных сетей для прикладных сценариев ИИ.  Программа моделирования содержит в себе обработчик сценариев, позволяющий с легкостью проводить многократные экспериментальные прогоны и изменять отдельные переменные.  Редактор сценариев обеспечивает быстрый и простой процесс создания различных последовательностей с целью получения данных, необходимых для конкретной прикладной модели.

Использование масштабируемости 

Редактор и обработчик сценариев гарантируют возможность применения инструментов Chameleon для генерирования колоссальных объемов данных.  Для получения эффективного результата необходимо обеспечить раскрытие полного прикладного потенциала аппаратного оборудования для моделирования и рендеринга.  Именно поэтому создатели инструмента предусмотрели возможность использования всех доступных ресурсов посредством многопоточных процессоров и ГП-ускорителей, интегрированных в систему, где размещена моделирующая программа.    Чтобы дополнительно оптимизировать эту возможность, инженеры Mindtech модернизировали программу моделирования и придали ей контейнерную форму, что позволило использовать такие технологии, как Singularity и Docker. Эти усовершенствования, в свою очередь, позволяют развертывать программу в кластерной среде — например, Kubernetes.  Новый функционал дает возможность использовать инструмент в серверных и облачных системах, раскрывая весь потенциал доступных вычислительных ресурсов.  

Потребность в масштабируемости 

Формирование виртуального пространства, предназначенного для создания высококачественных синтезированных данных Mindtech, требует применения сложных методов 3D-рендеринга, а также значительных процессорных ресурсов, обеспечиваемых ГП-ускорителями. Все это позволяет гарантировать реалистичное, «живое» поведение виртуального мира.  Каждая задача обучения нейронной сети требует сотен тысяч и даже миллионов изображений с индивидуальной визуализацией и аннотацией в соответствии с потребностями выполняемой задачи.  Использование контейнеров позволяет пользователю параллельно выполнять несколько экспериментальных прогонов модели, что заметно сокращает продолжительность процесса создания данных и общего цикла обучения нейронных сетей.

Как отмечает корпоративный вице-президент и генеральный директор подразделения ГП для дата-центров компании AMD, Radeon Technology Group Оги Бркич (Ogi Brkic): «Сочетание новейших процессоров AMD EPYC™ 7002 Series и ГП-ускорителей Radeon Instinct™MI50 представляет собой лучший вариант для современных рабочих нагрузок ИИ. Инструмент Chameleon от Mindtech использует эту мощную вычислительную платформу для ускоренной генерации синтетических данных, а с помощью контейнеризации сокращает продолжительность циклов обучения сетей».

Доступность

 Mindtech продемонстрирует масштабируемость ИИ-инструментов Chameleon с использованием контейнеров на стенде компании AMD в ходе выставки Supercomputing 2019, которая будет проходить 18-21 ноября в Денвере (штат Колорадо).