17 февраля компания Google запустила TensorFlow Serving – новый открытый проект, нацеленный на помощь разработчикам в производстве их моделей машинного обучения. Пока проект адаптирован только под собственные библиотеки Google TensorFlow для обучения машин, но компания говорит, что библиотека может быть расширена для поддержки других моделей и баз данных.

В то время как другие проекты, подобные TensorFlow, помогают облегчить построение алгоритмов машинного обучения и тренировать их для работы с определенными типами данных, проект TensorFlow Serving специализируется на адаптации этих моделей для производственных сред. Разработчики тренируют свои модели, используя TensorFlow, а потом используют интерфейсы программирования приложений сервиса TensorFlow Serving для реагирования на входящий сигнал от клиента. Google также уточняет, что TensorFlow Serving может использовать доступные ресурсы GPU для ускорения процесса.

По словам Google, используя эту систему, разработчики смогут свободно экспериментировать с различными алгоритмами и моделями, оставляя при этом стабильную архитектуру и программный интерфейс.

Компания заявляет, что TensorFlow Serving написана на языке C++, а не на собственном Go от Google. Программа оптимизирована для производительности, и компания утверждает, что с ее помощью можно обрабатывать 100 000 запросов в секунду одновременно на одном ядре.