Ускоряем ML онлайн решения пока DS разработчик проверяет очередную гипотезу

AI & ML

Как ускорить онлайн инференс без изменений логики модели машинного обучения? Поделюсь реальным опытом ускорения взаимодействия с фичесторами, онлайн моделями и сервисами. Поговорим о протоколах взаимодействия, методы в сериализации/десирилазации, балансировке нагрузки, работа с NoSQL базами данных, Onnx, OpenVino,TensorRT. Несколько простых, но не очевидных изменений в обычных asgi/wsgi серверах. Типичных и не очень ошибках при дизайне подобных решений.

О СПИКЕРЕ

Интересуюсь cloud native mlops инструментами. Попробовал себя в различных data профессиях от аналитика данных до mlops разработчика. Сейчас занимаюсь развитием feature store и центрального CD инструмента для рекомендательной платформы Сбера.

SENIOR

Арсен Гумин

Сбер, Москва
Ведущий эксперт по технологиям