Дешевый StateFull процессинг большого потока данных

BACKEND

В своём выступлении я поделюсь опытом создания системы, которая способна обрабатывать миллионы запросов в секунду (RPS) и поддерживать актуальность данных в режиме реального времени. Это помогает нам быстро обновлять информацию о рекламных кампаниях и учитывать все изменения за последние 100 дней, что особенно важно, когда речь идет о миллиардах событий в сутки и больших деньгах от них зависящих.

Также эта система помогла нам решить проблему разногласий в статистике, из-за которых разные части рекламной системы могли показывать разные данные. Что, в свою очередь, усложняло аналитику и вызывало вопросы у пользователей.

Присоединяйтесь, будет интересно, даже если вы только начинаете свой путь в программировании!

О СПИКЕРЕ

Мой девиз: «Если искусственный интеллект — это наше будущее, то большие данные — это уголь того паровоза, на котором мы в него въедем».

Больше 10 лет занимаюсь обработкой, хранением, анализом и визуализацией данных. За это время участвовал в госпроектах (РЦОИ), проектах энергетического сектора (Газпром, МОЭК), банков (БРК, ВТБ24) и IT-гигантов (Яндекс, Mail.ru). Большие данные — это мое Guilty Pleasure.

MIDDLE

Максим Стаценко

Яндекс, Москва
Руководитель службы подготовки и анализа больших данных

26 апреля
№105 "Запад"
13:15-14:00