Real-time + Batch = ❤️: Как построить устойчивую платформу для банков под сверхнагрузку

BACKEND

Мы разработали real-time платформу, которая с первого дня проектировалась для экстремальных нагрузок уровня Black Friday, сочетающую моментальную персонализацию и стабильную пакетную обработку десятков ТБ данных. В докладе я расскажу о проектировании такой архитектуры на всех уровнях: от high-level решения до конкретной структуры микросервисов, обработки событий и технических решений, позволивших обеспечить масштабируемость и устойчивость.

1. Как мы сразу заложили устойчивость к нагрузкам уровня Black Friday в архитектуру нашего финтех-продукта

2. Как сочетание real-time и batch-обработки данных помогает безболезненно масштабировать систему до десятков ТБ

3. Почему событийно-ориентированная архитектура на Apache Flink и Scala стала основой высокой производительности

3. Как устроены микросервисы и интеграционные паттерны для надёжной обработки миллионов событий в секунду

4. Что нужно учесть в архитектуре заранее, чтобы не переписывать её при каждом скачке нагрузки

5. Почему мы выбрали Tarantool, Kafka и Flink для достижения стабильности и скорости одновременно

6. Как проектировать микросервисы, которые сохраняют высокую скорость и низкий latency под экстремальной нагрузкой

О ВЛАДИМИРЕ АВРАМОВЕ:

Родился 22.08.1988 в Ленинграде. Окончил Спб ГУАП (Государственный университет
аэрокосмического приборостроения) по специальности Информационные системы и технологии в
атомной энергетике.
Начал карьеру в 2008 году на позиции младшего java-разработчика.
В 2010 работал в Европе (Германии) на проекте крупного интегратора ASC с использованием java и
spring.
Далее долгое время работал на позиции java-разработчика с использованием java EE-стека при
разработки высоконагруженного приложения, автоматизирующего деятельность ФМС.
Всё это время занимался java-бэкенд-разработкой с использованием EE и spring-стека технологи

ИТ менеджер с богатым опытом создания и оптимизации
инновационных решений в условиях сложных бизнес-процессов. Мне нравится создавать новое, автоматизировать и цифровизировать процессы с использованием AI, ML и других актуальных технологий. Я успешно реализовывал масштабные проекты в крупных компаниях, не боясь сложностей, и всегда готов к вызовам.
Управлял проектами по разработке сложных, высоконагруженных решений (Big Data, графовые и гео-системы), использовал современные методологии (Agile, Scrum, Kanban, SAFe, PMBOK) и оптимизировал бизнес-процессы. Среди моих ключевых достижений — создание аналога SAS RTDM с нуля, устранение многолетнего технического долга и внедрение технологических центров компетенций для повышения операционной эффективности. Параллельно я веду проект, объединяющий технологии Blockchain и AI, пишу книгу и обучаю системному анализу.

О ВЛАДИМИРЕ ЛОВЦОВЕ:

SENIOR

Владимир Аврамов

Гк Иннотех, Санкт-Петербург
Главный разработчик

Владимир Ловцов

Т1, Москва
Директор по управлению портфелем проектов