Работаю в Леруа Мерлен уже 3 года в IT дирекции. Занимаюсь на данный момент Apache Kafka и всем, что ее окружает, попутно автоматизируя. Но начал я это делать относительно недавно - всего чуть более 9 месяцев, до Кафки был администратором Microsoft Sharepoint, который у нас очень сильно переписали для создания внутреннего сайта для сотрудников. Интеграция потоков данных для микросервисов с Kafka и Kafka Connect Вы познакомитесь с вариацией задачи интеграции систем (БД) на основе платформы Кафка. Наша уникальная версия с описанием используемых продуктов, встреченных проблем и их решением. Тезисы: Предыстория - отчего однажды мы выбрали Кафку в компании для решения задач интеграции реляционных БД с другими системами Описание проекта - обеспечить получение информации о актуальных и достоверных стоках любого товара в любом магазине или складе нашей компании из одной мастер системы, в режиме реального времени, через API. Перечень интегрируемых БД и того, что с ними было необходимо для этого сделать. Причины почему был выбран фрейморк Kafka Connect и какие коннекторы для него. Процесс выбора и сравнения БД для хранения данных полученных их Kafka - итог Tarantool. Описание приложений, которые обрабатывают, обогащают и фильтруют данные, забирая их из Kafka и записывая в Tarantool. Процесс выбора и сравнения продуктов для мониторинга всех компонентов проекта - Dynatrace и Prometheus и Burrow. Итоги - получена система, которая позволила обеспечить время полного пути обработки данных от момента возникновения события в необходимой нам БД, до Tarantool - не более 5-10 секунд
2 окт 2024
