Kafka и Transactional Outbox. Есть ли альтернативы? / Сергей Попов (Синимекс)

Подписаться 630

Просмотров 1,1 тыс.

50% 1

Есть стандартная задача: сохранять изменения в БД и отправлять об этом сообщение в Кафку. Причём хочется, чтобы было честно: успешно отправили и успешно сохранили, либо же - ничего не отправили и ничего не сохранили.
Во всех учебниках предлагают использовать паттерн Transactional Outbox. Но так ли он хорош? Есть ли альтернативы? И что лучше?
Обо всём этом рассказал Сергей Попов, Tech Expert IT-компании "Cinimex"
Таймкоды:
00:00 - Начало
00:49 - Перейдем к задачке. Какая есть проблема?
02:32 - Решение проблем. Transactional outbox + Polling Publisher и...
06:36 - Какие еще есть варианты? Kafka Transactional из spring-kafka, семантики в kafka?
10:52 - Синхронный REST. Какие минусы?
12:37 - Одна база и Kafka - источник правды?
15:10 - Что же использовать? Зависит от...
17:24 - Вопросы к спикеру
Habr: habr.com/ru/companies/cinimex...
Наша жизнь и новости в Telegram: t.me/cinimex
Наш сайт: www.cinimex.ru/career/

Опубликовано:

10 май 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 4

@city-dweller 10 дней назад

Я так и не понял, зачем пытаться избавиться от дублей на Продюсере, если Консъюмер всё равно должен быть идемпотентным (а он должен быть, т.к. из-за сетевых ошибок и падений приложения Консъюмера возможны повторные доставки - acknowledgement получения сообщения может быть не послан или не дойти до брокера Кафки). Интересна идея "mirrored outbox pattern", которая родилась при просмотре этого видео (когда сообщение сначала отправляется в Кафку, а затем Консъюмер этого же приложения читает Кафку и пишет из неё в свою БД).

@neshkeev День назад

Не тратьте свое время, доклад пустой, решения проблемы нет, в минусы докладчик записывает At-Least-Once семантику, что говорит об уровне подготовки докладчика. 10 лет опыта - плохой показатель, каждый может потратить этот срок с разной степенью эффективности