Григорий Кошелев - Когда всё пошло по Кафке 2: Разгоняем продьюсеров

Подписаться 53 тыс.

Просмотров 11 тыс.

50% 1

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября, Санкт-Петербург
- -
. . . Продолжение доклада «Когда всё пошло по Кафке», но основное внимание будет уделено Producer: разберёмся, что находится у него под капотом и как это работает. Этот доклад будет про тюнинг производительности Producer: поиск узких мест и выбор оптимальных параметров по требованиям.
Мы подробно разберём работу Producer:
Какие настройки влияют на его производительность;
Какие перформанс-метрики есть и что они значат;
Поиск узких мест;
Выбор параметров под внешние требования (latency, throughput, reliability).

Наука

Опубликовано:

29 сен 2020

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 4

@DudeSkinnyTall 2 года назад

Лучший доклад по Кафке, что я смотрел. Вот бы ещё по брокерам аналогичный разбор!

@stanislavsavulchik9705 3 года назад

Очень классный доклад, спасибо!

@privettoli 3 года назад

Было-бы посмотреть похожий разбор по реактивному клиенту.

@57skies 2 года назад

I don't think that your explanation around "max.in.flight.requests.per.conection" is good enough. It's a far more complicated setting with regards to order. Otherwise the presentation was fabulous! It took a while to understand your point about : record-queue-time-avg/2. If you have 4 messages and in a perfect world they would arrive 2ms apart (for example), it means that the batch will have stayed 6ms in the record accumulator (again, in a perfect world). At the same time the average of each message in a batch would be : (6ms for the first message) + (4ms for the second) + (2ms for the third) + (0ms for the fourth) = 12ms / 4 messages = 3ms; OR record-queue-time-avg/2.