Евгений Ненахов - Потоковая обработка с Kafka в условиях Big Data

Подписаться 53 тыс.

Просмотров 2,7 тыс.

50% 1

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
Многие информационные системы используют Kafka для различных целей. Для работы с Kafka потребуется написать немного кода на Java, чтобы настроить и запустить consumer и producer. Все выглядит просто и понятно, но когда приходит время запускать свое решение в продакшен на длительный срок - начинают всплывать неочевидные ошибки, происходит деградация производительности, ресурсы используются неэффективно.
Евгений рассказывает о типовых ошибках, которые выдает Kafka Consumer, о причинах появления, а также о том, как решать подобные проблемы. Спикер разбирает советы по повышению производительности в части Java-кода и конфигураций Kafka Consumer в рамках высоконагруженных систем. Узнаем, по каким метрикам можно понять, что что-то идет не так.
Доклад будет полезен тем, кто только начинает работать с Kafka и тем, кто хочет детальней погрузиться в работу Kafka Consumer.
Скачать презентацию с сайта Joker - jrg.su/RU8A5w
#kafka #bigdata

Наука

Опубликовано:

4 апр 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 4

@user-up3nx9jj5m 2 месяца назад

Очень интересно и познавательно, спасибо!

@noobig Месяц назад

Евгений, подскажите пожалуйста, как мы можем загрузить свои базы в MTS BigData? Как можно совершать массовые действия для всех объявлений сразу? и как подключить рублёвый биллинг? заранее спасибо!

@user-kv6kt8og9n 2 месяца назад

Очень было бы интересно сравнить перформанс с другими решениями (Parallel vs Consumer+Reactive vs Consumer+Pool) - этого очень не хватило

@eugenemolokov3427 2 месяца назад

Для больших консьюминговых групп можно поднимать несколько idle consumers, которые ждут пока кто-то из active consumer отвалится. Тогда idle consumer просыпается и подхватывает выбывшую партицию. Плюс в том что другие консьюмеры на импактятся. Минус в том, что кто-то должен сообщить ждущему консьюмеру, что ему надо подхватывать конкретную партицию, то есть нужен какой-то свой балансировщик. Но я бы вообще не использовал oob балансировщик от кафки, тк он начинается ребалансить на каждый чих (как было сказано в докладе).