Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.

Подписаться 49 тыс.

Просмотров 53 тыс.

50% 1

Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/nzp90
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Что такой kafka?
Что такое kafka topic и зачем этот топик нужен?
Что такое partition topic kafka и сколько партиций тебе нужно?
Что такое consumer и producer. Чем они отличаются и чем схожи?
Верхнеуровнево разберем как отправляется и считываются сообщения в kafka?
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavlenkoat
★ Яндекс.Деньги: money.yandex.ru/to/4100124083...
★ www.donationalerts.com/r/pavl...
★ www.tinkoff.ru/rm/pavlenko.an...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit

Наука

Опубликовано:

5 июн 2022

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 100

@NikolaPushkin 2 года назад

Вау! Все по полочкам! четко и без воды! Продолжать однозначно.

@jozz3235 2 года назад

ооо на прошлой работе столкнулся с kafka и тогда понятия не имел об этом, такие видео очень помогают быстро уловить суть

@valbv 2 года назад

Спасибо за информативное видео! Как раз решил почитать про кафку поподробнее и тут выходит видос )

@barma1309 2 года назад

Супер!!! Рад что вы продолжаете видео выкладывать! Развод это не конец, а только начало жизни.

@pavlenkoat 2 года назад

Да я как-то и не парился насчет развода. Ну развелся и развелся. Идем дальше. Если найду женщину с которой мне попути, то сойдемся. Нет. Я и так в жизни реализуюсь. Плюс есть ребенок с которым мы проводим переодически время.

@STAP2011 Год назад

Огромное спасибо за твои видео! Максимально короткие и полезные)

@dasydasy9268 Год назад

Все точно без лишней инфы. Большое спасибо! Точно продолжайте

@MainDevOps 2 года назад

Спасибо. Как раз появилась необходимость именно структурировать разрозненные данные о Кафке )

@romann1295 2 года назад

Огромное спасибо! Не останавливайся, продолжай пилить контент

@Max-hf8ju 2 года назад

Как раз пришел в компанию администрировать кафку) Продолжай!

@iraklidavitaia 2 года назад

Тема интересная, а подача очень хорошая. Продолжайте по возможности. Спасибо.

@sptica 2 года назад

Спасибо, очень в тему. Ждём продолжения :-)

@Aticinsane 2 года назад

Спасибо! Продолжайте, тема полезная!

@porovozikthomas2971 2 года назад

Спасибо! да было бы здорово увидеть от тебя еще одно видео по кафке(грефневой)

@nikolai_kelin Год назад

Привет! Снимай ещё! Хорошо получается. Чётко, доступно. Жду продолжения ))

@user-iu6lp5ui9c Год назад

Очень доступно рассказываете, спасибо!

@marusiad2784 Год назад

Спасибо огромное за видео. Только теперь я разобралась, что это такое Кафка.

@wandos777 Год назад

Конечно, продолжай снимать видео !

@andrewnatalin7647 2 года назад

Спасибо большое, Антон, очень понятно объяснили!

@Lammax2012 2 года назад

Классно. Интересно. Почти понятно. Нужно ещё )

@user-jh9zk8ts5y 2 года назад

Антон, тема очень интересна. На новой работе Кафка это моя основная задача) Если можешь то выведи на монитор консоль и сделай пару примеров с консьюмер группами

@coffeepanda722 2 года назад

Спасибо за видео ролики. Очень полезно

@suntwo91 2 года назад

Очень классное видео, спасибо!

@annoil1 2 года назад

продолжай, тема интересная. Жги!

@IvanIvanov-ix3vj Год назад

3:50 перепутано понятие партиции и реплики. Партиции нужны для масштабирования параллельной обработки сообщений консьюмерами. (К одной партиции может подключиться только один консьюмер) В партициях находятся РАЗНЫЕ сообщения одного топика.

@yavener 6 месяцев назад

верно, а реплики хранятся в разных брокерах. Еще момент - данные в топиках удаляются, точнее в каждой партиции удаляются сегментами по выставленной настройке (ограничения на макс размер партиции или времени хранения).

@ricardomilos857 3 месяца назад

К одной партиции может подключиться только один консьюмер с одной и той же группы консьюмеров. Т.е. два консьюмера с разных групп МОГУТ читать одну и ту же партицию

@TESSkyrimV 2 года назад

А я люблю kafky гречневую. Спасибо за ролик, так держать! Хотелось бы увидеть на практике применение.

@v1tbrah Год назад

Спасибо большое, интересно, доступно, понятно!

@smokzpolski 2 года назад

Вот, тут уж смело лайк, уже не поликлиника. Еще бы в следующих выпусках с реальными скринами - и будет вообще огонь.

@OlgaBelova Год назад

Очень нужно продолжение!

@efajunk Год назад

Тема интересная. Продолжать определенно стоит

@maxNamarra 2 года назад

Очень познавательно, спасибо большое 👍🏻

@Mr4E4ETKA 2 года назад

Очень нужно. Я как раз столкнулся с этим.

@sovrinfo 2 года назад

Спасибо за видео.Коммент в поддержку!

@Dodexpwnz 2 года назад

Антон, огромное спасибо за твои видео! Постигаю DevOps практики, аттестация в УЧ на этой неделе. Невероятные объемы информации поглощены, пол года трудов. В скором времени проходить собесы.

@Silver-Parallaxis Год назад

как успехи с трудоустройством?)

@alexkpvts Год назад

Спасибо, огромное!! Ты крутой! Очень понятно! Было бы круто ещё видео инструкции посмотреть. На практике.

@FBIYgolek 2 года назад

Ждем продолжения!

@uvesel4ak 2 года назад

Отлично выглядишь, Антон. Здоровье явно пошло на поправку. Молодец.

@turumpurum9374 Год назад

спасибо, очень актуально, буду ждать продолжения

@pavlenkoat Год назад

Продолжение есть на канале. Его не смотрели

@turumpurum9374 Год назад

@@pavlenkoat , уже посмотрела, теперь жду ещё)

@kawaikaino5277 2 года назад

Очень хотелось бы на практике рассмотреть, в вашем исполнении

@annachurkina2588 2 года назад

Продолжать! В том же духе! Так же бодро, юмористично и доходчиво!👍 А я девочка и я хочу увидеть конфиги! Где они лежат, что из себя представляют. И еще примеры с числами. 🤗

@vshefer Год назад

Давай дальше по кафку, интересно!

@pavlenkoat Год назад

Последнее видео не зашло как наберёт. 4000 просмотров продолжу

@natielsanti407 Год назад

Спасибо за ролик!

@DunSety Год назад

хахаха про девку топ, командир, а сделай стрим как поднимаешь кафку например или просто видос пожалуйста

@user-qm2zu3rk4b 10 месяцев назад

Антон, большое спасибо за видео(очень содержательно за такое время), хотелось при возможности больше подробностей про сообщении, топики, особенно меня интересует тема с доставкой сообщений конкретным пользователям, что лучше использовать? много топиков или ключи в сообщениях? просто не очень до конца понимаю механизм Kafka

@yuridrozdov4069 2 года назад

Познавательно. Спасибо.

@QAWayAuto 2 года назад

Спасибо огромное! :)

@mironovnikolay 2 года назад

Спасибо большое, Антон, и за ролик, и за то, что сдержал обещание из коммента к прошлому видео по Кафке. Я наконец сообразил, как устроена ее архитектура, и теперь буду ждать видеопримеров, так сказать, «на кошках». Надеюсь, у тебя найдётся подходящий стенд для демонстрации.

@pavlenkoat 2 года назад

Стенда к сожалению нет. Небольшую практику опишу в телеграм канале. Как можно потыкать Кафку.

@ivanivanov-hl7ry 2 года назад

Спасибо за видео Антон! Если будешь делать следующий урок, расскажи пожалуйста про жизненный цикл сообщений и как влиять на него. Просто ты сказал что они не удаляются, а что с ними происходит и как этим управлять интересно.

@pavlenkoat 2 года назад

Уже даже кусок сценария есть по поводу очистки. Я его вырезал из этого видео.

@user-sv3ne7jg9n 2 года назад

Заваривайте вашу любимую кафку. ))) Как раз заварил себе овсянную кафку из пакетика перед видео. Подсел на неё когда начал худеть.

@yosapanaitov Месяц назад

Спасибо!

@Dragoncheg 2 года назад

Спасибо. Хорошо бы еще наглядности добавить, а то объем новых слов в 8 минутах немного зашкаливает и сложно все сразу уложить в голове.

@rafiqmammedzade9689 2 года назад

Отличное видео

@vladdrzd6484 Год назад

поставил лайк, написал коммент

@odessatester4792 2 года назад

Начало должно начинаться с речи -а сейчас Я вам покажу, откуда Kafka... ну и .т. д. :)

@samrybkin9184 Год назад

Привег может посоветуешь какой русскоязычный нормальный ресурс для изучения Kafka?

@Mitlas 2 года назад

было бы ещё интересно сравнить кафку с rmq и прочими

@romancomit9210 28 дней назад

Кайфовый выпуск

@rostislav-nikolaiev Год назад

Спасибо

@imabouttobe 2 года назад

Интересно!)

@yarrdd2589 2 года назад

зашёл просто для лайка

@brodlovherrsov7097 2 года назад

Круто, готов купить ваш платный курс по кафка

@laiza1fox Год назад

Ой, а можно еще раз про топики, зачем и как они работают.

@user-zf9ur8sy5n 2 года назад

огонь

@GerasimovNikita Год назад

Антон, вы сказали, что сейчас происходит отход от зоокипера - не могли сказать, куда этот отход идет, что сейчас является главной альтернативой? сменится подход coordination service в целом или будет переход на другую библиотеку?

@tswtcjahhgg 2 года назад

Интересно

@user-il6hw4dp5n 2 месяца назад

В другом видео видел что консьюмер не читает из слэйва. Пишет в лидера и читает из лидера. А если лидер падает - выбирается кандидат из фоловеров, в который пиcалось синхронно. Хоть вроде и сделано по аналогии с репликацией БД

@popalex1990 Год назад

Поправка - сообщения распределяются по партициям, иными словами в партициях одного топика лежат разные сообщения (не одинаковые)

@eduardmart1237 Год назад

В чем преимущество у Кафки перед rabbitmq?

@kumb61 Год назад

Примеры были бы очень кстати

@lRickl 2 года назад

Спс. Но как масштабировать кафку, если нужно добавить в кластер из 3х нод еще 2 ноды без перезагрузки (сервиса) конфига. TCP проксированием через nginx или haproxy ?

@pavlenkoat 2 года назад

Кафка самостоятельная системе. Если за неделю наберётся 3000 просмотров расскажу в следующем видео Как происходит балансировка нагрузки и добавления новых нод. Если нет то наверно придётся закруглятся. Так как у меня уже что-то мотивация от количества просмотров пропадает. Но я подожду.

@RedLegioner 2 года назад

Когда нам может пригодиться кафка? Для хранения событий и исполнения ряда действий на событие?

@pavlenkoat 2 года назад

События, логов, пересылка сообщений между приложений. В бигдате его используют.

@Eustrop 2 года назад

Посмотрел. Понравилось. Продолжать. А сколько всего уроков запланировано? Или "как пойдёт"? Hint: я когда о чем-то планирую рассказать, сначала составляю план уроков, и первый урок - обзор плана. P.S. стенд, про который народ, справедливо, спрашивает - это хорошо-бы, но ему нужна какая-то практическая задача. Был у меня такой проект и курс NETMandala, мы на столе сеть оператора связи собирали, с нуля. Тут если делать стенд, какая-то подобная идея нужна, которая вытекает из тех реальных задач, где Кафка применяется.. про это, кстати, тоже можно рассказать.. P.P.S. этот комментарий, с размышлениями вслух - для алгоритмов, все вопросы - риторические и не требуют ответа ;)

@pavlenkoat 2 года назад

Как пойдёт. Сейчас основы расскажу потом буду делать отдельные ролики о разных фишках. На ютубе мало смотрят многосерийные выпуски почему-то. Поэтому я и байтю на просмотры.

@user-zx8en4tb3h 2 года назад

More Kafka

@mikhaildiesperov2345 Год назад

Так, мне задачу делать надо. Где продолжение?)

@pavlenkoat Год назад

ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-hY9WfVRVFPE.html Но увы не зашло видео без напоминания))))

@user-fr4di4jv6q Год назад

А разве через admin api не удалить сообщения? deleteBefore например по офсету

@pavlenkoat Год назад

Пользователю оно недоступно.

@timyarmatoff5291 2 года назад

Все же, без теоретической подготовки computer science тяжеловато понять.

@Diadema566 11 месяцев назад

фигасе у вас аллегории.

@user-qi8xp5xi3c 2 года назад

В этом видео мы подключаемся к очереди, а не к потоку)

@pavlenkoat 2 года назад

Ну да ты прав

@eduardmart1237 Год назад

А если они никогда не удаляются, не значит ли это что память просто закончится в один прекрасный момент?

@pavlenkoat Год назад

Они не никогда не удаляются скорее их нельзя удалить

@vladdeiy572 2 года назад

@krionick Год назад

Мсьё, Вы извините меня, но в скором времени я Вас затеребонькаю вопросами=)))

@kote315 2 года назад

И информация вроде как полезная. И вы вроде все хорошо рассказываете, и юмор присутствует в оптимальных объемах. Но если я не разрабатываю веб-приложения (и вряд ли хочу этим заниматься) и не пытаюсь организовать обмен данными между ними, то выходит что мне это не нужно. Я не знаю что делать. Смотрю канал давно и бросать не хочется. Привык уже) В то же время забивать голову ненужной фигней тоже не хотелось бы. Такие дела...

@pavlenkoat 2 года назад

Канал это по сути мой профессиональный дневник. Я сейчас работаю над кафкой. Поэтому делюсь с людьми этими знаниями.

@ricardomilos857 3 месяца назад

Очень много инфы расходится