Тёмный

ElasticSearch и Heka: как мы учились просеивать слона через сито / Адель Сачков (Яндекс.Деньги) 

HighLoad Channel
Подписаться 85 тыс.
Просмотров 19 тыс.
50% 1

Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке: clck.ru/3DD4yb
--------
HighLoad++ 2017
Презентация и тезисы:
www.highload.ru...
Год назад в Яндекс.Деньгах появилась система сбора логов в реальном времени на базе ElasticSearch и Heka. Сейчас она пропускает через себя 2 млрд сообщений в день. Сегодня я расскажу, как она была построена, почему выбран именно стек EHK, и почему мне не стыдно за свой выбор.

Опубликовано:

 

14 окт 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 9   
@JayDiHuman
@JayDiHuman 6 лет назад
Шикарный рассказчик! Спасибо за доклад!
@VladimirBarsuk
@VladimirBarsuk 6 лет назад
Доклад отличный! Спасибо!
@СтаниславЧетвериков-з2м
Только начал погружение в тему HiLoad. И доклад понравился, и вопросы заполнили пробелы в понимании. Очень познавательно.
@barrajar
@barrajar 6 лет назад
Почему не Filebeat? Вроде 2017 год, logstash прекрасно прячется за haproxy на одельных серверах с возможностью отдельного скейлинга, filebeat перебрасывает стрим логов через ha. С наличием persisted queues logstash ещё даёт отдельный буффер для пиковой нагрузки (можно и file->filebeat->kafka->logstash->elasticsearch если совсем терять ничего нельзя) Еще странно, что кластер эластики один. Почему не tribe nodes (deprecated) или cross cluster search (remote nodes) и плюс набор маштабируемых кластеров, которые легче и быстрее скейлить и мэйнтэйнить. Спасибо за презентацию, кстати. :)
@ShamilSattarov
@ShamilSattarov 6 лет назад
Я не понял про: "Странного захотелось, разработчики хотят писать лог в JSON?" Это что, шутка такая? Когда journald отдает тебе JSON - это оргазм. Всем рекомендую!
@kirosavaus6167
@kirosavaus6167 Год назад
+
@klerg321
@klerg321 Год назад
Эммм. Наоборот кибана - говнище. Там университет надо оканчивать чтоб понять куда кликнуть
@eugenea7469
@eugenea7469 2 года назад
8:00 Почему парень в зале сидит с парашютом и мороженым?
@андрейкругликов-з9т
пунты Real-time, а особенно "Фильтрация данных on-the-fly".... народ, вы рехнулись совсем...вы прогрызли всем мозг за оптимальный код, хотя сами оптимально говорить не научились... + это просто бред. даже не бесит - соболезную, очень скорблю
Далее
다리찢기 고인물⁉️😱 Leg Splits Challenge
00:37
"Elasticsearch" - Дмитрий Троян
48:42
Просмотров 21 тыс.
Про Elastic Stack за 15 минут.
15:23
Просмотров 67 тыс.