Найди свой Vector в построении высоконагруженной системы логирования / Илья Вазем (СберМегаМаркет) 

Испанский стыд. Это была инструкция как не надо делать? Или я что-то не так понял? "Хайлоад" логи гоняют по tcp через ha proxy на какие-то там хосты в локалочке. Что не смогли додуматься, что если терминировать однонаправленый udp на том же локалхосте, то количество потерь на практике равно нулю? udp исчтоник -> vector/fluentbit в режиме тупого перекладывателя, 1 на машину -> kafka -> небходимое количество консюмеров-парсеров vector, скейлить по нагрузке, их/их_конфиг еще и обновлять в таком сетапе удобно, не боясь потерять данные -> opensearch, зачем в 2023 году нужен эластик, это мертвая проприетарная технология с кодом 403. Просто лол какой-то. Логи у них без потерь... А если сервис который их парсил упадет от бага парсинга, хост (любой правее producer, падение хоста 1 никак не обойти) упадет от ООМ, по gracefull shutdown producer не успеет скинуть накопленый буфер, мож там с ответной стороны приемник перегружен и consumer не выгребает tcp буферы. Ну если вам реально важна часть логов (1с, денежные транзакции и т.д.), чо нельзя было заморочиться и пустить только её по нормальному пайплайну? А не по этому зоопарку? --- Уровень мероприятия сильно падает. Скоро будут приглашать "сеньеров в 23".