Тёмный

FACEBOOK DEBERIA VER ESTO: Logstash 

Pelado Nerd
Подписаться 172 тыс.
Просмотров 12 тыс.
50% 1

Hoy hablamos de Logstash, un servicio para filtrar y modificar logs y mandarlos a un servicio centralizado. Corremos todo con fluent-bit como un daemonset y logstash como servicio.
También explicamos como Facebook deberia usar este video para mejorar su seguridad y evitar problemas como los que tuvo hace unos dias
Logstash: www.elastic.co...
--
merch.peladone...
Repo con todos los archivos que uso: github.com/pab...
Link para registrarse en Digital Ocean (50 USD de Regalo!)
bit.ly/digital...
Micrófono: Blue Snowball ICE
Cámara: Canon Rebel SL2
Lente: Canon 50mm f/1.8
Laptop: Macbook Pro 15'' 2017
Kit completo: bit.ly/kit-pel...
Mi canal de vlogs: bit.ly/youtube-...
Comprame un cafecito: bit.ly/kofi-pe...

Опубликовано:

 

18 сен 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 34   
@CMDIAZFREY
@CMDIAZFREY 5 лет назад
A medida que pasan los vídeos me doy cuenta que la Posta es kubernetes ...... Fantastico!!!!
@mauriciodiaz2968
@mauriciodiaz2968 3 года назад
no puedo creer que acabo de postear una pregunta arriba de la tuya y justo te llamás como yo!!!!
@julianveliz6788
@julianveliz6788 4 года назад
Hola Pablo, gracias por los vídeos, yo estoy justo probando cada una de las opciones que mencionaste para poder filtrar pero aun sigo liado con capturar el stack completo de error para spring boot, la verdad que eh tenido muchos problemas para obtener un filtro completo ya que esos logs vienen en varias lineas. Saludos.!
@Hatsufer
@Hatsufer 5 лет назад
Estoy siguiendo tus vídeos la verdad gracias por compartir tus conocimientos con nosotros, saludos desde México y tienes un nuevo seguidor
@rafaelameijeiras6237
@rafaelameijeiras6237 5 лет назад
Nosotros en la compañía que trabajo desarrollamos una herramienta de motorización y usamos logstach+elasticsearch para la parte de colector y visualizador de logs. Está bueno, lo malo es que el elastic consume una barbaridad de recursos si tenemos muchos logs y hemos visto en alguna oportunidad que peta.
@AlejandroHidalgoL
@AlejandroHidalgoL 4 года назад
Simplemente genial pelao! Muchas gracias por compartir tus conocimientos. Un saludo desde Chile!
@BhEaN
@BhEaN 4 года назад
Buenas! Muchas gracias por todos los videos que compartes, tu canal ha sido todo un descubrimiento! Me encanta el formato que tienen, tu forma de comunicar, etc... aunque en este caso concreto de Logstash (por mi experiencia en producción en sites con alto tráfico) lo desaconsejo completamente debido a la cantidad de recursos que consume (he visto casos en los que usa más recursos el contenedor de Logstash que los contenedores de los que extrae los logs, y sin filtros ni transformaciones complejas) por lo que ODIO logstash, jajaa. Un abrazo desde España...
@PeladoNerd
@PeladoNerd 4 года назад
Buenas gracias por los comentarios! Concuerdo que logstash es muy pesado. Lo que hacemos nosotros es correrlo como un pod normal (no daemonset) y corremos fluent bit cómo daemonset que es mucho más liviano. Fluent bit Manda los logs a logstash y ahí hacemos los filtros y los enviamos al servicio externo. De esa forma no tenes que correr logstash en todos los nodos. Saludos!
@sergiodecandelario2494
@sergiodecandelario2494 5 лет назад
Hola Pablo, ante todo darte las gracias por todos los vídeos que subes y la gran calidad de ellos. Tengo una duda y es si no se podría simplificar la instalación de los plugins de logstash poniéndolos todos en la misma línea, algo así "logstash-plugin install logstash-output-loggly logstash-filter-prune" desconozco si se puede hacer o se tiene que especificar en dos comandos separados. Un saludo!
@PeladoNerd
@PeladoNerd 5 лет назад
Gracias! La verdad no estoy seguro, pero es fácil de probar! :) Igual a mí me gusta ponerlo en líneas separadas para poder ver los plugins instalados de un vistazo rápido. Saludos !
@blvckblanco2356
@blvckblanco2356 3 года назад
vistes graylog o lo usastes alguna vez ?¿ hace un vídeo pelao sobre graylog , le va a molar a la gente del canal , saludos pelao Jeeeeeeeeee
@alexsr9697
@alexsr9697 5 лет назад
Maquina podrias hacer un cacho intro de GitOps ??????????? Como usaríamos CI/CD con jenkins + Docker + Kubernetes??????? Saludos bro!!!
@PeladoNerd
@PeladoNerd 5 лет назад
Estoy armando para hacer un streaming de esto en 2 semanas. Quedate atento
@alexsr9697
@alexsr9697 5 лет назад
@@PeladoNerd gracias bro, ahí estaré ; ) saludos !!!
@cheloa2002
@cheloa2002 5 лет назад
Grandiosos todos los videos !!!! .... cuando haces en capitulo dedicado a volumenes ???? . Saludos
@PeladoNerd
@PeladoNerd 5 лет назад
Pronto! Creo que es el próximo de Kubernetes. Lo tengo que armar
@ricardoquiroga4891
@ricardoquiroga4891 4 года назад
Esta buenisimo loggly, de echo puedo enviar el log directo por logback para mis proyectos Java... ¿Pero habrá una alternativa free que no sea kibana ni grafana?
@victormanuelcapotelucumi9506
@victormanuelcapotelucumi9506 5 лет назад
Estaba mirando que podes integrar Fluent Bit con Grafana o Kibana. no se si lo haces así en tu trabajo o lo manejan por separado, digo, ya que podes monitorear todas las métricas con Prometheus + Grafana, porque no meter los logs también.
@PeladoNerd
@PeladoNerd 5 лет назад
Lo manejamos por separado ya que mantener Elastic Search (para logs) es un perno :)
@leonxandercs
@leonxandercs 4 года назад
Eres un capo! siempre aprendo algo nuevo, gracias por compartir
@robertomessina1254
@robertomessina1254 Год назад
Cómo haces para aprender tanto, en qué tiempo vivís? cuando dormís seguís leyendo?
@noelgimenez1742
@noelgimenez1742 5 лет назад
En mi caso estuve probando hace un tiempo con Kibana, pero sin Kubernetes simplemente para sacar logs de forma más amigable de servers web tal cual, seria mejor está opción? que opinas?
@elsalorenzetti1936
@elsalorenzetti1936 5 лет назад
Pelado Nerd Internacional:admiro sus conocimientos y su voluntad.Dios Bendiga ,proteja su solidaridad.
@PeladoNerd
@PeladoNerd 5 лет назад
Kibana es muy buena opcion tambien! Vendria a ser como el reemplazo a Loggly en nuestro caso, los 2 son buenos, a mi personalmente me gusta mas Kibana, pero loggly es gratis (para nuestro caso) y me ahorré el hecho de tener que instalarlo y mantenerlo. Y con logstash tranquilamente podés enviar los logs a Kibana tambien, (en realidad los mandarías a Elastic Search y Kibana los lee de ahi) La idea del video era mostrar como funciona logstash, no Elastic Search y Kibana. Abrazo
5 лет назад
Pablo, probaste instalar el docker de EKL y aplicarlo a tu kubernetes? Estaría bueno un videito no?
@PeladoNerd
@PeladoNerd 5 лет назад
Hola! No he probado EKL todavía, apenas tenga un poco de experiencia con eso, seguro armo algo. Saludos!
@VicenteFontanella
@VicenteFontanella 3 года назад
Sweet pelado, mui bueno. O/
@johnsailor3590
@johnsailor3590 4 года назад
Fluent bit > Logstash > Loggly, por si se pierden entre tantos términos.
@mauriciodiaz2968
@mauriciodiaz2968 3 года назад
Pablo sos un genio! sabés que cuando le tiro el kubectl apply -f . me está tirando un error, probé con --validate=false pero sigue sin funcionar, que podrá ser? Desde ya gracias!! kubectl apply -f . namespace/logging unchanged serviceaccount/fluent-bit created clusterrole.rbac.authorization.k8s.io/fluent-bit-read created clusterrolebinding.rbac.authorization.k8s.io/fluent-bit-read created configmap/fluent-bit-config created configmap/logstash-config created deployment.apps/logstash created service/logstash-svc created service/hello unchanged error validating "05-fluent-bit-ds.yaml": error validating data: ValidationError(DaemonSet.sc): missing required field "selector" in io.k8s.api.apps.v1.DaemonSetSpec; if you choose to nore these errors, turn validation off with --validate=false error validating "09-hello-app-deployment.yaml": error validating data: ValidationError(Deplment.spec): missing required field "selector" in io.k8s.api.apps.v1.DeploymentSpec; if you cose to ignore these errors, turn validation off with --validate=false
@PeladoNerd
@PeladoNerd 3 года назад
Hacete un issue en el repo y lo vemos. Al parecer falta un campo que antes no hacía falta con las versiones de Kubernetes anteriores
@mauriciodiaz2968
@mauriciodiaz2968 3 года назад
@@PeladoNerd listo! Mil gracias!!!
@pablomestre8571
@pablomestre8571 5 лет назад
A la verdad me salto a los temas que me interesan... mas adelante vuelvo a ver la serie completa...
Далее
VOLUMENES en KUBERNETES! (PARTE 1)
13:49
Просмотров 15 тыс.
Como correr STATEFULSETS 🐶 en KUBERNETES
9:42
Просмотров 10 тыс.
연준 (YEONJUN) ‘GGUM’ Official MV
02:44
Просмотров 2,2 млн
Jobs y Cronjobs en Kubernetes
11:36
Просмотров 12 тыс.
No necesitas Kubernetes
20:40
Просмотров 35 тыс.
DAEMONSETS en KUBERNETES!
10:08
Просмотров 7 тыс.
LIVENESS Y READINESS PROBES en KUBERNETES!
14:01
Просмотров 14 тыс.
DEPLOYMENTS EN KUBERNETES
10:28
Просмотров 31 тыс.
Todo lo que necesitas saber sobre MONITOREO
31:21
Просмотров 38 тыс.
MONITOREO EN KUBERNETES! - PROMETHEUS
11:41
Просмотров 32 тыс.
ArgoCD - LA MEJOR herramienta para CD en KUBERNETES
12:03