DBT el T de tu ELT

Подписаться 17 тыс.

Просмотров 9 тыс.

50% 1

En este video Eric te cuenta sobre otro gran proyecto que se usa en todos lados.
Editor: @guillermorish
Patreon / codineric
Cafecitos internacionales por Paypal! paypal.me/ericrish
Twitch: / codineric
Todas mis redes :)
linktr.ee/codi...

Опубликовано:

11 сен 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 30

@llucbriganti8409 5 месяцев назад

Muchas gracias, esto ha sido muy util para entender lo que es DBT. Estoy postulando para un trabajo que me lo requiere que es muchisimo mas tecnico que mi trabajo actual como analista de datos, y tengo muchisimas ganas de aprender y entender todo. Por suerte no tengo que entender todo a la perfeccion, ya que es una posicion muy junior, pero si tengo que tener una idea para poder hacer bien las entrevistas. Voy a ver si tienes algun otro video que me pueda ir bien en tu canal :)

@sabinoflores5808 2 года назад

Excelente vídeo Eric! Me parece genial la aclaración que haces de que en dbt solo se hacen testing básicos, como experiencia personal usando la herramienta con un equipo de trabajo grande y formal sí puedo confirmar tu comentario de que es importante que todo el equipo sepa usar git Y estaría súper interesante un video hablando más a fondo de testing para DE 👍

@josuezamudio8397 2 года назад

Momento epico minuto 01:16 al 01:20 Se va transformar en transformaciónes para hacer transformaciones a nuestros datos??

@user-cv5ye7tv6e 11 месяцев назад

Hola Eric! Estaba buscando algun contenido sobre dbt en español y me encontré con tu video, muy informativo. Respecto a lo que planteas de dos proyectos uno con el sql y otro que lo use en cloud, en realidad podes usar el mismo proyecto porque el repositorio actua como una intersección. Podes tener algunos desarrolladores con conocimientos mas avanzados en programación, git, etc, aportando al proyecto de manera local y otros no tan familiarizados con VSCode, terminal y git, aportando desde la nube. Saludos!

@antonioarana8002 2 года назад

Muy bien explicado! muy esencial tu canal y tus videos para todos los que queremos cambiar de carrera o realmente entender de manera real que esta pasando en la realidad de las companias con la ingenieria de datos! maravillloso

@ANABELHGarcia Год назад

Muy buena opinión, son pocos los canales que comentan sobre estos temas en español. Gracias por ello :)

@CodinEric Год назад

Gracias por tu mensaje ❤️

@francko72 2 года назад

Respecto a tu duda del tema de saber git para los analistas y esas 'complicaciones', lo que hicimos nosotros (DE team) fue crear una web app que le permita a los analistas crear sus dbts dinamicamente con los parámetros que necesitan (vista, tabla, incremental, query, etc...)

@CodinEric 2 года назад

Lo pensé, sería algo parecido a lo que hace dbt cloud

@andrejimenez7606 Год назад

Estas nuevas miniaturas son una chulada jaja. Buenísimas.

@YazminAbat Год назад

Gracias Eric!! considero que una solucion para que los analistas no usen git, sería que ellos trabajen en notebooks o bases de datos como qubole por ejemplo y los SRE o devops vean los permisos y los procesos mas con dbt asi como iac

@JardanySvidrigailov 2 года назад

Perfecto... siempre que me conectaba a realizar algún análisis conectandome a un DataWarehouse era muy tedioso unir las tablas en pandas... creo que esto puede facilitar el análisis,..

@isaachernandez3094 2 года назад

Yo lo uso principalmente para generar la documentación y las dags de las tablas/vistas que alimentan otras tablas/vistas. También para llevar un historial de versiones de los cambios de las vistas y a su vez compilar, y hacer deploy (run) de las vistas nuevas o modificadas a GCP solo con hacer un PR al repo que tiene todos los modelos

@jms2182 2 года назад

Esta bueno ese caso de uso, tmb podes taggear los modelos y dsp usar alguno de los ejemplos q propone astronomer (busquen en la web de astronomer io el blog, el posteo airflow-dbt-1) para usar en airflow y tener el el linage de ejecución en un dag y desde ahi vas leyendo logs por tasks (cosa q complica el operador de dbt de Airflow) y podes poner como tasks debug, parse y doc generate para que valide conexiones, si los modelos estan ok y al final que genere la do cy la exponga en un cloud run por ej y q quede para que lo vean los demas. Inclusive tenes el proyecto en un repo podes exponer la doc en github page pero queda publica, ojo, hay que ver como lo labura github enterprise. Sumado a eso si a alguno le sirve aca tienen 5 cursos gratis + certificacion gratis sin limite de intentos (busquen courses, getdbt, courses, collections) con el fundamentals van sobrados pero la verdad es q los otros 4 son buenisimos tambien, mas que nada el Refactoring SQL for Modularity

@pamelahernandez2010 Год назад

Me hubiera encantado un ejemplo de dbt SAAS

@joelprincipe7865 2 года назад

Gracias por estos videos Eric, se aprende mucho

@camilojaureguiberry4281 2 года назад

Muy bueno el video Eric! Consulta para el que ya lo haya pensado, porque no hacer la T del ETL directamente en SQL con vistas y listo? Es si pensamos en una solución escalable? Imagino que te debe permitir hacer transformaciones increméntales y no sobre todo el modelo de datos a la vez? Saludos!

@CodinEric 2 года назад

Depende de tu necesidad. DBT te permite crear vistas y lo copado es que las podes versionar. En mi proyecto actual usamos BigQuery que te permite procesar todo con SQL. Todavia no tuvimos problemas que justifiquen cambiar a spark o algo por el estilo asi que seguiremos así por un buen tiempo

@javiermadriz7834 2 года назад

Hola Eric, actualmente estoy estudiando python con orientación a Backend pero me llama la atención los datos crees q seria bueno comenzar por algo de data analyst en vez de ir directo al data engineer?

@creativapixelperu 6 месяцев назад

cuál es la ventaja o diferencia de usar DBT frente a Pentaho Data Integration?

@nico30994 2 года назад

Gracias por el video! En rendimiento que seria más eficiente? Elt con dbt o etl con spark ? Hay un trade-off entre data simple y big data? Cual seria el motivo por el que dbt toma terreno? Con la vista de novato parece que las complicaciones de elt/dbt son la escalabilidad. La gente que hace las sentencias sql no suelen tener código limpio, bien comentado y termina siendo un chino? En ese caso sería arreglable a futuro! Perdón si fueron muchas preguntas jaj

@jms2182 2 года назад

Busca getdbt, courses, collections en G y con el fundamentals van sobrados dsp haceles ver el Refactoring SQL for Modularity y con q le pongan unas hs te olvidas a futuro de ver querys en chino o mal modularizadas.

@nico30994 2 года назад

@@jms2182 re interesante, gracias !

@sabinoflores5808 2 года назад

Normalmente las personas que piensan que SQL no es código limpio y lo ve como chino por lo general son desarrolladores y no Data Engineer en realidad Por lógica básica se sabe que SQL siempre será más rápido, eficiente y escalable que intentar hacerlo con código (Spark por ejemplo) y más aún si utilizamos BD de alto rendimiento como BigQuery por ejemplo

@roberbonox Год назад

dude how r you, i have the next question, what could i do if i have a stream on snowflake that i want to "consume" in dbt but not creating a physical table or view, instead something live a ephemeral materialization, only to purge the stream and avoid to become stale. I create an ephemeral model and select the stream source but that only create obviously an ephemeral materialization but kind not clean the data on the stream, thoughts??