Тёмный

Open Source Data Stack (Airflow, DBT, Airbyte, Minio, Openmetadata, PostgresSQL) 

codingPE
Подписаться 73
Просмотров 5 тыс.
50% 1

Presented by Alonso M. Donayre.
In this talk, I will teach you how to set up your environment to start building open-source data pipelines leveraging some of the best existing solutions:
- Airbyte: data extraction
- Dbt: data transformation
- Airflow: task orchestration
- PostgreSQL: data storage
- Openmetadata: data catalog
- Minio: object storage
Contents of this video:
0:00 Clone repository and initialize containers
2:05 Airflow configurations
5:18 Airbyte configurations
12:30 Airflow trigger dbt pipeline
14:56 Openmetadata configurations
The git repository:
github.com/alo...

Опубликовано:

 

19 сен 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 10   
Далее
Airflow with DBT tutorial - The best way!
17:54
Просмотров 45 тыс.
The new modern data stack   Airbyte Airflow DBT
18:24
Просмотров 30 тыс.
MinIO: Open Source High Performance Object Storage
15:25
Introducing ELTP for AI Data Pipelines
50:21
Intro to Airflow with DBT and Cosmos, Big Data Utah Meetup
1:00:33