NOdata Миша

10
3 054

Работаю дата инженером и говорю об этом

Комментарии

За 10 минут описал то, что я месяц пытался понять из разных отрывков дагов и доки на работе)) еще смотрел модуль по airflow из Карпов курсов - фигня полная, по сравнению с этим объяснением, тут понятно что зачем и для какой цели

@NOdatamisha День назад

Спасибо за комментарий!)

@АлексейП-л7ь 3 дня назад

Привет, Михаил! Спасибо за видео! Чуть не понял одного: есть операторы для Airflow, которые умеют в SQL. Но я думал, что все операции мы выполняем уже внутри таска, например, Load, где мы пишем логику: 1) Получаем данные из предыдущего таска (например, таска Transform) 2) Предположим, мы хотим, чтобы при повторном запуске записи за предыдущий день затирались, вместо которых загружались новые (типичная инкрементная загрузка). Получается, что в таске Load прописывается "DELETE FROM schm.table where dt = :date_to_delete" и там же прописывается with engine.connect() as conn: и так далее, которое по пути удаляет записи и загружает командой df.to_sql(.. .. .. ..). Я к тому, что для чего в этом случае нужны именно что отдельные sql-таски, если база является, по сути, просто конечной точкой? И хотелось бы видео про способы передачи данных между тасками. Хуки, файлы и так далее. Спасибо! :)

@NOdatamisha 3 дня назад

Привет! По поводу передачи файлов: по xcom есть видео на бусти boosty.to/nodata_misha/posts/a56f75f2-02e4-4eac-a6d5-a8c67f59aaee но возможно что-то и на ютуб выпущу Не много не понял по вашему комментарию, но если я правильно понял, то можно например сделать так: В первой таске Получаем данные и передаем их во вторую таску, которая может как раз является Postgres оператором, в который мы просто передаем 2 sql кода (удаляем вчерашние, загружаем сегодняшние), можно наверное даже в одном передать

@NOdatamisha 19 дней назад