Интересный момент, когда мы пушим данные по ключу в xcom, то получить мы их можем в другой таске по индексу [0]. Когда же в функции мы используем return json_data, которая также пушить в xcom, то в указании индекса нет нужды.По ключу данные попадают в xcom в виде списка[ ], внутри которого кортеж( ) и распаковываются в следующем таске по индексу, а во втором случае сразу в виде кортежа. В аргументах оператора также нужно указать provide_context=True.
{ "data": { "error": [ {"msg": "API key has been disabled." } ] }} Первый таск не выполнился хотя и пометился Success, и лучше бы response 200 обернуть эксепшаном) спасибо за то, что дали почувствовать себя занудой ))) В целом ломается понятно!
5:34 Вот интересно, вы получите ответ от API на 10 Гб, вы его тоже станете пихать в метаданные? Или всё-таки сложите данные в файл на файловую систему или даже в базу озера данных в том же таске, в котором получили?
вообще в принципе не рекомендуется использовать XCOM просто потому что он ограничен и мы занимаем боевую базу airflow. Обмены, действительно, стоит делать через что-то стороннее. В книге видел примеры и через файлы и через базы данных.
Разумеется нужно контролировать что лезет из API. При таких объемах риск обырвалга порядком выше. А в купе с рекомендацией ложить промежуточные данные во внешнюю стабильную среду есть более правильно, ибо упасть может все, а промежуточные данные всегда под рукой в папочке или бэкапятся еще куда-нить в облачко.)
ti - кто он? что? Какой тип? Что вообще приходит в кваргс? разве так сложно все разложить по полочкам. А то получається "возьмем что то не знаю что и выполним команду для чего то..." Напишите док стринги со всем что прилетает или с основными параметрами.
Добрый день! Спасибо за рекомендации. Действительно, не к каждой переменной в видео указан ее тип. Формат видео не позволяет настолько подробно углубляться в содержание.
а как по вашему он должен говорить? вы видать не it или как? на будущие, так и выражаются разработчики. Никто не будет вам произносить как читается по английски, зачем? Странный коммент.. Airflow относится к devops инструментам, там никто не будет ввам с англйским акцентам произносить, вы индусов не смотрели или как?
