ROADMAP / DATA ENGINEER

Подписаться 384 тыс.

Просмотров 27 тыс.

50% 1

В видео мы поговорим о разработчиках больших данных. А точнее - разберем roadmap дата инженера в 2021 году.
Гогин Артем, опытный разработчик больших данных, расскажет, какие навыки необходимы для старта карьеры в больших данных, и на чем необходимо сосредоточиться для продвижения по карьерной летнице.
Описаный roadmap поможет новичкам сосредоточиться на актуальных и востребованных технологиях, а опытным разарботчикам систематизировать свои знания и, возможно, обратить внимание на новые области.
ПОЛЕЗНЫЕ ССЫЛКИ
Roadmap - drive.google.com/file/d/1l_C9...
DWH schema - drive.google.com/file/d/1acs3...
ГДЕ С НАМИ ПООБЩАТЬСЯ
⚡️Школа онлайн-образования: loftschool.com/
⚡️Telegram Loftblog: t-do.ru/loftblog
⚡️Telegram IT-обучение: t-do.ru/it_loft
⚡️Группа вконтакте: loftblog
Поставь лайк! Больше лайков - лучше выпуски :)

Опубликовано:

25 июл 2021

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 45

@ScampSkin Год назад

Отличный темп подачи материала. Хоть в эту сферу и не собираюсь идти, но всё равно было приятно случать человека, который не мычит\причмокивает\зависает, а выдаёт готовый материал беглой манерой речи.

@seniorqa_auto5367 15 дней назад

Самый понятный роадмап! Спасибо. Рассчитывал найти курс для DATA ENGINEER, а курса на платформе нет (((((. Где курс? )

@user-cf7bs9uj9n 2 года назад

Обзор огонь! Спасибо огромное, очень наглядно и понятно.

@user-fr3qy8hi8k 2 года назад

Полезный обзор! Спасибо!

@_natalipost 2 года назад

Спасибо, информативное видео.

@hopelesssuprem1867 2 года назад

учусь на ML и сейчас стал встречать часто в вакансиях тоже знание спарка, понимание ETL и т.д., в общем, планка с каждым годом только растет и растет)

@Leha_from_Zavod 7 месяцев назад

Сейчас я в процессе обучения ML, также заинтересовала сфера big data но узнал что последнее сейчас умирает в связи с тем что AI & ML могут почти полностью заменить ее Насколько это правда, и если так, то действительно от дата инженера будет требоваться тот же Спарк или hadoop в современных реалиях?

@hopelesssuprem1867 7 месяцев назад

@@Leha_from_Zavod хадуп и спарк всегда использовались в дата инжениринге т.к. это инструменты для обработки больших данных. С дата инженирингом все будет норм: данных становится все больше и кто-то должен обрабатывать их инфраструктуру.

@Leha_from_Zavod 6 месяцев назад

⁠@@hopelesssuprem1867вспомнил после чего у меня такое опасение сложилось - статья на Хабре «большие данные мертвы», Увидел что много комментариев которые поддерживают посыл автора и думал что тенденции развития биг даты сейчас посредственные)

@alexgubin78 2 года назад

Очень информативное видео. Подскажите пожалуйста, на каком уровне нужно знать джаву/питон? У меня есть опыт написание программ на джаве, но не совсем мне понятно, что нужно подучить, чтобы выполнять работу ДЕ

@ibrahimgadzhimagomedov8978 2 года назад

Спасибо за видео!

@andredavy2200 2 года назад

Ёмко и по существу!

@iMan-ql4gx 2 месяца назад

Хорошее объяснение. Было бы познавательно увидеть какое практическое видео из реальной работы . Например, создание пайплайна.

@sardorislomov5485 2 года назад

норм видос, спасибо

@olgafedyanova 2 года назад

Ну оооочень круто сделано

@timikys2 2 года назад

Спасибо за полезное видно! Артем, какой язык порекомендуете учить для DE Java или Python? Есть цель переезда в США, когда смотрел варианты увидел, что большинство вакансий там на Python. В отличии от России/Европы где достаточно много Java/Scala. Какие из Российских компаний лучше подходят чтобы прокачаться в направлении DE?

@artemgogin1129 2 года назад

Я бы в любом случае начинал с Python. Это поможет сосредоточиться на технологиях и базах данных и не сильно отвлекаться на ЯП. Другой язык можно выучить позже, тем более глубоко знать язык обычно не требуется, поэтому опыт нескольких лет разработки не потребуются на собеседованиях.

@saniyasarik8355 Год назад

@@artemgogin1129 подскажите а какие технологии вы имеете ввиду? Я знаю SQL, python. А вы имеете ввиду Kafka, Hadoop Spark?

@GhostlyDream Год назад

Полезное видео, но забавно, что в большинстве вакансий на джуна требуются знания, которые в данном видео позиционируются как сеньоровские) не нашел ни одной вакансии Junior Data Engineer без знания Hadoop, Spark, Kafka и NoSQL вместе)

@DurezaSPb 2 года назад

Интересное видео, спасибо! Однако, по своему опыту, оставило в недоумении. Я вот только устроился на джуна. Было много собеседований. Так вот, некоторые из вопросов на эту позицию были ровно из тех, что вы показали для джуна, но примерно треть-половина - это из тех, что вы причислили к миддлу и даже сеньору (оконные функции, кафка, спарк-стриминг и спарк вообще, имплиситы в скале и паттерн-мэтчинг и много чего ещё). Это мне не повезло? Или сейчас планка, чтобы просто пойти и сделать первую джуниорскую таску, стала выше?

@pavelorlov9884 2 года назад

Скорее повысили планку, у меня точно такая же история)

@user-mu2gz3eu7h 2 года назад

А где профессию осваивал?

@olgafedyanova 2 года назад

так во всех профессиях айти. От джуна хотят уровень мидлов.

@user-zo5wo8et8d Год назад

а ЗП на джуна тоже повысили?

@mazanka412 9 месяцев назад

Боюсь представить как спустя год поднялась планка

@simon0295 2 года назад

Хороший обзор! Подскажите, как найти первую DE работу? По знаниям jun+

@VasArkady Год назад

Сходить на несколько десятков собесов и взять со всех фидбек

@ermano5586 5 месяцев назад

А давай теперь курсы и материалы для изучения

@wordpreslabs 2 года назад

Подскажите пожалуйста, в каком софте схемы для презентации сделаны?)

@artemgogin1129 2 года назад

Miro

@kirillnovikov7925 Год назад

Я вот учусь на Java developer. Java, SQL, Git и алгоритмы уже знаю на достаточном (по этому родмэпу) уровне для устройства Джун Data Engineer, но в разработке я ещё не близко к первой вакансии. Я все вообще правильно понял? Может ещё что-то нужно знать Data Engineer?

@vor6758 10 месяцев назад

Мой вам совет: просто откликайтесь на вакансии, где ваши знания соответствуют хотя на 50% от требований вакансии. Для тех компаний, которые вам больше понравились напишите сопроводительное письмо. В нем опишите свой опыт, чем нравится их компания/вакансия и что вы хотите провести с ними интервью

@playtech5 2 года назад

Здравствуйте! Спасибо за видео! Как получить этот роадмап?

@nikolaydolgopolov621 2 года назад

В описании к видео ссылки.

@dmitriyobidin6049 2 года назад

Из вашего личного опыта - насколько ЗП дата инженеров отличаются от зарплат разработчиков? Не будешь ли чувствовать, что сделал не правильный выбор, перейдя в Биг Дату? Сейчас работаю энтерпрайз разработчиком и хочется перейти в биг дату, но немного пугает тот факт, что потолок зарплат может быть заметно ниже.