ROADMAP / DATA ENGINEER

Подписаться 382 тыс.

Просмотров 29 тыс.

50% 1

В видео мы поговорим о разработчиках больших данных. А точнее - разберем roadmap дата инженера в 2021 году.
Гогин Артем, опытный разработчик больших данных, расскажет, какие навыки необходимы для старта карьеры в больших данных, и на чем необходимо сосредоточиться для продвижения по карьерной летнице.
Описаный roadmap поможет новичкам сосредоточиться на актуальных и востребованных технологиях, а опытным разарботчикам систематизировать свои знания и, возможно, обратить внимание на новые области.
ПОЛЕЗНЫЕ ССЫЛКИ
Roadmap - drive.google.c...
DWH schema - drive.google.c...
ГДЕ С НАМИ ПООБЩАТЬСЯ
⚡️Школа онлайн-образования: loftschool.com...
⚡️Telegram Loftblog: t-do.ru/loftbl...
⚡️Telegram IT-обучение: t-do.ru/it_lof...
⚡️Группа вконтакте: loftblog...
Поставь лайк! Больше лайков - лучше выпуски :)

Опубликовано:

28 сен 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 47

@hopelesssuprem1867 2 года назад

учусь на ML и сейчас стал встречать часто в вакансиях тоже знание спарка, понимание ETL и т.д., в общем, планка с каждым годом только растет и растет)

@Leha_from_Zavod 11 месяцев назад

Сейчас я в процессе обучения ML, также заинтересовала сфера big data но узнал что последнее сейчас умирает в связи с тем что AI & ML могут почти полностью заменить ее Насколько это правда, и если так, то действительно от дата инженера будет требоваться тот же Спарк или hadoop в современных реалиях?

@hopelesssuprem1867 11 месяцев назад

@@Leha_from_Zavod хадуп и спарк всегда использовались в дата инжениринге т.к. это инструменты для обработки больших данных. С дата инженирингом все будет норм: данных становится все больше и кто-то должен обрабатывать их инфраструктуру.

@Leha_from_Zavod 9 месяцев назад

⁠@@hopelesssuprem1867вспомнил после чего у меня такое опасение сложилось - статья на Хабре «большие данные мертвы», Увидел что много комментариев которые поддерживают посыл автора и думал что тенденции развития биг даты сейчас посредственные)

@ScampSkin 2 года назад

Отличный темп подачи материала. Хоть в эту сферу и не собираюсь идти, но всё равно было приятно случать человека, который не мычит\причмокивает\зависает, а выдаёт готовый материал беглой манерой речи.

@GhostlyDream Год назад

Полезное видео, но забавно, что в большинстве вакансий на джуна требуются знания, которые в данном видео позиционируются как сеньоровские) не нашел ни одной вакансии Junior Data Engineer без знания Hadoop, Spark, Kafka и NoSQL вместе)

@iMan-ql4gx 6 месяцев назад

Хорошее объяснение. Было бы познавательно увидеть какое практическое видео из реальной работы . Например, создание пайплайна.

@Антон-е3я 2 года назад

Обзор огонь! Спасибо огромное, очень наглядно и понятно.

@Таквкуснее 3 года назад

Полезный обзор! Спасибо!

@andredavy2200 3 года назад

Ёмко и по существу!

@ermano5586 9 месяцев назад

А давай теперь курсы и материалы для изучения

@timikys2 3 года назад

Спасибо за полезное видно! Артем, какой язык порекомендуете учить для DE Java или Python? Есть цель переезда в США, когда смотрел варианты увидел, что большинство вакансий там на Python. В отличии от России/Европы где достаточно много Java/Scala. Какие из Российских компаний лучше подходят чтобы прокачаться в направлении DE?

@artemgogin1129 3 года назад

Я бы в любом случае начинал с Python. Это поможет сосредоточиться на технологиях и базах данных и не сильно отвлекаться на ЯП. Другой язык можно выучить позже, тем более глубоко знать язык обычно не требуется, поэтому опыт нескольких лет разработки не потребуются на собеседованиях.

@saniyasarik8355 2 года назад

@@artemgogin1129 подскажите а какие технологии вы имеете ввиду? Я знаю SQL, python. А вы имеете ввиду Kafka, Hadoop Spark?

@sardorislomov5485 3 года назад

норм видос, спасибо

@kirillnovikov7925 Год назад

Я вот учусь на Java developer. Java, SQL, Git и алгоритмы уже знаю на достаточном (по этому родмэпу) уровне для устройства Джун Data Engineer, но в разработке я ещё не близко к первой вакансии. Я все вообще правильно понял? Может ещё что-то нужно знать Data Engineer?

@vor6758 Год назад

Мой вам совет: просто откликайтесь на вакансии, где ваши знания соответствуют хотя на 50% от требований вакансии. Для тех компаний, которые вам больше понравились напишите сопроводительное письмо. В нем опишите свой опыт, чем нравится их компания/вакансия и что вы хотите провести с ними интервью

@playtech5 3 года назад

Здравствуйте! Спасибо за видео! Как получить этот роадмап?

@nikolaydolgopolov621 3 года назад

В описании к видео ссылки.

@sadprill1961 Месяц назад

в 2к 24 теперь джун должен знать все то про что тут говорят для мидла...

@wordpreslabs 3 года назад

Подскажите пожалуйста, в каком софте схемы для презентации сделаны?)

@artemgogin1129 3 года назад

Miro

@DurezaSPb 2 года назад

Интересное видео, спасибо! Однако, по своему опыту, оставило в недоумении. Я вот только устроился на джуна. Было много собеседований. Так вот, некоторые из вопросов на эту позицию были ровно из тех, что вы показали для джуна, но примерно треть-половина - это из тех, что вы причислили к миддлу и даже сеньору (оконные функции, кафка, спарк-стриминг и спарк вообще, имплиситы в скале и паттерн-мэтчинг и много чего ещё). Это мне не повезло? Или сейчас планка, чтобы просто пойти и сделать первую джуниорскую таску, стала выше?

@pavelorlov9884 2 года назад

Скорее повысили планку, у меня точно такая же история)

@АндрейВасильев-л9ъ9ю 2 года назад

А где профессию осваивал?

@olgafedyanova 2 года назад

так во всех профессиях айти. От джуна хотят уровень мидлов.

@АндрейСавчук-о7ж 2 года назад

а ЗП на джуна тоже повысили?

@mazanka412 Год назад

Боюсь представить как спустя год поднялась планка

@jasperhumpsman7151 Год назад

боже куда я влез

@alexgubin78 2 года назад

Очень информативное видео. Подскажите пожалуйста, на каком уровне нужно знать джаву/питон? У меня есть опыт написание программ на джаве, но не совсем мне понятно, что нужно подучить, чтобы выполнять работу ДЕ

@UraGagarin1961 2 года назад

Зачем сравнивать яблоки и груши?

@_natalipost 3 года назад

Спасибо, информативное видео.

@seniorqa_auto5367 4 месяца назад

Самый понятный роадмап! Спасибо. Рассчитывал найти курс для DATA ENGINEER, а курса на платформе нет (((((. Где курс? )

@olgafedyanova 2 года назад

Ну оооочень круто сделано

@ibragdzh 2 года назад

Спасибо за видео!

@dmitriyobidin6049 2 года назад

Из вашего личного опыта - насколько ЗП дата инженеров отличаются от зарплат разработчиков? Не будешь ли чувствовать, что сделал не правильный выбор, перейдя в Биг Дату? Сейчас работаю энтерпрайз разработчиком и хочется перейти в биг дату, но немного пугает тот факт, что потолок зарплат может быть заметно ниже.