ВВЕДЕНИЕ В PYSPARK И SPARKSQL / ОЛЕГ АГАПОВ 

Отличная вводная лекция по Spark 🙂 Таймкоды: 1:38 - План вебинара 3:05 - Для кого этот вебинар 3:48 - О спикере 5:00 - Начало. Пример задачи, под которую заточен Spark 11:59 - Что такое Spark? 17:36 - Модель распределенных вычислений в Spark 22:40 - Нужен ли Spark’y Hadoop? 22:25 - Практика. Установка Spark локально 27:04 - Установка Pyspark из pip 35:15 - Запуск Spark из Docker 38:26 - Запуск Spark в Google Colab 45:35 - Обзор собранной статистики о слушателях 46:00 - Q&A сессия 51:08 - Про режимы работы Spark 54:02 - Что можно делать в PySpark? 56:24 - Компоненты PySpark приложения 1:05:54 - Подробнее о DataFrame 1:08:41 - Читаем данные в DataFrame 1:15:08 - О трансформации данных 1:17:26 - О записи данных 1:18:54 - SQL в Spark 1:23:26 - Практика. DataFrame API 2:24:39 - DataFrame API: основные методы в использовании 2:25:36 - SQL functions: основные методы в использовании 2:27:40 - Общие принципы Spark приложения 2:34:08 - Q&A сессия

Как жаль, что ведущий вебинара не рассказал, что просто так ты не заинсталлишь Spark через pip install , если не создашь специальные системные переменные среды, а у лектора всё уже готовенько, а у него pyspark к моменту записи вебинара уже давно установлен был..

Отличное видео для начала работы с PySpark! Есть вопрос по части, где нужно посчитать статистики по полю manufacturer_name. Из моего опыта с СУБД и Pandas, очень плохой тон делать группировки по текстовым полям - они работают значительно медленнее чем по целочисленным полям / датам. Понимаю, что в видео поле manufacturer_name было выбрано для примера, но как в целом у спарка обстоят дела с группировкой по тестовым колонкам?

Великолепный материал для тех кто только начинает погружаться в PySpark. Благодарности ведущему и основателям канала

вообще классно всё объяснил - 3 часа как одно мгновение ... очень жду продолжение!

Сильный спикер, спасибо!

Лучшая вводная лекция, которую я видел. Но, ребята, что за звук? 2021й год и треск микрофона?! Вы серьезно?)

А ссылку на гитхаб в коменты скиньте пожалуйста😅

Большое спасибо! Очень круто для понимания и знакомства с PySpark.

Хм, а у меня сразу сохранило в одном файле json.... Что-то не так сделал?

Спасибо большое! По ETL вообще мало чего есть в русскоязычном сегменте ютуба. На мой взгляд лучший способ передачи опыта - видео. Питон немного изучал. Сейчас я PL/SQL разработчик, но думаю смещаться в ETL. Дико привык к SQL. И все эти методы кажатся извращением. Вообще БД-шные спецы плюются на спарк и ORM

Спасибо, а когда продолжение? На ютубе одни вводные лекции для pyspark, а хотелось бы более глубокого погружения.

Ребята вы лучшие! Купила курс на gb, в итоге модуль про спарк изучаю по вашему видео)

Спасибо, очень полезная информация для ознакомления с PySpark. Как раз то что было нужно.

Спасибо. Для меня очень полезный материал. Особенно ценно, что на русском.

Спасибо, долго искал что-то подобное на ру-ресусрах)

Привет. Спасибо большое за видео. Можно вопрос, будь ласка? я попробовала работать в сессии Спарка прямо из Визуал Студио Код - єто очень неудобно по ряду причин. Установила взяла отдельно Юпитер. но сессия Спарка в Юпитера не запускается. Єто невозможно или я что-то делаю не так?

Драйвер не распределяет данные между экзекьюторами, это делает Cluster manager

Огромное спасибо - было очень понятно! а где посмотреть презентацию и ссылки все на гит и т.д.?!

Прекрасная лекция, спасибо огромное!

Прекрасно, это прям ну очень просится па мастеркласс по пайспар в какой- нибудб юдеми👍👍👍

Thanks for the introduction to the PySpark! It was very useful.

Интересно было бы ещё узнать, где чаще всего бывают затыки по производительнсти.

Отличный доклад! Гораздо лучше всяких индусов

Кайфовый вэбик. Вы как всегда на уровне бог. Спасибо Олегу!

Спасибо, очень круто, хотелось бы продолжения ))

хороший эфир ... авторам спасибо

Замечательный стрим, спасибо

лучшее объяснение!

Спасибо за хороший контент.

Очень здорово, спасибо!

Респектище, помогло очень

вебинар огонь

норм

Очень крутой доклад!

Шикарно

Очень круто! Добавим к модулю 7 DE-101!

Очень много водяных рассуждений ни о чем. Очень много бэ, мэ, эээ. "Я рассказываю так быстро" - ты серьзно?