МИТАП: «Работа с источниками данных в Apache Spark»_ 14 июня 2022 года

Подписаться 6 тыс.

Просмотров 1,7 тыс.

50% 1

По вопросам обучения на курсах машинного обучения приглашаем в нашу "Школу Больших Данных"
Обращаться по телефону:
+7 (495) 41-41-121
+7 (995) 100-45-63
Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях:
Телеграм-канал: t.me/BigDataSchool_ru
Вконтакте: bdschool_mck
LinkedIn: / bigdataschoolru
Twitter: / bigdataschoolr
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - www.bigdataschool.ru

Опубликовано:

13 июн 2022

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 2

@user-xv3fv9jr7g 2 года назад

Подскажите, как указывать драйвер jdbc когда данные нужно с hive получать и на него же потом результат работы отправлять

@michaelkorolev9055 2 года назад

как правило, spark настроен на работу с hive metastore, поэтому для работы с hive на чтение обычно используют метод sql() спарк сессии, а для записи - метод saveAsTable() датафрейм writer-а. Spark работает с данными hive также, как и с hdfs (параллелизм), метаданные берет из metastore, теоретически можно "запустить" spark в hive через jdbc, но... зачем?