Тёмный

015. Apache Spark - Егор Пахомов 

Yandex for Developers
Подписаться 67 тыс.
Просмотров 9 тыс.
50% 1

Мы поговорим об Apache Spark - более быстром, универсальном и user friendly аналоге Hadoop как инструменте для batch-обработки больших данных. Рассмотрим архитектуру Spark и его главного строительного блока - RDD. Сравним код в MapReduce и RDD моделях. Обсудим развитие других Apache top-level проектов и плавный отход индустрии от MapReduce модели к Spark.

Опубликовано:

 

3 окт 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 11   
@UnJeru
@UnJeru 6 лет назад
Спасибо, отличный доклад!
@ИльяХристофоров-ъ9у
@ИльяХристофоров-ъ9у 3 месяца назад
Шикарный доклад, особенно, учитывая, что он был сделан 9 лет назад.
@OB-el5ih
@OB-el5ih 4 года назад
доклад очень крутой
@Booogieman
@Booogieman 4 года назад
чётко! 🤘
@DmitryFomin
@DmitryFomin 5 лет назад
замучали уже считать слова во входных файлах :( фантазии нет чтоли. awk быстрее вашего спарка это посчитает
@OB-el5ih
@OB-el5ih 4 года назад
есть же статья как тип 25тб обработал через awk и parallel)))
@user-th6oi8pg4n
@user-th6oi8pg4n 2 года назад
пахоооом
@igoryudnikov6198
@igoryudnikov6198 7 лет назад
Блять) как же вымораживает когда раздел называют патишэном, задачу таской, ошибку багой, и так далее. Русский язык кажется придумали у вас, а говорите так что нихуя не понять...
@tvelruff8851
@tvelruff8851 7 лет назад
К айти направлениям такие предъявы всегда выглядят по крайней мере смешно.
@mrGrey2009
@mrGrey2009 5 лет назад
отчасти согласен с тобой, но к сожалению spark предумали не у нас. и те кто это придумал называют это партишном , а не разделом ну и тд
Далее
У КОТЕНКА ПРОБЛЕМА?#cat
00:18
Просмотров 633 тыс.
У КОТЯТ ОТКРЫЛИСЬ ГЛАЗКИ#cat
00:26
小路飞嫁祸姐姐搞破坏 #路飞#海贼王
00:45
Hadoop. Spark
1:22:50
Просмотров 12 тыс.
У КОТЕНКА ПРОБЛЕМА?#cat
00:18
Просмотров 633 тыс.