Mail.ruПочта0Мой Мир0ОдноклассникиИгры0ЗнакомстваНовостиПоискСмотриComboВсе проекты

Hadoop. Spark

Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Методы распределенной обработки больших объемов данных в Hadoop" Лекция №12 "Spark" Лектор - Алексей Романенко. Мотивация. RDD. Программная модель Spark. Higher-Order Functions. Трансформация RDD (Map, Reduce, Join, CoGroup, Union и Sample). RDD actions. SparkContext. Создание RDD. Общие переменные (broadcast, accumulator). Движок Apache Spark. Программный интерфейс Spark. Lineage. Зависимости между RDD (Narrow, Wide). Расписание задач. Отказоустойчивость RDD. Управление памятью. Приложения, которые подходят и не подходят для RDD. Слайды лекции http://www.slideshare.net/Technopark/lecture-12-48215750 Другие лекции курса | https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD Наш видеоканал | http://www.youtube.com/user/TPMGTU?sub_confirmation=1 Официальный сайт Технопарка | https://tech-mail.ru/ Официальный сайт Техносферы | https://sfera-mail.ru/ Технопарк в ВКонтакте | http://vk.com/tpmailru Техносфера в ВКонтакте | https://vk.com/tsmailru Блог на Хабре | http://habrahabr.ru/company/mailru/ #ТЕХНОПАРК #ТЕХНОСФЕРА x
Подробнее