登录
注册
登录
注册
首页
在线实训
师资培训
证书培训
1+X证书
双创工作室
竞赛指导
科普知识
全部分类
业务
课程
班级
公开课
登录
注册
首页
在线实训
师资培训
证书培训
1+X证书
双创工作室
竞赛指导
科普知识
全部分类
业务
课程
班级
公开课
Spark大数据技术基础
简介
分类
进阶
课程标签:
Spark
进阶
查看课程
任务列表
第1任务: 1.1.1 Spark简介及发展历史介绍
第2任务: 1.1.2 Spark的特点
第3任务: 1.1.3 Spark生态圈
第4任务: 1.1.4 Spark的应用场景
第5任务: 1.2.1 搭建单机版Spark环境并运行Pi实例
第6任务: 1.2.2 搭建单机伪分布式环境
第7任务: 1.2.3 搭建完全分布式环境及启动、关闭、监控集群
第8任务: 1.3.1 Spark架构
第9任务: 1.3.2 Spark作业运行流程
第10任务: 1.3.3 Spark核心数据集RDD
第11任务: 1.3.4 Spark核心原理
第12任务: 2.1.1 从内存中已有数据创建RDD-Parallelize()方法
第13任务: 2.1.2 从内存中已有数据创建RDD-makeRDD()方法
第14任务: 2.1.3 从外部存储创建RDD
第15任务: 2.1.4 创建学生成绩数据RDD
第16任务: 2.2.1 使用map()转换数据
第17任务: 2.2.2 使用flatMap转换数据
第18任务: 2.2.3 使用mapPartitions()对分区操作
第19任务: 2.2.4 使用sortBy()排序
第20任务: 2.2.5 使用Collect()查询
第21任务: 2.2.6 使用saveAsTextFile()将RDD保存到HDFS中
第22任务: 2.2.7 使用take()方法查询某几个值
第23任务: 2.2.8 使用count()方法计算RDD中元素个数
第24任务: 2.2.9 查询学生成绩Top5
第25任务: 2.3.1 使用filter()过滤RDD
第26任务: 2.3.2 使用distinct()进行去重
第27任务: 2.3.3 使用union()合并多个RDD
第28任务: 2.3.4 使用subtract()获取RDD之间的差集
第29任务: 2.3.5 使用intersection()找出RDD的交集
第30任务: 2.3.6 使用cartesian()进行集合笛卡尔积
第31任务: 2.3.7 查找单科成绩为100分的学生
第32任务: 2.4.1 键值对RDD简介
第33任务: 2.4.2 创建键值对RDD
第34任务: 2.4.3 转换操作Keys与Values
第35任务: 2.4.4 转换操作mapValues
第36任务: 2.4.5 转换操作groupBy()
第37任务: 2.4.6 转换操作groupByKey()
第38任务: 2.4.7 转换操作reduceByKey()
第39任务: 2.4.8 汇总所有学生总成绩
第40任务: 2.5.1 使用join()连接两个RDD
第41任务: 2.5.2 使用zip组合两个RDD
第42任务: 2.5.3 使用combineByKey合并相同键的值
第43任务: 2.5.4 使用lookup查找指定键的值
第44任务: 2.5.5 计算每个学生平均成绩
第45任务: 2.6.1 Json文件的读取与存储
第46任务: 2.6.2 csv文件的读取与存储
第47任务: 2.6.3 SequenceFile与文本文件读取和存储
第48任务: 2.6.4 文本文件的读取与存储
第49任务: 2.6.5 统计学生所有信息并存入文件
第50任务: 3.1.1 下载安装IntelliJ IDEA安装
第51任务: 3.1.2 Scala插件安装与使用
第52任务: 3.1.3 配置Spark运行环境及编写Spark程序基础知识
第53任务: 3.1.4 运行Spark单词计数程序实例
第54任务: 3.2.1 持久化(缓存)
第55任务: 3.2.2 数据分区
第56任务: 3.2.3 计算价格波动的幅度
第57任务: 配套资料
学
习
中
心
TOP
张老师
群1:897428979
群2:642795722
工作时间:9:00 - 18:00
张老师:18927565259
邮箱:
3120701392@qq.com