登录
注册
登录
注册
首页
在线实训
师资培训
证书培训
1+X证书
双创工作室
竞赛指导
科普知识
全部分类
业务
课程
班级
公开课
登录
注册
首页
在线实训
师资培训
证书培训
1+X证书
双创工作室
竞赛指导
科普知识
全部分类
业务
课程
班级
公开课
Spark大数据技术基础
第26任务： 2.3.2 使用distinct()进行去重
查看课程
任务列表
第1任务： 1.1.1 Spark简介及发展历史介绍
第2任务： 1.1.2 Spark的特点
第3任务： 1.1.3 Spark生态圈
第4任务： 1.1.4 Spark的应用场景
第5任务： 1.2.1 搭建单机版Spark环境并运行Pi实例
第6任务： 1.2.2 搭建单机伪分布式环境
第7任务： 1.2.3 搭建完全分布式环境及启动、关闭、监控集群
第8任务： 1.3.1 Spark架构
第9任务： 1.3.2 Spark作业运行流程
第10任务： 1.3.3 Spark核心数据集RDD
第11任务： 1.3.4 Spark核心原理
第12任务： 2.1.1 从内存中已有数据创建RDD-Parallelize()方法
第13任务： 2.1.2 从内存中已有数据创建RDD-makeRDD()方法
第14任务： 2.1.3 从外部存储创建RDD
第15任务： 2.1.4 创建学生成绩数据RDD
第16任务： 2.2.1 使用map()转换数据
第17任务： 2.2.2 使用flatMap转换数据
第18任务： 2.2.3 使用mapPartitions()对分区操作
第19任务： 2.2.4 使用sortBy()排序
第20任务： 2.2.5 使用Collect()查询
第21任务： 2.2.6 使用saveAsTextFile()将RDD保存到HDFS中
第22任务： 2.2.7 使用take()方法查询某几个值
第23任务： 2.2.8 使用count()方法计算RDD中元素个数
第24任务： 2.2.9 查询学生成绩Top5
第25任务： 2.3.1 使用filter()过滤RDD
第26任务： 2.3.2 使用distinct()进行去重
第27任务： 2.3.3 使用union()合并多个RDD
第28任务： 2.3.4 使用subtract()获取RDD之间的差集
第29任务： 2.3.5 使用intersection()找出RDD的交集
第30任务： 2.3.6 使用cartesian()进行集合笛卡尔积
第31任务： 2.3.7 查找单科成绩为100分的学生
第32任务： 2.4.1 键值对RDD简介
第33任务： 2.4.2 创建键值对RDD
第34任务： 2.4.3 转换操作Keys与Values
第35任务： 2.4.4 转换操作mapValues
第36任务： 2.4.5 转换操作groupBy()
第37任务： 2.4.6 转换操作groupByKey()
第38任务： 2.4.7 转换操作reduceByKey()
第39任务： 2.4.8 汇总所有学生总成绩
第40任务： 2.5.1 使用join()连接两个RDD
第41任务： 2.5.2 使用zip组合两个RDD
第42任务： 2.5.3 使用combineByKey合并相同键的值
第43任务： 2.5.4 使用lookup查找指定键的值
第44任务： 2.5.5 计算每个学生平均成绩
第45任务： 2.6.1 Json文件的读取与存储
第46任务： 2.6.2 csv文件的读取与存储
第47任务： 2.6.3 SequenceFile与文本文件读取和存储
第48任务： 2.6.4 文本文件的读取与存储
第49任务： 2.6.5 统计学生所有信息并存入文件
第50任务： 3.1.1 下载安装IntelliJ IDEA安装
第51任务： 3.1.2 Scala插件安装与使用
第52任务： 3.1.3 配置Spark运行环境及编写Spark程序基础知识
第53任务： 3.1.4 运行Spark单词计数程序实例
第54任务： 3.2.1 持久化（缓存）
第55任务： 3.2.2 数据分区
第56任务： 3.2.3 计算价格波动的幅度
第57任务： 配套资料
学
习
中
心
TOP
张老师
群1：897428979
群2：642795722
工作时间：9:00 - 18:00
张老师:18927565259
邮箱：
3120701392@qq.com
