电子教案大数据技术与应用微课视频版肖政宏清华大学出版社.docx
- 文档编号:9141612
- 上传时间:2023-05-17
- 格式:DOCX
- 页数:20
- 大小:20.41KB
电子教案大数据技术与应用微课视频版肖政宏清华大学出版社.docx
《电子教案大数据技术与应用微课视频版肖政宏清华大学出版社.docx》由会员分享,可在线阅读,更多相关《电子教案大数据技术与应用微课视频版肖政宏清华大学出版社.docx(20页珍藏版)》请在冰点文库上搜索。
电子教案大数据技术与应用微课视频版肖政宏清华大学出版社
“大数据技术与应用”
教案
2019~2020学年第2学期
学院(部):
计算机科学学院
教研室(系):
数据科学与大数据技术
授课班级:
数据科学与大数据1班
课程学分:
4
课程学时:
54
课程周学时:
30+24
使用教材:
大数据技术与应用-微视频版
教案设计人:
周次1第1次课学时2
章节名称
第1章大数据概论
授课形式
理论课■案例讨论课□实验课□习题课□其他□
教学目的及要求
●掌握大数据分析的过程,技术及工具
●熟悉大数据的概念及特征
●熟悉大数据的当前应用及前景发展
教学重点
●大数据采集方式
●大数据存储技术
●大数据分析技术
教学难点
●大数据特征的理解和大数据分析处理的过程
教学内容
●大数据基本概念
●大数据的特征
●大数据的分析过程,涉及大数据的采集,存储以及分析。
●大数据的具体应用和大数据的发展前景
教学方法与手段设计
1、教学方法:
(1)介绍/演示大数据的基本概念和特征
(2)示例说明大数据的特征的类型,加强概念的理解。
(3)示例说明使用大数据分析过程的步骤以及各自的类型
(4)示例说明大数据与人工智能的关系,以及大数据的发展应用前景
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关大数据的发展背景或前景可以学生讨论回答
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第1章课后习题
实验内容
无
周次2第2次课学时2+2
章节名称
第2章大数据集群系统基础
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉大数据集群概念及系统组成
●熟悉Linux操作系统以及常用指令
●熟悉虚拟技术
●掌握大数据集群部署
教学重点
●VMwareWorkstation、CentOS7、SecureCRT的安装和使用
教学难点
●使用三台服务器作为集群节点,部署网络配置、安全配置、时间同步及实现登录
教学内容
●大数据集群系统的概述及分类,集群的目的
●Linux系统简介与特性
●安装Linux
●熟悉Linux常用命令,目录操作,文件浏览查找以及归档,系统类,网络类,进程类等命令
●虚拟化技术简介、原理及优势劣势
●熟悉常见的虚拟化软件,如VirtualBox,VMwareWorkstation,KVM等
●CentOS大数据集群系统的组成,架构
●操作实践:
大数据集群的部署
教学方法与手段设计
1、教学方法:
(1)介绍大数据集群系统的原理,组成,架构;
(2)演示使用Linux系统命令行进行集群的部署。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关集群部署时,通过示例演示完成;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第2章课后习题
实验内容
(1)完成课本实例集群的部署;
(2)熟悉Linux系统的命令行操作
周次3第3次课学时2+2
章节名称
第3章Hadoop分布式系统
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●了解Hadoop系统及其优点
●熟悉Hadoop原理及运行机制
●安装配置Hadoop环境并运行Hadoop
教学重点
●在Java环境下实现Hadoop安装与配置
●在VMware下使用配置好的环境运行Hadoop
教学难点
●使用集成开发环境VMware执行Hadoop
教学内容
●Hadoop系统的发展历程及其优点的介绍
●Hadoop原理的介绍
●HDFS,MapReduce组件的介绍
●使用VMware安装配置Hadoop运行环境
●使用VMware和命令行编写来执行Hadoop
●在线帮助和相关资源
教学方法与手段设计
1、教学方法:
(1)介绍/演示Hadoop的运行环境
(2)示例说明使用VMware执行Hadoop
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关编写和执行Hadoop时,通过示例演示;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第3章复习题:
填空题&思考题
实验内容
熟悉Hadoop运行环境
周次4第4次课学时2+2
章节名称
第4章HDFS分布式文件系统
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉HDFS的常规操作
●完成在Eclipse开发环境下进行HDFS的操作实践
教学重点
●HDFS的设计前提与目标,及架构组成
●利用Eclipse进行操作实践
教学难点
●HDFS的原理、数据读写的原理
●在Eclipse环境下,对HDFS进行目录创建删除,列目录以及文件的上传下载
教学内容
●HDFS的介绍
●HDFS的设计前提与目标
●Namenode和Datanode
●文件系统的名字空间
●数据复制,及其中的特性
●HDFS的读写流程
●HDFS中Shell及JavaAPI
●下载安装Eclipse
●综合实例演示HDFS的操作
教学方法与手段设计
1、教学方法:
(1)介绍/演示HDFS相关知识点;
(2)示例说明使用Eclipse创建HDFS项目,及常规操作。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关HDFS的创建及操作时,通过示例演示;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第4章习题:
简答题
实验内容
完成课本综合实例,熟悉HDFS的应用
周次5第5次课学时2+2
章节名称
第5章MapReduce分布式计算
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉MapReduce架构,原理及工作机制
●编写和执行MapReduceWordCount编程实例
●编写和执行MapReduce倒排索引编程实例
教学重点
●MapReduce的基本原理、架构以及工作机制等知识内容
教学难点
●MapReduceWordCount编程实例;
●MapReduce倒排索引编程实例
教学内容
●MapReduce架构和原理
●MapReduce的工作机制
●使用集成开发环境IDLE编写和执行MapReduceWordCount实例
●使用集成开发环境IDLE编写和执行MapReduce倒排索引实例
●在线帮助和相关资源
教学方法与手段设计
1、教学方法:
(1)介绍MapReduce架构,原理及工作机制;
(2)示例说明使用集成开发环境IDLE编写和执行MapReduce倒排索引实例
(3)示例说明使用集成开发环境IDLE编写和执行MapReduceWordCount实例
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关编写和执行MapReduce实例时,通过示例演示;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第5章复习题:
填空题&思考题
实验内容
编写MapReduceWordCount实例及MapReduce倒排索引编程
周次6第6次课学时2+2
章节名称
第6章HBas分布式数据库应用
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉HBase的架构及存储
●熟悉HBase的集群部署,Shell操作,过滤器
●熟悉HBase编程
教学重点
●HBase架构与存储的介绍
●HBase部署时,参数配置,运行与测试
●HBaseShell操作命令
●HBase的各种过滤器
●HBase的表编程及过滤查询编程
教学难点
●HBaseShell各种操作命令
●HBase相关过滤器
●HBase的编程
教学内容
●HBase简介,包括架构与存储
●安装HBase
●HBase参数配置
●HBase运行与测试
●HBase的general操作,namespace操作,DDL操作,DML操作以及授权
●HBase过滤器,包括行,列,列名,值,前缀,列前缀,行键,首次行键,单列值,单列排除,包含结束,列计数等。
●使用HBase提供的JavaAPI,实现表的创建删除,数据查询等
●使用HBase提供的过滤类进行查询
教学方法与手段设计
1、教学方法:
(1)介绍HBase的相关知识,演示HBase的配置及相关操作;
(2)示例说明HBase的Shell操作命令,过滤器及编程。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关编写和执行HBase代码时,通过示例描述;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第6章习题:
简答题&实践题
实验内容
完成课本中HBase的Shell操作命令,过滤器及编程等示例,熟悉HBase的使用。
周次7第7次课学时2+2
章节名称
第7章YARN资源分配
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●了解统一资源调度平台
●熟悉YARN架构及其工作流程
教学重点
●YARN的基本原理、架构及其工作流程
●YARNShell实例操作
教学难点
●YARNShell实例的命令及其操作
教学内容
●统一资源管理和调度平台介绍
●YARN的优势对比
●YARN架构及工作流程
●YARNShell实例的具体操作
教学方法与手段设计
1、教学方法:
(1)介绍统一资源管理和调度平台;
(2)示例说明YARN技术,包扩YARN的架构和工作流程,介绍
YARN的优势,具体操作YARNShell实例。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关YARNShell实例的具体命令和操作,通过示例演示;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第7章复习题:
填空题&思考题
实验内容
实现YARNShell实例的操作
周次8第8次课学时2+2
章节名称
第8章Spark集群计算
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉Spark的生态系统及架构
●熟悉SparkRDD
●完成Spark集群部署及应用案例
教学重点
●Spark的基本原理,框架设计以及RDD工作流程
●SparkRDD
教学难点
●Spark编程应用,Spark算法实现
教学内容
●简单介绍Spark及其特性
●介绍Spark生态系统的组成及应用框架
●阐述RDDs,作业调度,内存管理,检查点支持
●下载Spark集群部署所需软件包并解压
●完成参数配置及运行
●Spark交互
●进行基本RDD的转化操作,行动操作
●PairRDD的转化操作,行动操作
●RDD的其他操作
●Spark算法实例,如词频统计,相关系数
教学方法与手段设计
1、教学方法:
(1)文字介绍Spark的生态系统,架构及RDD;
(2)示例说明使用Python进行RDD的相关操作。
(3)示例说明使用Python实现Spark算法实例。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关编写和执行RDD操作及Spark算法时,通过示例描述;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第8章习题:
简答题&实践题
实验内容
完成课本实例8-1~实例8-50及两个算法案例,熟悉使用python进行RDD相关操作
周次9第9次课学时2+2
章节名称
第9章Spark机器学习
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉SparkMLlib的Localvector数据类型(本地向量)、Labeled
point类型(标签向量)、Localmatrix数据类型(本地矩阵)、RowMatrix类型(分布式矩阵)、IndexedRowMatrix类型、CoordinateMatrix类型、BlockMatrix类型
●了解基于DataFrame的API和基于RDD的API的基本统计
教学重点
●SparkMLlib的Localvector数据类型(本地向量)、Labeled
point类型(标签向量)、Localmatrix数据类型(本地矩阵)、RowMatrix类型(分布式矩阵)、IndexedRowMatrix类型、CoordinateMatrix类型、BlockMatrix类型
●基于DataFrame的API和基于RDD的API的基本统计的具体步骤比较
●编译实现Spark实例中的聚类问题和随机森林问题
教学难点
●聚类问题中的K-Means算法
●分析鸢尾花数据,学习随机森林算法,掌握数据集的训练、评估与预测方法
教学内容
●SparkMLlib数据类型概述
●Localvector数据类型(本地向量)
●Labeledpoint类型(标签向量)
●Localmatrix数据类型(本地矩阵)
●RowMatrix类型(分布式矩阵)
●IndexedRowMatrix类型
●CoordinateMatrix类型
●BlockMatrix类型
●基于DataFrame的API和基于RDD的API的基本统计比较
●聚类问题和随机森林问题的实例操作
教学方法与手段设计
1、教学方法:
通过示例说明常用内置数据类型的定义、声明和使用。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关常用数据类型的使用以及聚类问题和随机森林问题,通过示例描述;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第9章复习题:
填空题&思考题
实验内容
周次10第10次课学时2+2
章节名称
第10章Hive数据仓库应用
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉Hive的数据类型和文件格式
●熟悉数据定义,数据操作以及数据查询
●掌握Hive编程
教学重点
●Hive原理及数据处理
●熟悉Hive的数据类型和文件格式
教学难点
●编写Hive实例,如表、数据的命令应用
教学内容
●Hive组成模块,执行流程概述
●Metastore存储模式
●安装Hive,配置参数并运行测试
●HiveBeeline
●了解基本数据类型与文件格式
●数据的定义,操作,查询
●Hive编程
教学方法与手段设计
1、教学方法:
(1)介绍Hive运行环境,数据类型和文件格式;
(2)示例说明使用Hive进行数据相关操作。
(3)示例说明Hive中,JDBC函数应用及相关实例。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关编写和执行Hive数据操作及编程时,通过示例描述;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第10章习题:
简答题&实践题
实验内容
完成课本中的实例,熟悉Hive的使用
周次11第11次课学时2+2
章节名称
第11章ZooKeeper协调服务
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●ZooKeeper的重要协议ZAB及数据模型,集群部署的过程和配置
●ZooKeeper在HadoopYARNHA、SparkHA和HiveHA的应用及配置方法
●ZooKeeper在单节点故障的解决办法
●ZooKeeper基本的读写操作编程案例实现
教学重点
●ZooKeeper的特性及其应用
教学难点
●ZooKeeper集群的操作编程
教学内容
●ZooKeeper的数据模型和事件监听器的工作机制
●ZooKeeper集群部署的操作及相关基本命令
●了解ZooKeeper在Hadoop,HBase,Kafka,Hive和Spark等开源系统中的应用
●使用集成开发环境IDEA编写运行ZooKeeper的连接,删除和读写
●使用集成开发环境IDEA编写运行ZooKeeper监视集群状态
教学方法与手段设计
1、教学方法:
通过示例说明加强对ZooKeeper编程的熟练。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关ZooKeeper编程时,通过示例描述;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第11章复习题:
填空题&思考题
实验内容
周次12第12次课学时2+2
章节名称
第12章医药大数据案例分析
授课形式
理论课■案例讨论课□实验课■习题课□其他□
教学目的及要求
●熟悉项目概述,分析项目需求
●清楚软件关键技术
●系统架构设计
●数据存储设计
●数据分析
教学重点
●大数据系统的需求分析
●Hbase数据库的建立
●程序的设计与实现
教学难点
●系统架构设计
●数据存储设计
●程序的设计与实现
教学内容
●项目概述以及功能需求
●明确软件关键技术
●效果展示
●系统的组成,协作方式,网络拓扑,建设方案
●数据存储设计
●数据分析
●数据展示
教学方法与手段设计
1、教学方法:
(1)介绍案例概述,需求以及技术;
(2)图解说明系统架构设计。
(3)示例说明数据存储设计及数据的分析。
2、辅助手段:
多媒体演示。
3、对于重点和难点,通过例题讨论讲解、师生互动、作业等来突出。
板书设计
(详见ppt课件)
(1)以文字描述为主,要点及关键词用不同颜色标注;
(2)涉及有关数据如何存储及分析时,通过示例描述;
(3)ppt的播放做到适时呈现、对过程有动态演示。
思考题
和作业
第12章习题:
简答题
实验内容
完成课本项目案例
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电子 教案 数据 技术 应用 视频 版肖政宏 清华大学出版社