1、电子教案大数据技术与应用微课视频版肖政宏清华大学出版社 “大数据技术与应用”教案20192020学年第 2 学期 学院（部）： 计算机科学学院 教研室（系）： 数据科学与大数据技术 授课班级： 数据科学与大数据1班 课程学分： 4 课程学时： 54 课程周学时： 30+24 使用教材： 大数据技术与应用-微视频版 教案设计人： 周次 1 第 1 次课 学时 2 章节名称第1章 大数据概论授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求掌握大数据分析的过程，技术及工具熟悉大数据的概念及特征熟悉大数据的当前应用及前景发展教学重点大数据采集方式大数据存储技术大数据分析技术教学难点 大数
2、据特征的理解和大数据分析处理的过程教学内容大数据基本概念大数据的特征大数据的分析过程，涉及大数据的采集，存储以及分析。大数据的具体应用和大数据的发展前景教学方法与手段设计1、教学方法：（1）介绍/演示大数据的基本概念和特征（2）示例说明大数据的特征的类型，加强概念的理解。（3）示例说明使用大数据分析过程的步骤以及各自的类型（4）示例说明大数据与人工智能的关系，以及大数据的发展应用前景2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关大数据的发展背景或前景可以学生讨论回
3、答（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第1章 课后习题实验内容无周次 2 第 2 次课 学时 2+2 章节名称第2章 大数据集群系统基础授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉大数据集群概念及系统组成熟悉Linux操作系统以及常用指令熟悉虚拟技术掌握大数据集群部署教学重点VMware Workstation、CentOS 7、SecureCRT的安装和使用教学难点使用三台服务器作为集群节点，部署网络配置、安全配置、时间同步及实现登录教学内容大数据集群系统的概述及分类，集群的目的Linux系统简介与特性安装Linux熟悉Linux常用命令，目录
4、操作，文件浏览查找以及归档，系统类，网络类，进程类等命令虚拟化技术简介、原理及优势劣势熟悉常见的虚拟化软件，如VirtualBox，VMware Workstation，KVM等CentOS大数据集群系统的组成，架构操作实践：大数据集群的部署教学方法与手段设计1、教学方法：（1）介绍大数据集群系统的原理，组成，架构；（2）演示使用Linux系统命令行进行集群的部署。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关集群部署时，通过示例演示完成；（3）ppt的播放做到适
5、时呈现、对过程有动态演示。 思考题和作业第2章 课后习题实验内容（1）完成课本实例集群的部署；（2）熟悉Linux系统的命令行操作周次 3 第 3 次课 学时 2+2 章节名称第3章 Hadoop分布式系统授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求了解Hadoop系统及其优点熟悉Hadoop原理及运行机制安装配置Hadoop环境并运行Hadoop教学重点在Java环境下实现Hadoop安装与配置在VMware下使用配置好的环境运行Hadoop教学难点使用集成开发环境VMware执行Hadoop教学内容Hadoop系统的发展历程及其优点的介绍Hadoop原理的介绍HDFS，M
6、apReduce 组件的介绍使用VMware安装配置Hadoop运行环境使用VMware和命令行编写来执行Hadoop在线帮助和相关资源教学方法与手段设计1、教学方法：（1）介绍/演示Hadoop的运行环境（2）示例说明使用VMware执行Hadoop2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关编写和执行Hadoop时，通过示例演示；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第3章 复习题：填空题 & 思考题实验内容熟悉Hadoop运行环境周
7、次 4 第 4 次课 学时 2+2 章节名称第4章 HDFS分布式文件系统授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉HDFS的常规操作完成在Eclipse开发环境下进行HDFS的操作实践教学重点HDFS的设计前提与目标，及架构组成利用Eclipse进行操作实践教学难点 HDFS的原理、数据读写的原理 在Eclipse环境下，对HDFS进行目录创建删除，列目录以及文件的上传下载教学内容HDFS的介绍HDFS的设计前提与目标Namenode和Datanode文件系统的名字空间数据复制，及其中的特性HDFS的读写流程HDFS中Shell及Java API 下载安装Eclips
8、e综合实例演示HDFS的操作教学方法与手段设计1、教学方法：（1）介绍/演示HDFS相关知识点；（2）示例说明使用Eclipse创建HDFS项目，及常规操作。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关HDFS的创建及操作时，通过示例演示；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第4章 习题： 简答题实验内容完成课本综合实例，熟悉HDFS的应用周次 5 第 5 次课 学时 2+2 章节名称第5章 MapReduce分布式计算授课形式理论课
9、案例讨论课 实验课 习题课 其他教学目的及要求熟悉MapReduce架构，原理及工作机制编写和执行MapReduce WordCount 编程实例编写和执行MapReduce 倒排索引编程实例教学重点MapReduce的基本原理、架构以及工作机制等知识内容教学难点MapReduce WordCount编程实例；MapReduce倒排索引编程实例教学内容MapReduce架构和原理MapReduce的工作机制使用集成开发环境IDLE编写和执行MapReduce WordCount实例使用集成开发环境IDLE编写和执行MapReduce 倒排索引实例在线帮助和相关资源教学方法与手段设计1、教学方法
10、：（1）介绍MapReduce架构，原理及工作机制；（2）示例说明使用集成开发环境IDLE编写和执行MapReduce 倒排索引实例（3）示例说明使用集成开发环境IDLE编写和执行MapReduce WordCount实例2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关编写和执行MapReduce 实例时，通过示例演示；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第5章 复习题： 填空题 & 思考题实验内容编写MapReduce WordCount
11、实例及MapReduce 倒排索引编程周次 6 第 6 次课 学时 2+2 章节名称第6章 HBas分布式数据库应用授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉HBase的架构及存储熟悉HBase的集群部署，Shell操作，过滤器熟悉HBase编程教学重点HBase架构与存储的介绍HBase部署时，参数配置，运行与测试HBase Shell操作命令HBase的各种过滤器HBase的表编程及过滤查询编程教学难点 HBase Shell各种操作命令 HBase相关过滤器 HBase的编程教学内容HBase简介，包括架构与存储安装HBaseHBase参数配置HBase运行与测试
12、HBase的general操作，namespace操作，DDL操作，DML操作以及授权HBase过滤器，包括行，列，列名，值，前缀，列前缀，行键，首次行键，单列值，单列排除，包含结束，列计数等。使用HBase提供的Java API，实现表的创建删除，数据查询等使用HBase提供的过滤类进行查询教学方法与手段设计1、教学方法：（1）介绍HBase的相关知识，演示HBase的配置及相关操作；（2）示例说明HBase的Shell操作命令，过滤器及编程。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用
13、不同颜色标注；（2）涉及有关编写和执行HBase代码时，通过示例描述；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第6章 习题： 简答题 & 实践题实验内容完成课本中HBase的Shell操作命令，过滤器及编程等示例，熟悉HBase的使用。周次 7 第 7 次课 学时 2+2 章节名称第7章 YARN 资源分配授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求了解统一资源调度平台熟悉YARN架构及其工作流程教学重点YARN的基本原理、架构及其工作流程YARN Shell 实例操作教学难点YARN Shell实例的命令及其操作教学内容统一资源管理和调度平台介绍YAR
14、N的优势对比 YARN 架构及工作流程YARN Shell 实例的具体操作教学方法与手段设计1、教学方法：（1）介绍统一资源管理和调度平台；（2）示例说明YARN 技术，包扩YARN 的架构和工作流程，介绍YARN 的优势，具体操作YARN Shell 实例。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关YARN Shell 实例的具体命令和操作，通过示例演示；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第7章 复习题： 填空题 & 思考题实验内
15、容实现YARN Shell 实例的操作周次 8 第 8 次课 学时 2+2 章节名称第8章 Spark集群计算授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉Spark的生态系统及架构熟悉Spark RDD完成Spark集群部署及应用案例教学重点Spark的基本原理，框架设计以及RDD工作流程Spark RDD教学难点 Spark编程应用，Spark算法实现教学内容简单介绍Spark及其特性介绍Spark生态系统的组成及应用框架阐述RDDs，作业调度，内存管理，检查点支持下载Spark集群部署所需软件包并解压完成参数配置及运行Spark交互进行基本RDD的转化操作，行动操作P
16、air RDD的转化操作，行动操作RDD的其他操作Spark算法实例，如词频统计，相关系数教学方法与手段设计1、教学方法：（1）文字介绍Spark的生态系统，架构及RDD；（2）示例说明使用Python进行RDD的相关操作。（3）示例说明使用Python实现Spark算法实例。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关编写和执行RDD操作及Spark算法时，通过示例描述；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第8章 习题： 简答题 &
17、实践题实验内容完成课本实例8-1实例8-50及两个算法案例，熟悉使用python进行RDD相关操作 周次 9 第 9 次课 学时 2+2 章节名称第9章 Spark 机器学习授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉Spark MLlib的Local vector数据类型（本地向量）、Labeledpoint类型（标签向量）、Local matrix数据类型（本地矩阵）、RowMatrix类型（分布式矩阵）、IndexedRowMatrix类型、CoordinateMatrix类型、BlockMatrix类型了解基于DataFrame的API和基于RDD的API的基本统
18、计教学重点Spark MLlib的Local vector数据类型（本地向量）、Labeledpoint类型（标签向量）、Local matrix数据类型（本地矩阵）、RowMatrix类型（分布式矩阵）、IndexedRowMatrix类型、CoordinateMatrix类型、BlockMatrix类型基于DataFrame的API和基于RDD的API的基本统计的具体步骤比较编译实现Spark实例中的聚类问题和随机森林问题教学难点聚类问题中的K-Means算法分析鸢尾花数据，学习随机森林算法，掌握数据集的训练、评估与预测方法教学内容Spark MLlib数据类型概述Local vector
19、数据类型（本地向量）Labeled point类型（标签向量）Local matrix数据类型（本地矩阵）RowMatrix类型（分布式矩阵）IndexedRowMatrix类型CoordinateMatrix类型BlockMatrix类型基于DataFrame的API和基于RDD的API的基本统计比较聚类问题和随机森林问题的实例操作教学方法与手段设计1、教学方法：通过示例说明常用内置数据类型的定义、声明和使用。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关常用数
20、据类型的使用以及聚类问题和随机森林问题，通过示例描述；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第9章 复习题：填空题 & 思考题实验内容周次 10 第 10 次课 学时 2+2 章节名称第10章 Hive数据仓库应用授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉Hive的数据类型和文件格式熟悉数据定义，数据操作以及数据查询掌握Hive编程教学重点Hive原理及数据处理熟悉Hive的数据类型和文件格式教学难点编写Hive实例，如表、数据的命令应用教学内容Hive组成模块，执行流程概述Metastore存储模式安装Hive，配置参数并运行测试Hive Be
21、eline了解基本数据类型与文件格式数据的定义，操作，查询Hive编程教学方法与手段设计1、教学方法：（1）介绍Hive运行环境，数据类型和文件格式；（2）示例说明使用Hive进行数据相关操作。（3）示例说明Hive中，JDBC函数应用及相关实例。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关编写和执行Hive数据操作及编程时，通过示例描述；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第10章 习题： 简答题 & 实践题实验内容完成课本中的实例，
22、熟悉Hive的使用周次 11 第 11 次课 学时 2+2 章节名称第11章 ZooKeeper 协调服务授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求ZooKeeper 的重要协议ZAB及数据模型，集群部署的过程和配置ZooKeeper 在 Hadoop YARN HA 、Spark HA 和 Hive HA 的应用及配置方法ZooKeeper 在单节点故障的解决办法ZooKeeper 基本的读写操作编程案例实现教学重点ZooKeeper的特性及其应用教学难点ZooKeeper集群的操作编程教学内容ZooKeeper 的数据模型和事件监听器的工作机制ZooKeeper 集群部
23、署的操作及相关基本命令了解ZooKeeper在Hadoop，HBase，Kafka，Hive和Spark等开源系统中的应用使用集成开发环境IDEA编写运行ZooKeeper的连接，删除和读写使用集成开发环境IDEA编写运行ZooKeeper监视集群状态教学方法与手段设计1、教学方法：通过示例说明加强对ZooKeeper 编程的熟练。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关ZooKeeper 编程时，通过示例描述；（3）ppt的播放做到适时呈现、对过程有动态演
24、示。思考题和作业第11章 复习题：填空题 & 思考题实验内容周次 12 第 12 次课 学时 2+2 章节名称第12章 医药大数据案例分析授课形式理论课 案例讨论课 实验课 习题课 其他教学目的及要求熟悉项目概述，分析项目需求 清楚软件关键技术系统架构设计数据存储设计数据分析教学重点大数据系统的需求分析Hbase数据库的建立程序的设计与实现教学难点系统架构设计数据存储设计程序的设计与实现教学内容项目概述以及功能需求明确软件关键技术效果展示系统的组成，协作方式，网络拓扑，建设方案数据存储设计数据分析数据展示教学方法与手段设计1、教学方法：（1）介绍案例概述，需求以及技术；（2）图解说明系统架构设计。（3）示例说明数据存储设计及数据的分析。2、辅助手段：多媒体演示。3、对于重点和难点，通过例题讨论讲解、师生互动、作业等来突出。板书设计（详见ppt课件）（1）以文字描述为主，要点及关键词用不同颜色标注；（2）涉及有关数据如何存储及分析时，通过示例描述；（3）ppt的播放做到适时呈现、对过程有动态演示。思考题和作业第12章 习题： 简答题实验内容完成课本项目案例
