Hadoop大数据培训课程
2015-05-26

Hadoop课程介绍

         这是一个信息爆炸的年代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝则成为当务之急。但数据增长的速度往往比CPU和MEMORY性能增长的速度还要快得多。要处理海量数据,如果求助于昂贵的专用主机甚至超级计算机,成本无疑很高,有时即使是保存数据,也需要面对高成本的问题,因为具有海量数据容量的存储设备,价格往往也是天文数字。成本和IT能力成为了海量数据分析的主要瓶颈。

        Hadoop这个开源产品的出现,打破了对数据力量的压制。Hadoop源于Nutch这个小型的搜索引擎项目。而Nutch则出自于著名的开源搜索引擎解决方案Lucene,而Lucene则来源于对Google的学习模仿。在Hadoop身上有着明显的Google的影子。HDFS是GFS的山寨版,Map-Reduce的思想来源于Goolge对Page rank的计算方法,HBase模仿的是Big Table,Zookeeper则学习了Chubby。Google巨人的力量尽管由于商业的原因被层层封锁,但在Hadoop身上得到了完美的重生和发展。从2006年Apache基金会接纳Hadoop项目以来。Hadoop已经成为云计算软件的一个事实标准,以及开源云计算解决方案的几乎唯一选择。对于想用低成本(包括软硬件)实现云计算平台或海量数据分析平台的用户,Hadoop集群是首选的对象。正是由于此新兴技术的产生,才给当下大数据企业带来了新方向,为此我们特意编辑此专业技术课程,提升大家的小宇宙。帮助大家从传统数据库领域提升到分布式计算领域。

授课群体

        该课程设计内容采用逐层递进,对Hadoop生态圈的了解逐步加深,课程服务的群体包括:

1,未毕业的大学生

2,职场小白,工作经验在1-2年

3,想要从事大数据开发却没有Hadoop基础

4,对Hadoop有过了解,未系统学习

5,有过Hadoop程序编写经验,未参与企业级大数据项目开发的

6,想从事Hadoop集群管理

7,未来想从事Hadoop首席架构师

 

培训目标

         

         该课程的培训目标是让学员对Hadoop生态圈的常用组件有所了解,对Hadoop产生整体认知,理解分布式存储和分布式计算的原理,对Hive、HBase、HDFS、MR、Yarn、Impala等达到入门级别。经过培训,提高学员在大数据方向的核心竞争力,面对面试官的提问,可以灵活应对,从而找到心仪的大数据相关工作。

课程介绍

         该培训课程主要从课程模块设计、授课时间、授课内容三方面进行细化,课程中包括普通课程和高级课程,普通课程即对初级学员或零基础学员开课,高级课程是针对有一定开发基础或者想深入学习的学员开课。

         课程的具体情况如下:

Ø  所有课程共计130小时,共26天

Ø  基础课程共80小时,共计16天

Ø  高级课程共50小时,共计10天

 

初级课程大纲(Hadoop生态圈基础知识为主)

 

模块

子模块

课时(时)

初级

内容

了解Hadoop

初识

1

初级

自我介绍、培训目的、目标,大纲介绍

认识大数据

1

初级

对大数据整体认知

Hadoop起源、发展

1

初级

了解Hadoop的由来

Hadoop生态圈介绍

2

初级

对生态圈组件认识

岗位特点

1

初级

对于不同技能所从事的岗位整体认知

Hadoop部署

Hadoop部署方式

2

初级

初步了解Hadoop的部署方式

环境准备

2

初级

部署Hadoop需要的基础环境介绍,准备

介绍CM

3

初级

对CM有整体认知,可以使用CM中的基本功能

实战CM

3

初级

利用CM安装集群,让学员学会快速搭建集群

手动安装集群

3

初级

如何手动安装开源Hadoop

HDFS管理

HDFS原理

3

初级

介绍HDFS文件存储原理

HDFS参数配置

2

初级

了解HDFS的基本参数配置情况

HDFS常用操作

2

初级

了解HDFS常用命令

HA介绍

2

初级

NameNode 高可靠性介绍

Yarn介绍

MapReduce介绍

2

初级

介绍分布式计算框架原理

Yarn框架介绍

2

初级

Hadoop2.0后新框架与0.23的不同

参数讲解

3

初级

主要参数用途讲解

Yarn配置

3

初级

Yarn框架下基本配置

Yarn队列调度原理

2

初级

介绍Yarn框架中队列调研的原理

Hive介绍

Hive体系介绍

2

初级

介绍Hive基本原理,架构

Hive安装配置

2

初级

介绍如何安装Hive,如何进行配置

HQL介绍

1

初级

介绍Hive的基本SQL

 Spark介绍

Sqoop介绍

1

初级

介绍sqoop数据原理

Spark简介

1

初级

介绍Spark的基本原理

Spark参数配置

2

初级

讲解Spark中参数基本配置

Spark编程

2

初级

介绍Spark的程序开发过程

Spark Shell介绍

2

初级

介绍spark shell基本操作

Spark on Yarn介绍

1

初级

介绍Spark on Yarn的原理和框架

Spark SQL

2

初级

介绍Spark SQL的开发过程

Impala介绍

Impala原理

2

初级

介绍Impala实时计算框架的原理

Impala参数配置

2

初级

介绍Impala在使用过程中参数情况

Impala安装

3

初级

Impala安装部署

Impala使用

2

初级

讲解Impala命令及元素

HBase介绍

HBase简介

1

初级

介绍HBase的基本原理

HBase架构分析

2

初级

讲解HBase架构与其他架构的异同点

HBase参数配置

2

初级

介绍HBase的参数配置情况

HBase Shell介绍

2

初级

介绍HBase Shell的使用

MapRedue

MR开发简介

2

初级

介绍MR程序开发基本原理

MR语法介绍

2

初级

介绍MR的语法规则,开发规则

MR任务分配

3

初级

介绍MR任务分配方式

MR作业监控

3

初级

监控作业运行状态、进度等

 

高级课程大纲(实战企业级应用案例为主)

模块

子模块

课时(时)

高级

内容

 

HDFS高级管理

HDFS高级特性

3

高级

深入了解HDFS

Zookeeper介绍

1

高级

原理和应用场景介绍

 

 

 

Hive案例

HQL高级功能

1

高级

Hive自定义SQL介绍及优化

Hive JDBC使用

4

高级

介绍使用jdbc方式操作Hive数据仓库

Hive设计

3

高级

Hive表结构的设计原则

Hive应用案例

4

高级

讲解Hive企业应用案例场景

Spark案例

Spark应用案例

4

高级

讲解Spark企业案例应用场景

Impala案例

Impala应用案例

4

高级

讲解Impala企业案例应用场景

 

HBase案例

HBase高级特性

3

高级

介绍HBase高级特性及参数优化

HBase应用案例

4

高级

讲解HBase企业案例应用场景

MapRedue案例

MR清洗数据

3

高级

介绍编写清洗数据的MR程序

MR数据分析

4

高级

介绍典型数据分析的开发过程

企业级大数据项目实战

项目分析

3

高级

项目背景、项目目标、项目规划等

环境就绪

4

高级

软硬件环境准备

项目开发过程

3

高级

完整开发过程

项目总结

2

高级

项目总结