Hadoop生态系统的课程,对HDFS体系结构和shell以及java操作详细剖析,从知晓原理到开发网盘的项目,让大家打好学习大数据的基础。详细讲解Mapreduce, Mapreduce可以说是任何一家大数据公司都会用到的计算框架,也是每个大数据工程师应该熟练掌握的。Hadoop2x集群搭建前面带领大家开发了大量的MapReduce程序。
Hadoop开发Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。
课程三十、数据层交换和高性能并发处理(开源ETL大数据治理工具）ETL是数据的抽取清洗转换加载的过程，是数据进入数据仓库进行大数据分析的载入过程，目前流行的数据进入仓库的过程有两种形式，一种是进入数据库后再进行清洗和转换，另外一条路线是首先进行清洗转换再进入数据库，我们的ETL属于后者。 大数据的利器大家可能普遍说是hadoop，但是大家要知道如果我们不做预先的清洗和转换处理，我们进入hadoop后仅通过mapreduce进行数据清洗转换再进行分析，垃圾数据会导致我们的磁盘占用量会相当大，这样无形中提升了我们的硬件成本（硬盘大，内存小处理速度会很慢，内存大cpu性能低速度也会受影响），因此虽然hadoop理论上解决了烂机器拼起来解决大问题的问题，但是事实上如果我们有更好的节点速度必然是会普遍提升的，因此ETL在大数据环境下仍然是必不可少的数据交换工具。
多年JavaEE、大数据开发经验，对大数据领域中的常用框架hadoop、hive、flume、kafka、storm、spark等有丰富的实战经验和研究，擅长从海量数据中结合业务梳理出计算模型。熟悉企业虚拟化技术，对KVM有一定的实战经验。
