对数据湖概念进行介绍，并通过Delta Lake技术配合Hadoop、Spark完成数据湖架构的搭建，并介绍通过AWS构建数据湖的方式。提取码：afhg。
但是，《大数据技术原理与应用》课程只能作为导论级课程，高校课程体系还应该包括更多高级课程，比如机器学习、Spark、NoSQL、R语言、Hadoop高级编程、流数据处理、大数据应用与案例等。因此，从2016年9月开始，笔者开始带领厦门大学数据库实验室团队，建设“Spark入门教程”教学资源，作为大数据学习探路先锋，寻找出一条学习Spark技术的捷径，降低学习难度，节省学习时间，辅助高校教师顺利开设Spark课程。
的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop/Yarn平台，但目前对大数据的实时分析工具，业界公认最佳为Spark。Spark是基于内存计算的大数据并行计算框架，Spark目前是Apache软件基金会旗下，顶级的开源项目，Spark提出的DAG作为MapReduce的替代方案，兼容HDFS、Hive等分布式存储层，可融入Hadoop的生态系统，以弥补缺失MapReduce的不足，事实上已成为当前互联网企业主流的大数据实时处理工具。为解决广大系统设计人员深入研究与开发大数据实时处理的需要，特举办“大数据实时处理-基于Spark的大数据实时处理及应用技术”培训班。 培训要点 互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候，我们在内部交易系统的历史信息之外，需要一种基于大数据实时分析的决策模型和技术支持。 大数据通常具有：数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。Google发布的GFS和MapReduce等高可扩展、高性能的分布式大数据处理框架，证明了在处理海量网页数据时该框架的优越性。在此基础上，Apache Hadoop开源项目开发团队，克隆并推出了Hadoop/Yarn系统。该系统已受到学术界和工业界的广泛认可和采纳，并孵化出众多子项目(如Hive，Zookeeper和Mahout等)，日益形成一个易部署、易开发、功能齐全、性能优良的系统。 近年来以Berkley牵头设计的Spark/BDAS技术，实现了内存级别的分布式处理模式，使用户无需关注复杂的内部工作机制，无需具备丰富的分布式系统知识及开发经验，即可实现大规模分布式系统的部署与大数据的并行处理。 Spark生态系统(BDAS项目)已经发展成一个，包含多个子项目的集合，包括Spark SQL、Spark Streaming、GraphX、MLlib等，本课程从大数据实时处理技术以及Spark实战的角度，结合理论和实践，全方位地介绍Spark大数据实时处理工具的原理和内核,包括Spark大数据计算框架、运行架构、设计模型和数据管理策略，及Spark在业界的应用。 课程中结合实例，介绍图工具GraphX如何发现社交网络中的人际关系，大数据挖掘工具MLlib如何进行商品聚类和电影推荐，以及Streaming流挖掘工具,并探讨了Spark与Docker等云环境下新技术的结合，分析了其应用前景。 本课程教学过程中还提供了案例分析来帮助学员了解如何用Spark实时大数据工具来解决业界的问题，并介绍了Spark生产环境搭建的相关知识。 本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论Spark解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动Spark实时大数据处理开发上升到一个新水平。 培训目标 1, 全面了解大数据实时处理技术的相关知识。 2，学习Spark的核心技术方法以及应用特征。 3，深入使用Spark在大数据实时处理中的使用。 4，掌握BDAS相关工具及其主要功能。
在大数据的课程设置上，减少java语言权重,增加大数据时间权重，打破java包含大数据的伪课程。严格把控实际项目的前瞻性，如：Spark、flink的版本迭代，机器学习中的算法革新。数据来源于一线互联网公司的源数据，作为学生的结业项目，有一定的商业价值。
从零学习数据湖的相关概念，并通过Hadoop、Spark、Delta Lake等框架实现数据湖架构，通过知识点 + 案例教学法帮助小白快速掌握数据湖开发相关技能。
大数据书籍（这里的就是基本大数据教程，为：《Hadoop大数据技术原理与应用》《Spark大数据分析与实战》《数据清洗》《大数据项目实战》《NoSQL数据库技术与应用》）：
