[马士兵]大数据全栈工程师课程介绍
大数据+人工智能量化投资课程是一门适合小白入门的课程，通过量化投资项目作为驱动，让你精通各大互联网公司常用的技术，例如：Hadoop、HBase、Spark、Flink等技术，同时量化投资项目运用了机器学习和深度学习的各种算法，通过通俗简单的生活事例讲明白让大家望而却步的算法,全程绝不demo式的敷衍了事
学员评价：
刚哥讲大数据，能把每个知识点，揉碎了给大家讲的深入浅出， 能把复杂的问题，通过小例子给大家一个一个讲明白， 让每个同学都能听的清清楚楚、明明白白，清爽的感觉， 每个算法学完都配有代码和案例，并且加以详细讲解，能学以致用。 刚哥一口气讲了2个场景的推荐系统项目， 能覆盖大多数推荐场景，保证小伙伴能就业， 推荐系统从架构设计、数据采集、数据存储、数据预处理、特征工程、模型设计、实时和离线处理、微服务的调用，全链路闭环讲解， 每个部分都分析的很到位并配有文档和代码，每一步都带着大家做，从0到1搭建一个完整的推荐系统， 每个知识点穿针引线，并在项目中扩展思维和知识点，保证大家收获满满。 刚哥人也很好，我们邻家大哥哥， 上课有问题，小伙伴都及时和刚哥沟通， 都能很好的被解决，小白没听懂，刚哥还能反复讲，好nice的， 讲完一个阶段，刚哥还带领小伙伴们一起复习， 经常督促我们课后多复习、多总结， 在学习的路上，能遇到刚哥我们是幸运的。
刚刚入门大数据，课程讲得很细，很抽象的理论各位老师也能讲得通俗易懂，真的非常厉害。强烈推荐来学大数据
负责授课的老师的讲课风格属于先理论，然后带着理论去实操一一验证这些知识点，因为个人算是大数据方面的小白，每堂课的2小时的知识量个人感觉算是比较密集，需要反复看过几次才能够消化掉。。我时常开着1.5倍速度，要退回来用1倍速重新认真听下这部分知识。 密集的原因就导致只要有一刻精神放松，下一秒就发现不知道在讲啥了。。 不过老师总结的比较一针见血，很nice。 对于一年工作经验的我，从目前架构，大数据两门都跟的前提下来说，这个带给我的收获更多一些。
课程目录
001.hadoop-大数据启蒙-初识HDFS.mp4
002.hadoop-HDFS理论基础读写流程.mp4
003.hadoop-HDFS集群搭建-伪分布式模式 1.mp4
003.hadoop-HDFS集群搭建-伪分布式模式 2.mp4
004.hadoop-HDFS集群搭建-HA模式概念 1.mp4
004.hadoop-HDFS集群搭建-HA模式概念 2.mp4
005.hadoop-HDFS集群搭建-HA模式验证.mp4
006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 1.mp4
006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 2.mp4
007.hadoop-MapReduce原理精讲、轻松入门.mp4
008.hadoop-Mapkeducen度原理，Varn原埋 1.mp4
008.hadoop-Mapkeducen度原理，Varn原埋 2.mp4
009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 1.mp4
009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 2.mp4
010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 1.mp4
010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 2.mp4
011.hadoop-MapReduce源码-MapTask-input源码精讲.mp4
012.adoop-MapReduce源码-MapTask-output和ReduceTask精讲 1.mp4
012.adoop-MapReduce源码-MapTask-output和ReduceTask精讲 2.mp4
013.hadoop-MapReduce开发-分组取TopN-AP精炼 1.mp4
013.hadoop-MapReduce开发-分组取TopN-AP精炼 2.mp4
014.hadoop-MapReduce开发推荐系统大数据思维模式.mp4
015 Hive的架构介绍及远程数据库模式安装 1.mp4
015 Hive的架构介绍及远程数据库模式安装 2.mp4
016 Hive的远程元数据服务模式安装及Hive SOL 1.mp4
016 Hive的远程元数据服务模式安装及Hive SOL 2.mp4
017.Hive erde，HiveServer2，Hive函数 1.mp4
017.Hive erde，HiveServer2，Hive函数 2.mp4
018.Hive参数设置、运行方式、动态分区、分桶 1.mp4
018.Hive参数设置、运行方式、动态分区、分桶 2.mp4
019.Hive视图、索引、权限管理 1.mp4
019.Hive视图、索引、权限管理 2.mp4
020.Hivet化、文件类型、HiveServer2高可用 1.mp4
020.Hivet化、文件类型、HiveServer2高可用 2.mp4
021.HBase架构介绍、数据模型 1.mp4
021.HBase架构介绍、数据模型 2.mp4
022.HBase伪分布式及完全分布式安装、HBase基本命令 1.mp4
022.HBase伪分布式及完全分布式安装、HBase基本命令 2.mp4
023.HBase Java API、Protocol Buffer简单介绍 1.mp4
023.HBase Java API、Protocol Buffer简单介绍 2.mp4
024.HBase与MapReduce整合、Hbase表设计 1.mp4
024.HBase与MapReduce整合、Hbase表设计 2.mp4
025.Hbase优化及LSM树 1.mp4
025.Hbase优化及LSM树 2.mp4
026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 1.mp4
026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 2.mp4
027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 1.mp4
027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 2.mp4
028.Hadoop项目-Flume讲解及数据清洗模块准备工作 1.mp4
028.Hadoop项目-Flume讲解及数据清洗模块准备工作 2.mp4
029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 1.mp4
029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 2.mp4
030.Hadoop项目-手敲用户新增指标模块代码 1.mp4
030.Hadoop项目-手敲用户新增指标模块代码 2.mp4
031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 1.mp4
031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 2.mp4
032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 1.mp4
032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 2.mp4
033.redis介绍及NIO原理介绍 1.mp4
033.redis介绍及NIO原理介绍 2.mp4
034.redis的string类型&；bitmap 1.mp4
034.redis的string类型&；bitmap 2.mp4
035.redis的list，set，hash，sorted set、skiplist 2.mp4
035.redis的list，set，hash，sorted set、skiplist 1.mp4
036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 1.mp4
036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 2.mp4
037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&；AOF混合使用 1.mp4
037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&；AOF混合使用 2.mp4
038.redis的集群：主从复制、CAP、PAXOS、cluster分片集群01.mp4
039.redis的集群：主从复制、CAP、PAXOS、cluster分片集群02.mp4
040.redis开发：spring.data.redis、连接、序列化、high-low api.mp4
041.zookeeper介绍、安装、shellcli使用，基本概念验证.mp4
042.zookeeper原理知识，paxos、zab、角色功能、API开发基础.mp4
043.zookeeper案例：分布式配置注册发现、分布式锁、ractive模式编程.mp4
044.scala语言、函数式编程、数据集处理、iterator设计模式实现.mp4
045.scala语言、流程控制、高级函数.mp4
046.scala语言、集合容器、iterator设计模式源码分析.mp4
047.scala语言、match，case class、implicitt、spark wordcount.mp4
048.spark-core、复习hadoop生态、梳理术语、hadoopRDD源码分析.mp4
049.spark-core、wordcount案例源码分析、图解.mp4
050.spark-core、集合操作API、pvuv分析、RDD源码分析.mp4
051.spark-core、聚合计算API、combineByKey、分区调优.mp4
052.spark-core、二次排序、分组取TOpN、算子综合应用.mp4
053.spark-core、集群框架图解、角色功能介绍、官网学习、搭建.mp4
054.spark-core、history服务、standaloneHA、资源调度参数.mp4
055.spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars.mp4
056.spark-core-源码、RpcEnv、standaloneMaster启动分析.mp4
057.spark-core-源码、Worker启动、sparksubmit提交、Driver启动.mp4
058.spark-core-源码、Application注册、Executor资源申请.mp4
059.spark-core-源码、sparkContext、DAGScheduler、stage划分.mp4
060.spark-core-源码、Taskscheduler、Executor运行Task、SparkEnv.mp4
061.spark-core-源码、MemoryManager、BlockManager.mp4
062.spark-core-源码、Dependency、SortShuffleManager.mp4
063.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
064.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
065.spark-core-源码、UnsafeShufleWriter、Tungsten、Unsafe、堆外.mp4
066.spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度.mp4
067.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
068.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
069.spark-sql、大数据中的SQL组成原理.mp4
070.spark-sql、datafram到dataset开发.mp4
071.spark-sql、整合hive的metastore搭建企业级数合1.mp4
072.spark-sql、整合hive的metastore搭建企业级数仓2.mp4
073.spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP.mp4
074.spark-sql-源码、sql解析、dataset到rdd的执行计划.mp4
075.spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换.mp4
076.spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD.mp4
077.spark-streaming、流式计算之微批计算原理及standalone.mp4
078.spark-streaming、api、ha、检查点、窗口等机制.mp4
079.spark-streaming、整合MQ-kafka开发.mp4
080.spark-streaming、源码分析、流式微批任务的调度原理.mp4
081.spark-streaming.mp4
082.机器学习介绍、原理及应用场景.mp4
083.线性回归算法的原理及参数优化方案.mp4
084.基于Spark MLlib训练回归算法模型.mp4
085.逻辑回归算法的原理及算法公式推导.mp4
086.KNN识别手写数字与KMeans聚类算法原理.mp4
087.KNN手写数字识别及KMeans算法原理.mp4
088.手写KMeans聚类算法及实现精准微博营销案例.mp4
089.分析KMeans精准营销案例代码及KMeans在推荐系统的应用.mp4
090.逻辑回归算法原理及公式推导.mp4
091.逻辑回归算法原理及公式推导.mp4
092.逻辑回归算法及实现百度路况预测功能.mp4
093.百度地图实时路况及路况预测.mp4
094.决策树算法的原理.mp4
095.随机森林算法与算法总结.mp4
096.推荐系统的来龙去脉与推荐架构.mp4
097.推荐系统架构设计及构建推荐系统训练集.mp4
098.推荐系统代码实现及测试.mp4
099.实现推荐系统在线推荐微服务.mp4
100.基于节目的推荐系统，架构剖析，数据迁移.mp4
101.提取节目的关键词，构建节目画像.mp4
102.基于TextRank算法+TF-IDF算法提取关键词.mp4
103.构建节目画像与用户画像.mp4
104.构建用户画像及性能调优.mp4
105.基于节目画像计算节目的相似度.mp4
106.Spark调优总结及word2vec算法原理.mp4
107.基于物品画像计算相似度.mp4
108.实现基于模型的召回策略.mp4
109.构建特征中心及模型召回实现.mp4
111.训练排序模型及搭建推荐系统微服务.mp4
112.推荐系统项目一大总结.mp4
113.Flink初始及搭建集群环境.mp4
114.Flink基于Yarn多种启动方式.mp4
115.Flink运行架构及并行度设置.mp4
116.Flink各种算子精讲1.mp4
117.Flink各种算子精讲2.mp4
118.Flink各种算子精讲3 1.mp4
118.Flink各种算子精讲3 2.mp4
119.基本函数类及富函数的使用.mp4
123.Flink Checkpoint及SavePoint精讲.mp4
124.Flink Window窗口剖析1.mp4
125.上机实战演练：ES查询语法.mp4
126.Flink Window剖析2.mp4
127.Mapping和聚合查询.mp4
128.Flink时间语义+Watermark.mp4
129.Flink Window剖析3.mp4
130.ES查询之底层原理揭秘.mp4
131 ES查询之Scripting查询/
132 Flink Table API 编程/
133 ES查询之分词器详解/
134 Flink SQL编程/
135 Flink 复杂事件处理CEP/
136 ES查询之前缀搜索、通配符搜索、正则搜索、模糊查询串讲/
137 CEP编程和Flink优化/
138 交通实时监控项目1/
139 ES Java API/
140 交通实时监控项目2/
141 ES/
142 本节无内容，后续讲解/
143 交通实时监控项目3/
144 交通实时监控项目4/
145 ELK Stack-ES集群/
146 ELK Stack-ES集群/
147 交通实时监控项目5/
148 ELK-Beats&Logstash介绍/
149 ELK-Lostash架构实战/
150 交通实时监控项目6/
151 ELK-收集Nginx日志，syslog，kibana讲解/
152 交通实时监控项目7/
153 ELK-使用Packetbeat监控es集群/
154 ES进阶-relevance score原理及排序算法优化/
155 ES进阶-Nested、Join及Term vector详解/
156 ES进阶-Highlight及Suggest搜索推荐详解/
157 ES进阶-深入探秘基于地理位置搜索/
158 ES进阶-案例分析：基于地理位置搜索的疫情地图/
159 ES进阶-深入聚合分析-多metric以及histogram剖析/
160 ES进阶-深入聚合搜索-完结/
161 ES进阶-运维篇之集群管理/
162 ES进阶-运维篇之集群管理2以及hdfs安装/
163 ES进阶-基于snapshot hdfs restore数据备份还原/
164 ES进阶-索引管理-1/
165 ES进阶-索引管理-2/
166 ES进阶-集群安全/
167 项目实战-搜索引擎框架原理/
168 项目实战-搜索推荐项目案例/
169 数据仓库之数据库范式与ER实体关系模型建模/
170 数据仓库之维度建模与数据仓库分析模型/
171 数据仓库之数据仓库分层设计与命名规范/
172 音乐数仓平台之项目架构及数仓分层、主题设计/
173 数仓之歌曲影响力指数分析/
174 数仓之歌手影响力指数分析/
175 数仓之Sqoop全量增量数据导入/
176 数仓之Azkaban任务流调度使用及原理/
177 数仓之Superset BI可视化工具使用及原理/
178 数仓之机器详情ODSEDSDM分层设计/
179 数仓之机器详情自动化调度及数据可视化/
180 数仓之用户画像表模型设计/
181 数仓之用户画像自动化调度及数据可视化/
182 数仓之高德api获取机器上报位置/
183 数仓之商户、地区营收统计分析/
184 数仓之营收分析自动化调度及数据可视化/
185 数仓之实时用户、机器日志采集接口实现/
186 数仓之Flume实时日志采集实现/
187 数仓之实时用户地区日活分析/
188 Cloudera Manager CDH 平台 01/
189 Cloudera Manager CDH 平台 02/
190 Cloudera Manager CDH 平台 03/
191 Apache Kylin分析性数据仓库 01/
192 Apache Kylin分析性数据仓库 02/
193 Apache Kylin分析性数据仓库 03/
194 ClickHouse 使用场景、特性与分布式搭建/
195 ClickHouse 数据类型详解/
196 ClickHouse 数据库引擎分类及操作/
197 ClickHouse 表引擎分类及MergeTree引擎详解/
198 ClickHouse 视图与SQL语法操作/
199 Kudu分布式存储引擎架构原理及搭建/
200 Kudu API操作及与其他框架整合/
201 Kudu 与Impala整合/
202 Spark操作Kudu & Flink操作Kudu/
203 NiFi数据处理分发系统-特性、架构原理与集群搭建/
204 NiFi数据处理分发系统-Processors介绍及页面操作/
205 NiFi数据处理分发系统-实时同步日志、MySQL数据到Hive/
206 NiFi数据处理分发系统-实时监控日志数据写入Kafka及消费Kafka/
207 NiFi 案例分析/
208 NiFi 案例分析2/
209 数据治理-数据质量管理/
210 数据治理-元数据管理/
211 数据治理-数据安全管理/
212 ETL工具Kettle-安装及基本操作/
213 ETL工具Kettle-转换核心作业对象/
214 ETL工具Kettle-案例分析/
215 ETL工具Kettle-案例分析02/
216 ETL工具Kettle-案例分析03/
217 数据离线同步工具DataX/
218 数据同步工具Canal&Maxwell/
219 Phoenix-搭建及基本操作/
220 Phoenix-二级索引及JDBC连接/
221 实时数仓项目-实时数仓架构演变及建设思路/
222 实时数仓项目-各大公司实时数仓实践分享及项目介绍/
223 实时数仓项目-实时数仓项目业务数据及日志数据处理/
224 实时数仓项目-实时数仓业务库数据Flink编程处理/
225 实时数仓项目-实时数仓维度数据Flink编程处理/
226 实时数仓项目-实时数仓实时统计歌曲和歌手热度/
227 实时数仓项目-Flink代码DM层处理及可视化展示/
228 实时数仓项目-guava包冲突解决及用户上报位置实时统计/
229 实时数仓项目-用户实时登录信息可视化及营收信息业务分析/
230 实时数仓项目-营收业务Flink代码实现及可视化展示/
231 实时数仓项目-实时数仓项目总结/
232 Hudi表类型与查询类型/
233 Hudi与Spark、Hive、Flink集成/
234 Apache Druid实时分析型数据库/
235 项目轮播-数据仓库之数据库范式与ER实体关系模型建模/
236 项目轮播-数据仓库之维度建模与数据仓库分析模型/
237 项目轮播-数据仓库之数据仓库分层设计与命名规范/
238 项目轮播-音乐数仓平台之项目架构及数仓分层、主题设计/
239 项目轮播-数仓平台业务之歌曲影响力指数分析/
240 项目轮播-数仓业务之歌手影响力指数分析/
241 项目轮播-Azkaban任务流调度使用及原理/
242 项目轮播-Superset BI可视化工具使用及原理/
243 项目轮播-数仓平台业务之机器详情ODSEDSDM分层设计/
244 项目轮播-数仓平台业务之机器详情自动化调度及数据可视化/
245 项目轮播-数仓平台业务之用户画像表模型设计/
246 项目轮播-数仓平台业务之用户画像自动化调度及数据可视化/
247 项目轮播-数仓平台业务之高德api获取机器上报位置/
248 项目轮播-数仓平台业务之商户、地区营收统计分析/
249 项目轮播-数仓平台业务之营收分析自动化调度及数据可视化/
250 项目轮播-数仓平台业务之实时用户、机器日志采集接口实现/
