大数据AI

传智播客的云计算大数据

回顾大数据发展,我们发现这个概念大概在2012年以后就进入了快速上升的通道,特别是Hadoop分布式架构的出现让大数据更容易被整个行业所接受。之后随着时间的演变,Hadoop被一种名为Spark的技术所取代,后者的特点就是通过拓展内存计算可在海量数据的迭代式计算和交互式计算中提供远快于Hadoop的运算速度。同时,Spark支持SQL请求、流数据处理、机器学习和图表处理,提高开发者效率。

传智播客的云计算大数据

Java是一种语言,而大数据更像是一个方法论或者是集合。从事大数据行业,需要掌握的技能比较多,而且,Java是必须要掌握的,举个简单的例子:做大数据的工作需要永达hadoop,而hadoop就是通过Java语言实现的。

阶段一、大数据基础——Java语言基础方面。这是学习大数据的核心技术Hadoop的主要开发语言,所以一定要学的扎实一些。

元数据到底存储了什么数据?举个例子,游戏行业是有很多指标去衡量它的运营状态。比如说7日留存率,意思是说这个玩家注册当天往后去推移7天有没有流失,有些业务平台是按注册后第二天才开始计算,这样同一个指标大家就理解不一样,自然导致计算结果不一致。所以我们将游戏内部累计两、三千个业务指标,连同它的计算逻辑等描述都存储到元数据里面去,然后再开放给所有的业务平台。比如DataMore(智能游戏运营方案)、图灵(数据挖掘分析平台),一体化(游戏指标开发平台)等内部平台,大家都采用一套标准,包括指标名称及计算逻辑,这样便可有效避免数据不一致的情况。

Similar Posts

发表评论

邮箱地址不会被公开。 必填项已用*标注