你该了解的大数据技术Top10应用列表
沉沙 2019-02-18 来源 : 阅读 1431 评论 0

摘要:本篇文章探讨了你该了解的大数据技术Top10应用列表,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

本篇文章探讨了你该了解的大数据技术Top10应用列表,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

你该了解的大数据技术Top10应用列表

<

  在这个大数据爆炸的时代,各种新项目如雨后春笋 般,每天从 各地不断涌现出来。好消息是当下的技术都是开源可用的。下面就 起来看看这个0列表,应用起来吧!
  1. hadoop Hadoop是稳定企业实力和其他 切工作的基础。你需要利用YARN ,HDFS和Hadoop中的基础设施,存储原始数据以及运行关键的大数据服务器和应用程序。
  2. Spark Spark易于使用,并且支持所有重要的大数据语言(Scala,Python,Java,R)。同时,Spark还是 个巨大的生态系统,发展迅速,便于支持microbatching/batching/SQL。这是另 个不费脑筋的技术。
  3. NiFi NiFi是NSA工具,它可以用较少的编码和 个光滑的UI,提供简单的数据摄取、存储和处理各种来源数据。这些数据的来源包括社交媒体,JMS,NoSQL,SQL,Rest/JSON Feeds,AMQP,SQS,FTP,Flume,ElasticSearch,S3,MongoDB,Splunk,Email,HBase,Hive,HDFS,Azure Event Hub,Kafka等等。如果NiFi没有你需要的来源或汇集,你可以为NiFi直接用Java代码编写自己的处理器。NiFi是另 个推荐选入工具箱中的Apache项目,是大数据工具中的瑞士军刀。
  4. Apache Hive 2.1 Apache Hive是运行在Hadoop之上的SQL解决方案。在Apache Hive 2.1较新版本中,性能和功能上的增强使 Hive成功作为SQL大数据解决方案留在榜单。
  5. Kafka Kafka是大数据系统间进行异步、分布式消息传递的选择,它能够进入大多数的堆栈。从Spark到NiFi,到第三方工具,再到Java和Scala,它很好地维系了系统。Kafka需要在栈中应用。
  6. Phoenix- HBase 由于很多公司都在应用HBase,也就导致了这个开源项目的数据规模好大。在HDFS支持下,NoSQL能够很好地集成所有工具。所以,在HBase上额外构建的Phoenix成为了NoSQL。这增强了HBase的SQL、JDBC、OLTP和运营分析能力。
  7. Zeppelin 在使用Hive,Spark,SQL,Shell,Scala,Python以及许多其他的数据挖掘和机器学习工具时,Zeppelin是 款便捷、集成性较高的notebook工具。在易于使用的同时,Zeppelin能够以很好的方式来探索和查询数据。而且这个工具可以支持多种环境和功能,用户只需要经常更新图表和映射数据即可。
  8. Sparkling Water Sparkling Water弥补了Spark中Machine Learning和其他工作间的空缺,提供所有可能用到的机器学习服务。
  9. Apache Beam Apache Beam是 个用Java编写的统 框架,用于数据处理和管道开发。同时,它也可以支持Spark和Flink。其他的框架很快也会上线,用户不必再去学习太多的框架。
  10. Stanford CoreNLP Natural Language Processing目前应用好广且增长迅速,Stanford CoreNLP也在不断地提高他们的框架性能。
 
  时下有数不清的大数据项目,所以较好的办法就是合并及测试不同项目版本,来确保他们在安全和管理上都能够顺畅运行。    

本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved