这个要分好几块来讲,首先我要说明的是大数据项目也是要有很多依赖的模块的大数据采集软件。每个模块的软件不一样,下面分别聊一下。
一、大数据处理
这个是所谓大数据项目中更先想到的模块大数据采集软件。主要有spark,hadoop,es,kafka,hbase,hive等。
当然像是flume,sqoop也都很常用大数据采集软件。
这些软件主要是为了解决海量数据处理的问题大数据采集软件。软件很多,我只列几个经典的,具体可以自行百度。
二、机器学习相关
大部分大数据项目都和机器学习相关大数据采集软件。因此会考虑到机器学习的一些软件,比如说sklearn,spark的ml,当然还有自己实现的代码。
三、web相关技术
大部分项目也都跑不了一个web的展示,因此web就很重要的,java的ssh,python的django都可以,这个看具体的项目组习惯了大数据采集软件。
四、其它
还有一些很常用的东西,个人感觉不完全算是大数据特定使用范围大数据采集软件。反正我在做大数据项目的时候也都用到了。
比如说数据存储:redis,mysql大数据采集软件。
数据可视化:echart,d3js大数据采集软件。
图数据库:neo4j大数据采集软件。
再来说说大数据平台的软件或者工具:
1、 数据库,大数据平台类,星环,做Hadoop生态系列的大数据平台公司大数据采集软件。Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。
2、 大数据存储硬件类,浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先大数据采集软件。
3、 云计算,云端大数据类,阿里巴巴,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云大数据采集软件。实力不差,符合阿里巴巴的气质,很有野心。
4、 数据应用方面这个有很多,比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等大数据采集软件。
帆软是商业智能和数据分析平台提供商,从报表工具到商业智能,有十多年的数据应用的底子,在这个领域很成熟,目前处于快速成长期,但是很低调,是一家有技术有实力而且对客户很真诚的公司大数据采集软件。
添加上方▲技术, 在线咨询
复制微信号
声明
一、本站原创内容,其版权属于本网站所有。其他媒体、网站或个人转载使用时不得进行商业性的原版原式的转载,也不得歪曲和篡改本网站所发布的内容。如转载须注明文章来源。
二、本网站转载其它媒体作品的目的在于传递更多信息,并不代表本网站赞同其观点和对其真实性负责;如侵犯你的权益请告诉我们立即删除;其他媒体、网站或个人转载使用自负法律责任。
发表评论
2022-06-14 21:31:44回复