千锋武汉解读大数据与云计算之间的关系

千锋武汉解读大数据与云计算之间的关系

在PaaS层中一个复杂的通用应用就是大数据平台.大数据与云计算的关系是怎样的?大数据是如何一步一步融入云计算的呢?

其实所谓大数据,就是由很多小数据汇聚而成的,我们本身就是一个数据,比如我们的通讯信息、我们的路线信息、我们浏览网页的信息等等,都是一个个活生生的数据,而正是这一个个精确的数据组成了我们口中的大数据.

面对这些大数据,如果置之不理,其实就是一堆数据垃圾,但如果对此充分利用,那就会让你发现让你意想不到的结果.而面对大量的数据做分解、统计、汇总,一台机器肯定搞不定,处理到猴年马月也分析不完.于是就有分布式计算的方法,将大量的数据分成小份,每台机器处理一小份,多台机器并行处理,很快就能算完.例如著名的Terasort对1个TB的数据排序,相当于1000G,如果单机处理,怎么也要几个小时,但并行处理209秒就完成了.

什么叫做大数据?说白了就是一台机器干不完,大家一起干.可是随着数据量越来越大,很多不大的公司都需要处理相当多的数据,这些小公司没有这么多机器可怎么办呢?

说到这里,大家想起云计算了吧.当想要干这些活时,需要很多的机器一块做,真的是想什么时候要就什么时候要,想要多少就要多少.

例如大数据分析公司的财务情况,可能一周分析一次,如果要把这一百台机器或者一千台机器都在那放着,一周用一次非常浪费.那能不能需要计算的时候,把这一千台机器拿出来;不算的时候,让这一千台机器去干别的事情?

谁能做这个事儿呢?只有云计算,可以为大数据的运算提供资源层的灵活性.而云计算也会部署大数据放到它的PaaS平台上,作为一个非常非常重要的通用应用.因为大数据平台能够使得多台机器一起干一个事儿,这个东西不是一般人能开发出来的,也不是一般人玩得转的,怎么也得雇个几十上百号人才能把这个玩起来.

所以说就像数据库一样,其实还是需要有一帮专业的人来玩这个东西.现在公有云上基本上都会有大数据的解决方案了,一个小公司需要大数据平台的时候,不需要采购一千台机器,只要到公有云上一点,这一千台机器都出来了,并且上面已经部署好了的大数据平台,只要把数据放进去算就可以了.

千锋武汉校区:http://wh.mobiletrain.org/

武汉校区地址:武汉市光谷大道61号智慧园21号楼2层

培训咨询专线:027-65523826

咨  询  QQ  : 1660794050

面授课程:全栈HTML5+培训、UI交互设计培训、PHP培训、Java+云数据培训、大数据开发培训、VR/AR/Unity游戏开发培训、Python培训、Linux云计算培训、全栈软件测试培训、Android培训、iOS培训

  千锋武汉解读大数据与云计算之间的关系