01 分布式流式计算简介


  互联网分布式之Storm


  课程介绍:


  本课程将带你学习Storm,学习Storm的好处非常多,众所周知,Twitter已将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。

  学会Storm有着非常重要的意义,Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。 

  Storm的主工程师Nathan Marz曾表示:

  Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm用于实时处理,就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。更棒的是你可以使用任意编程语言来做开发。

  通过课程,你将会详细了解到Storm的如下特点:

  简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。

  可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持Clojure、Java、Ruby和Python。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。

  容错性。Storm会管理工作进程和节点的故障。

  水平扩展。计算是在多个线程、进程和服务器之间并行进行的。

  可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。

  快速。系统的设计保证了消息能得到快速的处理,使用ØMQ作为其底层消息队列。

  本地模式。Storm有一个“本地模式”,可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。


随堂课件:

网盘链接:http://pan.baidu.com/s/1dF8Hl3z 密码:i75y




分类导航
  • 北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂
  • 咨询电话:400-009-1906 010-56233821
  • Copyright 2007-2015 北京尚学堂科技有限公司
  • 京ICP备13018289号-1 京公网安备11010802015183