当前访客身份:游客 [ 登录  | 注册加入尚学堂]
启用新域名sxt.cn
新闻资讯

解密搜索引擎技术之爬虫Larbin

helloworld 发表于 2年前  | 评论(2 )| 阅读次数(741 )|   0 人收藏此文章,   我要收藏
一、简介
        Larbin是一个用C++开发的开源网络爬虫,有一定的定制选项和较高的网页抓取速度。
        Larbin爬虫结构图及主要模块对应关系如下图所示:
        
        Larbin的运行过程可以描述如下:种子URL文件最初初始化*URLsDisk,读取到namedSiteList中,通过adns 库调用,逐渐往Fifo<NamedSite> *dnsSites和Fifo<IPSite>*okSites内装入链接,而Fetch模块直接从Fifo<IPSite> *okSites中获得用于抓取的URL,为抓取到的网页建立hash表,以防止网页的重复抓取。然后通过html类的方法从下载到的网页中析取出新的 URL,新加入前端队列的URL要求符合robots filter,并通过hash表对URL去重。一次抓取结束后进行相关的读写操作,然后通过poll函数选择适合的套接字接口,开始新的抓取。这样抓取就 可以一直循环下去,直到用户终止或者发生中断。
        更多关于 Larbin项目的细节(包括源码)可以参看这里

二、安装
        这里以在CentOS 6.2下源码安装 larbin-2.6.3.tar.gz为例说明之。
        解压到指定目录后,如果直接./configure,一般会出现缺少依赖makedepend的错误,如下安装改依赖即可:
        #yum install makedepend
        #./configure
        ./configure成功后,如果直接make同样会出现错误,主要如下:
        parse.c:113: error: conflicting types for ‘adns__parse_domain’
        internal.h:569: note: previous declaration of ‘adns__parse_domain’ was here
        根据提示直接去adns目录找到internal.h注释掉该函数即可。
        再次make,依然出现错误,这次主要是因为代码用老式C代码编写,具体表现如下:
        input.cc:6:22: error: iostream.h: No such file or directory
        采用如下命令替换  iostream.h为 iostream
        #sed -i -e 's/iostream.h/iostream/g' `grep -rl iostream.h *`
        注意上面包含grep的不是单引号而是Esc键下面那个符号`。
        再次make,出现大量错误,原因同上,表现如下:
        hashTable.cc:32: error: ‘cerr’ was not declared in this scope
        hashTable.cc:41: error: ‘cerr’ was not declared in this scope
        hashTable.cc:42: error: ‘endl’ was not declared in this scop
        执行如下命令将cerr和endl替换为std::cerr和std::endl:
        #sed -i -e 's/cerr/std::cerr/g' `grep -rl cerr *`
        #sed -i -e 's/endl/std::endl/g' `grep -rl endl *`
        再次make就不会有问题了,编译完后在当前目录下会产生larbin可执行文件。
        #./larbin
        larbin_2.6.3 is starting its search
        看到上面屏幕输出说明成功启动larbin了。

三、配置
        上面方式启动larbin会使用默认配置文件larbin.conf,当然也可以如下来指定配置文件:
        #./larbin -c conf_file
        larbin的配置是通过options.h和larbin.conf结合来完成的,前者修改后需要重新编译,后者修改后只需要重启即可。
        在options.h中以下参数最好打开:
        #define SIMPLE_SAVE     //简单保存抓取页面,存在save/dxxxxx/fyyyyy文件中,每个目录下2000个文件
        #define FOLLOW_LINKS   //继续抓取子链接
        #define CGILEVEL 1         //是否获得CGI
        #define DEPTHBYSITE     //进入新的URL时是否初始化深度
        #define RELOAD             //设置此项时可以从上次终止处继续爬取,使用-scratch 选项从上次结束处重启
        #define CRASH               //用于报告严重的bugs用,以gmake debug模式编译时使用
        配置完别忘了make。
        在larbin.conf中以下参数最好打开:
        httpPort 8081                   //用于查看爬行结果的web服务端口
        inputPort 1976                  //用于设置爬行url的telnet服务端口
        pagesConnexions 100         //并行抓取网页的连接数
        dnsConnexions 5                //并行DNS解析的数量
        depthInSite 5                      //对一个站点的爬取深度
        waitDuration 60                  //访问同一服务器的时间间隔,不可低于30s,建议60s
        startUrl http://slashdot.org/ //起始抓取页面
        关于配置的详细可以参见 这里
        配置好就可以启动服务开始抓取了。
        关于起始抓取url除了可以设置外,还可以通过telnet localhost 1976来设置,在终端提示符下输入:
        priority:1 depth:3 test:0
        http://www.baidu.com
        这里把优先级设为了1,保证你输入的URL比一般的URL优先被抓取,如果输入了很多URL,把优先级设为0,防止run out of memory。  
        depth指定抓取链接的深度,一般不要超过5。
        test设为0表示如果一面网页之前已经抓取过了,并且现在又要抓取,那就抓取,test设为1可以防止重复的抓取。
         这里设置的效果同 larbin.conf中的 startUrl。

四、使用
        运行:./larbin(或“nohup ./larbin &”,可使larbin在后台运行)
        中止:Ctrl+C        
        重启:./larbin -scratch
        注意停止larbin的时候不要用Ctrl+z,那样当你再次./larbin或者./larbin -scratch的时候,会出现端口已被占用,无法重新启动。
        另外,可通过http://localhost:8081来访问larbin,从页面上获取一些关于larbin运行的信息。
分享到:0
关注微信,跟着我们扩展技术视野。每天推送IT新技术文章,每周聚焦一门新技术。微信二维码如下:
微信公众账号:尚学堂(微信号:bjsxt-java)
声明:博客文章版权属于原创作者,受法律保护。如果侵犯了您的权利,请联系管理员,我们将及时删除!
(邮箱:webmaster#sxt.cn(#换为@))
北京总部地址:北京市海淀区西三旗桥东建材城西路85号神州科技园B座三层尚学堂 咨询电话:400-009-1906 010-56233821
Copyright 2007-2015 北京尚学堂科技有限公司 京ICP备13018289号-1 京公网安备11010802015183