飘天中文网

手机浏览器扫描二维码访问

第七十八章 网络爬虫（第1页）

还好陈渤担心的事情并没有发生，国营燕京烤鸭店虽然没有改制成大董，但是作为总经理的大董已经成功研制出了“酥而不腻”

的烤鸭。

确实低油少脂，入口而化，香酥无比，果木烧烤味香浓。

其妙在于比传统烤鸭的“又酥又腻”

更加酥脆，达到了酥松的境界。

石志文像是挨了几天饿一样，根本顾不得说话，食指大动，风卷残云地将餐桌上的美味一扫而净。

“你小子是不是加入丐帮了？这是多久没吃饭了啊！”

陈渤忍不住打趣道。

“渤哥你是不知道啊，我们学校那食堂里的饭菜跟猪食没什么差别啊！”

石志文苦着一张脸道。

“哪个大学的食堂不是这样啊，让你一个地道的羊城人来到这，确实亏了。”

陈渤道“不过这猪食，我感觉都把你给喂胖了呢。”

“嘿嘿，我正是青春期长身体的时候呢。”

石志文说着就抬起胳膊攥着拳头要展示给陈渤看他自豪的肱二头肌，但陈渤看花了眼也没瞧出个蚊子包来。

石志文放弃了自己力量的展示，眉飞色舞地道“对了，渤哥。

我做了一个好玩的程序出来。

可以自动在网络中抓取网页内容，厉不厉害！”

“厉害个屁，不就是个网络爬虫。”

陈渤没好气道。

网络爬虫也叫网络蜘蛛，是搜索引擎中必不可少的环节，这些爬虫会顺着网络访问目标网站，把网页下载下来之后存储到文本服务器上，等到你要搜索关键词的时候就直接从文本服务器里调出来，这是一个搜索网站基本工作流程中的一环。

“但是我这个爬虫可不简单哦，无惧爬虫协议！”

石志文好像早就料到陈渤的态度，神气地道。

“无惧爬虫协议？那你能抓取网页的比例是多少？”

很多大型网站都欢迎爬虫光临，可以提高搜索引擎的排名来吸引流量，天空网也有写入这个爬虫协议的代码，其中的作用就是告诉爬虫，哪些你能抓取，哪些你不能。

比如天空网内的歌曲库在服务器中的地址就不允许你抓取访问，这是为了避免别人下载音乐之后再进行盗版。

但如果一个无惧爬虫协议的程序，那就牛了，管你什么网页统统下载走，简直就像手持核弹的入室强盗一样。

陈渤对此还是保持一定怀疑性的，比如谷歌的爬虫一般能抓取40%就算正常了，80%就是超神了，100%那就是吹牛逼了。

“额…这个…那个5%吧大概。”

石志文支支吾吾地说道。

陈渤都不好意思说他了，这这可怜的抓取量，爬过别人网页里到此一游的？不过石志文年纪轻轻才大二就能做出来一个网络爬虫的技术，也不是一般的人才了，已经有和张一鸣掰腕子的实力了。

最起码陈渤是做不出来的，他学的那些编程技术跟这个相比就弱爆了，也就了解一些原理，知道大概的工作模式。

陈渤并没有继续打击他，反而鼓励道“你已经很厉害了，回去把这个程序发到我的邮箱吧，我看一看。