####最近想要实现爬虫功能，本来用nodejs爬指定的少量网站，用request加cheerio就足够了，但是现在要爬几百个网站，解析dom的规则也不尽相同，所以想问问有没有成熟一点的爬虫框架来专门应对这种情况的。nodejs的最好（不过估计不太可能有），python也可以。 ###希望大家能给点建议～感激不尽。
回复 (14)
A
W
ruby nokogiri 用了都说好
A
手写程序，一个规则对应一个网站吗？多的话，，会不会很苦逼阿
A
A
我总感觉爬虫用框架非常不顺手
Y
可以看下nodejs的htmlparser和jsdom~
H
Y
phantomjs
A
python 的scrapy? 会不会超了论坛的范围啊...
H
作为一个专业得crawler告诉你， 还是不要用node。js 做大规模爬行，还是用python 或者 go
A
那解析不同网站，要一个一个手写解析规则？ 还有爬取的深度加深呢？扩展性呢？
C
额 爬虫还需要框架。。
参与回复
登录后即可参与回复。登录