分享用superAgent去爬取soku网上的王者荣耀视频
发布于 2 年前 作者 duzitengg 2353 次浏览 来自 分享

github 地址:https://github.com/duzitengg/superAgent 1,本程序主要是用superAgent模块进行爬取soku网的王者荣耀视频数据 2,程序主要介绍爬取数据的方法,语法上不够精炼,请包涵! 3,采用mogonDB存储数据 4,采用了定时模块,每两小时爬一次 4,主启动文件 app.js

欢迎交流,如觉好请star,大神请忽略!

3 回复

然而我只会爬取cnode所有帖子title以及第一条评论,并save到我的html文件里面,就没再用nodejs爬取任何东西了。。。

我只看到了不换行的 REAMDE

其实看爬虫主要还是看一些数据,例如速度,数据量之类的。 楼主能不能发一些爬虫的着一些数据,要不然光看函数写法也没多大意思。

回到顶部