我开发了一个云爬虫开发框架,可以在云上编写和运行爬虫,求种子用户来拍砖
发布于 8 年前 作者 sanwenshi 9347 次浏览 来自 分享

我觉得对于开发者来说,能脚本化编写爬虫是一件挺开心的事情( ̄▽ ̄)"。 所以我们团队开发了一个专门让开发者用简单的几行 javascript 就能在云上编写和运行复杂爬虫的系统, 叫神箭手云爬虫开发平台: http://www.shenjianshou.cn 。 只要有些代码基础,稍微参考下开发者的文档,文档地址:http://doc.shenjianshou.cn/ 就能很快的写出爬虫来了。 这里也有些网站的爬虫源码可供参考,https://github.com/ShenJianShou/crawler_samples 欢迎同行们来试用拍砖,尽情给俺们提意见。有想法的可以加群讨论: 566855261

50 回复

支持一下。 提供国外节点吗?有翻墙采集需求。

看着有点意思

@flamingtop 可以,需要翻墙的也能采集

@alsotang 多谢支持,有兴趣的话可以加群讨论~

进了群问了问题没人理啊。。。

@winglight 一般技术都会回答的,你问的是什么问题?

我就是问:是否支持dicuz论坛的抓取?

@winglight 当然支持了,而且抓取的结果可以直接发布到DZ论坛,主流CMS系统都支持的。

需要登陆的页面也可以抓取么? https 的呢?

@cobrano1 也可以的,你想爬哪个网站的

正想找找相关资料,node爬虫必将崛起

不错的样子咯

公司已经在玩Node爬虫了 资料正好可以参考参考

不错,玩玩看

@13241491189 有兴趣的话欢迎加群交流哦~

再开个ftp服务造福大众~

@Qquanwei 哈哈,可以考虑哦

@Qquanwei 我是网警,小伙子,一起喝杯茶吧~

挺好的,网站访问好慢

不错,正有这个需求

@enmoon 现在好些了嘛

@broven 欢迎来写爬虫哦

多谢大家的支持 欢迎对爬虫有兴趣的,没兴趣的都过来交流~

最近有活动,写爬虫写的好,还有现金奖励哦 有兴趣参加的看看这个 http://my.oschina.net/datafactory12/blog/684769?fromerr=VHMtXaAJ

看起来不错哇~

不错哦,有个python的pyspider也挺好

@o6875461 多谢支持,欢迎过来写爬虫~

最近有个爬虫活动,投稿选中的话,奖励100元现金哦,有兴趣的小伙伴可以看下 详情:http://www.jianshu.com/p/fe537993cbf9

这网站很赞

这网站很赞

@vivianwendy 现在还不支持哦,不过会python的话,用这个写起来也不太困难。

@44886 多谢支持了,有兴趣的话可以过来交流~

@sanwenshi 大概看了下开发文档,文档写的不错,继续加油

@glj1102 现在速度好些了嘛

@vivianwendy 谢谢支持了,欢迎过来写爬虫

您要加的群已经满员了@

有没有保存抓取网站面面规则的网站 分析过网站以后,直接保存起来

@vipzrx 566855261 这个是②群群号

@yakczh 没有太明白你的意思,是说把网页填进去,自动分析然后抓取是嘛

后面会支持API,增加数据源

有意思 我得研究研究

回到顶部