我开发了一个云爬虫开发框架，可以在云上编写和运行爬虫，求种子用户来拍砖
发布于 8 年前 作者 sanwenshi 9431 次浏览 来自 分享

我觉得对于开发者来说，能脚本化编写爬虫是一件挺开心的事情(￣▽￣)"。 所以我们团队开发了一个专门让开发者用简单的几行 javascript 就能在云上编写和运行复杂爬虫的系统， 叫神箭手云爬虫开发平台： http://www.shenjianshou.cn 。 只要有些代码基础，稍微参考下开发者的文档，文档地址：http://doc.shenjianshou.cn/ 就能很快的写出爬虫来了。 这里也有些网站的爬虫源码可供参考，https://github.com/ShenJianShou/crawler_samples 欢迎同行们来试用拍砖，尽情给俺们提意见。有想法的可以加群讨论： 566855261

50 回复

支持一下。 提供国外节点吗？有翻墙采集需求。

看着有点意思

star

@flamingtop 可以，需要翻墙的也能采集

1

@alsotang 多谢支持，有兴趣的话可以加群讨论~

进了群问了问题没人理啊。。。

@winglight 一般技术都会回答的，你问的是什么问题？

1

@sanwenshi ok

1

我就是问：是否支持dicuz论坛的抓取？

@winglight 当然支持了，而且抓取的结果可以直接发布到DZ论坛，主流CMS系统都支持的。

mark From Noder

需要登陆的页面也可以抓取么？ https 的呢？

@cobrano1 也可以的，你想爬哪个网站的

正想找找相关资料，node爬虫必将崛起

不错的样子咯

公司已经在玩Node爬虫了　资料正好可以参考参考

不错，玩玩看

@santosvalen 多谢支持~

@13241491189 有兴趣的话欢迎加群交流哦~

@sanwenshi OK

再开个ftp服务造福大众~

@Qquanwei 哈哈，可以考虑哦

@Qquanwei 我是网警，小伙子，一起喝杯茶吧～

挺好的，网站访问好慢

不错,正有这个需求

@enmoon 现在好些了嘛

@broven 欢迎来写爬虫哦

多谢大家的支持 欢迎对爬虫有兴趣的，没兴趣的都过来交流~

最近有活动，写爬虫写的好，还有现金奖励哦 有兴趣参加的看看这个 http://my.oschina.net/datafactory12/blog/684769?fromerr=VHMtXaAJ

看起来不错哇～

不错哦，有个python的pyspider也挺好

@o6875461 多谢支持，欢迎过来写爬虫~

最近有个爬虫活动，投稿选中的话，奖励100元现金哦，有兴趣的小伙伴可以看下 详情：http://www.jianshu.com/p/fe537993cbf9

支持python嘛

这网站很赞

这网站很赞

@vivianwendy 现在还不支持哦，不过会python的话，用这个写起来也不太困难。

@44886 多谢支持了，有兴趣的话可以过来交流~

慢

@sanwenshi 大概看了下开发文档，文档写的不错，继续加油

@glj1102 现在速度好些了嘛

@vivianwendy 谢谢支持了，欢迎过来写爬虫

您要加的群已经满员了@

@sanwenshi 群满了

有没有保存抓取网站面面规则的网站 分析过网站以后，直接保存起来

@vipzrx 566855261 这个是②群群号

@yakczh 没有太明白你的意思，是说把网页填进去，自动分析然后抓取是嘛

后面会支持API，增加数据源

有意思 我得研究研究

mark

回到顶部