请问一下有没有用node写的爬取淘宝商品的代码？
需求是通过一个或多个淘宝商品的链接，爬取到这个商品的信息，包括详情，sku等等。本人没有接触到爬虫，求分享一下，谢谢。
11 回复
淘宝大部门信息是通过异步接口获取的 直接请求页面是拿不到那些信息的 可以使用容器运行页面然后注入js脚本的方式获取。 我使用electronjs 写过一个爬淘宝 JD商品图片的桌面应用.就是使用的脚本注入
建议使用Python爬取数据, 用Python写一个脚本，放服务器上做定时处理。。。 使用Requests 模块 发送网络请求非常简单 前段时间写过一个带账号密码登录、爬取数据、处理数据、读写数据的脚本，整体下来不过100行代码
可以使用：casperjs 关键代码：
// 抓取图片的宽高
var imageSize = '_200x200'
// 抓取的分类
var queryKey = ['棕色 衬衫', '棕色 t恤', '棕色 外套', '棕色 卫衣', '棕色 裤子']
// 抓取返回页面dom结构里的图片
function getImages() {
var images = document.querySelectorAll('#mainsrp-itemlist img');
return Array.prototype.map.call(images, function (e) {
// 因为淘宝用了懒加载的形式，所以图片路径放在了data-src下
return e.getAttribute('data-src');
});
}
// 过滤重复的图片
Array.prototype.unique = function () {
var res = [];
var json = {};
for (var i = 0; i < this.length; i++) {
if (!json[this[i]]) {
res.push(this[i]);
json[this[i]] = 1;
}
}
return res;
}
// 爬多个关键字，直接创建多个casper实例
queryKey.forEach(function (keyword) {
console.log(keyword)
var casper = require('casper').create({
pageSettings: {
loadImages: false
}
})
new process(casper, keyword)
})
// 这是爬取关键代码，第一步，在搜索框输入关键字，进行搜索
function process(casper, keyword) {
var images = []
casper.start('https://www.taobao.com/', function () {
this.waitForSelector('form[action="//s.taobao.com/search"]');
});
casper.then(function () {
this.fill('form[action="//s.taobao.com/search"]', { q: keyword }, true);
});
// 等两秒钟，让页面跳转
casper.wait(2000)
// 收集图片地址
for (var j = 0; j < 4; j++) {
casper.then(function () {
this.waitForSelector('#mainsrp-pager', function () {
this.echo('正在爬取---' + keyword)
if (j > 0) this.clickLabel('下一页', 'span')
this.wait(2000, function () {
this.scrollToBottom()
images = images.concat(this.evaluate(getImages));
})
})
});
}
// 下载图片
casper.then(function () {
console.log(images.length)
images = images.unique()
console.log(images.length)
for (var i = 0; i < images.length; i++) {
if (images[i]) {
this.echo('正在下载 ' + keyword + i)
this.download('http:' + images[i] + imageSize + '.jpg', 'data/' + keyword + '/' + i + '.jpg');
}
}
});
casper.run(function () {
this.echo('下载完成').exit()
});
}
