请问一下有没有用node写的爬取淘宝商品的代码？

淘宝大部门信息是通过异步接口获取的 直接请求页面是拿不到那些信息的 可以使用容器运行页面然后注入js脚本的方式获取。 我使用electronjs 写过一个爬淘宝 JD商品图片的桌面应用.就是使用的脚本注入

@xuanxia 我不会爬虫的...项目有这个功能。

详情和SKU容易，某些字段不容易(不是说无法获取，只是技术成本会高)，比如各种价格，优惠券，促销信息

淘宝好像限制ip要手动验证的吧

@xuanxia 这个爬速是不是太慢了？

@dqr33468asd 以前好像没限制？

可以使用：casperjs 关键代码：

// 抓取图片的宽高
var imageSize = '_200x200'
// 抓取的分类
var queryKey = ['棕色 衬衫', '棕色 t恤', '棕色 外套', '棕色 卫衣', '棕色 裤子']

// 抓取返回页面dom结构里的图片
function getImages() {
    var images = document.querySelectorAll('#mainsrp-itemlist img');
    return Array.prototype.map.call(images, function (e) {
        // 因为淘宝用了懒加载的形式，所以图片路径放在了data-src下
        return e.getAttribute('data-src');
    });
}

// 过滤重复的图片
Array.prototype.unique = function () {
    var res = [];
    var json = {};
    for (var i = 0; i < this.length; i++) {
        if (!json[this[i]]) {
            res.push(this[i]);
            json[this[i]] = 1;
        }
    }
    return res;
}

// 爬多个关键字，直接创建多个casper实例
queryKey.forEach(function (keyword) {
    console.log(keyword)
    var casper = require('casper').create({
        pageSettings: {
            loadImages: false
        }
    })
    new process(casper, keyword)
})

// 这是爬取关键代码，第一步，在搜索框输入关键字，进行搜索
function process(casper, keyword) {
    var images = []
    casper.start('https://www.taobao.com/', function () {
        this.waitForSelector('form[action="//s.taobao.com/search"]');
    });

    casper.then(function () {
        this.fill('form[action="//s.taobao.com/search"]', { q: keyword }, true);
    });
// 等两秒钟，让页面跳转
    casper.wait(2000)

    // 收集图片地址
    for (var j = 0; j < 4; j++) {
        casper.then(function () {
            this.waitForSelector('#mainsrp-pager', function () {
                this.echo('正在爬取---' + keyword)
                if (j > 0) this.clickLabel('下一页', 'span')
                this.wait(2000, function () {
                    this.scrollToBottom()
                    images = images.concat(this.evaluate(getImages));
                })
            })
        });
    }

    // 下载图片
    casper.then(function () {
        console.log(images.length)
        images = images.unique()
        console.log(images.length)
        for (var i = 0; i < images.length; i++) {
            if (images[i]) {
                this.echo('正在下载 ' + keyword + i)
                this.download('http:' + images[i] + imageSize + '.jpg', 'data/' + keyword + '/' + i + '.jpg');
            }
        }
    });

    casper.run(function () {
        this.echo('下载完成').exit()
    });
}

首先，你得搞定淘宝的ua

然后，数据爬取都是小问题

好吧，谢谢大家的回答，这可能不属于我的范围了。

建议使用Python爬取数据, 用Python写一个脚本，放服务器上做定时处理。。。 使用Requests 模块 发送网络请求非常简单 前段时间写过一个带账号密码登录、爬取数据、处理数据、读写数据的脚本，整体下来不过100行代码