javascript - 用Nodejs抓虫遇到一个循环请求问题
伊谢尔伦
伊谢尔伦 2017-04-11 12:59:41
[JavaScript讨论组]

用Nodejs抓虫遇到一个循环请求问题,目前只获取到第一个分页,这个问题怎么获取分页总数,然后获取每一页的页面数据?

var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();

app.get('/',function (req,res) {
    var id = 1;
    url = 'http://www.zcool.com.cn/zteam/ZNDg2MzI=.html?sort=0&p='+ id +'#titleMaoDian';
    console.log(id);
    request(url,function(err,res,html){
        if(!err){
            var $ = cheerio.load(html);
            var endId = $('.bigPage').find('a.pageNext').prev().text();
            for(id=1;id<=endId;id++){
                var title;
                $('.camLiTitleC').filter(function(){
                    var data = $(this);
                    title = data.text();
                    console.log('作品标题:' + title);
                })
            }
        }
    })
});

app.listen('8080'); //使用8080端口
exports = module.exports = app;
伊谢尔伦
伊谢尔伦

小伙看你根骨奇佳,潜力无限,来学PHP伐。

全部回复(3)
伊谢尔伦

先将url后缀空出数字部分,然后可以定义一个函数,再递归调用自身,每次加一
具体操作可以看下我的文章(羞涩..)Node.js实现简易爬虫

PHP中文网

我打开你的页面总共只有两页数据,不确定几十页几百页的怎么显示。
你可以判断有没有下一页来递归采集。判断

<a href="/zteam/ZNDg2MzI=.html?sort=0&amp;p=2#titleMaoDian" btnmode="true" hidefocus="" class="pageNext down"><b></b></a>  

是否存在class="pageNext down"的a标签,有就提取a标签的href,下一次采集href。

soonfy

巴扎黑

给外层一个开关,获取不到endId的时候或者endId为0的时候讲开关关闭,遇到开关关闭就break或者return不就行了。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号