Ryan
Ryan

爬虫教程实例

用nodejs做简单的爬虫，其实是一件简单的事情。
我们以 http://www.ledu365.com/ 做一个简单的例子。
在此之前，你需要掌握 ：es6， async /await 和简单的 express；

分析页面

我们发现它的列表页地址栏 
http://www.ledu365.com/shehui/list_4_9.html
http://www.ledu365.com/shehui/list_4_13.html

大概是这样 的

http://www.ledu365.com/(栏目的中文拼音)/list_(栏目的id)_(栏目的页数).html

=> http://www.ledu365.com/${url_type}/list_${type_id}_${i}.html

于是我们可以得到

let typeArray = [
     {
        url_type: 'redu',
        type: '热读',
        type_num: 1,
    },
     {
        url_type: 'wenyuan',
        type: '文苑',
        type_num: 2,
    },
     {
        url_type: 'qinggan',
        type: '情感',
        type_num: 3,
    },
   {
        url_type: 'shehui',
        type: '社会',
        type_num: 4,
    },
     {
        url_type: 'shenghuo',
        type: '生活',
        type_num: 5,
    },
     {
        url_type: 'rensheng',
        type: '人生',
        type_num: 6,
    },
    {
        url_type: 'renwu',
        type: '人物',
        type_num: 7,
    },
    lizhi = {
        url_type: 'lizhi',
        type: '励志',
        type_num: 8,
    },
    {
        url_type: 'shiye',
        type: '视野',
        type_num: 9,
    },
     {
        url_type: 'xinling',
        type: '心灵',
        type_num: 10,
    },
     {
        url_type: 'xiaoyuan',
        type: '校园',
        type_num: 11,
    },
    {
        url_type: 'zhichang',
        type: '职场',
        type_num: 12,
    }
]

我们查看列表页的源代码，分析一下


    
    
        
  • 
            
                
            
            
                喝古龙的酒，还是下金庸的棋
            
            
    
                古龙爱写中年人。 李寻欢，四五十岁；傅红雪，近四十；楚留香，一路从少年写到中年…… 不过，古龙笔下的中年人，一点都不“中年”，反而很“中二”。 比如，被...
            
    
        
    • 
        
  • 
            
                
            
            
                曾醉
            
            
    
                山深问桃花 染过几度春 哪一枝勾住过客衣上风尘 有倦意三分 要行路千程 怎记这山水静默待离人 轻舟邀斜月 听岸上孤筝 回旋处 恰趁醉 踏青石前门 有余音两声 共与...
            
    
        
    • 
        
  • 
            
                
            
            写给超级马里奥的信
            
    
                嗨，马里奥老兄，停下你不止息的奔跑与跳跃吧，让金币先在天空闪亮一会儿，让蘑菇先在城墙里躲藏片刻。找块软软的草地悠闲地躺下，对着蓝天白云读读我的来信怎么...
            
    
        
    • 
        
  • 

            
                不能说的秘密_by尤妮妮
            
            
    
                不过很快，简慧就被带到了李宽的粉丝见面会上。 车中，简慧接过瓶子，有些犹豫：“那我要是失败了呢，我……”“不，如果那个人是你的话，就不会失败，”他打断...
            
    
        
    • 
        
  • 

            微写作7篇：201605
            
    
                星，无眠，伴长夜。薄雾起于南山。半月隐于柳枝间，愁怨。此日思月圆。轻起罗裳倚栏杆。恨不甘，当时情未言。若相逢，折花送，独钟。月圆星儿众。...
            
    
        
    • 
        
  • 
            
                
            
            第三把刀
            
    
                风岚帝国是整片大陆上最强盛的国家，如果单论武力，没有一个国家能与之相提并论。风岚族人人以习武为荣。风岚人十分讲究江湖道义，国内大小教派林立，一派欣欣向...
            
    
        
    • 
        
  • 
            
                
            
            贾宝玉和西门庆的共同爱好
            
    
                贾宝玉与西门庆有什么共同点？ 这个问题一出，一定会让许多贾宝玉的粉丝立刻炸裂！虽然他俩都在女人圈里混，可是我们玉兄明明只得“意淫”二字，毕生致力于为年...
            
    
        
    • 
        
  • 
            
                
            
            割雪的季节
            
    
                札幌眼下正是割冰的盛时。不，也许应该说是割雪吧。 今年的札幌，比起历年来雪都下得多。这不，进入二月之后，又忽然下起来了。 讽刺的是，往年，一到二月初旬的...
            
    
        
    • 
        
  • 

            
                犬人
            
            
    
                有一妇人，中年得子，视若掌珍。凡诸百事，均不使为。及至弱冠，衣食起居，须人料理，如襁褓然。或有老者，劝妇人曰：“当教使言语。”妇人答曰：“我在，彼何必...
            
    
        
    • 
        
  • 
            
                
            
            谈一场情商高的恋爱
            
    
                金庸小说里情商排名前三的人里，定有任盈盈一席之地。说到任大小姐的情商，那些聪明伶俐的女主角们都要靠边站。所有人都知道，令狐冲心里有个念兹在兹的小师妹，...
            
    
        
    • 
        
  • 
            
                
            
            
                《红楼梦》里的鄙视链
            
            
    
                和地区鄙视链内陆—沿海—海外从里往外走模式不同，恰恰相反，红楼鄙视链是从外往里走，看大门.底层，其次守二门—扫院子—进房铺床叠被，最高端是屋里人，也即...
            
    
        
    • 
        
  • 

            以己养鸟的悲剧
            
    
                庄子是个很有意思的人，经常讲一些很有寓意的小故事。他有个故事叫《鲁王养鸟》：昔者海鸟止于鲁郊，鲁侯御而觞之于庙，奏九韶为乐，具太牢以为膳。鸟乃眩视忧悲...
            
    
        
    • 
        
  • 
            
                
            
            致妖猴：我凭什么要帮你
            
    
                孙悟空最让猴粉失望之处，就是他在打怪时，不断地向天庭或西方势力求助。 现在都流行大数据，我们就用数据来说话：西游里的所谓九九八十一难，其实有很大的水分...
            
    
        
    • 
        
  • 
            
                
            
            生死搏杀
            
    
                藏医散木旦除了给人看病，还得到山林里采药。每次出门，他都要带上牦牛扎科阿尼和藏獒柔桑吉。扎科阿尼是他的坐骑，柔桑吉可替他带路，万一遇到危险还能成为帮手...
            
    
        
    • 
        
  • 
            
                
            
            
                我不想自己看这落寞的人世间
            
            
    
                《海贼王》开始看的是娜美的故事。一个小孩子，倔强地看着凶恶的鱼人，要攒到1亿贝利来解放村子。 即使是第一次接触这动画，也被感动得一塌糊涂。一个人在寝室里...
            
    
        
    •

这个时候我们可以通过dom操作 获取 相应 的 标题、缩略图和摘要

分析内容页


    

        
写给超级马里奥的信

    

    
    

        时间:2016-03-30 21:38
        来源:网络
        作者:郝小靖
        
        
            
        
    

    

        
        
    

    

        

            

                
                    
嗨，马里奥老兄，停下你不止息的奔跑与跳跃吧，让金币先在天空闪亮一会儿，让蘑菇先在城墙里躲藏片刻。找块软软的草地悠闲地躺下，对着蓝天白云读读我的来信怎么样？

                    
我明白这对你来说或许很新奇，毕竟已经这个年代了，没有谁还执着于用信来交流的形式。

                    
在我小时候，要与你相遇是很麻烦的事情。首先要有一台体积不算小的游戏机，还要有一个像是录音带般大小的游戏卡带，将卡带插进游戏机里再连接上电视，我才能看到你那令人魂牵梦萦的敏捷身影。但是我们团聚的时间总是如此短暂，还没等我沉浸在幽黑的水管世界多久，甚至还没有来得及跟随你一起跳过火焰海、躲过长长的旋转不停的火焰棒将公主救出来，我那比库克大魔王还凶猛的妈妈就会大吼着拆散我们俩，并指着钟表上的时间对我怒目而视。

                    

                        写给超级马里奥的信
                    

                    
回想那时候为了沉浸入你那神奇的世界，我做了多少练习题，又缠着父母撒了多少娇，简直就无法统计。有人说，求之不得才会念念不忘。我想说这句话的一定是个哲人，要不就是心理学家，不然我怎么会在高中、大学、工作之后仍向往着你的世界，就算是已过而立之年也不放弃对你的执着。

                    
幸好，现在要与你团聚早已不像过去那般费劲，不需要有庞大的游戏机和卡带，我只要打开电脑或者滑开手机，就能跟你一起爬上升起的豆藤，在云端漫步。也能跟你潜入海洋，一边躲过不怀好意缓缓游来的章鱼，一边上下浮沉着揽入金币。而且你的世界越来越广阔，你在雪山上攀爬、在赛车道里奔驰、在银河中畅游，简直让我目眩神迷。但我仍旧不满足，都说这世界上最远的距离，是我在你身边，你却不知道我爱你。可对于我来说，这句话应该变成“我爱你，却没有办法跟你站在一起”。可恶的维度世界隔开了咱们，我无力冲破二维与三维的藩篱。

                    
不过幸运的是，或许这事儿也不是完全没有指望。科技在发展，现实世界与数据宇宙的边界正在模糊。如果你注意到我们外界的新闻，就会发现当初坐在游戏机前的那些孩子已经变得与数据融为一体。手机就是我们延伸出去的另一个新的肢体，我们在网络上分享自己的生活，对着陌生人倾吐心声，入睡前双眼的最后一个视像是手机的屏幕，醒来后的第一个动作是滑开手机给朋友圈点赞。我们的一半行走于现实世界，却有另一半沉醉于虚拟空间。

                    
我不知道这是好事还是坏事，毕竟我也是其中的一员。毕竟以我的浅薄之见，虚拟世界只会随着科技的发展而愈加融入日常生活，维度的距离不再是困扰物理学家的宇宙性难题，而人类的数据化指日可待。

                    

                        
                    

                    
到了那一天，或许我只要启动植入神经的芯片，一段脑电波就会化为二进制的数据如长龙般急速奔入你的世界。然后等我一睁眼，就会发现自己站在蓝天绿地之间，眼前是竖起的水管与会飞的乌龟，你在我旁边，穿着那套标志性的背带裤对着我微笑。我们会肩并肩一起腾挪跳跃；我会感受到坏蘑菇在我的脚下吧唧一声被踩成扁片；会大笑着冲向一排排金币；会在乘坐云朵电梯时尖叫着抱紧你的腰，因为我恐高；最终我会跟你一起仰起头，目瞪口呆地注视着山一样的库克大魔王，看着他迈着步地动山摇而来，然后充满恐惧却坚定地打败他，为了我那早就想要一睹芳容的绝色公主。

                    
另外悄悄问一句，你愿意把一关才有一个的加命蘑菇让给我吗？毕竟从小时候到现在，我的通关技术都实在是不咋样啊……

                    
 

                    

                        点击下载__乐读APP(Android)__每天更新好文章

                    

                        
                            乐读APP二维码
                        
                    

                		
            

        

    

    
    

        

            赞
            
        

        

            (责任编辑：Mickey)

同理我们可以获取时间、来源、作者、文章标题和文章内容。

不多说，我们看一下具体怎么做
首先安装需要的模块，大致如下

"babel-polyfill": "^6.26.0",
"cheerio": "^1.0.0-rc.1",
"ejs": "~2.5.6",
"express": "~4.15.2",
"iconv-lite": "^0.4.17",
"mysql": "^2.13.0",
"promise-mysql": "^3.0.1",
"request-promise": "^4.2.1"

其中 cheerio 是用来抓取网页数据的，iconv-lite 用来解决中文乱码， request-promise 是一个异步请求模块，跟fetch的差不多，只不过是用于服务端。

babel-polyfill 用来编译 es6

index.js

require('babel-polyfill');
const express = require('express');
const router = express.Router();
const conn = require('../server/db_connection');
const fs = require('fs');
//爬取新闻
const cheerio = require('cheerio');
const request = require('request-promise');
const iconv = require('iconv-lite');

let delayTime = 1000; //每轮间隔的时间
let currentUrl = 0; //成功写入的文章数数目
let noImgNum = 0; //剔除的没有图片的文章数目
let damagedArticle = 0; //无效链接文章数目
let noList = 0; //无效的链接列表数目
let writerFail = 0; //写入数据库失败的文章数目


router.getArticleUrl = async (req, res, next)=>{
    let startTime = getNow();
    let start_page = 1;
    let end_page = 2;
    //getListPage(start_page, end_page, "校园"); 有兴趣的话里面的参数可以配置成客户端传进来，那样就可以动态爬取，用req.query来获取，
    let listPages = getListPage(start_page, end_page);
    let listUrlsArr = await asyncControl(listPages, getListUrl, 10, delayTime);
    let listUrls = listUrlsArr.reduce((a,b)=>a.concat(b));
    let listLen = listUrls.length;
    console.log('爬取列表页完成，共有文章：'+ listLen );
    let PageContent = await asyncControl(listUrls, getPageContent, 10, delayTime);
    let endTime = getNow();
    console.log('开始时间：' + startTime);
    console.log('结束时间：' + endTime);
    console.log('原有数据：' + '　' + listLen);
    console.log('剔除没有图片或者获取图片失败的文章数：' + '　' + noImgNum);
    console.log('文章获取失败数：' + '　' + damagedArticle);
    console.log('文章写入数据库失败数：' + '　' + writerFail);
    console.log('共爬取有效文章数：' + '　' + currentUrl);
    console.log('爬虫结束');
    res.send('爬虫结束');
}

//取得所有的列表页
/**
* 
* @param {*} start_page 起始页面
* @param {*} end_page 结束页面
* @param {*} type 爬取的类型
*/
const getListPage = (start_page, end_page, type)=>{
    let listPages = [];
    let typeArray = [
        {
            url_type: 'redu',
            type: '热读',
            type_id: 1,
            start_page,
            end_page
        },
        {
            url_type: 'wenyuan',
            type: '文苑',
            type_id: 2,
            start_page,
            end_page
        },
        {
            url_type: 'qinggan',
            type: '情感',
            type_id: 3,
            start_page,
            end_page
        },
    {
            url_type: 'shehui',
            type: '社会',
            type_id: 4,
            start_page,
            end_page
        },
        {
            url_type: 'shenghuo',
            type: '生活',
            type_id: 5,
            start_page,
            end_page
        },
        {
            url_type: 'rensheng',
            type: '人生',
            type_id: 6,
            start_page,
            end_page
        },
        {
            url_type: 'renwu',
            type: '人物',
            type_id: 7,
            start_page,
            end_page
        },
        lizhi = {
            url_type: 'lizhi',
            type: '励志',
            type_id: 8,
            start_page,
            end_page
        },
        {
            url_type: 'shiye',
            type: '视野',
            type_id: 9,
            start_page,
            end_page
        },
        {
            url_type: 'xinling',
            type: '心灵',
            type_id: 10,
            start_page,
            end_page
        },
        {
            url_type: 'xiaoyuan',
            type: '校园',
            type_id: 11,
            start_page,
            end_page
        },
        {
            url_type: 'zhichang',
            type: '职场',
            type_id: 12,
            start_page,
            end_page
        }
    ];
    if(type){
        let match = typeArray.filter(item=>item.type === type);
        if(match.length) {
            let {url_type, type, type_id } = match[0];
            for(let i = start_page; i< end_page; i++){
                listPages.push({
                    url_type,
                    type,
                    link: `http://www.ledu365.com/${url_type}/list_${type_id}_${i}.html`
                })
            }
            return listPages;
        }
    }
    for (let n = 0; n < typeArray.length; n++) {
        for (let i = typeArray[n].start_page; i < typeArray[n].end_page; i++) {
            let url_type = typeArray[n].url_type;
            let type_id = typeArray[n].type_id;
            let type = typeArray[n].type;
            listPages.push({
                url_type,
                type,
                link: `http://www.ledu365.com/${url_type}/list_${type_id}_${i}.html`
            })
        }
    }
    return listPages;
}


//取得所有的列表页的所有列表链接
const getListUrl = async (liItem, count)=>{
    //爬取文章链接
    let articleUrl = [];
    let listOption = {
        url: liItem.link,
        headers: {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        },
        encoding: null
    }
    let result = null;
    try {
        result = await request(listOption);
    } catch (error) {
        ++noList;
        console.log('错误链接列表地址：'+ liItem.link );
        console.log('错误链接列表：'+noList );
        return false;
    }
    console.log('请求列表页成功')
    console.log('数目：' +( count+1))
    let body = iconv.decode(result, 'gb2312');
    let $ = cheerio.load(body, {
        decodeEntities: false
    });
    let links = $('.listbox .title')
    links.map(function (index, item) {
        if(!$('.listbox .preview img')[index]){
            return false;
        }
        let imgSrc = $('.listbox .preview img')[index].attribs.src || '';
        if (!imgSrc) {
            ++noImgNum;
            return false;
        }
        if (imgSrc.indexOf('http') == -1) {
            imgSrc = 'http://www.ledu365.com' + imgSrc;
        }
        articleUrl.push({
            link:$('.listbox .title')[index].attribs.href,
            type: liItem.type,
            url_type: liItem.url_type,
            imgSrc
        });
        return true;
    })
    return articleUrl;
}

//取得所有的文章
const getPageContent = async(article, count)=>{
    let articleOption = {
        url: 'http://www.ledu365.com' + article.link,
        headers: {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom' +
                    'e/58.0.3029.110 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
        },
        encoding: null
    }
    //爬取文章
    let articleBody = null;
    try {
        articleBody = await request(articleOption);
    } catch (error) {
        ++damagedArticle;
        return false;
    }
    let body = iconv.decode(articleBody, 'gb2312');
    let $ = cheerio.load(body, {decodeEntities: false});
    let title = $('.title h2').text().trim();
    let info = $('.info').text();
    let pArray = $('p').toArray()
    let splitArray = info.split(' ');
    let date = '';
    let source = '';
    let writer = '';
    let type = article.type;
    let url_type = article.url_type;
    let cutImgUrl = article.imgSrc;
    console.log( `当前进行：${++count}, 文章：${title} `)
    if (splitArray[0] && splitArray[0].indexOf('时间:') != -1) {
        date = splitArray[0].split('时间:')[1]
    }
    if (splitArray[1] && splitArray[1].indexOf('来源:') != -1) {
        source = splitArray[1].split('来源:')[1]
    }
    if (splitArray[2] && splitArray[2].indexOf('作者:') != -1) {
        writer = splitArray[2].split('作者:')[1]
    }

    let summary = $('.content p').text();
    let contenText = '';

    $('.content p').each(function (index, item) {
        let trimText = $(this).text().trim();
        if (trimText != '' && (trimText != ('点击下载__乐读APP(Android)__每天更新好文章'))) {
            contenText += `
${trimText}
`;
        }
    })

    if (!cutImgUrl) {
        ++noImgNum;
        return false;
    }
    let cutExtName = ('.' + cutImgUrl.substr(-10).split('.')[1]).replace('!cut', '');
    let cutImgSrc = url_type + '_' + new Date().getTime().toString()  + '!cut' + cutExtName;
    let folder_exists = fs.existsSync('public/images/cut/');
    if(!folder_exists) fs.mkdirSync('public/images/cut/');
    let cutOutResult = await writeImg(cutImgUrl, 'cut/'+cutImgSrc);
    if(!cutOutResult) {
        ++noImgNum;
        return false;
    }


    let imgSrc = $('.content div img').attr('src') || '';
    if (!imgSrc) {
        ++noImgNum;
        return false;
    }
    if (imgSrc.indexOf('http') == -1) {
        imgSrc = 'http://www.ledu365.com' + imgSrc;
    }
    let extName = imgSrc.substr(-4);
    let downImgSrc = url_type + '_' + new Date().getTime().toString()  + extName;
    let imgOutResult = await writeImg(imgSrc, downImgSrc);
    if(!imgOutResult) {
        ++noImgNum;
        return false;
    }

    //写入数据库
    let sql = `INSERT INTO article(article_title ,article_date ,article_source ,article_writer ,article_img, article_content, article_type, article_url_type, article_summary,article_cutImg) VALUES(${conn.escape(title)},${conn.escape(date)},${conn.escape(source)},${conn.escape(writer)},${conn.escape(downImgSrc)},${conn.escape(contenText)},${conn.escape(type)},${conn.escape(url_type)},${conn.escape(summary)},${conn.escape(cutImgSrc)})`;

    let insertRes = null;
    try {
        insertRes = await conn.query(sql);
        console.log('写入数据库：' + (++currentUrl));
    } catch (error) {
        console.log("写入数据库：失败：" + err);
        ++writerFail;
        return false;
    }
}

//写入图片
const writeImg = async(url, name)=>{
    let imgHeader = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom' +
                'e/58.0.3029.110 Safari/537.36',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'
    }
    let cutImgOption = {
        url: url,
        headers: imgHeader,
        encoding: null
    }
    let cutResponse = null;
    try {
        cutResponse = await request(cutImgOption);
    } catch (error) {
        console.log('读取图片失败' ,error)
        return false;
    }
let cutOutResult = null;
try {
        let cutOut = fs.createWriteStream('public/images/' + name);
        cutOut.write(cutResponse);
        cutOutResult = await new Promise(resolve=>{
            cutOut.end('写入完成',  ()=> {
                if (cutOut.bytesWritten < 1) {
                    fs.unlink('public/images/' + name);
                    return resolve(false)
                }
                return resolve(true)
            });
        })
    } catch (error) {
        console.log('写入图片失败' ,error)
        return false;
    }
    return true;
}

//获取当前时间
const getNow = () => {
    let now = new Date().getHours() + '时' + new Date().getMinutes() + '分' + new Date().getSeconds() + '秒';
    return now;
}
/**
*
* @param {*} arr 传入需要控制的数组
* @param {*} todo 单个元素需要执行的函数 function(item, index)
* @param {*} limit 并发数
* @param {*} delay 每轮并发的间隔时间
*/
const asyncControl = async(arr, todo, limit, delay) => {
    let count = arr.length
    let results = []
    let fn = async(arr, todo, limit, delay, results) => {
        if (!arr.length) 
            return results;
        let current = arr.splice(0, limit);
        let itemResults = await Promise.all(current.map((item, index) => todo(item, count - arr.length - (current.length - 1 - index) - 1)))
        results = results.concat(itemResults.filter(item => !!item));
        if (arr.length) {
            await new Promise(resolve => setTimeout(() => resolve(true), delay));
            return fn(arr, todo, limit, delay, results);
        } else {
            return results;
        }
    }
    return fn(arr, todo, limit, delay, results);
}


module.exports = router;

db_connection.js

require('babel-polyfill');
const mysql = require('mysql');
const pool  = mysql.createPool({
connectionLimit : 10,
host: 'localhost',
port: 3306,
user: 'root',
password : '',
database: 'newsdemo',
});

const query = (sql)=>{
return new Promise((resolve, reject)=>{
    return pool.query(sql, (error, results, fields)=>{
    if(error)  resolve(error, fields);
    resolve(results, fields);
    })
})
}

module.exports.query = query;
module.exports.escape = mysql.escape;

article 表

github地址 https://github.com/m-Ryan/an_...

git clone [email protected]:m-Ryan/an_example_of_a_reptile.git
运行：
npm install
npm start
打开网页 http://localhost:3001/

你可能感兴趣的:(nodejs爬虫)

  • 在Electron中爬取CSDN首页的文章信息 前端没钱 项目笔记electron杂记electronjavascript前端爬虫
    背景之前分享了Electron入门的相关文章：https://gitee.com/ruirui-study/electron-demo后来，我就想在里面多做一些演示给大家看，集成了以下功能及演示：窗口管理、各种方法封装托盘管理菜单管理获取屏幕演示多窗口及通信演示等等……然后，我就想着把之前的nodejs爬虫也集成进来演示，在Electron中做一些结合。先上效果图，这是爬取CSDN首页的数据。选框
  • nodejs爬虫框架 自动化新人 javascript
    nodejs爬虫框架在Node.js中，有一些常用的爬虫框架可以帮助你实现网页抓取和数据提取的任务。以下是几个流行的Node.js爬虫框架：1.**Puppeteer**:Puppeteer是由Google开发的一个用于控制headlessChrome或Chromium浏览器的Node.js库。它提供了丰富的API，使你可以模拟用户行为，进行页面导航、表单提交、点击、滚动等操作。由于可以执行Jav
  • nodejs爬虫内存泄露排查 weixin_34393428 爬虫内存管理javascriptViewUI
    引子最近在学推荐系统，萌生一个从头实现一个推荐系统的想法。说做就开始着手，第一步先写一个视频爬虫。在网上找了一个有网页的版的视频聚合源，用nodejs+jsdom快速搭建了一个spider，爬取过程发现用并发的请求个数不好控制，太多容易把源网站爬挂了，就引入了async.parallelLimit和async.queue来做并发请求控制；另外看网上资料jsdom资源占用比较多，cheerio更轻便
  • nodeJS搭建免费代理IP池爬取贴吧图片实战 小航冲冲冲 爬虫前端es6tcp/ip网络协议网络node.js前端javascript爬虫
    之前用python写过爬虫，这次想试试nodeJS爬虫爬取贴吧图片，话不多说代码如下，爬取制定吧的前十页所有帖子里的图片爬取贴吧图片脚本你得提前创建一个images文件夹constaxios=require("axios");constcheerio=require("cheerio");constsanitize=require("sanitize-filename");constfs=requ
  • nodeJS爬虫-爬取虎嗅新闻 小春熙子 爬虫javascriptnode.js
    1.安装依赖库到本地，需要的库有：安装方法见Node.js笔记说明constsuperagent=require('superagent');constcheerio=require('cheerio');constasync=require('async');constfs=require('fs');consturl=require('url');constrequest=require('r
  • 爬虫系列之基于 nodejs 的博客园爬虫项目 门柚 python爬虫python开发语言
    爬虫流程看到了最终结果，那么我们接下来看看该如何一步一步通过一个简单的nodejs爬虫拿到我们想要的数据，首先简单科普一下爬虫的流程，要完成一个爬虫，主要的步骤分为：抓取爬虫爬虫，最重要的步骤就是如何把想要的页面抓取回来。并且能兼顾时间效率，能够并发的同时爬取多个页面。同时，要获取目标内容，需要我们分析页面结构，因为ajax的盛行，许多页面内容并非是一个url就能请求的的回来的，通常一个页面的内容
  • nodejs爬虫（单线程版，后续补充多线程） 我很靐 爬虫爬虫javascript前端node.js
    写在前面nodejs爬虫使用的是request+cheerio+fs，会输出到本地，所以目前是单线程效率，比较慢1page/s可以看到爬的是51CTO的查询页面，用于后续的数据监控和分析。cheerio介绍：https://www.npmjs.com/package/cheeriorequest介绍：https://www.npmjs.com/package/requestfs介绍：http://
  • nodejs爬虫与python爬虫_【nodeJS爬虫】前端爬虫系列 -- 小爬「博客园」 weixin_39732316
    写这篇blog其实一开始我是拒绝的，因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了：）。言归正传，前端同学可能向来对爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如php，python等。当然这是在nodejs前了，nodejs的出现，使得Javascript也可以用来写爬虫了。由于nodejs强大的异步特性，让我们可以轻松以异步高并发去爬取网站，当然这里的轻松指的是cpu
  • nodejs实现爬虫 weixin_34293911 爬虫json数据库
      由于一些原因，我们想要获取某个网站的数据。我们可以通过nodejs爬虫拿到我们希望的数据。要完成一个爬虫，主要的步骤分为：抓取  爬虫，最重要的步骤就是如何把想要的页面抓取回来。并且能够兼顾时间效率，能够并发的爬取多个页面。想要获取目标内容，需要我们分析页面结构。  1、使用nodejs的request模块，获取目标页面的html代码。  2、使用cheerio模块对html模块做处理，拿到需
  • 【nodejs爬虫】使用async控制并发写一个小说爬虫 weixin_30578677 爬虫javascript数据库ViewUI
    最近在做一个书城项目，数据用爬虫爬取，百度了一下找到这个网站，以择天记这本小说为例。爬虫用到了几个模块，cheerio，superagent，async。superagent是一个http请求模块，详情可参考链接。cheerio是一个有着jQuery类似语法的文档解析模块，你可以简单理解为nodejs中的jQuery。async是一个异步流程控制模块，在这里我们主要用到async的mapLimit
  • Nodejs爬虫进阶=>异步并发控制 飞翔的熊blabla
    每个项目产品都会让你加埋点，你是愿意花几天一个个加，还是愿意几分钟一个小时加完去喝茶聊天？来试试这520web工具,高效加埋点，目前我们公司100号前端都在用，因为很好用，所以很自然普及开来了，推荐给大家吧http://www.520webtool.com/自己开发所以免费，埋点越多越能节约时间，点两下埋点就加上了，还不会犯错，里面有使用视频，反正免费之前写了个现在看来很不完美的小爬虫，很多地方没
  • 爬虫知多少-（NodeJS 爬虫） 南方有乔木 【封存】
    爬虫知多少-（NodeJS爬虫）一、爬虫简介二、爬虫的运作方式三、抓取策略（1）深度优先搜索（2）广度优先搜索四、爬虫攻防之爬虫与反爬虫1、校验用户户请求的Headers反爬虫策略：对Headers的User-Agent进行检测对Referer进行检测应对方式：将浏览器的User-Agent复制到爬虫的Headers中将Referer值修改为目标网站域名2、基于用户行为反爬虫反爬虫策略：监控同一I
  • 网络爬虫nodejs爬虫代理配置 Laicaling 网络爬虫数据采集http代理javapython网络
    随着互联网的发展进步，现在互联网上也有许多网络爬虫。网络爬虫通过自己爬虫程序向目标网站采集相关数据信息。当然互联网的网站会有反爬策略。比如某电商网站就会限制一个用户IP的访问频率，从而出现验证码。就算验证码通过了，也不会采集到数据，这也就是所谓的反爬虫策略。所以这种情况下，越来越多的网络爬虫会利用代理IP去进行采集。目标网站限制了一个IP，可以换一个代理IP继续进行业务采集。当然每个人的爬虫程序不
  • 用nodejs爬虫台湾痞客邦相册 高山我梦口香糖 爬虫痞客邦相册
    情景:是这样的,我想保存一些喜欢的小伙伴的照片,一张张保存太慢了,所以我写了个js,放在国外服务器爬,国内的自己解决~使用方法1.点相册随便一张,复制url,这张开始接下来的图片都会保存/***2023年10月23日22:58:44*支持解析痞客邦相册*只需要复制相册第一张图片的url就行****/constaxios=require('axios');constcheerio=require('
  • Nodejs爬虫自动爬取百度图片 zihanzy.com node.js
    本文通过puppeteer实现对百度图片的抓取，这里简单介绍下puppeteerpuppeteer可以使我们编写一套代码控制浏览器动作，“你可以在浏览器中手动执行的绝大多数操作都可以使用Puppeteer来完成”因此Puppeteer常用于测试和爬虫—官方文档示例–爬取百度图片本项目源码已上传至GitHubnpmipuppeteerbufferutilutf-8-validateoptimist1
  • 爬虫黑科技，我是怎么爬取indeed的职位数据的 蓝猫163
    最近在学习nodejs爬虫技术，学了request模块，所以想着写一个自己的爬虫项目，研究了半天，最后选定indeed作为目标网站，通过爬取indeed的职位数据，然后开发一个自己的职位搜索引擎，目前已经上线了，虽然功能还是比较简单，但还是贴一下网址jobsearchengine，证明一下这个爬虫项目是有用的。下面就来讲讲整个爬虫的思路。确定入口页面众所周知，爬虫是需要入口页面的，通过入口页面，不
  • nodejs爬虫实战_nodejs爬虫项目实战 weixin_39980002 nodejs爬虫实战
    这篇文章主要介绍了NodeJS制作爬虫的全过程，包括项目建立，目标网站分析、使用superagent获取源数据、使用cheerio解析、使用eventproxy来并发抓取每个主题的内容等方面，有需要的小伙伴参考下吧。一、依赖1.DOM操作cheerio2.请求插件request二、建立项目node-spider1.建立一个Koa2项目npminstall-gkoa-generator2.生成一个k
  • nodejs爬虫 测试 modi AdleyTales 爬虫
    constaxios=require('axios')//constcheerio=require('cheerio')consturl=require('url')constmysql=require('mysql2')constGEN_URL=(query={})=>{returnurl.format({protocol:'https',hostname:'api.mdnice.com',pa
  • Nodejs爬虫获取天气和每日一句 程序员骚俊
    安装依赖安装node.js,同时安装好依赖：npminstallrequest--save//http请求库npminstallcheerio--save//分析html工具npminstallexpress--save//nodejsweb框架获取墨迹天气地址示例：东莞https://tianqi.moji.com/weather/china/Guangdong/dongguan广州https:
  • nodejs简易爬虫支持代理ip 北方蜘蛛
    nodejs爬虫支持代理IP原创雕虫小技欢迎一起交流学习，废话不说直接上代码constrequest=require("request")consticonv=require('iconv-lite')constcheerio=require("cheerio")const_=require("lodash")constcrypto=require('crypto')classspider{con
  • nodejs爬虫 node + cheerio 爬取滚动加载页面 Tee_ nodejsjs爬虫
    最近在学习nodejs，然后了解到nodejs也可以做爬虫就试了一试还可以就记录一下爬取爱奇艺首页视频标题用到的是node+cheerio,cheerio是jq核心功能的一个快速灵活而又简洁的实现，主要是为了用在服务器端需要对DOM进行操作的地方,感兴趣的小伙伴可以学习一下中文文档和官方文档https://www.jianshu.com/p/629a81b4e013https://cheerio.
  • nodejs索引 秀萝卜
    nodejs下载和入门https://www.jianshu.com/p/1b65e34d1feenodejs爬虫内容https://www.jianshu.com/p/62bce5183042Express5分钟入门https://www.jianshu.com/p/32d1735dfa47Express访问静态文件https://www.jianshu.com/p/1b38aaea3758Ex
  • Nodejs爬虫实战项目之链家 走叉火日立
    效果图开始爬.gif爬完.gif查询数据库.gif百度地图标记.gif思路爬虫究竟是怎么实现的？通过访问要爬取的网站地址，获得该页面的html文档内容，找到我们需要保存的数据，进一步查看数据所在的元素节点，他们在某方面一定是有规律的，遵循规律，操作DOM，保存数据。例如：访问链家新房楼盘链家新房楼盘.png首先，看到这样一个列表，我们需要的数据无非就是楼盘的图片，链接地址，名称，位置，房型，建筑面
  • 随处可见的学习笔记-Redis入门 zephryu
    他山之石，可以攻玉题图--引自网络，侵删，请联系我引言前两天写了个NodeJs爬虫，很简单那种。就是爬取某个网站的首页解析所有的Url然后再爬取内页。这里就带来了一个问题。众所周知，Js是单线程异步的，并以此为卖点。可是在这个场景就有一个很明显的问题。比如首页有30个Url它会一次性解析30个Url然后同时去请求，失败率不可谓不高。类似的场景我曾经使用过用数组来模拟栈用于控制并发，然实在不能说很优
  • nodejs爬虫实战_实战nodejs写网络爬虫 weixin_39938724 nodejs爬虫实战
    自己是写.Net程序出身的，但是这个生态圈……不说了都是泪，一时兴起玩玩nodejs，想着拿什么练个笔，于是就准备复刻一下以前自己写的爬虫，自己一直在用的都是C#.Net写的Winform程序，nodejs正好解决了跨平台的问题。网络上开源的爬虫类应用基本处于两强吧，python遥遥领先，java也有一席之地，python写的爬虫我是拒绝的，我就是饿死……也不用黑乎乎没有gui的程序，但是等等啊，
  • nodejs爬虫笔记(四)---利用nightmare解决加载更多问题 dati4434
    目标：解决页面加载更多问题。笔记三中，我们只爬取到网页的部分信息，而点击加载更多后的页面内容是没有提取到的。开始我的想法是找到加载更多的数据接口（可参照：http://www.jianshu.com/p/3fdb6ab47aef），但是我又发现一个问题，当我打开一个订阅号页面时，找到数据接口如下图，点击response会发现里面有相应的内容，对其进行解析时得到的内容却是空的，也就是说我得不到页面的
  • nodejs爬虫笔记(五)---利用nightmare模拟点击下一页 dati4434
    目标以腾讯滚动新闻为例，利用nightmare模拟点击下一页，爬取所有页面的信息。首先得感谢node社区godghdai的帮助，开始接触不太熟悉nightmare，感觉很高大上，自己写代码的时候问题也很多，多亏大神的指点。一、选择模拟的原因腾讯滚动新闻，是每六十秒更新一次，而且有下一页。要是直接获取页面的话得一页一页的获取，不太方便，又想到了找数据接口，然后通过请求得到数据，结果腾讯新闻的数据接口
  • Nodejs爬虫刷csdn访客+桌面自动化框架Robotjs模拟鼠标，键盘，屏幕事件！ 布莱恩_奥复托_杰森张 娱乐小程序robotjsrobotjsnodejs爬虫大话西游刷访客
    叮铃铃！叮铃铃！老师：“小明你的梦想是什么？”，沉思了一下小明：“额额我想有车有房，自己当老板，媳妇貌美如花，还有一个当官的兄弟”老师：“北宋有一个人和你一样···”；哈喽！大家好！请叫我布莱恩·奥复托·杰森张；爬虫部分！一提到爬虫，好多人先想到python没错就是那个py交易的那个，这货所为是什么都能干上九天揽月下五洋捉鳖无处不出现它的身影鄙人对它也是不得不折服，在爬虫这货缺点在于编码格式上还有
  • 如何使用Nodejs爬虫看漫画 weixin_34319640
    追完动画，刚见到波波，战车这是咋了，啥是镇魂曲啊，怎么就完了，要等周六啊啊啊啊啊啊啊，act3附体，小嘴就像抹了蜜......ヽ(。>д基本信息=>章节列表=>页列表=>图片地址个人比较熟悉node，插件应有尽有，写起来比较顺手，实现如下：//根据编号获取url地址exportasyncfunctiongetIndexUrl(number){leturl=`${baseUrl}/manhua/`;
  • nodejs爬虫——汽车之家所有车型数据 weixin_34356555
    应用介绍项目Github地址：https://github.com/iNuanfeng/node-spider/nodejs爬虫，爬取汽车之家所有车型数据http://www.autohome.com.cn/car/包括品牌，车系，年份，车型四个层级。使用的node模块：superagent,request,iconv;（网络请求模块，iconv用于gbk转码）cheerio;（和jQuery一样
  • xml解析 小猪猪08 xml
    1、DOM解析的步奏 准备工作：    1.创建DocumentBuilderFactory的对象    2.创建DocumentBuilder对象    3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件    4.通过Document的getElem
  • 每个开发人员都需要了解的一个SQL技巧 brotherlamp linuxlinux视频linux教程linux自学linux资料
      对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。 使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式： CREATE TABLE books (   id &
  • Quartz——CronTrigger触发器 eksliang quartzCronTrigger
    转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述 CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。 二.Cron表达式介绍 1）Cron表达式规则表 Quartz
  • Informatica基础 18289753290 InformaticaMonitormanagerworkflowDesigner
    1. 1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。 2）Workflow  Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度 3）Workflow  Monitor：监控Workflow和Session运行情况，生成日志和报告 4）Repository  Manager：
  • linux下为程序创建启动和关闭的的sh文件，scrapyd为例 酷的飞上天空 scrapy
    对于一些未提供service管理的程序  每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件   下面以scrapy启动server为例，文件名为run.sh：   #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口
  • 人--自私与无私 永夜-极光
                今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么?               从客观的角度来看,人有自私的行为,也有无私的
  • Ubuntu安装NS-3 环境脚本 随便小屋 ubuntu
      将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令：   sudo ./ns3environment.sh >>result   这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示     com
  • 创业的简单感受 aijuans 创业的简单感受
           2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。      今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。 当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
  • 如何经营自己的独立人脉 aoyouzi 如何经营自己的独立人脉
    独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。   现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。   以一个普通的银行柜员
  • JSP基础 百合不是茶 jsp注释隐式对象
      1,JSP语句的声明 <%! 声明 %> 　　 声明：这个就是提供java代码声明变量、方法等的场所。 表达式 <%= 表达式 %> 　　 这个相当于赋值，可以在页面上显示表达式的结果， 程序代码段/小型指令　<% 程序代码片段 %>   2,JSP的注释   <!-- -->
  • web.xml之session-config、mime-mapping bijian1013 javaweb.xmlservletsession-configmime-mapping
    session-config 1.定义： <session-config> <session-timeout>20</session-timeout> </session-config> 2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。   mime-mapping 1.定义： <mime-m
  • 互联网开放平台（1） Bill_chen 互联网qq新浪微博百度腾讯
    现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下： 1.淘宝开放平台(TOP) 网址：http://open.taobao.com/ 依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。 目前TOP的三条主线： TOP访问网站：open.taobao.com ISV后台：my.open.ta
  • 【MongoDB学习笔记九】MongoDB索引 bit1129 mongodb
    索引 可以在任意列上建立索引 索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb 使用索引可以加快查询,但同时会降低修改,插入等的性能 内嵌文档照样可以建立使用索引 测试数据     var p1 = { "name":"Jack", "age&q
  • JDBC常用API之外的总结 白糖_ jdbc
    做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。     ResultSetMetaData获取ResultSet对象的元数据信息
  • apache VelocityEngine使用记录 bozch VelocityEngine
    VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。   使用方法如下：     VelocityEngine engine = new VelocityEngine();// 定义模板引擎     Properties properties = new Properties();// 模板引擎属
  • 编程之美-快速找出故障机器 bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; public class TheLostID { /*编程之美 假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。 1.假设在某个时间得到一个数据文件ID的列表，是
  • 关于Java中redirect与forward的区别 chenbowen00 javaservlet
    在Servlet中两种实现： forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response); redirect方式：response.sendRedirect(“/somePage.jsp”); forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
  • [信号与系统]人体最关键的两个信号节点 comsci 系统
            如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做 百汇穴, 另外一个节点在腰部,中医的名称叫做 命门         如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
  • oracle 存储过程执行权限 daizj oracle存储过程权限执行者调用者
    在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。 CREATE OR REPLACE PROCEDURE TestProc  IS    fla
  • 为mysql数据库建立索引 dengkane mysql性能索引
    前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。  最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
  • 学习C语言常见误区 如何看懂一个程序 如何掌握一个程序以及几个小题目示例 dcj3sjt126com c算法
    如果看懂一个程序，分三步   1、流程   2、每个语句的功能   3、试数   如何学习一些小算法的程序 尝试自己去编程解决它，大部分人都自己无法解决 如果解决不了就看答案 关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点 看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义 照着答案去敲 调试错误
  • centos6.3安装php5.4报错 dcj3sjt126com centos6
    报错内容如下: Resolving Dependencies --> Running transaction check ---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed --> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
  • JSONP请求 flyer0126 jsonp
          使用jsonp不能发起POST请求。 It is not possible to make a JSONP POST request. JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
  • Spring Security（03）——核心类简介 234390216 Authentication
    核心类简介 目录 1.1     Authentication 1.2     SecurityContextHolder 1.3     AuthenticationManager和AuthenticationProvider 1.3.1  &nb
  • 在CentOS上部署JAVA服务 java--hhf javajdkcentosJava服务
        本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行     第一步：卸载旧Linux自带的JDK ①查看本机JDK版本 java -version    结果如下 java version "1.6.0"
  • oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date] ldzyz007 oraclemysqlSQL Server
    oracle                                &n
  • 记Protocol Oriented Programming in Swift of WWDC 2015 ningandjin protocolWWDC 2015Swift2.0
    其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭， 把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。 通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
  • 搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS rensanning keepalived
    （一）Keepalived （1）安装 # cd /usr/local/src # wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz # tar zxvf keepalived-1.2.15.tar.gz # cd keepalived-1.2.15 # ./configure # make &a
  • ORACLE数据库SCN和时间的互相转换 tomcat_oracle oraclesql
    SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换； 　　 用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了； 　 　操作方法： 　　1、通过dbms_f
  • Spring MVC 方法注解拦截器 xp9802 spring mvc
    应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。 python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理 先看一个实例,使用@access_required拦截： ?
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他