爬蟲在互聯(lián)網(wǎng)世界中有很多的作用,比如:
1.數(shù)據(jù)采集,比如:
• 抓取微博評(píng)論(機(jī)器學(xué)習(xí)輿情監(jiān)控)
• 抓取招聘網(wǎng)站的招聘信息(數(shù)據(jù)分析、挖掘)
• 新浪滾動(dòng)新聞
• 百度新聞網(wǎng)站
2.軟件測(cè)試
• 爬蟲之自動(dòng)化測(cè)試
自動(dòng)化測(cè)試所必需的selenium . selenium是一個(gè)用于Web應(yīng)用程序測(cè)試的工具,selenium 測(cè)試直接運(yùn)行在瀏覽器中,就像真正的用戶在操作一樣。 支持的瀏覽器包括IE,chrome和Firefox等。其實(shí)就是借助于selenium做爬蟲的事情。
3.搶票和投票
• 12306搶票
• 投票網(wǎng)
4.網(wǎng)絡(luò)安全
• 短信轟炸
• web漏洞掃描