{首页主词},&

　　爬蟲占總PV(PV是指頁面的訪問次數(shù)，每打開或刷新一次頁面，就算做一個pv)比例較高，服務器的壓力上升，能力下降。

　　2018年2月24日晚，卓見云某客戶網(wǎng)站公網(wǎng)出流量突然爆發(fā)性增長，導致帶寬被占滿，事故發(fā)現(xiàn)后緊急提升了SLB的帶寬，但提升后的帶寬仍然被流量占滿(原帶寬15M，提升至35M)。由于事故發(fā)生在非黃金訪問時段，正常流量不會這么大，加上其他現(xiàn)象，懷疑是遭到了網(wǎng)絡攻擊。

　　再比如某節(jié)某動為了快速發(fā)展搜索業(yè)務派出爬蟲四處暴力抓取網(wǎng)站內(nèi)容，部分配置較低的網(wǎng)站已經(jīng)直接癱瘓，給中小網(wǎng)站主們造成了很大的損失和困擾，嚴重影響了網(wǎng)站正常的用戶訪問。

　　某中小網(wǎng)站今年7月份，他突然發(fā)現(xiàn)公司的網(wǎng)站經(jīng)常性打不開，網(wǎng)頁加載極其緩慢，有時甚至直接癱瘓。經(jīng)過一系列排查后，在服務器日志上發(fā)現(xiàn)了bytespider爬蟲的痕跡。該爬蟲抓取的頻率每天達幾百萬次，高則上千萬次，服務器帶寬負載飆至100%，而且該爬蟲在抓取時完全不遵守網(wǎng)站的robots協(xié)議。

　　有小網(wǎng)站主抱怨表示：某節(jié)某動的爬蟲“一上午對網(wǎng)站發(fā)出46萬次請求”，網(wǎng)站都癱瘓了，度娘也沒有這么折騰的!

　　可能原因分析：

　　1、商業(yè)對手，出于競爭需要，采用爬蟲獲取信息。

　　2、搜素引擎抽風。

　　3、“三月份爬蟲”，應屆畢業(yè)生為交論文常在這個時間點在網(wǎng)上爬取數(shù)據(jù)，此類爬蟲通常簡單粗暴，不管服務器壓力。

　　4、近期做的推廣活動帶來訪問壓力增加。

　　公司可免費查詢的資源被批量抓走，喪失競爭力。

　　數(shù)據(jù)可以在非登錄狀態(tài)下直接被查詢，比如下方的招聘信息