哎，說到爬蟲被封這事兒，我可太有發(fā)言權(quán)了。記得去年做項(xiàng)目的時(shí)候，我那個(gè)爬蟲連續(xù)被封了17次，氣得我差點(diǎn)把鍵盤砸了。你說現(xiàn)在這些網(wǎng)站都怎么回事，防爬蟲跟防賊似的。
最開始我用的是免費(fèi)代理，那叫一個(gè)慘烈啊。速度慢得像蝸牛不說，成功率還低得可憐。有一次我開著爬蟲去吃飯，回來一看，好家伙，2000個(gè)請(qǐng)求就成功了23個(gè)。這哪是爬蟲啊，簡(jiǎn)直就是個(gè)殘疾蜘蛛。后來我才明白，免費(fèi)代理池里90%的IP早就被各大網(wǎng)站拉黑了，用這種IP去爬數(shù)據(jù)，不封你封誰？
說到IP被封，有個(gè)特別搞笑的事。有次我用了個(gè)代理，剛發(fā)第一個(gè)請(qǐng)求就被封了。后來查日志發(fā)現(xiàn)，這個(gè)IP的前任用戶估計(jì)是在搞什么違法操作，把IP搞得臭名昭著。這就好比租房子，前租客在屋里制毒，警察一來先把房子查封了，你說冤不冤？
其實(shí)吧，代理IP的選擇特別講究。你以為隨便找個(gè)高匿代理就完事了？太天真了。有些代理說是高匿，結(jié)果HTTP頭里明晃晃地寫著"via:proxy"，這不是自投羅網(wǎng)嗎？我現(xiàn)在的做法是，每個(gè)代理IP都要先用小號(hào)測(cè)試，看看headers干不干凈，存活時(shí)間怎么樣。這就像找對(duì)象，不能光看外表，得深入了解才行。
說到headers，有個(gè)坑我踩得特別慘。有次我精心準(zhǔn)備了各種headers，連Accept-Language都設(shè)置了七八種，結(jié)果還是被封。后來才發(fā)現(xiàn)問題出在User-Agent上。我用的是最新版的Chrome UA，但訪問的卻是個(gè)老古董網(wǎng)站，這不明擺著告訴人家"我是爬蟲"嗎？現(xiàn)在我的UA庫里有上百個(gè)不同版本，根據(jù)目標(biāo)網(wǎng)站的年代隨機(jī)選擇。
頻率控制也是個(gè)技術(shù)活。你以為設(shè)置個(gè)固定延遲就安全了？人又不是機(jī)器人，誰瀏覽網(wǎng)頁會(huì)每5.3秒點(diǎn)一次啊。我現(xiàn)在都是用隨機(jī)延遲，2-10秒不等，有時(shí)候還會(huì)故意停頓個(gè)幾分鐘。這招是從反偵察電影里學(xué)的，特工跟蹤還得講究個(gè)若即若離呢。
最坑爹的是驗(yàn)證碼。有些網(wǎng)站特別賤，看著你爬得好好的，突然就彈出個(gè)驗(yàn)證碼。后來我發(fā)現(xiàn)，他們其實(shí)是在監(jiān)測(cè)鼠標(biāo)移動(dòng)軌跡。真人操作鼠標(biāo)會(huì)有微小的不規(guī)則抖動(dòng)，而程序控制的移動(dòng)軌跡太完美了。現(xiàn)在我給爬蟲加了個(gè)"手抖"功能，模仿人類的不規(guī)則移動(dòng)，效果還不錯(cuò)。
cookie管理也是個(gè)大學(xué)問。有些新手喜歡每次請(qǐng)求都帶一樣的cookie，這不是等著被封嗎？我現(xiàn)在是每次會(huì)話都用新cookie，而且會(huì)根據(jù)頁面停留時(shí)間來決定什么時(shí)候丟棄。這就像去超市，總不能每次都穿同樣的衣服，走同樣的路線吧？
說到這個(gè)，我想起個(gè)笑話。有次我爬一個(gè)電商網(wǎng)站，為了裝得像真人，還給爬蟲設(shè)置了"瀏覽習(xí)慣"——先看首頁，接著搜索關(guān)鍵詞，點(diǎn)幾個(gè)商品，末尾才爬目標(biāo)數(shù)據(jù)。結(jié)果你猜怎么著？系統(tǒng)給我推薦了一堆女性內(nèi)衣，而我爬的明明是五金工具?？磥韨窝b得太成功也不是什么好事。
IP輪換策略也很重要。有些人是按順序輪換，這樣太容易被識(shí)別了。我現(xiàn)在是用哈希算法，根據(jù)目標(biāo)URL計(jì)算該用哪個(gè)IP。這樣同樣的URL永遠(yuǎn)用同一個(gè)IP訪問，不會(huì)出現(xiàn)一個(gè)頁面被多個(gè)IP輪番轟炸的情況。這招是從負(fù)載均衡里偷學(xué)來的。
對(duì)了，還有個(gè)特別陰險(xiǎn)的陷阱——指紋識(shí)別?，F(xiàn)在很多網(wǎng)站會(huì)收集瀏覽器指紋，包括canvas、webgl這些特征。我用headless瀏覽器時(shí)就栽在這上面，后來不得不給每個(gè)實(shí)例都隨機(jī)生成不同的指紋配置。這感覺就像每次出門都要易容，累是累了點(diǎn)，但安全啊。
末尾說個(gè)血的教訓(xùn)。有次我爬得太high，完全沒注意流量控制，結(jié)果直接把人家網(wǎng)站搞掛了。第二天就收到了律師函，嚇得我趕緊停掉所有爬蟲?，F(xiàn)在我都嚴(yán)格遵守robots.txt，還會(huì)故意把請(qǐng)求間隔拉長(zhǎng)。畢竟咱們是來"借"數(shù)據(jù)的，不是來拆房子的，對(duì)吧？
其實(shí)說到底，爬蟲和反爬蟲就是個(gè)貓鼠游戲。你今天想出個(gè)新招，明天人家就升級(jí)防御。關(guān)鍵是要保持敬畏之心，別把網(wǎng)站搞垮了，也別把自己搞進(jìn)局子里。我現(xiàn)在每次寫爬蟲前都會(huì)先問問自己：如果我是網(wǎng)站管理員，會(huì)怎么對(duì)付這樣的爬蟲？換個(gè)角度思考，很多問題就迎刃而解了。
你說這年頭做爬蟲容易嗎？既要技術(shù)過硬，又要懂心理學(xué)，還得有點(diǎn)黑客思維。不過話說回來，正是這種斗智斗勇的過程，才讓這個(gè)工作變得有意思，不是嗎？
