網(wǎng)頁防采集策略
目前防采集的方法有很多種，先介紹一下常見防采集策略方法和它的弊端及采集對策：
一、判斷一個IP在一定時間內(nèi)對本站頁面的訪問次數(shù)，如果明顯超過了正常人瀏覽速度，就拒絕此IP訪問。
弊端：
1、此方法只適用于動態(tài)頁面，如：asp/jsp/php等...靜態(tài)頁面無法判斷某個IP一定時間訪問本站頁面的次數(shù)。
2、此方法會嚴(yán)重影響搜索引擎蜘蛛對其收錄，因?yàn)樗阉饕嬷┲胧珍洉r，瀏覽速度都會比較快而且是多線程。此方法也會拒絕搜索引擎蜘蛛收錄站內(nèi)文件。
采集對策：只能放慢采集速度，或者不采。
建議：做個搜索引擎蜘蛛的IP庫，只允許搜索引擎蜘蛛快速瀏覽站內(nèi)內(nèi)容。搜索引擎蜘蛛的IP庫的收集，也不太容易，一個搜索引擎蜘蛛，也不一定只有一個固定的IP地址。
評論：此方法對防采集比較有效，但卻會影響搜索引擎對其收錄。
二、用javascript加密內(nèi)容頁面
弊端：此方法適用于靜態(tài)頁面，但會嚴(yán)重影響搜索引擎對其收錄情況，搜索引擎收到到的內(nèi)容，也都是加密后的內(nèi)容。
采集對策：建議不采，如非要采，就把解密碼的JS腳本也采下來。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。
三、把內(nèi)容頁面里的特定標(biāo)記替換為”特定標(biāo)記+隱藏版權(quán)文字“
弊端：此方法弊端不大，僅僅會增加一點(diǎn)點(diǎn)的頁面文件大小，但容易反采集。
采集對策：把采集來的含有隱藏版權(quán)文字內(nèi)容的版權(quán)文字替掉，或替換成自己的版權(quán)。
建議：目前沒有好的改良建議。
評論：自己感覺實(shí)用價值不大，就算是加上隨機(jī)的隱藏文字，也等于畫蛇添足。
四、只允許用戶登陸后才可以瀏覽
弊端：此方法會嚴(yán)重影響搜索引擎蜘蛛對其收錄
采集對策：目前落伍已經(jīng)有人發(fā)了對策文章 ，具體對策就看這個吧《ASP小偷程序如何利用XMLHTTP實(shí)現(xiàn)表單的提交以及cookies或session的發(fā)送》。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的采集程序，還是有點(diǎn)效果的。
五、用javascript、vbscript腳本做分頁
弊端：影響搜索引擎對其收錄。
采集對策：分析javascript、vbscript腳本，找出其分頁規(guī)則，自己做個對應(yīng)此站的分頁集合頁即可。
建議：目前沒有好的改良建議。
評論：感覺懂點(diǎn)腳本語言的人都能找出其分頁規(guī)則。
六、只允許通過本站頁面連接查看，如：Request.ServerVariables(“HTTP_REFERER“)
弊端：影響搜索引擎對其收錄。
采集對策：不知道能不能模擬網(wǎng)頁來源。。。。目前我沒有對應(yīng)此方法的采集對策。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的采集程序，還是有點(diǎn)效果的。
從以上可以看出，目前常用的防采集方法，要么會對搜索引擎收錄有較大影響，要么防采集效果不好，起不到防采集的效果。那么，還有沒有一種有效防采集，而又不影響搜索引擎收錄的方法呢？那就請繼續(xù)往下看吧！
1、用不同的模板
對于用程序的網(wǎng)站來說，不大可行，一個網(wǎng)站的模板多也就幾套吧。
2、使用robots禁止訪問網(wǎng)頁目錄
這個方法可以有效的防止采集，不過將搜索引擎也封掉了，對于靠搜索引擎吃飯的站長們來說，得不償失。
一個例子，Disallow 后面就是禁止訪問的目錄：
2 [轉(zhuǎn)帖]網(wǎng)頁防采集策略
User-agent: *
Disallow: /admin
Disallow: /attachments
Disallow: /images
Disallow: /forumdata
Disallow: /include
3、使用HTTP_REFERER禁止采集，發(fā)現(xiàn)來自非本站連接就禁止察看葉面，就像前一段落伍im286.net防DDOS那個禁止調(diào)用一樣。
這個方法可以比較有效的防止采集，不過也一樣把搜索引擎封掉了，對于靠搜索引擎吃飯的站長們來說，得不償失。
對高手無效，因?yàn)镠TTP_REFERER可以偽造。但對一般使用采集的人來說，已經(jīng)足夠應(yīng)付了。
例：
php
if(preg_replace("/https?://([^/]+).*/i", "1", $HTTP_SERVER_VARS['HTTP_REFERER']) != $HTTP_SERVER_VARS['HTTP_HOST']) {
exit('警告----你的操作已經(jīng)被禁止.http://www.xinhezi.cn;);
}
4、使用HTTP_REFERER偽造內(nèi)容
這個方法可以比較有效的防止采集，不過對于搜索引擎來說，查到的東西跟你偽造的東西一樣的，可能會影響收錄。(如有不對，請高手指出)
同上，對于高手無效。
5、使用java加密內(nèi)容。
這個可能會比較有效，但是我對java一竅不通，也就不清楚如何入手了。
但我想，既然你這樣使得別人采集到亂碼，搜索引擎有可能也是收錄到亂碼的(我不清楚搜索引擎怎么工作，不過我猜測他們是察看網(wǎng)頁源代碼的。)，也就影響收錄。
6、使用java加密網(wǎng)址
同上，有可能讓搜索引擎無法搜索到你的網(wǎng)頁。
7、生成pdf文件、生成圖片
這個方法可以比較有效的防止采集，不過照樣讓搜索引擎望而卻止。
8、加上自己的版權(quán)信息
這個方法大的好處就是不影響搜索引擎，效果馬馬虎虎，一般上可以讓采集者采集到帶有自己版權(quán)的稿件內(nèi)容。但是對于可以過濾廣告的采集程序來說，不大有效。
以下是作者給俺的PM:
Quote:
你的版權(quán)是不是加了你的網(wǎng)站和網(wǎng)址?
只要把網(wǎng)址和網(wǎng)站名替換成他的就可以了啊.這樣還讓他有了版權(quán)功能呢.
反正防采真是頭疼....
有點(diǎn)麻煩，我的思路是將網(wǎng)站名稱分成一個一個字來顯示，他不可能將每個字都替換掉吧？不過要這樣我就沒辦法了。比如說我將我的 武俠網(wǎng) 拆開，分成
武俠網(wǎng)
，$rand_color*是隨機(jī)顏色，可以自己控制的，如果是動態(tài)網(wǎng)頁的話，還配合HTTP_REFERER來搞隨機(jī)，這樣子隨機(jī)性就更大了。一般上，盡量制造難度就是了。模板也可以制造隨機(jī)性，幾個相似的模板輪流來弄，這樣子讓人采集的難度更大。
不過說實(shí)話，要使他們真要搞，那是沒辦法的事，不過至少要花他們很多的時間去研究。在此之前，他們可能沒耐性轉(zhuǎn)向別的站了。
另外，好不要讓人知道你使用隨機(jī)函數(shù)。一般人只是稍微看一下網(wǎng)頁代碼，就開始采集了。
3 回復(fù):[轉(zhuǎn)帖]網(wǎng)頁防采集策略
防采集程序
下午無聊寫著完，寫完后自己仔細(xì)看了看防止采集還是有一定的效果的，哈哈，要的拿去用吧！
<%
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒內(nèi)請求限制10次
AppealCount=Request.Cookies("AppealCount")
If AppealCount="" Then
response.Cookies("AppealCount")=1
AppealCount=1
response.cookies("AppealCount").expires=dateadd("s",60,now())
Else
response.Cookies("AppealCount")=AppealCount+1
response.cookies("AppealCount").expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
response.write "歇一會兒吧！整天采集你煩不煩啊！"
response.end
End If
%>
4 回復(fù):[轉(zhuǎn)帖]網(wǎng)頁防采集策略
[討論]防采集這幾天上網(wǎng)，竟然也現(xiàn)我的整站被人家全部采集去了。暈倒，幾年的資料就這樣便宜人家。
還好，人家是個懶蟲，欄目都不分，鬼才會去看。
這樣才想起怎樣防止采集的方法。
注意，只是討論可行性，還沒有提供解決方案。
采集與搜索引擎的機(jī)器人不同。采集需要對網(wǎng)頁進(jìn)行分析，以找到規(guī)則，分別對標(biāo)題和內(nèi)容進(jìn)行讀取并記錄到數(shù)據(jù)庫中。
如果我們能夠把網(wǎng)頁做成沒有規(guī)則，采集也就無從入手了。
說到規(guī)則，我就想趣了空格。
空格這東西，在HTM的<>中，并不產(chǎn)生作用，也就是說，一個空格的位置，你多加幾個也是沒關(guān)系的。象<table>你可以寫成< table>,<table >,< table >。都可以，所以，如果在網(wǎng)頁里面，特別是采集程序重點(diǎn)分析的位置，我們利用程序，在這些位置加些空格，采集也就難以下手了，就算采到了，也就幾篇而已，影響不大。
我準(zhǔn)備這樣做，象原來在模板中的<table>，我會改成<{$space1$}table{$space2$}>,在這里，{$space1$}和{$space2$}是自定義標(biāo)簽(也可以融合到程序中)，然后在程序中使用隨機(jī)數(shù)來決定這兩個標(biāo)簽用多少個空格來代替。
呵呵，人家現(xiàn)在想用<table>來做為特征采集是完全做不到的了。但對于我的網(wǎng)頁，顯示上一點(diǎn)影響也沒有，對于搜索引擎的機(jī)器人也一點(diǎn)影響沒有。
我想這應(yīng)該是合適的方法。
希望做過采集或改過采集的討論一下。
