因為近大連網(wǎng)站建設(shè)的網(wǎng)站收錄異常,為了弄清楚網(wǎng)站的情況,查看網(wǎng)站日志是工作之一。通過日志我們可以清楚的知道,一天百度蜘蛛會來多少次。
現(xiàn)在介紹一下百度蜘蛛,它主要的功能就是抓取網(wǎng)頁,我們稱它為百度蜘蛛,英文名叫Baiduspider。我們通過網(wǎng)站日志就可以看出網(wǎng)站蜘蛛一天中的哪一個時間到網(wǎng)站中來了,通過分析蜘蛛抓取情況去分析網(wǎng)站。蜘蛛抓取網(wǎng)站內(nèi)內(nèi)容的頻率可以判斷蜘蛛的活躍程度,主要以狀態(tài)碼顯示。
如何查看網(wǎng)站日志?這個很多站長都不太了解,下面就簡單的來介紹一下。首先要通過FTP找到你網(wǎng)站的日志文件,要從根目錄里去找尋,其中會包含一個叫l(wèi)og的文件名,之后解壓下載到記事本中,記事本中的內(nèi)容就是網(wǎng)站日志了。
因為不同的服務(wù)器和不同的主機,所以日志所記錄下來的內(nèi)容也就會有差別。下面就來從日志的內(nèi)容中看一下。
比如我們的論壇帖:61.191.54.51 - - [11/Jan/2012:04:02:45 +0800] "GET /bbs/thread-903-1-1.html HTTP/1.1" 200 3450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
其中bbs/thread-903-1-1.html 這個頁面被抓取了。后面的200就代表著蜘蛛抓取成功,后面的3450表示成功抓取的字節(jié)數(shù)。如果你的日志格式和這里的不同,只能說明網(wǎng)站格式在設(shè)置上有所不同。另外還有些情況就是200 0 0 或者200 0 64 這都是沒有問題的。
掃一掃
關(guān)注新圖聞科技
全國咨詢熱線
186-0984-0880