我想從一個有些人會混淆的問題開始。為什么我要故意解釋上面的文章和網(wǎng)頁的數(shù)量？這是因為文章的數(shù)量不等于網(wǎng)頁的數(shù)量。然而，有些人在檢查錄音音量時忽略了這一常識。例如，如果一個網(wǎng)站上的文章數(shù)（或個人信息數(shù)）是30萬篇，搜索引擎通過網(wǎng)站等語法收集的文章數(shù)是29萬篇，你會覺得你的收集幾乎是一樣的，但可能與現(xiàn)實相去甚遠(yuǎn)。

因為一個頁面將派生出許多其他頁面。如果打開一個文章頁面并計算其中的url，除了模板上重復(fù)的url外，某些url只在當(dāng)前頁面上可用，而當(dāng)前頁面是從該頁面派生的。而一個URL對應(yīng)一個頁面，所以一個網(wǎng)站上的頁面數(shù)是網(wǎng)站上信息量的幾倍，有時甚至超過10倍或20倍。

所以在看這個“總抓取”之前，你需要計算一下你的網(wǎng)站上可能有多少頁面。您可以使用lynx online提取每種類型頁面的URL并進(jìn)行查看。如果知道網(wǎng)頁總數(shù)，然后將其與“爬行總數(shù)”進(jìn)行比較，就可以知道數(shù)據(jù)是好是壞。我認(rèn)為基本上，如果Google crawler的爬網(wǎng)量是網(wǎng)站頁面數(shù)的2倍以上，那么這個爬網(wǎng)量就是合格的，百度crawler需要更多。因為事實上，這個爬行卷中有很多重復(fù)的爬行，而且與前一天相比，每天都沒有多少新的頁面爬行。

這三個數(shù)據(jù)：“訪問次數(shù)”、“總停留時間”和“總抓取次數(shù)”。數(shù)字越高，對網(wǎng)站越好，所以有很多方法可以改進(jìn)。大多數(shù)時候，看它們的***值是沒有用的，但要看現(xiàn)在值和過去值的比較。如果你能每天跟蹤這些數(shù)據(jù)的變化，你就能知道有多少因素影響這些數(shù)據(jù)。

有時，當(dāng)前數(shù)據(jù)的值并不一定有意義，但對數(shù)據(jù)變化的長期跟蹤可以發(fā)現(xiàn)有多少因素相互影響。

1、然后是“目錄抓取”的數(shù)據(jù)：

此“目錄”捕獲的數(shù)據(jù)是“抓取總數(shù)”的一個子部分。在網(wǎng)站中，必須有關(guān)鍵頁和非關(guān)鍵頁。這些數(shù)據(jù)可以讓您看到哪些類型的頁面被抓取得更多，并及時進(jìn)行一些調(diào)整。

2、然后是“頁面抓取”的數(shù)據(jù)：

在“蜘蛛IP排名”數(shù)據(jù)中，計算每個爬蟲IP的訪問狀態(tài)：

如果你分析過很多網(wǎng)站，你會發(fā)現(xiàn)爬蟲訪問一個站點會在一段特定的時間內(nèi)關(guān)注一個C段。這是由搜索引擎的原理決定的，感興趣的朋友可以查詢相關(guān)書籍。了解這個特性有時會很有用。

報告中有一個查詢IP地址的函數(shù)。您可以查詢爬網(wǎng)程序IP地址是否為真。如上圖紅色框所示，它是一個偽裝成谷歌爬蟲的收藏家。

這些數(shù)據(jù)與上述所有數(shù)據(jù)相同，通過前后對比可以發(fā)現(xiàn)更多的信息。

3、以下是關(guān)鍵字分析的數(shù)據(jù)：

只要你的網(wǎng)站日志是完整的，具有日志拆分功能，就相當(dāng)于擁有了一個數(shù)據(jù)倉庫，此時要查看網(wǎng)站的數(shù)據(jù)。

我還建議你拆分爬蟲的爬蟲軌跡，拆分某個爬蟲IP的爬蟲路徑，觀察其爬蟲路徑，然后與網(wǎng)站上的URL相對應(yīng)，就可以了解很多爬蟲規(guī)則。

實際上，我們應(yīng)該開發(fā)一個日志合并函數(shù)，但是這個函數(shù)太簡單了。一般來說，我們可以在DOS中使用copy命令來解決這個問題：

這樣，你就可以把網(wǎng)站一周、一個月甚至半年的日志合并起來進(jìn)行分析?！惫饽闟EO日志分析系統(tǒng)”是支持無限日志分析，只要你有時間。

在“設(shè)置-性能設(shè)置”中，有兩件事需要注意。一個是“蜘蛛計算間隔”，即seo蜘蛛即使離開也沒有活動的時間。我們在每次對比分析時都要注意同一時間，因為這里的時間是變化的，所以爬行動物的訪問量也會變化。還有“分析顯示編號”?，F(xiàn)在您可以自己定義要在報表中顯示多少行數(shù)據(jù)。默認(rèn)情況下只有5行。