一、什么是抓取異常?
對(duì)于普通用戶在互聯(lián)網(wǎng)上可以正常訪問的內(nèi)容,Baiduspider不能正常訪問和抓取的情況是抓取的例外。
二、異常爬行對(duì)網(wǎng)站有什么影響?
對(duì)于內(nèi)容量大、不能正常抓取的網(wǎng)站,搜索引擎會(huì)認(rèn)為網(wǎng)站在用戶體驗(yàn)上存在缺陷,降低對(duì)網(wǎng)站的評(píng)價(jià)。在抓取、索引和權(quán)重方面,都會(huì)受到一定程度的負(fù)面影響,終影響到網(wǎng)站從百度獲得的流量。
三、什么是服務(wù)器連接異常?
服務(wù)器連接異常有兩種情況:一是網(wǎng)站不穩(wěn)定,百度pider在嘗試連接時(shí)暫時(shí)無法連接到您網(wǎng)站的服務(wù)器;二是百度pider一直無法連接到您網(wǎng)站的服務(wù)器。
服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器太大和過載。您的網(wǎng)站也可能運(yùn)行不正常。請(qǐng)檢查網(wǎng)站的web服務(wù)器(如Apache、IIS)是否正常安裝和運(yùn)行,并使用瀏覽器檢查主頁面是否可以正常訪問。您的網(wǎng)站和主機(jī)也可能會(huì)阻止Baiduspider的訪問。你需要檢查網(wǎng)站和主機(jī)的防火墻。
四、網(wǎng)絡(luò)運(yùn)營(yíng)商異常是什么?
有兩種網(wǎng)絡(luò)運(yùn)營(yíng)商:電信和聯(lián)通。百度pider無法通過電信或網(wǎng)通訪問您的網(wǎng)站。如果發(fā)生這種情況,您需要聯(lián)系網(wǎng)絡(luò)服務(wù)提供商,或購(gòu)買空間與二線服務(wù)或CDN服務(wù)。
五、什么是DNS例外?
當(dāng)Baiduspider無法解析您網(wǎng)站的IP時(shí)發(fā)生DNS異常??赡苁悄W(wǎng)站的IP地址有誤,或者域名服務(wù)商已經(jīng)禁止了Baiduspider。請(qǐng)使用whois或host檢查您網(wǎng)站的IP地址是否正確和可解析。如果沒有,請(qǐng)聯(lián)系域名注冊(cè)商更新您的IP地址。
六、什么是IP阻塞?
IP封鎖:限制網(wǎng)絡(luò)的退出IP地址,禁止IP段的用戶訪問內(nèi)容。
此設(shè)置僅在您的網(wǎng)站不希望百度pider訪問時(shí)才需要。如果您希望百度pider訪問您的網(wǎng)站,請(qǐng)檢查百度pider IP是否錯(cuò)誤地添加到相關(guān)設(shè)置中。你的網(wǎng)站所在的空間服務(wù)提供商也有可能禁止百度IP。此時(shí),您需要聯(lián)系服務(wù)提供商以更改設(shè)置。
七、什么是行動(dòng)單位禁令?
UA是用戶代理。服務(wù)器通過UA識(shí)別訪客的身份。當(dāng)一個(gè)網(wǎng)站訪問一個(gè)指定的UA并返回一個(gè)異常頁面(如403500)或跳轉(zhuǎn)到另一個(gè)頁面時(shí),稱為UA阻塞。
此設(shè)置僅在您不希望Baidu pider訪問您的網(wǎng)站時(shí)才需要。如果你想百度皮德訪問你的網(wǎng)站,是否有百度皮德魯在用戶代理相關(guān)設(shè)置并及時(shí)修改它。
八、什么是死鏈?
頁面無效,無法向用戶提供任何有價(jià)值信息的頁面為死鏈接,包括協(xié)議死鏈和內(nèi)容死鏈。
協(xié)議死鏈:頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)清楚地表示出死鏈,如404、403、503狀態(tài)等。
內(nèi)容死鏈:服務(wù)器返回的狀態(tài)是正常的,但內(nèi)容已被更改為不存在的、已被刪除或需要權(quán)限的信息頁,與原始內(nèi)容無關(guān)。
對(duì)于死鏈,建議將死鏈提交百度站長(zhǎng)平臺(tái)死鏈工具進(jìn)行處理,使搜索引擎更快地找到死鏈,減少死鏈對(duì)用戶和搜索引擎的負(fù)面影響。
九、什么是異常跳躍?
將網(wǎng)絡(luò)請(qǐng)求重定向到另一個(gè)位置是一個(gè)跳轉(zhuǎn)。異常跳轉(zhuǎn)指以下情況
一、當(dāng)前頁面為無效頁面(內(nèi)容已被刪除、死鏈等),直接跳轉(zhuǎn)到上一個(gè)目錄或首頁,百度建議站長(zhǎng)刪除無效頁面的入口超鏈接
注:如果長(zhǎng)期跳轉(zhuǎn)到其他域名,如在網(wǎng)站上更改域名,百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。
十、還有哪些例外情況?
對(duì)于百度推薦人的例外情況:網(wǎng)頁返回的行為與百度推薦人的正常內(nèi)容不同。
對(duì)于Baidu-UA的例外:網(wǎng)頁返回Baidu-UA的行為與頁面的原始內(nèi)容不同。
JS跳轉(zhuǎn)異常:網(wǎng)頁加載了百度無法識(shí)別的JS跳轉(zhuǎn)代碼,用戶通過搜索結(jié)果進(jìn)入網(wǎng)頁后跳轉(zhuǎn)。
意外阻塞造成的壓力過大:百度會(huì)根據(jù)網(wǎng)站規(guī)模、訪問量等信息自動(dòng)設(shè)置合理的抓取壓力。但在壓力控制異常等異常情況下,服務(wù)器會(huì)根據(jù)自身負(fù)載進(jìn)行保護(hù)意外閉鎖。在這種情況下,請(qǐng)?jiān)诜祷卮a中返回503(意思是“服務(wù)不可用”),以便百度蜘蛛在一段時(shí)間內(nèi)再次嘗試獲取鏈接。如果該網(wǎng)站處于空閑狀態(tài),則將成功獲取該網(wǎng)站。