卓仁SEO培訓
15 12月

robots.txt文件禁止抓取為什么還被收錄

當前位置: 卓仁SEO > 網站優化 > robots.txt文件禁止抓取為什么還被收錄
分類: 網站優化 作者:成都seo 發布時間:2019-12-15 15:35 圍觀: 172

robots.txt文件禁止抓取為什么還被收錄,Txt文件是禁止抓取的為什么它還包含在內有時候我不想讓搜索引擎抓取一些內容。我可以將robots.txt文件寫入根目錄。理論上,蜘蛛將首先讀取該文件,并根據機器人協議獲取相應的內容。然而,許多站長發現蜘蛛沒有遵守這個協議。

為了驗證這個問題,在測試之后,發現如果蜘蛛已經捕獲并且具有索引和快照,那么此時寫入robots.txt文件將不符合這個協議。一般來說,禁止在機器人中捕捉文件夾,如下所示。

meta name=' robots ' c' no index,跟隨"

別擔心,向頁面添加元語句

該語句意味著蜘蛛可以繼續沿著路徑捕獲內容,而無需建立索引。我想這會刪除已經包含的快照。一些網民說需要等待,時間不好。

百度有規則來判斷頁面質量。如果重復頁面太多,它們將被降級,甚至從索引庫中刪除。將世界從索引數據庫中移出需要很長時間。一般來說,網站的調整后的收集量會減少,但不會大大減少,因為一些垃圾頁面只有在算法更新后才會被移出索引數據庫。這對正常搜索引擎優化實踐的站長來說是件好事,垃圾頁面會影響網站的排名。

robots和nofollow標簽都可以控制蜘蛛的抓取范圍,但是這兩個標簽的用法不同。

簡單地說,nofollow主要是集中某個頁面的權重,而robots.txt文件控制整個網站的抓取范圍。問題是,為什么很多時候蜘蛛不遵守我們的robots協議呢?(有些垃圾蜘蛛根本不符合機器人協議)蜘蛛主要指百度蜘蛛和谷歌蜘蛛。

1。寫入錯誤

robots.txt文件的寫入格式是逐行的,不能連續寫入。例如

2。要正確寫入

每條記錄需要另一行。每條記錄中不允許有空行??招杏糜趧澐植煌挠涗?。例如:

大部分時間搜索引擎抓取您的機器人. txt文件中不允許抓取的內容,不是因為機器人不遵守它,而是從抓取到索引到顯示需要一段時間。當搜索引擎已經抓取時,您只需更新它,那么先前抓取的內容將不會被如此快速地刪除,刪除周期是不規則的,并且通常在算法更新后更有效。

文章作者:卓仁SEO培訓
文章標題:robots.txt文件禁止抓取為什么還被收錄
本文地址:http://www.metrotorontoug.com/wzyh/15353.html

相關文章:

返回頂部
传奇电玩捕鱼