我們經常會發現搜索引擎優化爬蟲都非常喜歡爬取首頁，以前認為大量爬取首頁是好事，因為更新的文章經常在首頁出現，可以被快速收錄。現在看來，從局部上看是好事，但是從整體上看，爬蟲每次爬取量都是有限的，抓到一定數據量就會離開。所以許多有價值的頁面反而沒被抓取到。

在這種情況下，在站內的某個頁面被鏈接次數越多，它被爬蟲抓取的頻率就越高，最典型的例子就是首頁。因此我們根據數據，把爬蟲大量鏈接的頁面，在站內許多地方都給nofollow掉，只留個別鏈接，保證爬蟲以前抓取它一兩次即可。這樣在被抓取數據量一定的情況下，減少了單一頁面浪費的爬蟲流量，自然增大了爬蟲爬取的頁面數量。這樣你的網站更新頻率自然提高。