<strong id="rlb4z"><track id="rlb4z"></track></strong><tbody id="rlb4z"><pre id="rlb4z"></pre></tbody>

  • <em id="rlb4z"></em>
    <button id="rlb4z"><acronym id="rlb4z"><u id="rlb4z"></u></acronym></button>
      首頁>> SEO基礎優化>>經驗分享:新網站請謹慎設置robots屏蔽

      經驗分享:新網站請謹慎設置robots屏蔽

      SEO基礎優化 16536℃

      眾所周知,SEO優化中robots機器人是用來抓取網站內容的,而robots.txt文件則是放在我們網站根目錄下面的一個文本文件,用來規定什么蜘蛛(機器人)可以抓取什么文件,不可以抓取什么文件。我們通常用robots來告訴搜索引擎,這個目錄你可以進,那個目錄你不可以進;這個文件你可以訪問,那個文件你不能訪問。但是有些時候,robots文件,我們還是要謹慎使用的好。

      事情還得從年初開始。年初我負責的一個網站因為網站剛建好,內容還沒填充完整,大家的觀點不都是沒建好的網站不要給搜索引擎抓取嘛。我用robots.txt文件把網站根目錄屏蔽所有搜索引擎抓取,等到一個月之后,填充得已經差不多了,我就開放蜘蛛抓取。我不僅有提交首頁網址給百度,提交網址診斷,而且還發了不少外鏈,但一天一天過去,在百度上面SITE網站就是一個收錄都沒有。我就納悶了,是不是我什么地方設置錯誤了呢?結果在谷歌上面site了一下已經有上百個收錄了,306,搜狗上面也有少則幾個多則十幾個收錄了。于是我不得不認為是robots屏蔽,百度長時間未反應過來導致的。

      前兩個月,我又有一個新站重新建好開始填充內容,也是把網站屏蔽著,結果到現在都兩個月過去了,可是還是不收錄,首頁還是提示“由于該網站的robots.txt文件存在限制指令,系統無法提供該頁面的內容描述?!倍雀缡珍浟?3條,搜狗收錄了1條,360收錄了45條。這次我這次徹底對度娘的robots文件反應速度是無語了。下圖上為:site:www.gzfengbao.com的結果

      robots屏蔽

       

      前兩天在群里與伙伴們討論,一位叫烏鴉的大神說自己之前也遇到過幾次這樣的情況。

      在此蝸牛SEO慎重的提醒各位朋友,新建的網站,千萬不要先把網站文件上傳到空間后加個robots.txt,然后填充信息,填充好了才開放抓取。如果可以在本地把網站建好,填充好內容再上傳最好,否則上傳到空間加robots禁止抓取,等開放抓取的時候,百度蜘蛛很可能又會幾個月時間都反應不過來。幾個月后網站才被收錄,對網站優化的周期影響無疑是巨大的。

       

      本文由上海SEO蝸牛博客原創出品,請大家轉載時保留本段內容。大家如有興趣,可以與蝸牛一起探討SEO技術,討論SEO發展前景,或者討論職業發展與人生夢想。蝸牛期待成為你忠實的朋友。

      轉載請注明:?蝸牛SEO? ? 經驗分享:新網站請謹慎設置robots屏蔽

      蝸牛營銷是國內領先的搜索營銷服務商,有豐富的客戶服務經驗,我們有專業的網站優化、網站建設、APP開發、全網營銷團隊,可以持續為您提供優質的服務,您的滿意是我們不懈的追求。

      城市分站:上海SEO北京SEO廣州SEO深圳SEO網站建設武漢SEO重慶SEO成都SEO

      業務范圍:網站優化,網站建設,IDC代理,app開發,全網營銷微信:ganshangwoniu    QQ:549233124    業務咨詢熱線:177-2050-9380(自有排名技術/同行廣告勿擾)

      辦公地址:中國 . 湖北 . 武漢(接受全國所有城市業務合作,歡迎咨詢~)    Copyright ? 2008-2021 蝸牛營銷版權所有
      QQ在線咨詢
      蝸牛SEO微信號