日本黄色小视频在线观看-日本黄色性视频-日本黄色一级-日本黄色一级大片-日本黄色一级片视频-日本黄色一级视频

資訊動態(tài)

robots.txt是什么文件 有什么作用

日期:2015-01-11 作者:管理員 來源:互聯(lián)網(wǎng)

    問:經(jīng)常在網(wǎng)上看到說網(wǎng)站目錄里面最好加robots.txt文件,請問robots.txt是個什么樣文件,上傳了robots.txt文件到網(wǎng)站目錄又有什么作用呢?

    答:當一個搜索引擎蜘蛛(比如百度蜘蛛)訪問你的站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

    所以從這點看出,robots.txt是一個協(xié)議,而不是一個命令。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的,什么文件可以被抓取。當然了,如果你的網(wǎng)站有robots.txt這個文件,那么它將是搜索引擎中訪問你的網(wǎng)站時要查看的第一個文件。

    推薦閱讀:百度官方定義什么是robots.txt文件?

    搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    請注意,僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。

    robots.txt文件放在哪里?

    robots.txt文件應該放置在網(wǎng)站根目錄下。舉例來說,當spider訪問一個網(wǎng)站(比如 http://www.baidu.com)時,首先會檢查該網(wǎng)站中是否存在http://www.baidu.com/robots.txt這個文件,如果Spider找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權限的范圍。

    在robots.txt中禁止百度收錄,百度搜索結(jié)果中還顯示?

    如果其他網(wǎng)站鏈接了您robots.txt文件中設置的禁止收錄的網(wǎng)頁,那么這些網(wǎng)頁仍然可能會出現(xiàn)在百度的搜索結(jié)果中,但您的網(wǎng)頁上的內(nèi)容不會被抓取、建入索引和顯示,百度搜索結(jié)果中展示的僅是其他網(wǎng)站對您相關網(wǎng)頁的描述。

二維碼
掃二維碼手機查看該文章
TAG標簽    Robots工具 蜘蛛
當前網(wǎng)址:http://m.abfy.com.cn/webseo/127.html

相關資訊

?
Copyright ? 2007-2025 珠海市網(wǎng)訊互聯(lián)信息科技有限公司 m.abfy.com.cn 版權所有
粵公網(wǎng)安備44040202000391號 粵ICP備19117377號 網(wǎng)站地圖 站點地圖
在線客服
主站蜘蛛池模板: 久久草精品 | 午夜视频在线观看国产www | 综合色天天 | 国产在线91| 四虎影在永久在线观看 | 久久99九九99九九精品 | 久草中文视频 | 日韩成人小视频 | 黄色影院网站 | 俄罗斯美女逼 | 免费观看成人www精品视频在线 | 爱爱小视频免费体验区在线观看 | 一级毛片免费在线播放 | 欧美91精品久久久久网免费 | 欧美性狂猛bbbbxxxx | 尤物精品国产福利网站 | 精品国产日韩亚洲一区在线 | 国产资源精品一区二区免费 | 成人影院www在线观看 | 五月婷婷综合网 | 在线久草视频 | 亚洲高清国产一线久久 | 337p欧美超大胆日本人术艺术 | 国产精品人伦久久 | 欧洲免费无线码二区5 | 欧美精品v国产精品v | 国产精品18 | 天天插天天射天天操 | 天天夜夜骑 | 大乳欲妇三级一区二区三区 | 成在线人免费视频一区二区三区 | 手机看片日韩日韩 | 香蕉视频在线观看免费 | 夜夜夜夜夜夜夜工噜噜噜 | 乱子伦有声小说mp3 仑乱高清在线一级播放 | 最新日韩中文字幕 | 国产成人a毛片在线 | 国内精品视频一区二区三区八戒 | 欧美成人精品高清在线播放 | 欧洲色网站 | 高清成人 |