日本黄色小视频在线观看-日本黄色性视频-日本黄色一级-日本黄色一级大片-日本黄色一级片视频-日本黄色一级视频

資訊動態(tài)

robots.txt是什么文件 有什么作用

日期:2015-01-11 作者:管理員 來源:互聯(lián)網(wǎng)

    問:經(jīng)常在網(wǎng)上看到說網(wǎng)站目錄里面最好加robots.txt文件,請問robots.txt是個什么樣文件,上傳了robots.txt文件到網(wǎng)站目錄又有什么作用呢?

    答:當一個搜索引擎蜘蛛(比如百度蜘蛛)訪問你的站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

    所以從這點看出,robots.txt是一個協(xié)議,而不是一個命令。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的,什么文件可以被抓取。當然了,如果你的網(wǎng)站有robots.txt這個文件,那么它將是搜索引擎中訪問你的網(wǎng)站時要查看的第一個文件。

    推薦閱讀:百度官方定義什么是robots.txt文件?

    搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    請注意,僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。

    robots.txt文件放在哪里?

    robots.txt文件應該放置在網(wǎng)站根目錄下。舉例來說,當spider訪問一個網(wǎng)站(比如 http://www.baidu.com)時,首先會檢查該網(wǎng)站中是否存在http://www.baidu.com/robots.txt這個文件,如果Spider找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權限的范圍。

    在robots.txt中禁止百度收錄,百度搜索結(jié)果中還顯示?

    如果其他網(wǎng)站鏈接了您robots.txt文件中設置的禁止收錄的網(wǎng)頁,那么這些網(wǎng)頁仍然可能會出現(xiàn)在百度的搜索結(jié)果中,但您的網(wǎng)頁上的內(nèi)容不會被抓取、建入索引和顯示,百度搜索結(jié)果中展示的僅是其他網(wǎng)站對您相關網(wǎng)頁的描述。

二維碼
掃二維碼手機查看該文章
TAG標簽    Robots工具 蜘蛛
當前網(wǎng)址:http://m.abfy.com.cn/webseo/127.html

相關資訊

?
Copyright ? 2007-2025 珠海市網(wǎng)訊互聯(lián)信息科技有限公司 m.abfy.com.cn 版權所有
粵公網(wǎng)安備44040202000391號 粵ICP備19117377號 網(wǎng)站地圖 站點地圖
在線客服
主站蜘蛛池模板: 国产精品一区在线观看 | 国产成人综合洲欧美在线 | 波多野结衣久久 | 久久综合久久久久 | 漂亮女大学一级毛片 | 麻豆久久久久久久 | 久久精品综合 | 久久青 | h片在线看| 奇米影视奇米色777欧美 | 久久99国产亚洲高清观看首页 | 欧美综合成人 | 99精品视频在线观看免费播放 | 日韩一区二区中文字幕 | 亚洲欧美自拍另类图片色 | 欧美国产精品不卡在线观看 | 在线看国产精品 | 国产精品永久免费自在线观看 | 久久免费手机视频 | 69毛片| 猛草视频 | 九九视频免费在线 | 久久综合一 | 深夜免费在线视频 | 久草免费新视频 | 一级毛片免费高清视频 | 日日射夜夜操 | 国产精品视频一区二区三区经 | 欧美毛片在线 | 99视频精品全部在线播放 | 91精品国产色综合久久不卡蜜 | 中文毛片 | 精品伊人久久大香线蕉网站 | 夜夜操天天射 | 亚洲免费毛片 | 久久国产一区二区三区 | 天天干天天操天天玩 | 成人久久网站 | 91精品国产综合成人 | 久久精品国产免费一区 | 久久99国产亚洲高清观看首页 |