一区二区三区精品视频免费播放,亚洲а∨无码2019在线观看,亚洲 另类 小说 卡通动漫,337P中国人体啪啪

　　當(dāng)我們制作網(wǎng)站時(shí)，一個(gè)完整的網(wǎng)站應(yīng)該有301個(gè)重定向、404個(gè)頁面和robots.txt文件，這些都是制作網(wǎng)站所必需的。 其中robots.txt 文件來屏蔽不想被搜索引擎抓取的頁面。

　　robots.txt是搜索引擎中第一個(gè)在訪問網(wǎng)站時(shí)查看的文件。當(dāng)搜索引擎訪問網(wǎng)站時(shí)，它首先檢查站點(diǎn)根目錄中是否存在robots.txt，如果存在，搜索引擎將根據(jù)文件的內(nèi)容確定訪問范圍。如果文件不存在，那么搜索引擎都可以訪問不受密碼保護(hù)的站點(diǎn)上的所有頁面。

　　如果網(wǎng)站因某種原因而被修改或突然刪除大量網(wǎng)頁，但網(wǎng)站上出現(xiàn)大量死鏈接，不利于網(wǎng)站在搜索引擎中的排名。雖然可以直接向百度提交死鏈接，但現(xiàn)在最好方法是直接阻止搜索引擎爬行死鏈接。

　　網(wǎng)站有時(shí)候會(huì)有不希望被搜索引擎索引的內(nèi)容，如私有數(shù)據(jù)、用戶信息、管理背景頁面等，可以由robots.txt屏蔽。

　　使用方法。使用記事本等編輯軟件，在User-agent后添加需要屏蔽的搜索引擎的爬行工具名稱Googlebot、sogou spider等，在Disallow后添加網(wǎng)站的限制目錄/bin/、/admin/等，將文件名命名為robots.txt上傳到網(wǎng)站根目錄即可。

　　例圖：

（非特殊說明，本文版權(quán)歸原作者所有，轉(zhuǎn)載請注明出處 ）
標(biāo)簽： 上海網(wǎng)站建設(shè)、上海網(wǎng)站制作、高端網(wǎng)站設(shè)計(jì)、邁若網(wǎng)絡(luò)

手機(jī)隨時(shí)獲取邁若動(dòng)態(tài)，掃描左側(cè)二維碼
添加邁若微信公眾號【manro_since2005】