• 一站多用
  • 全网覆盖
  • 深度优化
  • 体验友好
当前位置>首页 > web资讯 > 网站制作robots有什么用途

网站制作robots有什么用途

时间:  次数:-缩小   +放大

对于网站制作,很多朋友都知道Robots.txt文件是用来屏蔽“不想被抓取页面”。但具体有哪些页面是不想被抓取呢?昆明网站制作公司举些具体的例子来说明。

网站制作

1、多版本URL情况下,非主显URL的其他版本。比如网站链接伪静态后就不希望搜索引擎抓取动态版本了,这时就可以使用robots.txt进行屏蔽

 

2、如果网站内有大量的交叉组合查询所生成的页面,肯定有大量页面是没有内容的,对于没有内容的页面可以单独设置一个URL特征,然后使用robots.txt进行屏蔽,以防搜索引擎认为网站制造垃圾页面

 

3、如果网站改版或因为某种原因突然删除了大量页面,网站突然出现大量死链,对网站在搜索引擎上的表现是很不利的。

 

虽然现在可以直接向搜索引擎提交死链,但是还不如直接屏蔽百度对死链的抓取,这样理论上搜索引擎就不会突然发现网站多了太多死链,或者两者同时进行,当然自己最好把站内的死链清理干净。

 

4、如果网站有类似UGC功能,且为了提高用户提供内容积极性,并没有禁止用户在内容中夹杂链接,此时为了不让这些链接浪费网站权重,或牵连网站,就可以把这些链接做成站内跳转链接,然后使用robots.txt进行屏蔽。

 

5、常规的不希望被搜索引擎索引的内容,如隐私数据、用户信息等都可以使用robots.txt进行屏蔽。

 

合理地使用ROBOTS.txt,不仅可以保护网站隐私数据,还可以只给搜索引擎展现网站高质量的一面,同时也可以使搜索引擎多多抓取其他允许抓取的页面。

 

另外,网站制作人员不要被robots.txt文件本身的原始作用限制,多思考。比如为提升网站在的搜索引擎眼中的质量,不让搜索引擎抓取无搜索价值页面也是一种方法。

 

以上就是关于“网站制作robots有什么用途”的全部内容。欢迎分享转发,谢谢!

相关搜索: 网站制作

——模板推荐——

——阅读排行——

相关推荐

设计服务
网站设计
网页设计
专题页设计
单页设计
移动端设计
制作服务
官网制作
响应式制作
自适应制作
html5制作
div切图
PS设计
图片设计
广告设计
美工设计
图片修改
LOGO设计
其他服务
模板优化
官网维护
安全维护
微信搭建
小程序制作
联系方式
电话:13769105830
QQ:315828807
微信:mobansu
何为模板素
一个专注于互联网用户体验研究,响应式网页制作,图片设计,官网建设,微信搭建的品牌服务商。
客服微信
微信
统计