文件把该页面屏蔽，那整个页面都不能被抓取了；而使用NOFOLLOW标签，只是不让蜘蛛抓取该页面其中一个具体的链接，如“给我留言”这个链接，其他不加标签的链接不会受到影响。所以不要混淆Robots文件与NOFOLLOW标签，它们的具体应用不一样。
图6-50 马海祥博客
假如我给其他人做了10个友情链接，其中5个友情链接被我加了NOFOLLOW标签，那没有加NOFOLLOW标签的5个网站是否能分到更多权重呢？答案是否定的，包括谷歌官方也明确表示这种情况不会发生。如果这种情况发生，很容易引起作弊，更会形成不良风气，很多人都可能故意在友情链接上加NOFOLLOW标签，所以不用担心会发生这种情况。
NOFOLLOW标签的概念讲起来可能比较抽象，但细细思考应该可以理解，对于一些具体细节，可以配合百度搜索，查找相关的资料。
6.19 必须具备良好的网站代码结构
首先，搜索引擎蜘蛛来一个网站要查看源代码，前面讲过搜索引擎精力有限，不喜欢过于冗长繁杂的代码。如果有太多不必要的代码或链接，或者代码超过一定长度，搜索引擎可能会不愿意往下读。所以网页源代码在符合网站基本需求的条件下，其结构应尽量简洁，让蜘蛛读起来比较顺畅。如果代码太多，蜘蛛每次来会觉得打开该网页的速度比较慢，不如访问速度比较快的网站，这样速度慢的网站就会给蜘蛛留下不好的印象。
其次，源代码中是否具备必要的title标签和描述标签，H1标签是否用到了很重要的位置等都是良好代码结构的一种表现。这些可以依靠修改模板、代码来实现。目前一些知名的网站开源程序，如Z-Blog、WP、dede等，其结构良好，哪怕不修改代码，也不会影响SEO。
百度一下“符合SEO的开源程序”，如图6-51所示，有很多相关的文章，可以大概了解一下，这里就不一一列举了。
这一节不是很重要，因为大部分人用的开源程序都比较符合SEO。关于良好的网站代码结构，就介绍到这里。
图6-51 用百度搜索“符合SEO的开源程序”的搜索结果
6.20 网站为什么要做301重定向
比如，用百度搜索“减肥药”，如图6-52所示，该网站的网址是“www.suomanyi.com”。在浏览器的网址栏中输入“suomanyi.com”，不输入“www.”，按回车键后，会直接跳转到带“www.”的网址并进入该网站，如图6-53所示，这表示该网站做了301重定向，把不带“www.”的域名自动转成了带“www.”的域名。
图6-52 “减肥药”网站
图6-53 “suomanyi.com”网站
查询图6-53中网站的HTTP状态码，打开“HTTP状态查询-站长工具”，输入网址“suomanyi.com”，查询结果如图6-54所示，显示返回状态码为301，说明不带“www.”的网址做了301重定向。
图6-54 HTTP状态码查询
301重定向要根据网站的实际程序来做，不同程序做法不尽相同。百度一下“301重定向”，可以找到很多关于它的实现方法、知识结构等，这里就不具体展开介绍了。这一节的目的是让读者了解301重定向，然后根据自己网站的需要具体操作。如果解决不了301重定向的问题，但能做好相对地址和绝对地址也可以，其作用大同小异。
301重定向的作用主要有如下两点。
（1）如果已经把带“www.”和不带“www.”的两个域名都解析到同一个网站，然后想将不带“www.”的权重都集中到带“www.”的域名上，一是可以通过绝对地址与相对地址的方法来解决，二是可以通过301重定向来解决。如果没有将两种域名解析到同一个网站，则无须考虑该问题。
（2）301重定向还有另外一个作用，比如，想更换网站的域名，以前的域名是“www.123.com”，像更换住房的门牌号一样，现在要改为“www.1345.com”，然后把旧域名积累的权重慢慢传递到新域名上，就可以利用301重定向，而绝对地址和相对地址是无法做到的。所以有些网站上线时间不长，却能把晋升难度大的词很快做好，此时可以查一下该网站是否做了301重定向，将原本做得很好的旧域名权重传递到了新域名上，使得排名很快就上去了。
6.21 认清网站目录结构
打开一篇文章，如图6-55所示，网址上有几个“/”，一个文件夹隔一个“/”还有一个文件夹，这就是网站目录。
图6-55 文章目录
目录层次不要太深，如网站域名是“www.123.com”，文章页是“www.123.com/123.html”或“www.123.com/345/skk/111.html”，一篇文章的层次结构尽量保持在两三层以内，不要过多。像“www.123.com/234r/sdfk/sdkfjk/kk3kk/kksjk98/9993”这种层次结构是非常深的，地址很长，就好比打开自己电脑中的某个文件一样，文件夹里又套着文件夹，越来越深，搜索引擎无法很好地抓取，不符合SEO优化。
尽量让目录结构控制在1～4个“/”，层次越少越好。如果是完全扁平化的结构，每篇文章都在根目录下，即在一个“/”后面，也是一种不错的方法，但没有必要如此钻牛角尖。
总体来讲，一个网站首页的域名权重是最高的，然后将权重传递到下一级目录，目录层次越深，权重在页面之间传递时分散得越多，传递到最末文章页的权重就越少。比如，同一文章页“123.html”，它在目录“www.123.com/123.html”中会比在目录“www.123.com/2435/2345/123.
