多分页，这些分页的网址如图6-38所示极有规律，前部分完全相同，只是最末尾的数字不一样。如果想屏蔽所有分页，即可写成“Disallow：/cat/？page”，不需要逐条写出。
图6-37 马海祥博客里的文章版块
图6-38 网站分页网址
6.14 淘宝为什么禁止百度爬虫
查看淘宝的robots文件，在网址栏中输入“www.taobao.com/robots.txt”，如图6-39所示。
图6-39 淘宝的robots文件
所有网站的robots文件都是公开的，如果输入“网站域名/robots.txt”打开了一个404错误页面，则说明该网站没有做robots文件。robots文件是搜索引擎蜘蛛来一个网站首先要查看的，提前知道该网站哪些允许它抓取，哪些不允许，它会遵循规定来做。如果不做robots文件，在该网站的空间日志里会出现一个404的错误代码，这不要紧，因为很多网站都不做，尤其对于小型网站并不重要。但大型网站讲究比较细致，基本上都会做。
图6-39中淘宝的robots文件表示禁止百度蜘蛛抓取网站的任何内容，有人会问“我搜索淘宝网，明明可以搜到，难道是淘宝写错，或百度没有遵守这个规则？”这里要说明两点：
（1）淘宝并没有写错。
（2）百度有时候的确会不遵守规则，包括其他搜索引擎也是如此。
搜索引擎并不会完全遵守robots文件，但总体来说都是遵守的。有些文章已经被百度收录了，如果临时要用robots文件屏蔽它们，那么在百度的数据库里大概需要几个星期到一两个月的时间才能慢慢删除这些文章。
为什么淘宝网一直在百度里呢？并不是百度不遵守规则，而是从用户体验的角度来讲，如果一个网民去百度搜索“淘宝网”，最后竟然搜索不到，他会认为百度这么大一个搜索引擎居然搜索不到这个知名的淘宝网，非常奇怪。所以像淘宝网这种非常知名的网站，百度对它比较特殊，或者说是从用户体验的角度出发，让网民能搜索到这类知名的网站，哪怕淘宝的robots文件里禁止百度抓取。
6.15 如何利用标题
还是以马海祥博客为例。先查看网页源代码，然后在源码文件中搜索“h1”，如图6-40所示。
图6-40 首页的h1标签
H标签分为h1标签、h2标签、h3标签等，一般到h6标签。这些标签越靠前越重要，也就是说，h1比h2重要，h2比h3重要……以此类推。这里的“重要”是指告诉搜索引擎网站中哪些内容重要，哪些不重要。搜索引擎只能查看网页的源代码，所以h1标签是要告诉搜索引擎蜘蛛该标签里包含的内容相对整个网页来讲是最重要的，h2标签包含的内容次之，h3标签更次之，以此类推。
h1标签与title标签不同，title标签是告诉搜索引擎该网页的标题是什么，而h1标签是告诉搜索引擎该网页在标题下面哪个内容最重要。一般情况下，将网页中最想做的关键词包含在h1标签中即可，而其他h标签都不太重要。假如一个网站标题里有好几个要做的关键词，没有必要全包含在h1标签中，它只包含其中一个最重要的词或段落即可。
假如文章要做长尾关键词，可以尽量让每篇文章的标题包含在h1标签里，如图6-41所示，该文章的标题是“哪个平台最适合做自媒体”，查看源代码，在图6-41中可以看到“哪个平台最适合做自媒体”包含在h1标签里了。如果有兴趣，可以百度一下“h1标签的运用”等内容，这里点到即止，因为它们对排名影响不大。
图6-41 内页的h1标签
6.16 如何利用图片的ALT标签
ALT标签有什么作用呢？举一个例子，比如，一篇博文里有一张图片，查看源文件，如图6-42所示，这张图片里有一个ALT标签，后面是图片的内容“如何打造一个自媒体博客平台”。所以，ALT标签就是告诉搜索引擎图片的主要内容。
不是每一张图片都需要加ALT标签。次要的装饰性图片，如一些网站的logo图片，就不需要加ALT标签了。主要文章里的主图，可以用ALT标签清晰地标注，搜索引擎会觉得网站做得很细致，对它有一个良好的印象。
图6-42 ALT标签
比如，用百度搜索“水果”，然后单击“百度图片”，这里有很多相关图片，如图6-43所示。
图6-43 “水果”的百度图片
百度是看代码的，并不知道图片的具体内容，那它是怎样判断并抓取这些图片的呢？
· 通过文章的内容、title标签等判断并抓取。
· 通过图片专有的ALT标签。比如，图6-43中水果图片的ALT标签里包含“水果”等类似的词，就容易被“百度图片”收录进去。
所以ALT标签是很有必要的，尤其是当网站中包含大量的图片时，网民直接通过“百度图片”就可以点进该网站。
6.17 SEO必须知道的权重和PR
搜索关键词会发现各个网站在搜索引擎里的排名有前有后，归根结底，可以理解为网站权重在起作用。
权重是指搜索引擎赋予网站（包括网页）的权威值，是对网站（含网页）权威的评估评价。一个网站权重越高，在搜索引擎所占的分量越大，排名就会越好。权重这个概念，虽然看不见、摸不到，但它时刻在左右网站的排名情况。
一个高权重的网站通常是一个排名非常好的网站。比如，用百度搜索“减肥”，结果如图6-44所示，排在前面的网站，它的权重一定高于排在后面的网站。因为权重综合了所有的因素，SEO各方面都做得很好，搜索引
