第四章 网站结构优化

（1）搜索引擎蜘蛛能不能找到内页

（2）找到网页后能不能抓取页面内容

（3）抓取后怎样提炼有用信息

（1）Flash：搜索引擎无法读取Flash文件中的文字内容和链接

（2）Session ID（会话ID）：建议跟踪用户访问使用cookie而不是Session ID

（3）各种跳转：尽量不要使用301以外的跳转

（4）框架结构（Frame）：访问一个使用框架的网址所抓取的HTML只包含调用其他html文件文件的代码，并不包含任何文字信息

（5）动态url：数据库驱动的网站生成的、带有问号、等号及参数的网址

（6）JavaScript链接：可以阻止搜索引擎爬行，建议使用css实现视觉效果

（7）要求登录：有些网站需要用户登录后才能看到，这部分搜索引擎无法看到

（8）强制使用cookies：会造成无法正常访问

物理结构：网站真实的目录及文件所在的位置所决定的结构:

• 扁平式：网站文件都放在根目录下，适合小型网站
  
• 树形结构：分类——产品页面
  

链接结构：网站内部链接形成的网络结构

（1）文字导航：不要使用图片、js、flash，可以使用css

（2）点击距离及扁平化

（3）锚文字包含关键词

（4）面包屑导航：判断页面在整个网站结构中位置的最好方法，建议大中型网站使用

（5）避免页脚堆积

搜索引擎一般会把子域名（一般是二级域名）当做一个基本独立的站点看待，比目录的权重和排名高

一般而言目录会使网站越做越大，积累的信任度越高，但某些情况下更适合子域名：

• 网站内容足够多，如门户
  
• 跨国公司不同国家的分部或分公司
  
• 公司有不同的产品线
  
• 分类信息网站
  
• 平台类网站
  

（1）robots文件：用于指令搜索引擎禁止抓取网站某些内容或允许抓取某些内容。

user-agent:指定下面的规则适用于那些蜘蛛
Disallow:告诉蜘蛛不要抓取某些文件或目录（$匹配url结尾的字符，*匹配任意一段字符）
Allow：告诉蜘蛛应该抓取某些文件
sitemap：告诉蜘蛛xml网站地图位置在哪里

（2）meta robots标签：页面head标签meta的一种，用于指令搜索引擎禁止索引本页内容

<meta name='robots'  content="noindex,nofollow">
NOINDEX：告诉蜘蛛不要索引本页面
NOFOLLOW：告诉蜘蛛不要跟踪本页面的链接
NOSNIPPET：告诉搜索引擎不要在搜索结果中显示说明文字
NOARCHIVE：告诉搜索引擎不要显示快照
NOODP：告诉搜索引擎不要使用开放目录中的标题和说明

<a href="http//www.example.com" rel="nofollow">这里是锚文字</a>
链接的nofollow属性只适用于本链接，能够阻止蜘蛛爬行和传递权重，而meta robots指页面上所有链接
减少垃圾链对搜索引擎的影响（博客评论、论坛帖子、社会化网站、留言板等）；
广告链接
用于某些内部链接，控制内部链接权重和PR流动及分布的目的（联系我们、隐私政策等）

静态化url最常见的方法就是在服务器的URL重写模块

• URL越短越好（1000字符以内）
  
• 避免太多参数（动态url建议2-3个参数）
  
• 目录层次尽量少（物理目录）
  
• 文件及目录名具有描述性
  
• url中包含关键词
  
• 字母全部小写
  
• 连词符使用（-），搜索引擎把短横线当做空格处理
  
• 目录形式还是文件形式（url不用重写）
  

搜索引擎挑选最适合的url作为真正（规范化）网址的过程：

• 带与不带www
  
• 目录后带与不带斜杠
  
• 加密网址
  

......

301转向：表示本网址永久性转移到另一个网址（传递权重）
200：表示一切正常
404：表示页面不存在
302：临时性转向
500：内部程序错误
网址转向还有其他方法javascript或meta refresh转向，但除301外都是作弊手法
301转向可以解决网址规范化的问题，还有很多其他用途，如保护版权
网站改版也经常需要用到301转向

canonical标签用于解决网址的规范化问题，相当于页面内的301转向（并不转向，仍停留在原网址）
非常灵活，不需要任何服务器组件，直接写在HTML中就可以了

指两个或多个url内容相同或非常相似，可能发生在同一个网站上，也可能是不同网站
网址规范化：确保一篇文章只对应一个URL
同站内复制内容：选取一个版本允许收录，其他禁止抓取或收录
网址规范及其他情况：使用canonical标签
不同网站复制内容：版权声明+坚持原创

绝对路径：包含域名的完整网址
优点是被抄袭和采集有益，有助于预防和解决网址规范化的问题；缺点是非动态插入链接不够灵活

相对路劲：不包含域名的、被链接页面相对于当前页面的相对网址
优点是移动内容比较容易、易于测试、节省代码；缺点同上反

HTML网站地图（sitemap）：用户可以在网上看到的、列出网站上所有主要页面链接的页面

XML网站地图(Sitemap）：由XML标签组成，文件本身必须是utf8编码。
网站地图文件实际上就是列出网站需要被收录的页面URL

重点内页：一般网站首页获得的内外部链接最多，权重最高。重点内页链接放在首页权重会提高

非必要页面：只在首页显示、使链接不能被跟踪降低权重

大二级分类：导航采用css下拉菜单提高权重

翻页过多：再次分类+翻页格式变化

单一入口还是多入口：如果网站权重足够高，收录数就越多，提供多入口是最佳方式
如果网站权重比较低，产品数又很大，建议使用单一入口，其他入口阻止搜索引擎收录

相关产品链接：好的相关产品链接应该具有较强的随机性，与正常的分类入口区别越大越好

锚文字分布及变化：合理的网站结构是分配锚文字的重要方法之一，最灵活常见的是在页面正文中或人工或自动加上其他页面的内部链接

首页链接nofollow：当页面出现多个链接到同一个网址时，第一次出现的链接最重要，第一个链接的锚文字也最重要
解决方法就是在页面第一次出现的以“首页”为锚文字的链接，加上NOFOLLOW禁止跟踪
另一种方法就是使用CSS控制页面表现

深层链接：给一些距离首页较远、不太容易被蜘蛛爬行到的页面建设几个外链，可以有效解决一个区块的所有页面收录问题

分类隔离：分类之间形成隔离，首页权重将最大限度地“灌入”到最终产品页面，而不是浪费在分类页面上
要注意的是：这种排名只考虑收录，而没有考虑分类页面的排名问题

现在的网站绝大部分是通过CMS系统制作和管理的，从SEO角度：

• 页面标题客制化（人工修改）
  
• url静态化和客制化
  
• meta标签客制化
  
• 正文撰写
  
• 分类页面说明文字
  
• 消除复制内容
  
• 301转向
  
• 网站地图生成
  
• 正确生成H标签
  

不存在页面一定要确保正确返回404状态码
404页面设计与网站风格一致，明确提示用户，还可以通往首页或重要页面链接
谷歌网管工具查看404错误外链，可以联系对方站长更改错误页面，或做301转向，或在原本不存在的URL上建一个页面接受权重