这篇文章更详细系统了讲解了搜索引擎的工作原理，同样是包括三个部分：抓取、索引、呈现。像上篇文章一样，这里也只列出不同的部分。

索引

可以使用的meta值

• noindex/index - 是否允许页面被索引
• follow/nonfollow - 是否允许跟踪链接
• noarchive - 禁止搜索引擎存储快照

举例：

html
<!-- 所有搜索引擎生效 -->
<meta name="robots" content="onindex,onfollow" />

<!-- 仅对Google生效 -->
<meta name="googlebot" content="onindex,onfollow" />

可以使用的响应头

X-Robots-Tag，响应头的内容和上述一致，只是可以使用响应头来进行设置，这对于想要把多个页面进行统一的设置比较有效。

呈现

对搜索结果的排序影响比较大的因素是用户参与度，一个链接被点击的越频繁，它的排名越高。

现在的搜索引擎，更多会直接回答用户的搜索，这减少了链接的展示。

本地服务的排序依赖：位置、可信度。可信度是通过被其他网站引用的次数，或者用户评价来判断。

原文链接：How Search Engines Work: Crawling, Indexing, and Ranking