Shopify SEO基础技术：抓取、索引和排名（上）

大家好，今天我们将讨论技术搜索引擎优化的基础知识。我们将解释抓取、索引和排名之间的区别。此外，我们还将向你展示如何利用内部链接、robots.txt 文件和 XML 站点地图来帮助 Google 更快、更有效地抓取你的 Shopify 商店并为其编制索引。

Google 的工作原理：抓取、索引和排名之间有什么区别

谷歌遵循三个步骤来生成 SERP（搜索引擎结果页面）：

• 抓取
• 索引
• 排行

抓取是 Googlebot 在网络上发现新数据（即全新页面或更新的旧页面）的自动化过程。

Googlebot 使用以下两项来抓取网络：

• 过去抓取的网址列表，即 Googlebot 已经抓取的网页
• 站点地图

然后，Google 会抓取列表中的所有网址以及站点地图中包含的所有网址。注意：在抓取过程中，Google 会格外注意新网站、旧网页的更新和死链接。

Googlebot 可以通过以下方式发现新页面：

• 跟随已被抓取的页面上的链接。例如，如果你创建了一个新的产品页面并在主页上添加了一个指向它的链接，那么下次 Googlebot 抓取主页（它已经知道的页面）时，它也会抓取你的新产品页面。
• 读取已更新并包含指向新创建网页的链接的站点地图。

你可以做以下几件事来帮助 Google 更快地抓取（即发现）你的新网页。例如，你可以：

• 创建强大的内部链接结构
• 创建 robots.txt 文件
• 创建一个 sitemap.xml 文件并将其提交到 Google Search Console

我们将在下面更详细地讨论每个步骤。

Google 使用算法来确定要抓取哪些网站、抓取它们的频率以及从每个网站抓取多少页面。如果你添加了新网页或对现有网页进行了更改，则可以请求重新抓取 – 你可以向 Google Search Console 提交单个网址或站点地图的更新版本。

重新抓取可能需要长达数周的时间 – 你可以使用索引覆盖率报告来监控进度。多次请求重新抓取是没有意义的 – 它不会加快进程。

综上所述，抓取就是在网络上发现新数据的过程。索引是对这些数据进行分类、组织和存储在 Google 中的过程。

也就是说，Googlebot 发现新页面后，它会尝试评估其内容并了解其内容。然后，它将这些信息组织并存储在一个巨大的数据库中——谷歌索引。Google 索引包含数千亿个页面。它超过 1 亿 GB。谷歌将其描述为书后的索引——”with an entry for every word seen on every webpage we index. When we index a web page, we add it to the entries for all of the words it contains.”–“在我们索引的每个网页上看到的每个词都有一个条目。当我们索引一个网页时，我们将它添加到它包含的所有词的条目中。” （来源：Google，搜索算法的工作原理）

如果你认为你网站上以前编入索引的页面不再显示在 SERP 上，请使用URL 检查工具检查其状态。如果不再索引，请检查索引问题（例如，4xx 错误或 5xx 错误）。如果存在任何索引问题，请修复并请求重新抓取。

那么，索引和排名不是一回事吗？

当然不是了。当它索引一个页面时，谷歌只是将它添加到 SERP 中 – 它可以出现在第 1 页、第 101 页、第 1001 页等。就排名而言，你的最终目标是获得排名第一的位置，也就是SERP 的 #1 页。

那么，究竟什么是排名？

Google 的主要目标是为每个搜索查询返回最相关和高质量的结果。为此，Google 必须查看 Google 索引中的所有信息，并确定哪些结果最适合搜索查询。每次有人使用 Google 搜索时都会发生这种情况 – 这个过程称为排名。

为了找到最相关的结果，Google 的排名算法考虑了许多因素。有些与用户及其查询有关：

• 用户位置
• 浏览器历史
• 浏览器设置
• 查询中的关键字
• 搜索意图查询

其他与你的网站有关：

• 专业知识
• 内容相关性
• 内容质量
• 内容新鲜度
• 反向链接数
• 域权限 (DA)
• 网页权限 (PA)
• 可用性
• 其他更多

也就是说，排名是将 SERP 上的结果从最相关（显示在 #1 位置）到最不相关的过程。为了更好地检索每个查询的最佳结果（即排名），Google 每天都会对算法进行小幅调整。它们还具有广泛的核心算法更新，这极大地影响了 SERP 并影响了许多行业。

最终，搜索查询的页面排名越高：

• 页面与搜索查询的相关性越高
• 它的质量得分越高（尤其是与 SERP 上的其他结果相比）

• 抓取是扫描网络以获取新数据（新网页和更新页面）的过程
• 索引是在 Google 索引中组织和存储这些数据的过程
• 排名是为每个搜索查询确定每个网页在 SERP 上的位置的过程

到目前为止，我们还没有提到shopify SEO技术。所以，你可能急于想知道：“shopify SEO技术与抓取、索引和排名有什么关系？”

答案是“一切都是相关的！”

为了让 Google 对你的 Shopify 商店进行抓取、索引和排名，它必须在技术上进行优化。

以下是你在shopify SEO技术方面需要了解的有关抓取的信息：

• Googlebot 应该能够访问并抓取你的网站。请记住，Googlebot 以匿名用户的身份访问网络。因此，你的 Shopify 商店不应受密码保护。
• 你应该有一个 XML 站点地图 – 一个可以帮助 Google 更快、更有效地索引你的新网页的文件。它还可以帮助 Google 评估你网页的重要性并了解不同页面和资源之间的关系。
• 你应该有一个 robots.txt 文件 – 一个简单的文本文件，它告诉谷歌它可以访问你 Shopify 商店的哪些页面（即索引），哪些页面不能访问。
• 你应该有一个万无一失的内部链接策略——内部链接可以帮助谷歌浏览你的网站并更快地发现新页面。
• 你的 Shopify 商店应该有一个低深度的页面层次结构，即你网站上的所有重要页面都应该离你的主页不超过三下点击。这将优化你的抓取预算（Google 在一次抓取中抓取你网站上的页面数），即，你的抓取预算将分配给你最重要的页面。
• 你的网站应该具有 Google 可以轻松理解和遵循的逻辑 URL 结构。
• 你的 Shopify 商店应该具有直观的导航。

以下是你在shopify SEO技术方面需要了解的有关索引的信息：

1. 你应该向页面添加结构化数据标记。请记住，在索引页面时，Google 会尝试理解它 – 结构化数据标记使此过程更容易。在 Shopify 中，你需要将结构化数据添加到你的主页、收藏页面、产品页面、博客页面和文章页面。

在索引方面，事情更多的是面向页面搜索引擎优化。例如，你可以采取其他措施来改进 Shopify 商店的索引编制，包括优化页面标题和标题、创建描述性元标记、优化视觉内容、使用文本传达信息等等。

在排名方面，事情变得更加复杂。Google 会考虑你网站的技术健康状况以及其整体 SEO 健康状况（例如，它是否适合移动设备、是否包含新鲜和相关的内容、你是否遵循 Google 的网站管理员指南等）。对排名最重要的shopify SEO技术因素包括页面速度、重复内容和断开的链接。

在接下来的几个月中，我们将讨论这些shopify SEO技术主题中的每一个。今天，我们将只关注你需要采取的帮助 Google 抓取你的 Shopify 商店的第一步：

• 创建强大的内部链接策略
• 拥有无可挑剔的 robots.txt 文件
• 拥有无可挑剔的 XML 站点地图

如何创建强大的内部链接结构

内部链接是网页上指向另一个页面或同一域中的资源的链接。

内部链接是 Shopify 商店架构的关键组成部分，可帮助 Google 更好地了解你网站的结构。因此，强大的内部链接结构有助于 Google 更快、更有效地抓取你的网页并将其编入索引。

要构建健壮的内链结构，首先要了解两种内链的区别：

• 导航内部链接 – 构成 Shopify 商店导航的链接（例如，主菜单、侧边栏菜单、页眉和页脚菜单等中的链接）。它们建立你网页的层次结构，并帮助你的客户和 Google 浏览你的商店。此外，他们通过链接资产帮助谷歌了解哪些是你商店中最重要的页面。因此，Google 可以更频繁地抓取这些网页。
• 上下文内部链接 – 网页主要内容中的链接（例如，指向类别页面上的产品页面的链接、文章和产品描述中的链接、政策页面上的链接等）。此类链接的目的是传递链接权益，帮助 Google 更快地发现新页面。

通过 10 个步骤创建坚固的内部链接结构

第 1 步：确保你的内部链接可以被抓取。

换句话说：

URL 的格式应正确。Shopify 默认会处理这个问题。不过，你可以使用URL 检查工具来检查。

作为一般经验法则，请记住 URL 越短越好 – 因此，避免使用任何不必要的字符、符号、数字和填充词（例如，“and”、“a”、“the”等） .

默认情况下，Shopify 从 URL 中排除符号（例如，“&”、“?”、“!”）。但是，它并不排除填充词（例如“and”、“the”、“a”等）。

不要创建指向被 robots.txt 文件阻止的页面的内部链接（除非必要）。

不要创建指向具有“无索引”元标记的页面的内部链接（除非必要）。

第 2 步：确保你的网站上没有损坏的内部链接。

你可以使用诸如SEMRush 的站点审核之类的站点审核工具来查看内部链接报告并发现任何损坏的内部链接。有两种方法可以修复损坏的内部链接 – 你可以删除它们或用另一个相关有效的内部链接替换它们。

专业提示，以避免损坏的内部链接

如果你决定更改页面的 URL，请确保选中“为旧链接 → 新链接创建 URL 重定向”复选框。在 Shopify 中，它是默认标记的。尽管如此，仔细检查还是一个好习惯。

第 3 步：从 Shopify 商店中删除所有孤岛页面。

orphan pages(孤岛页面)是指未从 Shopify 商店中的任何其他页面链接到的页面。由于 Googlebot 使用链接来抓取网络，因此它更难发现孤岛页面（如果孤岛页面未包含在你的站点地图中，则几乎不可能）。此外，你的客户实际上无法访问孤岛页面。换句话说，它们并没有真正的 SEO 权重，也不会以任何方式使你受益。

因此，重要的是要发现你的网站是否包含此类页面。你可以使用Ahrefs 的 Site Audit 之类的工具来检查孤岛页面。

如果你的网站包含孤岛页面，你需要评估它们的重要性。

如果它们很重要，请在你网站的其他页面上添加指向它们的链接。专业提示：如果它们是内容稀少的页面，请尝试找到共同的主题并将相似的页面合并在一起 – 拥有一个高质量的页面比拥有几个低质量的页面要好。

如果它们不重要，只需删除它们。

第 4 步：确保你的网站具有低深度的页面层次结构。

首先，确定你网站上最重要的页面。

一般来说，网站上最重要的页面是它的主页——这是具有最高页面权限 (PA) 的页面。

在电子商务中，直接影响底线的页面也很重要。这些是你的类别页面和产品页面。

所有这些页面都应该有正确的链接。如果你的网站具有技术优化的网站架构，就会发生这种情况。

这里要记住的最重要的事情是，你网站上的重要页面与你的主页之间的距离不应超过三下（例如，主页 > 类别页面 > 产品页面）。这样，你的首页就会将更多的链接权益传递给你的类别页面，你的类别页面也会将链接资产传递给你的产品页面等等，这样你的类别和产品页面的排名就会更高。

此外，相互链接的页面之间必须存在逻辑关联。例如，一个类别中的产品页面应该具有相似的特征，即“衬衫”类别中不应该有裤子。

第 5 步：使用内部链接帮助 Googlebot 更快地发现新页面并提高其排名。

假设你刚刚向 Shopify 商店添加了一个新产品页面。为了帮助 Google 更快地抓取它并将其编入索引，你可以在主页或表现异常出色的博文中添加指向它的链接。作为一个额外的好处，这会将链接资产传递到你的新产品页面，这意味着它将有更好的机会在 SERP 上排名更高——我们都知道这意味着什么：更高的知名度和更多的销售机会。

第 6 步：利用推荐的产品。

“推荐产品”部分将增加你的平均订单价值，并帮助你提供更具吸引力的购物体验。此外，这是一个很好的互连机会 – “推荐产品”部分中的链接是产品页面上的链接，可将客户引导至 Shopify 商店中的其他产品页面。

在 Shopify 中，“推荐产品”部分显示自动生成的产品推荐列表。

产品的推荐基于一种算法，该算法根据客户正在与之交互的产品预测最相关的产品。（来源：Shopify，在产品页面上显示产品推荐）

该算法使用销售数据（确定哪些产品经常一起购买）和产品描述（确定哪些产品相似或互补）。该算法将每个产品最多关联 10 个类似产品，并按相关性顺序显示它们。

你需要注意某些限制。例如，根据你的 Shopify 套餐，你可以在产品页面上显示不同类型的产品推荐。此外，你无法自定义算法以排除特定产品（除非你编写自定义代码）。了解更多 → Shopify，在产品页面上显示产品推荐

--- END ---