Shopify SEO基础技术：抓取、索引和排名（下）
今天，我们将向你展示如何利用内部链接、robots.txt 文件和 XML 站点地图来帮助 Google 更快、更有效地抓取你的 Shopify 商店并为其编制索引。
Shopify 和 robots.txt：你需要知道的一切
简单地说，robots.txt 是一个简单的文本文件，它告诉 Google 你网站的哪些页面要抓取，哪些不要抓取。
一般来说，SEO 不需要 robots.txt 文件。但是，拥有 robots.txt 有几个不容忽视的好处：
- 它可以防止 Googlebot（和其他搜索引擎抓取工具）抓取和索引包含敏感信息的页面（例如，登录/注册页面、帐户页面等）。
- 它可以防止 Googlebot 抓取和索引没有 SEO 权重的页面和资源（例如，“谢谢”页面、预览页面、pdf 文件（例如，产品手册）等）。
- 它可以防止 Googlebot 抓取薄内容页面或包含重复内容的页面。
- 它可以帮助搜索引擎更轻松地找到你的站点地图（robots.txt 文件包含指向站点地图的链接）。
- 它可以帮助 Google 更快、更有效地抓取你的网站并将其编入索引。
- 它可以优化你的抓取预算（通过确保 Google 不会抓取不应抓取和编入索引的网页）。
你需要了解的有关 Shopify 和 robots.txt 的信息：
在我们进一步讨论之前，让我们解释一下每个指令（即 robots.txt 文件中的每一行）的含义：
- “User-agent”指令指定指令适用于哪个爬虫。换句话说，如果在“User-agent”指令（例如“User-agent：Googlebot”）中指定了用户代理，则该用户代理（例如“Googlebot”）应遵循说明，但不同的代理（例如，“Bingbot” – Bing 的爬虫）应该继续寻找更具体的指令。如果未指定用户代理（如上述情况），则所有搜索引擎机器人（或爬虫程序）都应遵循这些说明。
- “允许”指令仅适用于 Googlebot。它告诉 Googlebot 它可以访问特定网页或子文件夹，即使其父页面或子文件夹可能被禁止。
- “禁止”指令告诉搜索引擎机器人不要抓取和索引哪些页面。
- “站点地图”指令将搜索引擎机器人指向你的 XML 站点地图的位置。
- “Host”指令包含你主页的 URL（即你的主域名）。
现在你对 robots.txt 的工作原理有了更好的了解，以下是你需要了解的有关 robots.txt 文件和 Shopify 的信息：
- Shopify 会自动生成你的 robots.txt 文件。
- 你的 robots.txt 文件位于你网站主域名的根目录中。要访问它，只需在主页的 URL 中添加“/robots.txt”，例如“https://www.yourshopifystore.com/robots.txt”
- 你的 robots.txt 文件由 Shopify 维护。这意味着你无法编辑其内容。但是，如果你不希望 Google 访问你的 robots.txt 文件中未禁止的特定页面，你可以使用“noindex”元标记隐藏它们 – 一行代码告诉搜索引擎不要索引特定的页。实现“noindex”元标记需要技术知识，因为你需要自定义 theme.liquid 布局文件。
如果你不精通技术并且不熟悉 Shopify Liquid，最好联系Shopify 专家并请求帮助。
此外，你可以使用像Smart SEO这样的 Shopify SEO 应用程序——Smart SEO只需单击一下按钮即可将“noindex”标签添加到页面。
- 你可以通过注册一个免费的Google Search Console帐户来监控你的 robots.txt 文件阻止了哪些页面。
如果你注意到你的结账页面已被你的 robots.txt 文件阻止，不必担心 – 它不需要为 SEO 排名。此外，通过不抓取你的结帐页面，搜索引擎机器人有更多时间抓取你网站上更重要的页面（例如，你的主页、类别页面、产品页面、博客和文章页面等）。
但是，如果你的 robots.txt 文件阻止了直接影响你的底线的页面（即类别页面、产品页面等），你应该担心。通常，发生这种情况的几率几乎为 0%（因为 Shopify 会自动创建和管理你的 robots.txt 文件）。如果是这样，请立即联系 Shopify 支持团队。
Shopify 和 sitemap.xml：你需要知道的一切
你的 XML 站点地图为 Googlebot（和其他搜索引擎机器人）提供有关你 Shopify 商店中的网页和资源（例如媒体文件、pdf 等）的信息。基本上，它是你网站上最重要的页面和资源的综合列表。你的站点地图还包含有关你的网页的重要信息（例如，它们上次修改的时间、包含的图像数量、它们与其他页面或资源的关系等）。
站点地图的目的是帮助 Google 更快、更有效地抓取你的网站。
与 robots.txt 文件类似，拥有站点地图并不是绝对必要的 – Google 将能够在没有其帮助的情况下抓取你的网站（尤其是在你制定了强大的内部链接策略的情况下）。但是，拥有站点地图肯定会让你受益。特别是在以下情况下：
- 如果你有一个大型目录商店。想象一下，必须互连 1000 多个（甚至 100 个）产品页面……不可能，对吧？
- 如果你的 Shopify 商店是新的，并且它的反向链接和互连仍然很少。
- 如果你的 Shopify 商店包含大量媒体文件，例如视频和图像。
- 如果你上传了大量 pdf 文件（例如，产品手册或说明）。
- 如果你发了很多文章。
- 此外，拥有站点地图意味着 Googlebot（和其他搜索引擎抓取工具）会更频繁地抓取你的网站。
你需要了解的有关 Shopify 和 XML 站点地图的信息：
以上就是 Shopify 商店的典型站点地图的外观 – 有一个父站点地图链接到产品、产品系列、博客和页面的其他站点地图（或子站点地图）。这种分类有助于 Google 更轻松地导航和抓取你的 Shopify 商店。
每个附加站点地图都包含一个广泛的页面列表。例如，Rebel Nell 的产品站点地图，包含所有 Rebel Nell 产品页面的链接，以及图像信息、页面上次修改时间、页面修改频率等。
以下是你需要了解的有关 sitemap.xml 文件和 Shopify 的信息：
- Shopify 会自动为你的商店生成一个 sitemap.xml 文件。它包含指向你所有产品、产品图片、页面、集合和博客文章的链接。
如果你使用的是 Basic Shopify 计划，那么只有你商店的主域具有生成的站点地图文件并且可以被搜索引擎发现。如果你使用的是 Shopify、Advanced Shopify 或 Shopify Plus 计划，那么你可以使用国际域功能来创建特定于区域或特定于国家的域。当你使用国际域时，将为你的所有域生成站点地图文件。你的所有域都可以被搜索引擎发现，除非它们重定向到你的主域。
- 你的站点地图位于你 Shopify 商店域的根目录中，即你可以通过将“/sitemap.xml”添加到你主页的 URL（例如，“https://www.yourshopifystore.com/sitemap.xml”）来找到它。注意：你还可以在 robots.txt 文件中找到站点地图的位置 – 它是在“站点地图”指令中指定的。
- Shopify 每次更新商店时都会自动更新站点地图（例如，每次添加新产品或发布新博客文章时）。
- 你无法手动编辑站点地图。如果你希望从商店的站点地图中排除某个页面，你只能通过 Shopify API（通过代码）来完成。如果你不精通技术，有一些应用程序可以为你提供帮助。比如smart SEO，只需单击一下按钮，你就可以排除不想出现在站点地图中的页面。该APP会向它们添加 noindex 标签，并将它们从你的站点搜索页面中排除。
图片来源：smart SEO内部截图
请注意每个产品旁边的复选框 – 如果选中了复选框，则产品的状态设置为“活动”。这意味着该产品包含在站点地图中。如果你想从站点地图中排除产品，你需要做的就是从复选框中删除复选标记。
Smart SEO 的评分为 ⭐ 4.9。它有一个免费版本和一个专业计划，每月收费 4.99 美元（提供 7 天免费试用）。
如何将你的站点地图提交到 Google Search Console：为什么这很重要以及如何去做
你可以随时将你的 sitemap.xml 文件提交到 Google Search Console。这不是绝对必要的 – 即使你不提交，Google 也能找到你的站点地图。
那为什么我们还是需要去提交呢？因为将你的站点地图提交到 Google Search Console 将有助于 Googlebot 更快地抓取你的网页和资源并将其编入索引。此外，将你的站点地图提交到 Google Search Console 将提高你的排名，提升你的内部链接工作，并最终扩大你的覆盖范围。也就是说，提交你的站点地图将为你带来更多曝光率并带来更多销售机会。
如何将站点地图提交到 Google Search Console：
- 确保你的网站不受密码保护 – 如果有密码的话，Google 将无法访问你的站点地图。
- 创建一个免费的Google Search Console帐户。
- 使用 Google Search Console 验证你的域并确认你是 Shopify 商店的所有者。注意：如果你的网站受密码保护，你将无法验证你的域名。
- 将你的 sitemap.xml 文件提交到 Google Search Console。按照此处列出的步骤操作 → Shopify，查找并提交你的站点地图
使用Smart SEO，你可以轻松地将站点地图提交给 Google，而无需经过使用 Search Console 的手动过程。但是你仍然需要一个具有经过验证的站点属性的 Google Search Console 帐户。
结论
今天，我们讨论了搜索的工作原理。我们解释了抓取、索引和排名之间的区别，以及shopify SEO技术与这些过程中的每一个的关系。
此外，我们还向你展示了如何通过以下方式帮助 Google 更快、更有效地抓取你的 Shopify 商店并将其编入索引：
- 创建强大的内部链接策略
- 拥有无可挑剔的 robots.txt 文件
- 拥有无可挑剔的 sitemap.xml 文件并将其提交到 Google Search Console
如果你还有其他问题，请在下面给我们留言！
--- END ---