最近，我们的一位读者向我们询问了有关如何优化 robots.txt 文件以改进 SEO 的提示。
Robots.txt 文件告诉搜索引擎如何抓取您的网站，这使其成为非常强大的 SEO 工具。
在本文中，我们将向您展示如何为 SEO 创建完美的 robots.txt 文件。
什么是robots.txt文件？
Robots.txt 是一个文本文件，网站所有者可以创建它来告诉搜索引擎机器人如何抓取和索引他们网站上的页面。
它通常存储在您网站的根目录（也称为主文件夹）中。robots.txt 文件的基本格式如下所示：
12345678
User-agent: [user-agent name]Disallow: [URL string not to be crawled] User-agent: [user-agent name]Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
您可以使用多行说明来允许或禁止特定 URL 以及添加多个站点地图。如果您不禁止某个 URL，则搜索引擎机器人会假定它们可以对其进行抓取。
以下是 robots.txt 示例文件的外观：
123456
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
在上面的 robots.txt 示例中，我们允许搜索引擎在我们的 WordPress 上传文件夹中抓取和索引文件。
在那之后，我们禁止搜索机器人抓取和索引插件以及 WordPress 管理文件夹。
最后，我们提供了 XML 站点地图的 URL。
您的 WordPress 网站需要 Robots.txt 文件吗？
如果您没有 robots.txt 文件，搜索引擎仍会抓取您的网站并将其编入索引。但是，您将无法告诉搜索引擎它们不应抓取哪些页面或文件夹。
当您第一次创建博客并且没有很多内容时，这不会产生太大影响。
但是，随着您的网站的发展和您拥有大量内容，您可能希望更好地控制您的网站的抓取和索引方式。
这是为什么。
搜索机器人对每个网站都有一个抓取配额。
这意味着他们在抓取会话期间抓取了一定数量的页面。如果他们没有完成对您网站上所有页面的抓取，那么他们将在下一个会话中返回并继续抓取。
这会减慢您的网站索引速度。
您可以通过禁止搜索机器人尝试抓取不必要的页面（例如 WordPress 管理页面、插件文件和主题文件夹）来解决此问题。
通过禁止不必要的页面，您可以节省抓取配额。这有助于搜索引擎抓取您网站上的更多页面，并尽快将它们编入索引。
另一个使用 robots.txt 文件的好理由是，当您想阻止搜索引擎将您网站上的帖子或页面编入索引时。
这不是向公众隐藏内容的最安全方法，但它会帮助您防止它们出现在搜索结果中。
理想的 Robots.txt 文件是什么样的？
许多流行的博客使用一个非常简单的 robots.txt 文件。它们的内容可能会有所不同，具体取决于特定站点的需求：
12345
User-agent: *Disallow: Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml
此 robots.txt 文件允许所有机器人为所有内容编制索引，并为它们提供指向网站XML 站点地图的链接。
对于 WordPress 站点，我们建议在 robots.txt 文件中遵循以下规则：
123456789
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xml
这告诉搜索机器人索引所有 WordPress 图像和文件。它禁止搜索机器人索引 WordPress 插件文件、WordPress 管理区域、WordPress 自述文件和附属链接。
通过将站点地图添加到 robots.txt 文件，您可以让 Google 漫游器轻松找到您网站上的所有页面。
现在您知道理想的 robots.txt 文件是什么样的，让我们来看看如何在 WordPress 中创建 robots.txt 文件。
如何在 WordPress 中创建 Robots.txt 文件？
有两种方法可以在 WordPress 中创建 robots.txt 文件。您可以选择最适合您的方法。
方法 1：使用多合一 SEO 编辑 Robots.txt 文件
多合一 SEO也称为 AIOSEO，是市场上超过 200 万个网站使用的最佳 WordPress SEO 插件。
它易于使用并带有 robots.txt 文件生成器。
如果您还没有安装 AIOSEO 插件，您可以查看我们关于如何安装 WordPress 插件的分步指南。
注意： AIOSEO 的免费版本也可用并具有此功能。
安装并激活插件后，您可以使用它直接从 WordPress 管理区域创建和编辑 robots.txt 文件。
只需转到多合一搜索引擎优化»工具来编辑您的 robots.txt 文件。
首先，您需要打开编辑选项，方法是单击“启用自定义 Robots.txt”切换为蓝色。
启用此开关后，您可以在 WordPress 中创建自定义 robots.txt 文件。
多合一 SEO 将在屏幕底部的“Robots.txt 预览”部分中显示您现有的 robots.txt 文件。
此版本将显示 WordPress 添加的默认规则。
这些默认规则告诉搜索引擎不要抓取您的核心 WordPress 文件，允许机器人为所有内容编制索引，并为它们提供指向您网站的 XML 站点地图的链接。
现在，您可以添加自己的自定义规则来改进您的 robots.txt 以进行 SEO。
要添加规则，请在“用户代理”字段中输入用户代理。使用 * 会将规则应用于所有用户代理。
然后，选择是“允许”还是“禁止”搜索引擎抓取。
接下来，在“目录路径”字段中输入文件名或目录路径。
该规则将自动应用于您的 robots.txt。要添加另一条规则，请单击“添加规则”按钮。
我们建议您添加规则，直到您创建我们上面分享的理想 robots.txt 格式。
您的自定义规则将如下所示。
完成后，不要忘记单击“保存更改”按钮来存储您的更改。
方法 2. 使用 FTP 手动编辑 Robots.txt 文件
对于这种方法，您需要使用 FTP 客户端 来编辑 robots.txt 文件。
只需使用 FTP 客户端连接到您的WordPress 托管帐户。
进入后，您将能够在您网站的根文件夹中看到 robots.txt 文件。
如果您没有看到，那么您可能没有 robots.txt 文件。
在这种情况下，您可以继续创建一个。
Robots.txt 是纯文本文件，这意味着您可以将其下载到您的计算机并使用任何纯文本编辑器（如记事本或 TextEdit）进行编辑。
保存更改后，您可以将其上传回网站的根文件夹。
如何测试您的 Robots.txt 文件？
创建 robots.txt 文件后，最好使用 robots.txt 测试工具对其进行测试。
市面上有许多 robots.txt 测试工具，但我们建议您使用Google Search Console 中的一个。
首先，您需要将您的网站与 Google Search Console 相关联。如果您还没有这样做，请参阅我们关于如何将您的 WordPress 网站添加到 Google Search Console 的指南。
然后，您可以使用Google Search Console 机器人测试工具。
只需从下拉列表中选择您的财产。
该工具将自动获取您网站的 robots.txt 文件，并在发现错误和警告时突出显示。
最后的想法
优化 robots.txt 文件的目的是防止搜索引擎抓取不公开的页面。例如，wp-plugins 文件夹中的页面或 WordPress 管理文件夹中的页面。
SEO 专家之间的一个普遍误解是，阻止 WordPress 类别、标签和存档页面将提高抓取速度并导致更快的索引编制和更高的排名。
这不是真的。这也违反了 Google 的网站管理员指南。
我们建议您按照上述 robots.txt 格式为您的网站创建 robots.txt 文件。
我们希望本文能帮助您了解如何针对 SEO 优化 WordPress robots.txt 文件。您可能还想查看我们的终极 WordPress SEO 指南和最好的 WordPress SEO 工具来发展您的网站。