Robots.txt 生成器

在几秒钟内在线生成有效的 robots.txt 文件。

Default - All Robots are:

Crawl-Delay:

Sitemap path:

Search Robots:

Google:

Google Image:

Google Mobile:

MSN Search:

MSN PicSearch:

Bing:

Yahoo:

Yahoo MM:

Yahoo Blogs:

Ask/Teoma:

GigaBlast:

DMOZ Checker:

Nutch:

Alexa/Wayback:

Baidu:

Naver:

Ahrefs:

Yandex:

Mail.Ru:

Rambler.Ru:

Restricted Directories: The path is relative to root and must contain a trailing slash "/"

Result Robots.txt

常见问题

什么是 robots.txt 文件？

robots.txt 文件是一个非常简单的文本文件。它的主要功能是防止某些搜索引擎爬虫（例如Google）抓取网站上的内容并将其编入索引以进行SEO。如果你不确定你的网站或客户的网站是否有 robots.txt 文件，很容易检查：只需输入 example.com/robots.txt 即可。你会发现错误页面或纯格式页面。

如何创建 robots.txt？

创建 robots.txt 文件有不同的方法。您可以从以下方式创建它：内容管理系统，计算机，然后通过网络服务器将其上传，手动构建并上传到网络服务器。

搜索引擎优化中的 robot.txt 是什么？

搜索引擎机器人查看的第一个文件是机器人的文本文件，如果找不到，那么爬虫很可能不会索引你网站的所有页面。稍后当你添加更多页面并附带一些说明时，可以更改这个小文件，但请确保不要将主页添加到 disallow 指令中。Google 的运营预算非常有限；该预算基于扫描限制。

sitemap.xml 和 robots.txt 文件之间的区别

站点地图对所有网站都至关重要，因为它包含对搜索引擎有用的信息。站点地图告诉机器人您多久更新一次网站，您的网站提供了哪些内容。它的主要目的是通知搜索引擎您网站上需要抓取的所有页面，而机器人文本文件则用于搜索机器人。它告诉爬虫要抓取哪个页面，不该抓取哪个页面。网站地图是网站索引所必需的，但机器人的文本不是（如果你没有不需要索引的页面）。

产品

网站

关于

Language

User Name