原创
2020-10-13 17:09:17
一、在哪里可以找到Robots.txt文件
robots.txt文件储存在我们网站的根目录中，要找到它，我们需要打开FTP cPanel，在public_html网站目录中找到该文件。
二、怎样将Robots.txt文件放在一起
Robots.txt是一个超级基本的文本文件，我们只需要一个简单的文本编辑器即可。打开工作表并将空白页另存为“ robots.txt”。登录到我们的cPanel并找到public_html文件夹以访问站点的根目录，打开后，将文件拖入其中。最后，确保为文件设置了正确的权限，该文件应显示“ 0644”权限代码。
三、Robots.txt语法
robots.txt文件由“指令”的多个部分组成，每个部分均以指定的用户代理开头。用户代理是该代码所针对的特定爬网机器人的名称。
有两个选项：
1、可以使用通配符一次访问所有搜索引擎
2、可以单独处理特定的搜索引擎
用户代理指令
每个块中的前几行是“用户代理”，用于精确定位特定的机器人。用户代理将匹配特定的机器人名称。
主机指令
目前，只有Yandex支持host指令，尽管有些猜测说Google确实支持。该指令允许用户决定是否显示www。
Sitemap指令（XML Sitemap）
使用sitemap指令会告诉搜索引擎在哪里可以找到XML网站地图。但是，最有用的做法可能是将每一项提交给搜索引擎特定的网站站长工具。
相关渠道
相关市场
全球赢团队已专注外贸推广17年，累计为20000多家外贸企业提供海外营销推广服务；未来，我们将帮助更多的中国企业出海，“赢”销全球！
立即咨询专属推广方案
