站点 Robots 2024 v12.9.5.6 build 20240424.133104

 

本小程序适合 Web 开发者 用于按设定条件快速生成适于 百度 Google 必应 360搜索 搜狗 神马搜索 中国搜索等 搜索引擎 Spider 蜘蛛 自动爬取收录 网站页面范围的 .TXT 文件

支持自动检测|提示生成|加载网站排除条目 /dtconfig/exclude 配置文件,从现有 /robots.txt 文档获取网站域名。

请使用 数据比较 备份 100%精确比较 (或抽检) 处理前 后内容。

相关应用


TXT 站点地图     XML 站点地图

基本用法


适合格式


此小程序适于所有文件格式。