本小程序适合 Web 开发者 用于按设定条件快速生成适于 百度 Google 必应 360搜索 搜狗 神马搜索 中国搜索等 搜索引擎 Spider 蜘蛛 自动爬取收录 网站页面范围的 .TXT 文件 。

支持自动检测｜提示生成｜加载网站排除条目 /dtconfig/exclude 配置文件，从现有 /robots.txt 文档获取网站域名。

请使用 数据比较 备份 100%精确比较 (或抽检) 处理前 后内容。

相关应用

TXT 站点地图     XML 站点地图