一句话GSiteCrawler 是一款面向 Windows 的免费网站爬取与 Google/Yahoo 站点地图生成工具。
定价免费 网站正文明确表示可免费下载使用,并提供 Donate 捐赠入口;未看到付费版本或订阅价格。
适合谁站长、SEO 从业者、网站管理员,以及需要为网站生成 Sitemap 和检查链接状态的个人或小团队。
核心功能生成 Google Sitemap XML 文件支持 Yahoo URL list、RSS、ROR、HTML Sitemap 等导出格式模拟 Googlebot 抓取站内链接支持从现有 Sitemap、服务器日志、文本 URL 文件导入遵守 robots.txt 与 robots meta 标签最多 15 个并行抓取线程支持过滤、禁用和自动 URL 修改检查页面日期、大小、标题、描述、关键词统计下载与抓取耗时识别破损链接和非标准 404 页面支持 FTP 自动上传 Sitemap可使用 MS Access、SQL Server 或 MSDE 数据库
功能与用途用于 Windows 环境下抓取网站 URL、编辑 Sitemap 属性,并生成 Google Sitemap XML、Yahoo URL list、RSS、ROR、HTML Sitemap、CSV/Excel、Google Base Bulk-Import、robots.txt 等文件;同时提供站点概览、破损链接、速度、重复内容等报告。
数据来源与规模数据可来自正常网站爬取、现有 Google Sitemap、服务器日志文件、包含 URL 的文本文件。正文提到最多可 15 路并行抓取;可用 MS Access 数据库,也可用 SQL Server 或 MSDE 支持较大型站点,并可在网络环境多电脑共享数据库。
定价免费下载使用,网站有 Donate 捐赠入口,未提供商业付费方案价格。
支持渠道/平台支持 Windows 95、98、ME、2000、XP、2003 Server,并提到从 Windows 95b 以上及部分服务器版本可运行;需要 Internet Explorer 5.5 及以上。支持渠道包括 FAQ、文档、Google Group、邮件联系。
集成支持内置 FTP 上传 Sitemap;可使用 MS Access、SQL Server、MSDE 数据库;可导入服务器日志、Sitemap、文本 URL 文件;导出 Google、Yahoo、RSS、ROR、CSV/Excel、Google Base 等格式。
适用团队规模适合个人站长、SEO 顾问、小型网站团队;正文提到作者公司是 5 人小团队,但未明确产品面向的团队规模。网络共享数据库能力可支持多人或多机器场景。
免费试用提供免费下载使用,非限时试用信息;未看到试用期限制。
中国访问未知
适用场景为中小型网站生成 XML Sitemap;批量抓取站内 URL;检查破损链接、重复内容和页面速度;导出 URL 列表、HTML Sitemap、RSS 或 CSV 报表;定期自动生成并通过 FTP 上传 Sitemap。
同类Screaming Frog SEO Spider、Sitebulb、A1 Sitemap Generator、XML-Sitemaps.com、各类 CMS Sitemap 插件