Amazon官方爬虫说明
各维度得分依据公开资料与字段推算,加权后即综合评分,仅供参考。
AmazonBot 页面是 Amazon 面向站长和内容所有者发布的爬虫说明文档。它列出 Amazonbot、Amzn-SearchBot、Amzn-User 三类抓取器,说明它们如何访问网站内容,以及站长如何通过行业标准指令进行管理。严格来说,它不是可购买的软件工具,而是 Amazon 爬虫生态的透明度与控制入口。
Amazonbot 用于改进 Amazon 产品和服务,并可能用于训练 Amazon AI 模型;Amzn-SearchBot 用于改进 Amazon 产品和服务中的搜索体验,允许访问后内容可能出现在 Alexa、Rufus 等体验中,且声明不用于生成式 AI 模型训练;Amzn-User 则支持代表用户获取实时网页信息,例如回答 Alexa 中需要最新信息的问题,也不用于生成式 AI 模型训练。页面公开了各自的 User-Agent 与 IP 地址链接,方便运维、安全和 SEO 团队识别流量来源。
Amazon 声明遵循 Robots Exclusion Protocol,支持 user-agent、allow/disallow 指令,并会读取主机级 robots.txt;多主机场景下按各 host 独立规则处理。页面还说明支持 rel=nofollow,以及 noarchive、noindex、none 等页面级 robots meta 标签,但不支持 crawl-delay。文档信息较直接,覆盖站长最关心的识别、用途和屏蔽方式,不过当前页面仅有英文,中文仍在开发,且缺少 robots.txt 示例、在线验证工具和更细粒度策略说明。
页面未提及任何收费模式,也没有 API/SDK 或自托管选项。AmazonBot 是 Amazon 自有爬虫体系,并非开源项目;站长可做的是通过标准协议控制其访问或通过 [email protected] 联系支持。
优点是爬虫分类清楚,明确区分搜索、实时用户请求和可能涉及 AI 训练的用途,并公开 IP 与 User-Agent;缺点是不支持 crawl-delay,robots.txt 获取失败时会按不存在处理,中文文档缺失。它适合网站站长、出版方、内容合规团队、SEO 与安全运维人员,用于决定是否允许 Amazon 相关产品抓取和使用内容。
抓取文本未提供中国大陆访问、支付或网络可用性信息,因此中国访问状态为未知。若进行爬虫治理,可同时参考 Googlebot、Bingbot、Applebot、GPTBot、ClaudeBot 等类似爬虫的公开说明与 robots 控制策略。
本测评基于公开资料整理,不构成购买建议,请以 amazonbot.amazon 官网实际信息为准。
官方解释AmazonBot,站长可用于robots策略。
评分明细(分布与用户短评)接入中。当前展示 TG4G 综合评分,数据源自公开测评与用户反馈。