稳定实体
产品身份
品牌,模型,定位,类别,标识符,描述,属性和媒体.
- ASIN / SKU / GTIN / MPN
- Brand & model
- Category & attributes
商业记录模式
关联产品、报价、卖家和评论。
根据卖家,位置,页面和时间变化的观察,将身份分离.结果更容易进行比较,更新和管理.
配置
变量
产品的尺寸,颜色,容量,单位,包装,风格或其它源定义的配置.
- Variant identifier
- Option labels
- Parent relationship
时间限制的观察
提供
显示价格,清单价格,促销,条件,可用性,运输,接收和交付情况.
- Value & currency
- Seller & condition
- Observed context
市场实体
卖家
公共商人身份和商店背景与产品保持分开,并提供供应.
- Seller ID & name
- Storefront URL
- Public rating context
公共反
审查
总结评级,分布,计数和审查级别的字段,当选择的终端点或范围支持它们.
- Rating & count
- Review text & date
- Source-level availability
来源覆盖
检查数据源和字段覆盖范围。
选择 API 或定制采集前，确认所需的数据源、页面类型、市场和字段。
记录
结构化贸易终点
目前的文档列出了市场和零售商API,其中包含源特定的请求和响应合同.
- Amazon
- eBay
- Walmart
- Best Buy
- Home Depot
- Lowe's
- Nordstrom
- Target
- Wayfair
飞行员先
其他符合条件的公共贸易来源
零售商,市场,品牌,比较和审查来源在重复承诺之前通过代表性页面进行评估.
- Required page families and discovery inputs
- Country, postal, language, and device context
- Field presence, optional modules, and failure states
- Cadence, volume, retention, and delivery fit
没有标准
个人或交易客户表面
个人账户,购物车,支票或客户数据不属于标准公共网页范围.
- Authenticated customer accounts
- Orders and transaction records
- Personalized checkout totals
- Internal retailer inventory systems
字段和示例记录
查看示例记录中的字段。
开始从系统需要的领域,然后将源值,可选模块,标识符和质量状态映射到文档的方案中.
身份
product_id · source_product_id · brand · title · category · attributes · media
变量
variant_id · parent_id · size · color · unit · pack_quantity · option_labels
报价和价格
current_price · list_price · currency · promotion · condition · seller_id
可用性和实现性
availability_text · normalized_state · shipping · pickup · delivery_window
评级和评价
rating · rating_count · review_count · distribution · review_items
产品来源和质量
source_url · observed_at · requested_context · collection_state · schema_version
{
"record_id": "obs_001",
"schema_version": "commerce.v1",
"product": {
"source_product_id": "DEMO-128",
"brand": "Example",
"title": "Wireless headphones",
"variant": { "color": "black" }
},
"offer": {
"current_price": 79.00,
"list_price": 99.00,
"currency": "USD",
"availability_text": "In stock"
},
"rating": {
"value": 4.6,
"count": 1248
},
"source_url": "https://retailer.example/p/001",
"observed_at": "YYYY-MM-DDThh:mm:ssZ",
"collection_state": "observed"
}身份和匹配
没有删除源头,正常化.
保持原始观察,然后只在比较可以解释和测试的情况下添加一个合同的身份层.
- 01产品身份Sony · WH-1000XM5
- 02变量颜色：黑色
- 03提供观察卖家、价格、可用性、URL 和 observed_at 保持特定于来源
结果根据规则匹配已关联产品和黑色变体 · 保留源商品页
清新和历史
清新是一项实地合同,而不是标志.
指定收集时间,记录的时间标签以及哪些变化需要成为历史而不是重写值.
请求时
打电话给一个有记录的终点.
答案代表请求处理时支持的页面和请求的文本.异步
提交工作,然后获取快照.
选择的零售商终端点将返回快照识别器,而结构化记录则准备.时间表
更新已达成的源组.
随着源头,页面家族,产品层次和领域波动性,随着时间的变化而异.长度
保持观察和变化事件.
历史从收集开始,除非一个独立的历史来源得到验证.质量和缺失
让每一个非值都解释自己.
质量不是一个准确率百分比. 它是一个与场地,记录,来源和交付相关的一致的检查和可观察状态.
国家意思下游行动
The supported field or object was returned in the requested context.
Use with timestamp and sourceThe page was collected, but the selected module or field was not displayed.
Keep distinct from zeroThe page or object was not available in the requested public context.
Do not infer inventoryThe collection event did not produce a usable page or supported response.
Retry or escalate by contractA value did not meet the agreed structure, type, or parsing rule.
Quarantine with reasonIdentity cues were incomplete, conflicting, or below the agreed threshold.
Keep source record available交付的选择
选择数据获取方式。
在应用中使用 API，定期接收记录，或交由我们负责采集。
代理
保留现有采集程序，使用我们的代理网络。
将住宅、数据中心或 ISP 代理接入团队现有的采集程序。
功能详情
您获得的内容用于自有请求的代理访问
我们负责代理网络和访问
您负责的部分采集、提取、存储和分析
适合 · 适合已有采集程序的团队。
探索代理基础设施团队构建什么
将这些记录用于实际工作。
利用以下字段和示例规划分析、产品或监测工作流。
代表性飞行员
在自己的工作流中测试样本。
实用试点证明了最难的源和场合组合,
- 01
简短
给出对象和背景的名称.
来源,页面类型,标识符,市场,位置,设备,字段,序列和排斥. - 02
样本
收集代表性的页面.
包含变体,促销,多个销售商,缺少模块,不可访问的页面,并审查差异. - 03
合同
批准方案和质量状态.
字段定义,源地图,匹配规则,理由代码,历史,接受和交付格式. - 04
交付
选择操作模式.
使用验证范围分配访问,采集,维护,质量,交付和决策所有权.
常见问题
开始前的常见问题
WebScrapingAPI可以提供哪些产品和商业数据?
采集产品、价格、促销、库存、卖家和评论，用于零售分析。选择结构化电商 API、数据集或定期数据流。
今天有哪些商业来源?
了解 Amazon、Walmart、eBay 和其他受支持零售商的电商 API。各数据源页面列出了可通过样本确认的页面类型和字段。
评价和评级可以提供吗?
评级,评审计,评分分分发或评审摘录为选定的产品终点记录,也可以在一个范围数据程序中进行评估.评审领域因来源和页面类型而异,除非该覆盖得到验证,否则评级总结不应作为完整的评审覆盖.
产品,变体,报价,卖家和评价记录是如何相连的?
数据模型将稳定的产品身份保持与源变体,时间限制的报价,卖家背景和审查观察分开.每个对象可以保留其源URL,源标识符,请求的背景,观察时间和收集状态,以便下游团队可以连接记录,而不删除它们来自哪里.
能否在不同来源中匹配同样的产品?
数据流或托管项目可包含匹配处理。通过样本确认标识符、比较规则，以及不确定或冲突匹配的呈现方式。
产品和价格数据有多新鲜?
API 在调用时采集数据。数据流和 Managed Data 遵循约定计划，并在可用时分别保留来源时间与采集时间。
历史价格,卖家和可用性变化可以提供吗?
历史记录从开始监测时建立。更早的覆盖范围取决于可用的来源记录或存档快照。通过样本审核日期和缺口。
缺失的田地和失败的收藏是如何表现的?
样本区分缺失字段、不可用页面、失败请求和待审核数值。定期交付前，商定每种状态的处理方式。
商业页面变时,谁会保持收藏?
使用代理时，您的团队维护采集程序；使用页面访问 API 时，维护自定义解析器。我们维护 Data API 支持的数据提取，以及数据流或 Managed Data 包含的采集工作。
有哪些责任使用和数据界限?
客户的权限限限限于符合条件的公共网页和已达成的公共领域.私人账户,购物车,收银,订单和客户数据不是标准范围.客户仍然负责合法使用,保留,访问控制以及定价,商业化,执行或其他决定.