需求与来源定义
确认公开来源、字段、关系、规模、频率、截止时间和禁止范围。
公开数据采集、解析与质量交付
项目可覆盖来源清单、采集程序、结构化解析、失败补采和约定格式交付。
采集与解析实施
围绕目标变化、失败重试、对象下载和结构化解析实施项目。
质量与数据交付
按完整性、格式、来源记录和业务规则验收批次或增量数据。
数据项目交付流程
确认来源与 Schema 后完成采集 PoC、质量基线和批次或增量交付。
- 01
冻结来源与 Schema
明确页面、对象、字段、关系、格式和更新方式。
- 02
建立采集 PoC
用代表性样本验证访问、解析、媒体对象与失败场景。
- 03
确认质量基线
定义完整性、唯一性、时效、来源追踪与异常规则。
- 04
批次或增量交付
按约定周期交付数据，并记录变更、缺口与补采结果。
交付范围与项目输入
123Proxy 实施约定范围内的采集与交付；客户提供合法用途、字段样本、质量规则和接收方式。
项目可包含
- 公开来源清单与采集策略
- 采集程序、解析规则与失败重试
- 文件对象或结构化数据交付
- 质量报告、来源记录与约定补采
客户需要提供
- 合法、明确的数据用途与来源范围
- 字段、关系、样本和业务校验规则
- 规模、频率、格式与完成周期
- 接收方式、存储环境与内部治理要求
常见格式JSON / CSV / Files
交付模式批次 / 增量
质量依据样本与规则
范围依据PoC 与合同
数据质量与交付指标
按完整性、准确性、来源追踪和交付时效记录项目结果。
| 验收维度 | 检查内容 | 交付记录 |
|---|---|---|
| 完整性 | 字段、对象、关系与目标覆盖 | 缺口和补采清单 |
| 准确性 | 类型、格式和业务规则 | 异常样本与修正规则 |
| 可追溯 | 来源、采集时间和任务批次 | 来源与版本记录 |
| 时效性 | 批次完成时间或增量延迟 | 交付时间与变更说明 |
支持与合规
公开或已授权数据
数据采集服务不得用于绕过登录、验证码、付费墙、技术访问控制或目标方明确禁止的访问。项目启动前需要确认来源、用途、必要字段和数据保留策略。
公开或已授权来源目的与范围限定最小必要字段不绕过访问控制
企业服务常见问题
数据采集服务与代理产品有什么区别？
代理产品提供网络出口；数据采集服务围绕来源、字段、程序、质量和交付结果实施项目。客户已有成熟采集系统时，通常只需要标准代理产品或定制代理池。
可以采集哪些数据？
仅限依法可访问的公开数据或客户已获授权的数据，具体来源和用途需在项目评估中确认。
可以交付哪些格式？
常见形式包括 JSON、CSV、文件对象或客户指定的存储路径，最终格式、Schema 和批次方式以项目范围为准。
如何验收数据质量？
通过代表性样本定义完整性、准确性、唯一性、时效性和来源追踪规则，并在 PoC 与正式方案中冻结。
123PROXY ENTERPRISE
获取数据采集与交付方案
提交公开来源、字段样本、规模、频率、格式和完成周期。
评估采集项目微信专家咨询