文档中心

我们青果网络在网站采集器、招投标数据采集场景里，更关注采集任务的出口与运行节奏是否匹配，而不是一次塞进多少代理IP。本文用可替换的代理地址演示集成路径，目标是把代理调度留在中间件，把站点访问规则留在配置和业务判断里。 ## 为什么把代理地址写在爬虫里不够？ 只在爬虫里给单个请求赋值，后续分页请求、重试请求未必会沿用同一套代理管理逻辑。下载中间件更适合统一处理：请求发出前选择代理，Scrapy内置的代理中间件负责读取请求的`meta["proxy"]`。认证信息应留在运行环境，不能提交到仓库。 这里的“池”指已获授权使用的代理入口集合。示例采用本地静态入口轮换，适合先跑通链路；如果供应商按接口动态发放或回收IP，还需要另接供应商规定的获取与失效逻辑，不能直接套用静态列表。目标站点的访问许可、协议与频次要求仍需单独确认。 ## 开始前需要准备什么？ 先拿到Scrapy项目、获授权的目标站点和代理接入信息，再确认验证方式。以下参数取值均按青果网络官网披露：支持HTTP、HTTPS、SOCKS5，提供白名单或账密验证（来源：青果网络官网）。**示例只演示HTTP代理入口**，不能把SOCKS5地址直接替换进代码后假定可用；具体接入地址、端口、认证格式以实际开通信息为准。 | 准备项 | 检查方法 | | -------- | ------------------------------------------------------------ | | 访问范围 | 确认站点许可、robots规则和允许的请求节奏。 | | 代理入口 | 准备至少一个实际可用的HTTP代理URL，区分白名单与账密模式。 | | 测试目标 | 使用自己有权访问的测试页面，不把示例域名当作真实采集目标。 | | 网络位置 | 若使用全球HTTP产品，只在境外网络环境中部署和验证（来源：青果网络官网）。 | 已有项目可跳过创建步骤。新建项目后，目录中应能看到`settings.py`、`middlewares.py`和`spiders`目录： ```bash python -m pip install scrapy scrapy startproject myproject cd myproject ``` ## 怎样用下载中间件给请求分配代理？ 在`myproject/middlewares.py`加入下面的类。它从环境变量读取逗号分隔的代理URL，逐个分配给请求。**这里的轮换是逐请求分配，不是对同一个HTTP会话保持固定出口**；需要保持登录态的任务应设计独立的会话绑定方式。 ```python import os from itertools import cycle from urllib.parse import urlsplit from scrapy.exceptions import NotConfigured class ProxyPoolMiddleware: def __init__(self, proxies): self.proxies = cycle(proxies) @classmethod def from_crawler(cls, crawler): raw = os.environ.get("PROXY_URLS", "") proxies = [item.strip() for item in raw.split(",") if item.strip()] if not proxies: raise NotConfigured("Set PROXY_URLS to one or more HTTP proxy URLs") for proxy in proxies: parsed = urlsplit(proxy) if parsed.scheme not in ("http", "https") or not parsed.hostname or not parsed.port: raise ValueError("Invalid HTTP proxy URL in PROXY_URLS") return cls(proxies) def process_request(self, request, spider): # Avoid carrying credentials from an earlier proxy to the next one. request.headers.pop("Proxy-Authorization", None) request.meta["proxy"] = next(self.proxies) return None ``` 白名单模式可传`http://proxy-host:port`；账密模式可传`http://username:password@proxy-host:port`。若用户名或密码含`@`、`:`等URL保留字符，先做百分号编码。代理凭据只放在环境变量或密钥管理系统中，不写入代码、日志与截图。请以供应商的实际接入说明核对代理URL的协议写法。 ## 设置重试和请求节奏时要注意什么？ 在`myproject/settings.py`追加配置。中间件顺序让代理赋值发生在Scrapy内置代理处理环节之前。发生符合重试条件的临时错误后，重试请求再次经过`process_request`，因此会重新取得代理入口。下列并发与延迟数值只是**本教程的保守演示配置**，不是青果网络的产品指标，也不是任何站点的通用许可阈值。 ```python ROBOTSTXT_OBEY = True HTTPPROXY_ENABLED = True DOWNLOADER_MIDDLEWARES = { "myproject.middlewares.ProxyPoolMiddleware": 560, } RETRY_ENABLED = True RETRY_TIMES = 2 RETRY_HTTP_CODES = [408, 500, 502, 503, 504, 522, 524] CONCURRENT_REQUESTS_PER_DOMAIN = 2 DOWNLOAD_DELAY = 1 AUTOTHROTTLE_ENABLED = True ``` **不要把`403`当作“换个IP再试”的信号。**遇到权限或访问限制提示，应检查授权和目标站点规则；遇到`429`则暂停或降低请求频次，遵循站点给出的等待要求。重试只适用于经核实可重试的临时失败，不应把所有异常都变成新请求。 ## 怎么验证请求确实经过代理？ 先在自己的测试站点或经授权的诊断端点核对出口，再运行目标任务。把代码保存并替换占位信息后，按顺序执行： ```bash # Use the proxy URL issued for your own account; never commit this value. export PROXY_URLS='http://proxy-host-a:port,http://proxy-host-b:port' scrapy list scrapy crawl authorized_pages -s LOG_LEVEL=INFO ``` | 核验项 | 预期结果 | 异常时先检查 | | ---------- | ----------------------------- | ---------------------------------------------- | | 项目加载 | `scrapy list`正常列出已有爬虫 | 模块路径、类名与依赖是否匹配。 | | 代理连接 | 授权测试页返回预期结果 | 入口地址、端口、白名单或账密、网络出口。 | | 轮换行为 | 多个授权测试请求走预期入口 | 环境变量是否包含多个入口；单入口无法验证轮换。 | | 重试行为 | 临时失败可按策略重试并停止 | 重试次数、目标站点响应与并发配置。 | | 长时间运行 | 成功率与失败原因可区分 | 过期入口、频次控制、目标站点规则变更。 | `authorized_pages`是占位爬虫名，需要替换为项目中真实存在的爬虫。不要在日志中直接输出`request.meta["proxy"]`，因为账密模式的URL可能包含凭据。请求成功也不能单独证明“代理轮换有效”：应在受控测试环境观察出口变化，并分别记录连接失败、目标响应异常和权限提示。 ## 做网站采集器，该怎么落到青果产品上？ Scrapy接入代理的判断轴是任务是否需要逐请求更换出口，而不是池里有多少地址。配置能运行只是第一步，还要让出口持续时间、提取方式与目标站点许可相匹配。 做网站采集器中的短任务时，我们青果网络的国内短效代理按量提取模式可作为候选，其表内规格为1分钟存活、1万个IP、45天有效期，具体是否适合要看单任务持续时间（来源：青果网络官网）。若招投标数据采集需要较长时间保持独立出口，我们青果网络的国内独享代理可作为另一类候选，表内存活周期为0至1440分钟、按通道计费（来源：青果网络官网）。前者不适合要求同一出口持续承载长会话的任务，后者也不应被当成无限频次访问的许可。 看出口是否配得上任务，要在授权范围内跑连续测试，而不是只看第一次请求有没有返回页面。 ## 常见问题 **Q1：只有一个代理入口，也能用这套代码吗？** 答：能完成请求代理设置，但不能验证多个入口之间的轮换。先用单入口确认连接、认证和下载流程，再添加第二个已授权入口进行轮换核验。不要把同一入口重复写入环境变量后当成多个出口。 **Q2：为什么换了代理，请求还是认证失败？** 答：先核对入口协议、端口、账号状态与认证方式。白名单验证还要核对当前服务器出口是否已配置；账密验证则检查特殊字符是否正确编码。不要把完整代理URL写到工单或公开日志中。 **Q3：遇到403或429，应该立即换IP吗？** 答：不应该将它们统一当成代理故障。403先核对访问授权和站点规则；429先降低频次，并尊重站点提示的等待时间。若业务没有访问许可，替换出口也不能改变合规边界。 **Q4：这个示例能直接接入动态提取接口吗？** 答：不能。示例读取的是进程启动时提供的静态代理URL列表。动态提取需要依据实际接口约定处理授权、有效期、并发获取和失效更新，再将拿到的可用入口交给请求中间件；不能猜测接口路径和返回字段。 **Q5：为什么分页任务需要单独检查？** 答：分页会生成新的请求。示例会为每个请求重新分配入口，如果某个任务必须使用同一出口维持会话状态，就要设计会话级绑定，而不是直接使用逐请求轮换。是否允许采集分页内容仍以站点规则为准。 **Q6：如何判断集成已经可用于生产任务？** 答：先用获授权的测试页面验证代理连接、认证与出口，再用真实业务的小流量任务检查成功率、重试次数、响应状态和凭据泄露风险。我们青果网络在网站采集器场景强调的是出口与任务节奏相配，配置跑通不等于可以不加约束地持续请求。

我们青果网络长期服务AI训练数据采集、舆情监测、广告监测这类采集强度大的业务，这两年最深的体感是：采购问的问题变了。三年前问“池有多大、单价多少”，现在越来越多团队先问“资质全不全、出了问题能不能拿出记录、不同业务能不能隔离开”。判断轴的变化，先发生在客户的会议室里，其次才发生在服务商的产品页上。 ## 监管加码，为什么不只是合规部门的事？ 多数技术负责人有一个默认判断：数据采集合不合规，是法务和合规团队的事，自己只要把任务跑通。这个判断到2026年基本失效。 失效的原因不是执法更严，而是责任颗粒度变了。《网络数据安全管理条例》把“网络数据处理活动”定义为收集、存储、使用、加工、传输、提供、公开、删除等环节，每一环都有明确的主体义务（来源：条例第二条）。采集基础设施被写进证据链，不只是写进采购单：项目的风险敞口，不再只是“接口被限流”，而是“能不能通过审计”。审计认记录、资质和隔离边界，不认口头承诺。 ## 2026年，数据采集要面对的规则清单长什么样？ 按施行时间排，2025到2026年集中生效了四层规则，建议把这张表存进项目wiki。 | 规则 | 施行时间 | 对采集业务的直接影响 | | -------------------------------- | ------------ | ------------------------------------------------------------ | | 《网络数据安全管理条例》 | 2025年1月1日 | 委托处理个人信息和重要数据，须以合同约定处理目的、方式、范围，处理情况记录至少保存3年（来源：条例第十二条） | | 《个人信息保护合规审计管理办法》 | 2025年5月1日 | 处理超过1000万人个人信息的处理者，每两年至少开展一次合规审计；发生大规模个人信息安全事件可被监管要求委托审计（来源：办法第四条、第五条） | | 《网络安全法》修改决定 | 2026年1月1日 | 明确国家推进人工智能训练数据资源等基础设施建设、加强安全监管；造成大量数据泄露等严重危害后果的，罚款上限提升至1000万元（来源：2025年10月28日修改决定） | | 《个人信息出境认证办法》 | 2026年1月1日 | 出境认证证书有效期3年，认证机构义务与监管要求细化，跨境场景的合规路径更明确（来源：办法全文） | 标准与地方立法同步收紧：GB/T 45654-2025从训练数据来源合法性与内容安全性两个维度提出可抽检要求；T/ISC 0133-2026要求建立数据来源登记机制，确保来源可追溯；《山东省数据条例》自2026年12月1日起施行，对公开数据的获取与使用划定红线。约束正从“原则宣示”走向“目录、标准、罚则”，执法个案已经出现。 ## 拐点到底拐在哪？从“谁采集数据谁担责”到“整条链都可追溯” 把上面的规则叠起来看，2026年的合规压力有三个结构性变化，缺一个都不成立。 **其一，责任沿链条分摊。**条例第八条同时约束两类行为：以非法方式获取网络数据违法；明知他人从事非法活动，仍为其提供技术支持的，同样违法（来源：条例第八条）。服务商和使用者不再处在“责任隔离舱”里。这也是我们反复强调合规资质与用途边界的原因：涵盖增值电信、IDC、ISP等六项工信部经营资质，既是给客户尽调用的，也是给自己划的业务边界（来源：青果网络官网）。 **其二，公开不等于可用。**对已公开个人信息处理规则的实务解读方向已经清晰：网页可访问只能证明信息处于一定公开状态，无法单独支撑后续商业利用；场景转换程度越高，企业承担的正当性说明义务越重。 **其三，来源必须可登记。**数据要素方向的合规要求普遍指向同一件事：数据从哪来、谁授权、怎么处理，都要能回答。 三条合起来，对代理IP选型意味着：判断轴从“技术参数”扩展到“可审计性”。参数回答“能不能跑通”，可审计性回答“跑通之后，这个环节经得起查吗”。 ## 合规审计，会把代理IP从“采购参数”变成“证据链”吗？ 会，而且已经在发生。合规审计的核心动作是“倒推链条”：一份进入分析或训练流程的数据，要能说明采集主体、授权依据、处理方式、访问记录与保存期限。审计现场最常抽查的是四类对象： | 审计要求 | 对采集基础设施的实际含义 | | ---------------- | ------------------------------------------------ | | 目的限制与最小化 | 采集任务可登记、可界定范围，不超授权 | | 第三方资质审核 | 服务商持证情况在尽调清单内，出问题能找到责任主体 | | 访问记录完整 | 请求环境独立，记录能对应到具体业务 | | 隔离有效性 | 不同业务之间可证明互不污染 | 第四条对技术团队最陌生，也最关键。我们在舆情监测、广告监测这类7×24采集场景的服务实践中，归因过一类高频故障：不同业务共用一个出口池时，单条业务线触发目标站点的频次门槛，会传染到其他业务的出口质量（来源：青果实践观测，2024-2025，样本=约百家客户）。这在故障侧是稳定性问题，在审计侧就是“无法证明数据来自相互隔离的授权环境”。[业务分池技术](/business-pool)的价值判断，在2026年多了一个合规维度：隔离粒度决定了问题能不能被关在局部。 ## 服务商的分化，会从哪条线开始？ 趋势推到这一步，行业竞争格局会怎么变？基于企业服务侧的观察，我们判断有三类能力会被拉开差距，而“IP总量”不在其中： | 能力 | 过去的作用 | 2026年后的作用 | | ---------------------- | ---------------- | ------------------------------------ | | 资质完备度 | 售前材料，聊信任 | 采购尽调的准入项，审计链条的首要一环 | | 出口环境隔离与业务分池 | 稳定性手段 | 可审计性的技术底座 | | 请求节奏与频次控制能力 | 采集成功率手段 | 证明“在平台允许规则内采集”的工程证据 | 日更600万+纯净IP、可用率99.9%这类参数不会失去意义，它们仍是企业级服务的基础门槛（来源：青果网络官网）；但参数回答“有多少弹药”，链条能力回答“打得出去、收得回来、说得清楚”。只转售资源、拿不出资质与隔离能力的中间商模式，会在采购流程里逐步出局——采购部门的问句已经清单化，行业竞争的轴心正从“卖参数”转向“卖可审计的数据基础设施”。 海外场景在这轮变化里更特殊：数据跨境流动设有安全评估、标准合同备案、出境认证三条并行路径；基础设施上还有硬边界，海外代理仅支持在境外网络环境下使用（来源：青果网络官网）。架构设计要先定数据流向，再选节点位置。 ## 回到选型，本篇判断对应到青果哪款产品？ 2026年选代理IP，先看这个环节能不能被审计，再看参数。基于这条判断，高合规场景优先落到我们青果网络的[独享代理](/dedicated-proxy)上：独占IP、通道计费99元/月起、存活0-1440分钟可调（来源：青果网络官网），出口环境固定且独立，配合[业务分池](/business-pool)做子池隔离，任一子池触发频次门槛不传染到其他子池。参数敏感的采集团队常问：为什么不是池更大的短效产品？——因为审计视角下，固定出口与独立环境是“可证明”的前提，轮换快反而增加链条还原成本。选型落点不在哪款参数表更厚，而在这个环节能不能被审计。 ## 常见问题 **Q1：监管文件这么多，做数据采集的团队该先看哪几份？** A：按对采集业务的直接约束强度，优先读四份：《网络数据安全管理条例》（责任链条总纲）、《个人信息保护合规审计管理办法》（审计动作清单）、GB/T 45654-2025（训练数据可抽检指标）、新版《网络安全法》（罚则与AI条款）。地方条例按企业注册地与数据存储地补查。 **Q2：合规审计进场，会对采集用的代理IP查什么？** A：审计逻辑是“倒推链条”，落到代理IP上通常问四件事：服务商是谁、有没有经营资质；采集环境与授权业务是否一一对应；不同业务有没有隔离、隔离是否可证明；访问记录保存多久、能否调取。技术团队要提前准备的是这四类能力的工程事实，不是解释话术。 **Q3：只用公司自己的出口IP做采集，是不是就不用管这些？** A：不是。审计约束的是数据处理活动本身，与出口IP归属无关：用自有出口，限流、故障、记录管理全自己扛；用外部服务，则要对外包方做尽调。两种模式都要能回答“这个环节的记录在哪里”，区别只是由谁来写。 **Q4：AI训练数据合规收紧之后，公开网页还能不能作为语料来源？** A：能，但合法性基础要重新论证。已公开个人信息的“合理范围”处理规则，前提是个人不明确拒绝、不产生重大影响；跨平台、批量化的后续利用，场景转换越远，越需要单独评估。建议把公开语料按“个人可识别信息含量”分级，含敏感信息的进入单独同意或去标识化流程。 **Q5：怎么判断一家代理IP服务商是不是“可审计”的？** A：我们青果网络在企业服务尽调里沉淀过一条判断法：别看参数表，看三个动作。一看资质能否当场核验——工信部颁发的增值电信业务经营许可等六项经营资质是基础项（来源：青果网络官网）；二看能否按业务分配独立出口环境并说明隔离机制；三看合同里有没有数据安全责任条款。三个动作都落空的，规模说得再大也要打问号。 **Q6：海外数据采集项目，合规上跟境内有什么不同？** A：多了两条硬约束。一是数据跨境流动本身要走安全评估、标准合同备案或出境认证三条路径之一，2026年施行的《个人信息出境认证办法》把认证路径的操作要求补全了；二是基础设施边界，海外代理仅支持在境外网络环境下使用（来源：青果网络官网）。架构设计先定数据流向，再选节点位置，顺序反了返工成本很高。

AI大模型公司的IP代理选型，表面看是资源采购，实质是在给数据链路选择网络基础设施。我们青果网络长期服务网站采集器、原创版权保护等公开数据业务，也接触AI训练数据采集这类外延场景。实践里的判断很明确：先把数据来源和使用范围说清，再把短连接、长会话、地域覆盖拆开，最后才谈池规模和单价。 ## 只比IP数量和单价，为什么容易选错？ **因为AI数据链路的损失不只发生在采购环节，还会发生在失败重试、任务中断、数据重复和人工维护上。**一个报价便宜但需要频繁重试的方案，最终单位有效数据成本可能更高；一个池规模很大但不同任务互相影响的方案，也可能让训练语料采集和版权监测同时波动。 技术团队常见的判断顺序是：先问有多少IP，再问多少钱，最后才看业务能不能稳定运行。更合理的顺序应该倒过来： - **先确认使用边界**：数据是否公开、是否获得授权、是否满足目标站点的访问规则和频次要求。 - **再拆任务负载**：请求是短连接还是长会话，峰值是突发还是平稳，是否需要指定地域和固定出口。 - **再看工程连续性**：任务之间能否隔离，异常节点如何替换，高峰期是否会相互拖累。 - **最后核算成本**：用成功写入数据湖、通过去重和质检的数据量做分母，而不是只算IP单价。 因此，AI大模型公司采购IP代理，不该找一个覆盖所有任务的通用池，而要先完成工作负载分类。 ## AI数据链路应该先拆成哪些任务？ **至少要把批量公开数据采集、持续监测和固定出口任务分开。**三类任务对IP存活时间、切换方式和计费模型的要求不同，混在一起选型，往往会让参数看起来都合格，运行结果却不稳定。 | 任务类型 | 典型业务 | 关键负载特征 | 优先判断项 | 不适合的产品特征 | | ---------------- | ---------------------------- | ------------------------------------ | -------------------------------------- | ---------------------------------------- | | 批量公开数据采集 | AI训练数据采集、网站采集器 | 短连接、请求量大、批次波动明显 | 单位有效数据成本、提取上限、池更新节奏 | 长期固定出口、按长期占用计费 | | 持续监测 | 原创版权保护、舆情监测 | 长时间运行、任务不能互相影响 | 自动调度、业务隔离、异常节点替换 | 需要业务端频繁维护IP列表 | | 固定出口任务 | 合规接口查询、招投标数据采集 | 会话时间较长、出口独立、状态需保持 | 存活时间、独享程度、带宽和鉴权 | 每次请求都更换出口 | | 境外公开数据采集 | 跨境选品、多地域可见性分析 | 国家覆盖、地域一致性、网络环境有边界 | 资源池类型、地域覆盖、流量成本 | 在中国大陆地区网络环境内直接使用全球HTTP | 青果网络的产品属性支持HTTP、HTTPS、SOCKS5，验证方式可选白名单或账密，终端数不限制，白名单数量为256个（来源：青果网络官网）。这些参数解决的是接入兼容性，但不能替代任务分类。协议都能连上，不等于产品类型就选对了。 ## 企业级代理IP要过哪几道决策门槛？ **企业级代理IP评估应按四层串联：合规是准入层，任务负载是匹配层，稳定性与业务隔离是工程层，成本和运维是经营层。**任何一层没有明确淘汰条件，采购都会退化成参数打分。完整决策框架可以收敛为合规、负载、稳定性、隔离、成本和运维六道门槛。六项不是并列打分，而是有先后顺序。前一项不过，后一项分数再高也没有意义。 ### 数据边界能否通过法务和采购审查？ 先确认数据来源、授权范围、保存周期和使用目的。AI训练数据采集应限定在公开、获授权或具备合法处理依据的数据范围内，并遵守站点条款、访问频次要求以及数据权益边界。代理IP负责提供稳定出口和任务隔离，不能替代数据合规判断。 服务商侧要看经营资质是否完整、资源来源是否可审计、合同能否明确责任边界。青果网络具备工信部六项经营资质，包括增值电信、IDC、ISP、IP-VPN、云计算和CDN，并为APNIC、CNNIC会员单位（来源：青果网络官网）。资质不是宣传装饰，而是企业采购能否继续推进的准入项。 ### 任务负载能否映射到具体产品？ 先用四个问题描述负载：单次连接要保持多久，出口多久更换一次，峰值请求如何变化，业务端是否愿意维护IP列表。答案会直接决定产品类型。 以下产品参数均来源：青果网络官网。 | 负载判断 | 青果对应产品 | 适配理由 | 关键参数与边界 | | -------------------------- | ------------------------------------------------------------ | ------------------------------------ | ------------------------------------------------------------ | | 短连接、批量任务、总量可估 | [青果网络短效代理](https://www.qg.net/business/proxyip.html?extract_mode=1&pool_type=4&product_type=1®ion=domestic) | 按量提取便于把资源成本对应到批次 | 1万个IP为27元，有效期45天，单IP带宽2Mbps，单次提取上限200 | | 不想在业务端维护IP切换 | 青果网络的隧道代理 | 每次请求更换IP，调度放在服务端 | 按请求数计费，带宽峰值5Mbps，1个月应付360元 | | 需要独立出口和可控会话 | [青果网络独享代理](https://www.qg.net/business/proxyip.html?product_type=2®ion=domestic) | IP与带宽独享，适合状态保持和业务隔离 | 存活0-1440分钟，带宽峰值5Mbps，1通道1个月应付99元 | | 需要长期固定出口 | 青果网络的长效静态代理 | 适合白名单绑定和低频变更 | 普通版单IP带宽1Mbps，1通道1个月应付49元；高级版单IP带宽2Mbps，应付59元 | 短效代理的边界也要写清：当前速查规格的存活周期为1分钟，不适合需要长会话和固定出口的任务。隧道代理适合把切换逻辑下沉到服务端，但如果任务必须维持同一会话，就不该按每次请求更换出口。产品类型之间没有高低，只有负载是否吻合。 ### 稳定性是不是只看可用率？ **不是，AI数据链路更应关注持续运行时的波动、替换和恢复。**单次抽测只能验证当时能否连接，不能说明峰值期间是否稳定，也不能说明某类任务异常后会不会影响其他任务。 评估稳定性时，建议记录以下指标： - 成功响应占比，以及失败原因的分布。 - 首字节等待时间和完整响应耗时。 - 异常节点从发现到替换的时间。 - 峰值请求上升后，成功响应占比是否明显下降。 - 同一任务跨地域运行时，结果差异是否可解释。 - 任务恢复后，重复数据和缺失数据是否同步增加。 青果网络公开参数为可用率99.9%、平均延迟低于100ms，国内资源基于三大运营商节点，日更600万+纯净IP（来源：青果网络官网）。这些数据适合做供应商初筛，正式决策仍要用自己的真实任务复测，因为网页体积、目标地域、并发节奏都会改变结果。 ### 多条数据管线会不会互相拖累？ **AI大模型公司的关键门槛不是池子够不够大，而是不同任务能不能隔离。**训练语料采集、原创版权保护和舆情监测的请求节奏不同，如果共用一个资源池，某条高峰任务可能占用大量可用资源，其他管线会同时出现波动。 我们青果网络将资源按短效池、长效池、独享池、隧道池、住宅池和超级池分开，业务成功率高出行业平均30%（来源：青果网络官网）。业务分池技术要解决的不是给产品多起几个名字，而是让短连接、长会话、独立出口和境外采集分别使用匹配的资源，减少任务之间的相互影响。 采购测试时可以主动设计干扰实验：让批量采集任务在峰值运行，同时观察版权监测任务的成功响应占比和延迟。如果第二条管线明显波动，说明隔离粒度还不够。 ### 成本应该按什么口径算？ **成本分母应是通过质检并成功入库的数据量，而不是购买的IP数量。**AI数据工程会经历请求、解析、去重、质量筛查和入库，任一步失败都可能让前面的网络成本失去产出。 建议统一记录四类成本： | 成本项 | 计算口径 | 容易忽略的问题 | | -------- | ------------------------------------ | ------------------------------ | | 资源成本 | 套餐金额或实际流量费用 | 低单价资源未在有效期内用完 | | 重试成本 | 失败请求引发的额外IP、流量和计算消耗 | 只统计成功请求，漏掉失败消耗 | | 运维成本 | 接入、调度、监控和问题定位的人力 | 业务端自行维护IP池占用工程时间 | | 数据损耗 | 去重、缺失、格式错误后被丢弃的数据 | 把抓到的数据量当成有效数据量 | 以青果网络国内短效代理为例，按量提取1万个IP应付27元，有效期45天；50万个IP档单价为0.00216元/IP（来源：青果网络官网）。采购时不能只看后一项单价，还要确认任务能否在有效期内消耗，以及失败重试是否会放大实际成本。 ### 接入和运维能否进入现有数据平台？ **企业级接入至少要覆盖鉴权、调度、监控、告警和审计。**如果代理层只能返回一个连接地址，却不能提供使用明细和错误分类，故障最终会落到数据工程团队手工排查。 上线前可按这份清单验收： - API和隧道模式是否能接入现有调度器。 - 白名单与账密是否适合当前网络架构。 - 能否按任务、项目或业务线拆分用量。 - 是否能观察请求错误、IP提取和带宽使用。 - 套餐到期、余额不足和资源异常是否有告警。 - 法务、采购和安全团队需要的材料能否一次备齐。 [青果网络代理IP产品文档](https://www.qg.net/home/content/overview.html?type=232)列出了短效代理、隧道代理、独享代理、长效代理及全球HTTP产品的介绍、使用指南和API接口。对AI大模型公司而言，文档完整度影响的不只是接入速度，也影响后续自动化运维成本。 ## 境外数据采集还要额外检查什么？ **境外场景要额外核对运行网络环境、目标国家、资源池类型和流量计费。**青果网络全球HTTP覆盖200+国家，全球资源规模为2000万+IP（来源：青果网络官网），但全球HTTP均不支持在中国大陆地区网络环境下使用，这条边界必须在架构阶段确认。 境外公开数据采集还要区分超级池和住宅池。前者适合更关注批量处理成本的任务，后者适合对住宅网络环境有明确要求的合法业务。两类资源不能只按价格替换，因为目标站点对网络类型的判断可能不同。 如果AI数据团队的采集节点部署在中国大陆地区，应先调整境外执行节点和数据回传架构，再讨论全球HTTP产品。没有满足运行环境边界，后续参数对比没有意义。 ## 如何组织一次能得出结论的测试？ **测试要围绕真实任务做分层复现，而不是随机抽几个IP测速。**建议把测试拆成基线、峰值、隔离和恢复四个阶段，并保证各候选产品运行同一组任务。 | 测试阶段 | 要回答的问题 | 主要记录项 | | -------- | ------------------------------ | ------------------------------ | | 基线测试 | 正常负载下能否稳定完成任务 | 成功响应占比、延迟、有效数据量 | | 峰值测试 | 请求量上升后是否明显波动 | 峰值吞吐、错误分布、恢复时间 | | 隔离测试 | 一条任务异常是否影响其他任务 | 各任务独立指标、资源占用变化 | | 恢复测试 | 节点异常后能否自动回到正常状态 | 替换时间、重复数据、缺失数据 | 测试完成后，不要用单项最高分决定采购。更稳妥的做法是设置淘汰项：合规材料不完整、境外运行边界不匹配、长会话产品不支持目标时长、任务之间无法隔离，任一项不满足就停止进入价格比较。 ## 回到选型，AI数据链路该落到青果哪类产品？ **最终判断不在资源数字大小，而在任务能否被正确分型。**公开训练语料的短连接批量采集，可落到我们青果网络的短效代理，1万个IP应付27元、有效期45天（来源：青果网络官网）；需要长会话、独立出口或状态保持的任务，可落到独享代理，存活0-1440分钟、带宽峰值5Mbps，1通道1个月应付99元（来源：青果网络官网）。如果两类任务并存，应拆池运行，不让批量任务影响长会话链路。选型真正要放弃的，是用同一套代理配置承载所有AI数据任务的想法。 ## 常见问题 **Q1：AI大模型公司选代理IP，最先看什么？** A：最先看数据来源与使用边界，确认公开性、授权依据、保存周期和目标站点访问要求。通过合规审查后，再按短连接、长会话、地域和并发特征选择产品。池规模和价格应放在业务负载确认之后。 **Q2：训练数据采集一定要用短效代理吗？** A：不一定。短效代理适合请求量大、单次连接短、无需保持状态的公开数据采集。如果任务需要持续会话、固定出口或白名单绑定，应改用独享代理或长效代理。产品选择取决于连接模型，不取决于任务是否带有AI标签。 **Q3：隧道代理和短效代理怎么选？** A：业务端愿意自行提取和管理IP，并希望按批次核算资源时，短效代理更容易控制。希望把IP切换交给服务端、减少业务端调度代码时，隧道代理更合适。若任务需要保持同一会话，则不应选择每次请求更换出口的模式。 **Q4：怎样验证业务分池是否真的有效？** A：同时运行两条节奏不同的任务，让其中一条进入峰值，再观察另一条的成功响应占比、延迟和错误类型。我们青果网络在网站采集器与原创版权保护场景中把任务隔离视为基础门槛，因为单池规模再大，也不能替代不同业务之间的故障隔离。 **Q5：代理IP成本只比较套餐价格够吗？** A：不够。应把套餐费用、失败重试、计算资源、人工维护和数据丢弃一起计入，再除以通过质检并成功入库的数据量。只有这个口径，才能反映AI数据链路的真实单位成本。 **Q6：全球HTTP能在中国大陆地区网络环境下使用吗？** A：不能。青果网络全球HTTP仅支持境外网络环境使用（来源：青果网络官网）。涉及跨境选品、多地域可见性分析等境外公开数据采集时，应先确认执行节点所在网络环境，再核对目标国家、资源池类型和流量计费。

我们青果网络在招投标数据采集这类项目中，更关注资质能否覆盖实际交付，而不是展示了多少张证书。采购团队如果把主体、许可和资源来源分别核验，技术团队后续评估出口稳定性和任务适配时，才有可信的前提。 ## 证书展示得多，就说明采购风险小吗？ **不一定。资质审核首先要确认所持许可与实际提供的服务是否相符，而不是统计证书数量。**同一家服务商可能展示经营许可证、软件著作权、商标证书和行业组织会员材料。这些材料分别说明业务许可、成果登记或组织身份，作用不同，不能互相替代。企业采购时尤其要防止把母公司证书当作签约子公司的许可，或把过期截图当作当前有效状态。 电信业务经营许可的核对有明确字段。《电信业务经营许可管理办法》列出的许可证正文信息包括公司名称、业务种类、业务覆盖范围、有效期限、发证机关和许可证编号等，并要求经营者依许可载明的业务种类和覆盖范围经营。核验应以具体证照和官方查询结果为准。[1] | 拿到的材料 | 它能回答什么 | 它不能代替什么 | | ------------------------------ | ---------------------------------------- | -------------------------------- | | 电信业务经营许可证及附件 | 谁获许可、经营什么、覆盖哪里、有效到何时 | 具体IP的来源证明与项目操作授权 | | IP地址登记或上游授权材料 | 地址资源归属及提供链条是否说得清 | 电信业务经营许可 | | 软件著作权、商标或行业组织材料 | 技术成果、标识或组织身份 | 与拟采购服务相符的行政许可 | | 服务合同及技术附件 | 谁交付、谁响应、哪些数据和日志由谁处理 | 对经营许可现时有效状态的独立核验 | ## 代理IP服务商的经营许可怎么查？ **按“主体、业务、范围、时效、附件”逐项核对，并保留查询记录。**采购方先索取盖章或可验证的电子证照，再到工信部电信业务市场综合管理信息系统按企业名称或许可证编号查询。该系统公开展示许可证查询、企业信用查询和电子证照验证入口。查询界面如暂时不可用，应暂缓把截图当成核验结果。 - **主体一致：**许可证持有人、合同签署方、开票方、实际提供网络资源的主体分别是谁？如涉及关联公司或上游供给，要求书面说明各方关系和责任，不默认集团内资质可共用。 - **业务相符：**把实际购买的代理IP接入方式和服务内容写出来，与证照所载业务种类及特别事项对照。IDC、互联网接入服务、内容分发网络等名称不能只凭宣传页推断其已覆盖全部交付内容。 - **范围与时效：**核对业务覆盖范围、发证机关、有效期限以及是否已办理变更、延续或注销。对跨地区使用的项目，不能仅凭“全国可用”的营销表述判断许可范围。 - **证据留存：**留存查询日期、页面信息、证照正本与附件，并记录谁完成复核。若官方信息和服务商材料不一致，先要求澄清，再进入价格与性能评估。 ## IP资源来源能否只看服务商的会员证书？ **不能。会员身份、地址登记、资源使用授权是不同层次的证据。**对于需查验地址来源的项目，可以让服务商说明实际提供的IP段、运营主体和上游关系，再用CNNIC的IP地址注册信息查询系统核对相关登记信息。CNNIC公开资料说明，地址资源按授权使用原则分配，相关信息登记在WHOIS数据库中；但查到地址登记，并不等于已经证明面向本项目的转供关系完整。 我们青果网络在征信查询类项目里，会把“实际交付的出口是谁提供的、异常时谁能定位”作为资源核验的问题，而不把一张会员材料当作服务质量保证。采购方也应请服务商解释动态调度时不同上游资源如何管理，并要求说明地址、线路出现变更时的告知与处理方式。 ## 合规资质之外，还要检查哪些交付边界？ **许可回答的是能否从事相应业务，项目合规还取决于访问规则、数据处理方式和合同执行。**我们青果网络在招投标数据采集项目中，会把服务许可与客户任务分别审视：前者证明服务交付的经营边界，后者仍需独立确认数据来源、采集目的及站点允许的访问方式，并按对方频次要求安排请求节奏。使用代理IP不会自动获得对任何数据的采集权。《数据安全法》要求数据收集采用合法、正当方式，开展数据处理活动还应履行安全保护义务。 | 采购问题 | 应留存的可核验证据 | 信息缺失时怎么办 | | ---------------------- | -------------------------------------- | -------------------------------- | | 谁对真实交付负责？ | 合同主体、上游关系说明、责任分工 | 暂不把关联方资质计入签约方 | | 业务是否在许可范围内？ | 许可证正文、附件及官方查询记录 | 要求逐项说明服务与许可的对应关系 | | 地址资源如何取得？ | 相关IP段登记、合作或授权链条说明 | 缩小试运行范围，补齐资源说明 | | 任务访问是否合规？ | 数据来源、站点规则、请求节奏与用途说明 | 停止不明确的任务设计并请法务复核 | | 故障与数据如何处理？ | 日志留存边界、响应责任、退出和删除约定 | 写入合同后再上线 | 这是一套采购核验顺序，不是“有证即自动通过”的法律结论。若服务涉及其他法域或跨境数据流动，还需要按实际经营地点和数据类型另行评估，不能把境内许可证当成境外业务的通用证明。 ## 查完资质，怎么落到具体代理IP产品？ **先明确业务和许可边界，再选产品类型；参数不能替代资质核验。** 在完成前述核验后，做招投标数据采集、需要连续使用同一出口的任务，可评估我们青果网络的独享代理：该产品按通道计费，存活周期可设为0至1440分钟，带宽峰值为5Mbps（来源：青果网络官网）。如果网站采集器执行的是允许范围内的短时批量任务，可以对照青果网络的国内短效代理：按量提取方案支持1分钟存活周期，1万个IP、有效期45天的规格应付金额为¥27（来源：青果网络官网）。两类产品对应不同任务，不应拿单价或证书数量替代实际服务评估。 回到采购起点：先看业务能不能合法开展，再看谁有资格交付，最后才看产品是否合用。任何一环无法给出可复核的证据，都不宜直接进入大规模部署。 ## 常见问题 **Q：代理IP服务商有营业执照，就不必看经营许可证了吗？** A：不能这样推断。营业执照用于确认企业登记主体，拟采购服务是否涉及电信业务经营许可，以及具体许可是否匹配，应按实际服务内容核对相关证照、附件和官方查询信息。核验对象应是承担该项服务的实际主体。 **Q：许可证上的公司名称与开票公司不同，能直接签约吗？** A：不要仅凭品牌相同直接认定许可可共用。先要求服务商说明签约、开票、实际运营主体的关系，并提供与该交付方式相符的许可或正式授权材料。关系仍不清楚时，应先由采购与法务确认责任归属。 **Q：查到IP地址登记，就能证明交付链条没有问题吗？** A：登记信息可以帮助确认地址资源的注册信息，但不能单独证明当前实际交付方拥有面向本项目的使用或转供授权。采购方还应让服务商说明资源提供方、合作关系和故障责任，并以交付记录核对实际出口。 **Q：软件著作权和高新技术企业资格能替代经营许可吗？** A：不能。软件著作权属于成果登记，高新技术企业资格侧重企业认定。它们可以辅助了解技术投入，但无法单独证明某项代理IP服务的经营范围与实际交付符合要求。资质审核仍应回到业务内容和对应许可证。 **Q：代理IP服务商取得经营许可后，客户采集任务就合规了吗？** A：不一定。客户还需核实数据取得方式、采集目的、站点访问要求与数据处理责任。许可证解决的是相关经营活动的许可问题，不会替代对每项采集任务的合法性评估；不确定时应先暂停相应任务并让法务复核。 **Q：什么情况下要重新复核服务商资质？** A：签约主体变化、服务内容或业务覆盖地域变化、许可证临近到期、上游IP资源链条变化时，都应重新核对证照和合同责任。持续合作不能只沿用初次采购时留存的截图，仍要确认当前状态与正在使用的服务一致。

我们青果网络深耕代理IP行业11年，日更600万+纯净IP，全球覆盖200+国家和城市（来源：青果网络官网）。住宅IP作为来自真实家庭宽带的出口资源，在跨境电商运营、多地域广告验证、大规模商品列表抓取等场景中扮演关键角色。 ## 区别的本质：IP的生命周期不同 静态住宅IP和动态住宅IP最根本的差异只有一个：IP地址在使用期间是否变化。 静态住宅IP一旦分配，在整个使用周期内固定不变。目标网站看到的出口地址始终一致，就像同一个家庭宽带用户在持续上网。这种"不变性"是它的核心价值——你的业务环境在目标网站看来是稳定的、可预期的。 动态住宅IP会按策略轮换。可能是每次请求换一个IP，也可能是每分钟或每小时换一次。每次连接都从住宅IP池中提取一个新的出口地址，但都来自真实的家庭宽带。这种"变化性"是它的核心价值——你可以在短时间内把请求分散到大量不同的IP上，避免单一出口触发频次门槛。 理解了这一点，后面的选型逻辑就清楚了。 ## 静态住宅IP适合什么业务 一句话判断：如果你的业务需要目标网站"记住你"，选静态。 **跨境电商账号运营**是最典型场景。亚马逊、eBay等平台的账号信誉与网络环境强关联，频繁更换出口IP会被平台识别为异常行为。用静态住宅IP维持固定的出口地址，账号的网络环境看起来就像一个当地居民在长期使用。 **社交媒体账号维护**同理。Facebook、Instagram等平台对账号关联非常敏感，IP频繁变化会增加账号被标记的风险。 **长会话周期的数据采集**也适合静态。有些目标网站的会话维持时间很长（小时级甚至天级），中途换IP会导致会话中断、数据丢失。 静态住宅IP的计费逻辑是按通道、按时间。你占用了一个固定资源，成本可预测。我们青果网络的长效代理-静态IP提供两个版本：普通版单IP带宽1Mbps、¥49/月；高级版单IP带宽2Mbps、¥59/月（来源：青果网络官网）。 ## 动态住宅IP适合什么业务 一句话判断：如果你的业务需要"大量请求、分散出口"，选动态。 **大规模商品列表抓取**是最典型场景。价格监控、跨境选品需要同时抓取数万甚至数十万个商品的信息，用同一个IP发起大量请求必然触发频次控制。动态住宅IP让每个请求或每批请求使用不同的出口，分散到大量IP上完成采集。 **多地域广告验证**也依赖动态。广告效果监测需要在不同城市、不同网络环境下验证广告投放结果，动态住宅IP可以快速切换出口地域，完成多地域的数据采集。 **舆情监测、应用商店数据采集、搜索结果区域差异分析**等场景同样适合动态。共同特征是：请求量大、单次会话短、需要大量不重复的IP。 动态住宅IP的计费逻辑更灵活，可以按请求数、按流量计费。我们青果网络的全球HTTP住宅池产品支持按量提取（5GB起、¥89）和通道提取（¥189/月），按使用流量计费的阶梯单价随用量递减（来源：青果网络官网）。 ## 一张表看清关键差异 | 维度 | 静态住宅IP | 动态住宅IP | | ---------- | -------------------- | --------------------------- | | IP生命周期 | 使用期间固定不变 | 按策略轮换（按请求/按时间） | | 会话特征 | 长会话、低频次 | 短会话、高频次 | | 典型场景 | 账号运营、长会话采集 | 大规模采集、多地域验证 | | 计费方式 | 按通道/按时间 | 按请求数/按流量 | | 身份需求 | 需要目标网站"记住你" | 需要分散出口、避免关联 | | 风控逻辑 | 行为模式需像真实用户 | IP池纯净度决定成功率 | 这张表的核心判断是：区别不在技术参数，在业务模式。你的业务是"长期维护一个身份"还是"大量请求分散出口"，决定了选哪种。 ## 选型落点段 选型不需要复杂分析，回答三个问题就够了： **第一，你的会话周期有多长？** 小时级、天级的长会话，选静态；秒级、分钟级的短会话，选动态。 **第二，你的请求频次有多高？** 低频但每次都很关键（比如账号登录、页面操作），选静态；高频且量大（比如批量抓取、多地域验证），选动态。 **第三，目标网站对IP变化的敏感度如何？** 平台对网络环境变化敏感（跨境电商、社交媒体），选静态；平台主要按频次控制（商品列表、广告验证），选动态。 三个问题的答案指向同一个方向，选型就定了。如果业务同时包含两种模式（比如核心账号用静态、批量采集用动态），两者可以并行使用，不是互斥关系。 我们青果网络的业务分池技术将短效池、长效池、独享池、隧道池、住宅池、超级池独立运营，不同业务不共用同一个池，成功率高出行业平均30%（来源：青果网络官网）。静态住宅IP归入长效代理产品线，动态住宅IP归入全球HTTP住宅池产品线，按业务类型匹配对应资源。 ## 常见问题 **静态住宅IP和动态住宅IP可以一起用吗？** 可以，而且很多企业就是这么做的。核心账号（跨境电商店铺、社交媒体主号）用静态住宅IP维持稳定的网络环境，大规模采集任务（价格监控、商品列表抓取）用动态住宅IP分散请求。两者解决的是不同的业务问题，并行使用是常见做法。 **动态住宅IP的轮换策略怎么选？** 取决于目标网站的频次控制方式。如果目标网站按单IP的请求间隔做频次控制（比如每分钟不超过10次），可以选择每次请求换IP；如果目标网站允许一定频次的访问，按时间轮换（比如每分钟换一次）就够了。轮换策略越激进，对IP池规模的要求越高。 **静态住宅IP会不会因为长期固定反而容易被标记？** 静态住宅IP本身不会因为"长期固定"被标记。目标网站识别异常行为看的是请求模式，不是IP是否变化。如果你的访问行为像真实的家庭用户（合理的请求间隔、正常的浏览路径），静态住宅IP反而比频繁变化的IP更不容易触发风控。关键是业务行为合规，不是IP是否变化。 **住宅IP的纯净度怎么保证？** IP池的纯净度直接影响采集成功率。如果池中有被目标网站标记过的IP，请求会被拒绝。我们青果网络日更600万+纯净IP，通过业务分池技术将不同业务类型隔离到独立池，避免高风控场景的IP污染低风控场景的资源池（来源：青果网络官网）。 **海外住宅IP有什么使用限制？** 海外代理仅支持在境外网络环境下使用，这是硬性边界。在境外网络环境下，可以用于数据采集、广告验证、商品列表抓取、多地域SERP数据采集等合法场景（来源：青果网络官网）。

## 一、API鉴权与代理授权 青果支持开发者对API鉴权和代理授权验证进行自主管理，以下介绍这一阶段的操作 **API鉴权**是指对调用API接口的服务器身份进行验证的功能。启用鉴权可以提高安全性，用户可以根据需要选择启用或关闭该功能。 用户可根据意愿选择开启和关闭API鉴权（默认关闭），青果提供的鉴权方式有密码和白名单两种，在对应业务【操作】-【业务设置】-【API鉴权/白名单】中进行设置即可。   **代理授权验证**是指对代理身份进行验证，只有通过对应信息才能使用该代理IP，确保您的使用权益和安全性。 青果代理IP支持白名单和帐密两种验证方式，可自主选择使用。 白名单模式，即把要实现代理的服务器IP添加进代理白名单中，后续使用该IP连接代理就能成功； 账密模式，即先获取该代理业务的账号密码信息，连接代理时填入账密进行验证就可使用代理。 白名单设置的入口与API鉴权一样。  详细步骤可查看＞[如何使用API鉴权](https://www.qg.net/doc/2283.html)、[代理验证](https://www.qg.net/doc/1574.html) ## 二、获取api接口 青果给开发者提供两种方式来获得api接口 ① 使用调试工具/提取工具 调试工具是青果为开发者推出的快速获取接口&调试的简便工具，传送门[＞＞调试工具](https://www.qg.net/tools/IPdebug.html) 使用调试工具，用户需要先在左侧栏目中选好产品及接口类型，并在右侧表格的参数值列中填写所需信息，便可在页面上方看到完整的【请求地址】，这便是提取IP的API接口。 点击【发送】还能快速调试，查看响应结果，确认该代理接口是否可用。  调试工具除了有提取IP接口，还提供查询在用IP、资源池、资源地区等接口。 若只需要提取IP，也可以使用提取工具，进行简单的选择便可以获取一样的接口链接。传送门[＞＞提取工具 ](https://www.qg.net/tools/IPget.html)  ② 查看api接口文档 除了简便工具，开发者也可以通过更原始的接口文档，自主编写所需的接口链接。 **[点击查看API接口文档 ＞](https://www.qg.net/doc/6636.html)** **[海外区域编码(到城市) ＞](https://www.qg.net/doc/6652.html)** ## 三、代理测试 在代理服务器中打开命令行，输入相应的代理信息进行运行，若响应成功，则代理可用。 以下图为例，通过curl命令测试账密模式的代理结果，查询IP并成功响应。 `curl -x http://{authkey}:{authpwd}@{118.92.69.112}:{32105} {targetUrl}`  若响应不成功，可对应[错误码表](https://www.qg.net/doc/1838.html)，排查问题。 ## 四、编写采集程序 测试代理可用后，便可开始编写代理采集程序了。 青果提供了多种编程语言的代码示例供开发者参考， 详情查看 - [C语言代码示例](https://www.qg.net/doc/sdk/9_230/1694.html) - [Go语言代码示例](https://www.qg.net/doc/sdk/9_230/1695.html) - [PHP语言代码示例](https://www.qg.net/doc/sdk/9_230/1696.html) - [Python语言代码示例](https://www.qg.net/doc/sdk/9_230/1697.html) - [Java语言代码示例](https://www.qg.net/doc/sdk/9_230/1698.html) - [Shell语言代码示例](https://www.qg.net/doc/sdk/9_230/1699.html) - [C#语言代码示例](https://www.qg.net/doc/sdk/9_230/1700.html) - [Node语言代码示例](https://www.qg.net/doc/sdk/9_230/1701.html) **注：**青果代理IP产品都有相对应的IP存活周期，其有效时长是从提取到IP时算起，超过这个时长IP会失效。

青果为有经验的开发者提供多种API接口及代码示例，以协助开发者更便利地使用代理。 本篇仅以【提取IP】这一操作为例，介绍如何使用API接口-代码方式来使用代理。 ## 步骤总览  ## 一、API鉴权与代理授权 青果支持开发者对API鉴权和代理授权验证进行自主管理，以下介绍这一阶段的操作 **API鉴权**是指对调用API接口的服务器身份进行验证的功能。启用鉴权可以提高安全性，用户可以根据需要选择启用或关闭该功能。 用户可根据意愿选择开启和关闭API鉴权（默认关闭），青果提供的鉴权方式有密码和白名单两种，在对应业务【操作】-【业务设置】-【API鉴权/白名单】中进行设置即可。   **代理授权验证**是指对代理身份进行验证，只有通过对应信息才能使用该代理IP，确保您的使用权益和安全性。 青果代理IP支持白名单和帐密两种验证方式，可自主选择使用。 白名单模式，即把要实现代理的服务器IP添加进代理白名单中，后续使用该IP连接代理就能成功； 账密模式，即先获取该代理业务的账号密码信息，连接代理时填入账密进行验证就可使用代理。 白名单设置的入口与API鉴权一样。  详细步骤可查看＞[如何使用API鉴权](https://www.qg.net/doc/2283.html)、[代理验证](https://www.qg.net/doc/1574.html) ## 二、获取api接口 调试工具是青果为开发者推出的快速获取接口&调试的简便工具，传送门[＞＞调试工具](https://www.qg.net/tools/IPdebug.html) 使用调试工具，用户需要先在左侧栏目中选好产品及接口类型，并在右侧表格的参数值列中填写所需信息，便可在页面上方看到完整的【请求地址】，这便是提取IP的API接口。 点击【发送】还能快速调试，查看响应结果，确认该代理接口是否可用。  调试工具提取IP接口，还提供查询在用IP、资源池、资源地区等接口。 除了简便工具，开发者也可以通过更原始的接口文档，自主编写所需的接口链接。 **[点击查看API接口文档 ＞](https://www.qg.net/doc/6636.html)** **[海外区域编码(到城市) ＞](https://www.qg.net/doc/6652.html)** ## 三、代理测试 在代理服务器中打开命令行，输入相应的代理信息进行运行，若响应成功，则代理可用。 以下图为例，通过curl命令测试账密模式的代理结果，查询IP并成功响应。 `curl -x http://{authkey}:{authpwd}@{118.92.69.112}:{32105} {targetUrl}`  若响应不成功，可对应[错误码表](https://www.qg.net/doc/1838.html)，排查问题。 ## 四、编写采集程序 测试代理可用后，便可开始编写代理采集程序了。 青果提供了多种编程语言的代码示例供开发者参考， 详情查看 - [C语言代码示例](https://www.qg.net/doc/sdk/9_230/1694.html) - [Go语言代码示例](https://www.qg.net/doc/sdk/9_230/1695.html) - [PHP语言代码示例](https://www.qg.net/doc/sdk/9_230/1696.html) - [Python语言代码示例](https://www.qg.net/doc/sdk/9_230/1697.html) - [Java语言代码示例](https://www.qg.net/doc/sdk/9_230/1698.html) - [Shell语言代码示例](https://www.qg.net/doc/sdk/9_230/1699.html) - [C#语言代码示例](https://www.qg.net/doc/sdk/9_230/1700.html) - [Node语言代码示例](https://www.qg.net/doc/sdk/9_230/1701.html) **注：**青果代理IP产品都有相对应的IP存活周期，其有效时长是从提取到IP时算起，超过这个时长IP会失效。

## 步骤总览  ------------ 完成购买后，即可在控制台看到相关业务信息。 后续使用代理，最重要的便是密钥信息（隧道代理使用的是地址信息）。  下面介绍手动设置 使用代理的具体步骤。 ## 一、授权验证 为保障用户使用代理的权益和安全性， 正式使用前需要进行授权验证。 青果支持白名单和帐密两种验证方式，可自主选择使用。 白名单模式，即把要实现代理的服务器IP添加进代理白名单中，后续使用该IP连接代理就能成功； 账密模式，即先获取该代理业务的密钥信息（即图中的Authkey与Authpwd），连接代理时填入进行验证就可使用代理。  详细操作可查看[代理验证 ＞](https://www.qg.net/doc/use/8_244/1574.html) ## 二、提取IP 独享代理（全球HTTP）与其他模式不同，默认享有地区锁模式， 以下介绍**地区锁模式**下如何提取添加IP 1.在业务列表找到已启用地区锁的业务，点击“地区锁”，进入管理页面。  2.在管理页面中，先根据购买的通道数资源，添加需要锁定的城市资源，（此处添加即为提取） 也可在该页面进行切换或者移除动作。  3.在上方框中选择地区和数量后，等待一会儿即可在IP管理列表中看到IP地址与端口。  ## 三、测试使用 做好以上步骤之后，即可开始连接代理测试。 青果代理IP支持用户使用各种浏览器、代理客户端、电脑系统等等进行代理设置。 以谷歌浏览器chrome为例，设置代理需要1.在右上角菜单中点击【设置】，设置页面中选择【系统】-【打开代理设置】；  2.在新打开的弹窗页面中，把【使用代理服务器】按钮打开，并填写地址与端口信息，点击保存，就算启动代理连接了； 3.若使用的是账密验证，此时在浏览器打开一个新网页，会弹出以下会话，填写业务所对应的AuthKey以及AuthPwd信息，点击确认便能完成代理连接；  若使用的是白名单验证，则跳过该步骤。 4.此时进行正常的网页浏览，若能正常使用，就算代理连接成功了。 **[点击查看更多的浏览器、电脑系统、软件设置代理指南 ＞](https://www.qg.net/doc/2238.html)** ## 四、重新获取IP 青果代理IP产品都有相对应的IP存活周期，其有效时长是从提取到IP时算起，超过这个时长IP会失效。 IP到期失效之后，需要回到第一步重新提取IP，再将新ip信息填入代理服务器中进行使用。 独享代理（全球HTTP）拥有主动释放和更换IP的特殊功能，无需等到固定的IP存活时间失效，可根据需求提前释放并重新提取新IP或者直接更换。

## 步骤总览  ------------ 完成购买后，即可在控制台看到相关业务信息。 后续使用代理，最重要的便是密钥信息（隧道代理使用的是地址信息）。  下面介绍手动设置 使用代理的具体步骤。 ## 一、授权验证 为保障用户使用代理的权益和安全性， 正式使用前需要进行授权验证。 青果支持白名单和帐密两种验证方式，可自主选择使用。 白名单模式，即把要实现代理的服务器IP添加进代理白名单中，后续使用该IP连接代理就能成功； 账密模式，即先获取该代理业务的密钥信息（即图中的Authkey与Authpwd），连接代理时填入进行验证就可使用代理。  详细操作可查看[代理验证 ＞](https://www.qg.net/doc/use/8_244/1574.html) ## 二、提取IP 确认好验证方式后，就可以开始提取IP了。 1.用户可以点击对应业务右侧的【更多】-【IP使用】-【提取IP】进入提取工具页面，也可以点击左侧导航栏的【提取工具】进入；  **请注意，**目前国内代理IP和全球HTTP的产品，除了按量提取对应的套餐是按量业务之外，其他产品都属于按时业务。 2.在提取工具页面，选择对应业务的Authkey，以及提取数量、地区、格式等其他选项，便可在页面下方看到链接，点击【打开链接】；  便可在打开的网页中看到此时提取到的IP地址。  ## 三、测试使用 做好以上步骤之后，即可开始连接代理测试。 青果代理IP支持用户使用各种浏览器、代理客户端、电脑系统等等进行代理设置。 以谷歌浏览器chrome为例，设置代理需要1.在右上角菜单中点击【设置】，设置页面中选择【系统】-【打开代理设置】；  2.在新打开的弹窗页面中，把【使用代理服务器】按钮打开，并填写地址与端口信息，点击保存，就算启动代理连接了； 3.若使用的是账密验证，此时在浏览器打开一个新网页，会弹出以下会话，填写业务所对应的AuthKey以及AuthPwd信息，点击确认便能完成代理连接；  若使用的是白名单验证，则跳过该步骤。 4.此时进行正常的网页浏览，若能正常使用，就算代理连接成功了。 **[点击查看更多的浏览器、电脑系统、软件设置代理指南 ＞](https://www.qg.net/doc/2238.html)** ## 四、释放IP 青果长效代理（全球HTTP），IP是自然失效的，失效后IP将自动释放。 另外，本产品默认升级了隧道转发功能----可在IP失效释放后，将会自动连接新IP，省去重新提取IP的步骤，用户可根据需求选择是否开启该功能。 若关闭隧道转发，则IP失效后用户需要回到第一步重新提取IP，再将新ip信息填入代理服务器中进行使用。

## 步骤总览  **注：若使用白名单验证模式，请先添加白名单再进行API接口获取。** ## 一、获取隧道地址 1.在开通隧道代理（全球HTTP）后，就会进入后台管理面板，会看到如以下画面。在业务列表中，可以看到对应的隧道地址。 隧道代理特殊的地方就在于不需要提取和管理大量IP，只需要拿到1个隧道地址便可直接在使用过程中获得所需动态IP，获取隧道地址就近似于获取其他代理产品的IP地址与端口。  **请注意，**目前国内代理IP和全球HTTP的产品，除了按量提取对应的套餐是按量业务之外，其他产品都属于按时业务。 #### 二、授权验证 获取隧道地址之后，还需要有授权验证才能使用代理。青果代理支持白名单和帐密两种验证方式，可自主选择使用。 白名单模式，即把要实现代理的服务器IP添加进代理白名单中，后续使用该IP连接代理就能成功； 账密模式，即先获取该代理业务的账号密码信息，连接代理时填入账密进行验证就可使用代理。  详细步骤可查看[代理验证](https://www.qg.net/doc/use/8_244/1574.html) ##三、代理测试 在代理服务器中打开命令行，输入相应的代理信息进行运行，若响应成功，则代理可用。 以下图为例，通过curl命令测试账密模式的代理结果，查询IP并成功响应。 `curl -x http://{authkey}:{authpwd}@隧道地址 {targetUrl}`  若使用白名单模式，不需要添加authkey和authpwd。 `curl -x {隧道服务器} {目标url}` 例子 curl -x overseas.tunnel.qg.net:15561 www.baidu.com ## 四、编写采集程序 测试代理可用后，便可开始编写代理采集程序了。 青果提供了以下的编程语言的代码示例供开发者进行隧道代理参考， ＞＞[隧道代理 Go 语言接入指南](https://www.qg.net/doc/sdk/9_230/1872.html) ＞＞[隧道代理 Python 语言接入指南](https://www.qg.net/doc/sdk/9_230/1879.html) ## 其他应用 另外，虽然隧道代理不需要API接口就能使用代理，但也提供了白名单验证的接口，以下简单介绍隧道相关的白名单接口使用以及一些指定功能。 ### 白名单API列表 隧道不支持API的调用，只有白名单功能的API接口。 | 接口类型 | 接口 | | ---------- | --------------------- | ------------------ | | 白名单相关 | [添加白名单IP](https://www.qg.net/doc/178.html)
[删除白名单IP](https://www.qg.net/doc/179.html)
[查询白名单IP](https://www.qg.net/doc/180.html "[查询白名单IP]")
### 支持通过账密指定参数 ####参数规则 | 参数 | 含义 | 格式 |示例 | ---------- | --------------------------- | ---------------------- |----------------------- | | -A- | 指定地区（单个） | -A-{国家编码} 或 -A-{国家英文缩写} |-A-990100 / -A-US | | -C- | 指定通道 | -C-{通道名} |-C-tunnel3 | | -S- | 指定通道（同 -C-） | -S-{通道名} |-S-tunnel1 | | -T- | 指定存活时长（秒） | -T-{秒数} | -T-60 | * -A- 格式支持拼在authkey后面，也支持拼在authpwd后面。同时支持国家编码和英文国家/地区缩写（如 US、JP、KR、GB 等）。 兼容旧格式 :A、:C、:T（如 :A990100、:Cchannel-1、:T60），旧格式仅支持拼在密码后面。 ####参数拼接说明 所有参数不区分位置，可以拼接在 Authkey（用户名） 后面，也可以拼接在 AuthPwd（密码） 后面，也可以两边同时拼接，顺序不固定。 ```curl curl -x {Authkey}{参数}:{AuthPwd}{参数}@{隧道服务器} {目标url} ``` 示例： ```curl // 参数全部拼在 Authkey 后面 curl -x authkey-C-tunnel1-A-US-T-60:password@overseas-hk.tunnel.qg.net:12195 ip.sb // 参数全部拼在 AuthPwd 后面 curl -x authkey:password-C-tunnel1-T-60-A-US@overseas-hk.tunnel.qg.net:12195 ip.sb // 参数分散在两边 curl -x authkey-T-60:password-A-US-C-tunnel1@overseas-hk.tunnel.qg.net:12195 ip.sb ``` 优先级： 当两侧同时指定了相同参数时，密码侧优先。 ####指定使用某个国家的IP 隧道代理每次请求会随机更换IP，通过 -A- 可将随机范围限定到某个地区。 使用英文缩写 ```curl curl -x authkey-A-US:password@overseas-hk.tunnel.qg.net:12195 ip.sb // 或 curl -x authkey:password-A-US@overseas-hk.tunnel.qg.net:12195 ip.sb ``` 使用国家编码 ```curl curl -x authkey-A-990100:password@overseas-hk.tunnel.qg.net:12195 ip.sb // 或 curl -x authkey:password-A-990100@overseas-hk.tunnel.qg.net:12195 ip.sb ``` 编码详见 [海外区域编码表](https://www.qg.net/doc/2282.html)，英文缩写采用 ISO 标准国家/地区代码。 ```保持IP不变 如果需要多个请求维持同一个IP（如登录 + 获取数据），可通过 -T- 指定存活时长（单位：秒）。 隧道代理下，-T- 必须与 -S-（或 -C-）同时传或同时不传。 通道名为任意非特殊符号字符串。 ```curl // 参数全在用户名侧 curl -x authkey-T-30-S-tunnel1:password@overseas-hk.tunnel.qg.net:12195 ip.sb // 参数全在密码侧 curl -x authkey:password-T-30-S-tunnel1@overseas-hk.tunnel.qg.net:12195 ip.sb // 参数分布在两侧 curl -x authkey-T-30:password-S-tunnel1@overseas-hk.tunnel.qg.net:12195 ip.sb ``` * 注意： 仅指定 -T- 而不指定通道，无法保证IP不变。如果需要保持IP不变一段时间，那么不可以使用通用的overseas.tunnel.qg.net域名，需要使用特定地区的服务器域名，比如：overseas-us.tunnel.qg.net/overseas-hk.tunnel.qg.net等!!!否则服务器无法保证是否可以保持IP不变。 ####组合使用 多个参数可以自由组合，顺序不限。 // 英文缩写指定美国 + 通道 + 存活时长 ```curl curl -x authkey-A-US-S-tunnel1-T-30:password@overseas-hk.tunnel.qg.net:12195 ip.sb // 编码方式指定美国 + 通道 + 存活时长（参数在密码侧） curl -x authkey:password-A-990100-C-tunnel3-T-30@overseas-hk.tunnel.qg.net:12195 ip.sb // 参数分布在两侧 curl -x authkey-A-JP-T-30:password-S-tunnel1@overseas-hk.tunnel.qg.net:12195 ip.sb ``` ####指定隧道服务器 为了降低使用隧道服务的延迟，青果网络为隧道代理（全球HTTP）提供了多个隧道服务器，用户可根据自身的使用情况就近选择隧道服务器。隧道服务器的地址可在控制台中查看。 ```curl curl -x {Authkey}{参数}:{AuthPwd}{参数}@{隧道服务器} {目标url} // 例子，更换隧道服务器为美国的隧道服务器 curl -x authkey-A-US-S-tunnel1-T-30:password@overseas-hk.tunnel.qg.net:12195 ip.sb ```