API代理提取教程：实时获取与白名单配置

API代理接入为什么要拆成多个环节？

API代理接入不能只看“接口有没有返回IP”，而要分别验证接口权限、代理连接和业务请求三个环节。

很多接入问题都来自环节混用。例如API返回为空，可能是参数或权限问题；代理连接超时，可能是协议或网络问题；业务响应异常，则还要检查请求参数和访问频率。分层验证后，定位范围会更清晰。

API提取代理前，怎样规划配置？

建议先建立一份接入配置表，避免把接口参数、白名单和代理协议分散在代码不同位置。

服务商没有明确说明的参数，不要自行假设。可以先用最小请求完成基础验证，再根据业务需要增加数量、地域或协议条件。

白名单配置怎样避免公网IP错误？

白名单配置的关键是确认实际出口，而不是填写设备上看到的任意IP地址。

建议按以下步骤处理

1. 登录代理服务控制台。
2. 找到白名单配置区域。
3. 确认当前运行服务器的公网出口IP。
4. 添加该IP并保存。
5. 使用同一服务器发送最小API请求。
6. 成功后再使用代理访问测试地址。
7. 将开发、测试和生产环境分开记录。

内网地址通常不能作为服务端识别的访问来源。云服务器经过弹性公网IP、共享网关或企业网络出口时，实际公网IP可能与服务器内部地址不同。

青果网络支持白名单和账密两种验证方式，白名单数量为256个。对于APP大数据分析、招投标数据和工商公开信息采集等不同任务，可以按环境和业务用途拆分配置，减少不同任务之间的配置混用。

如何调用API实时获取代理？

实时获取的核心是按业务需要发送API请求，拿到代理后立即进行格式校验和连通性验证。

以下代码使用占位地址展示调用结构：

import requests

API_URL = "https://[API域名]/[接口路径]"
TEST_URL = "https://[自有测试地址]"

def fetch_proxy():
    response = requests.get(
        API_URL,
        params={
            "count": 1,
            "format": "json"
        },
        timeout=10
    )

    response.raise_for_status()
    payload = response.json()

    items = payload.get("data", [])
    if not items:
        raise RuntimeError("API未返回可用代理")

    item = items[0]
    host = item.get("host")
    port = item.get("port")
    protocol = item.get("protocol", "http")

    if not host or not port:
        raise RuntimeError("代理字段不完整")

    return f"{protocol}://{host}:{port}"

def verify_proxy(proxy_url):
    response = requests.get(
        TEST_URL,
        proxies={
            "http": proxy_url,
            "https": proxy_url
        },
        timeout=10
    )

    return response.ok, response.status_code

API_URL、参数名和返回字段必须根据服务商实际接口调整。代码中的data、host、port和protocol只是常见结构示例，不代表所有接口都使用相同字段。

如何设置HTTP、HTTPS和SOCKS5代理？

不同协议应使用对应的客户端配置方式。

HTTP或HTTPS代理

proxy_url = "http://[代理地址]:[端口]"

proxies = {
    "http": proxy_url,
    "https": proxy_url
}

response = requests.get(
    "https://[自有测试地址]",
    proxies=proxies,
    timeout=10
)

如果代理需要账号密码，可以按照服务商格式将凭证加入代理地址，或者使用客户端提供的鉴权参数。

SOCKS5代理

pip install requests[socks]

proxy_url = "socks5h://[用户名]:[密码]@[代理地址]:[端口]"

proxies = {
    "http": proxy_url,
    "https": proxy_url
}

response = requests.get(
    "https://[自有测试地址]",
    proxies=proxies,
    timeout=10
)

SOCKS5接入失败时，应优先排查依赖是否安装、协议标识是否正确、账号密码是否完成编码，以及代理端口是否与接口返回一致。

代理提取后，怎样做失效处理？

代理接入生产任务后，不建议把某个代理永久保存在代码或配置文件中。应根据代理存活时间和业务请求节奏设计更新策略。

重试不等于无限重复请求。建议设置最大重试次数，并记录每次重试的原因。若同一时间大量请求同时失败，应优先检查接口权限、网络出口和服务状态，而不是继续增加请求量。

API代理运行监测应该看哪些指标？

基础监测至少包括接口成功率、代理连接成功率、业务响应成功率和平均连接耗时。

接口请求成功率
代理连接成功率
业务响应成功率
API响应耗时
代理连接耗时
超时次数
认证失败次数
空响应次数

这些指标应分开统计。接口成功率高但代理连接成功率低，说明问题可能发生在代理地址、协议或网络链路；代理连接成功率高但业务响应异常，则需要继续检查业务请求和目标地址。

涉及AI训练数据采集、政府公开数据采集或学术研究数据采集时，还应额外记录数据来源、授权范围和访问规则，确保代理配置服务于公开、授权或合规的数据任务。

API代理接入有哪些网络边界？

代理IP解决的是请求出口和网络连接问题，不负责替代业务系统本身的权限、参数和访问规则。

还需要注意以下边界：

• HTTP、HTTPS和SOCKS5的客户端配置不能完全混用。
• 白名单需要绑定实际公网出口IP。
• 代理存活时间不等于业务会话一定持续。
• API返回代理不等于业务请求必然成功。
• 全球HTTP代理不支持在中国大陆地区网络环境下使用。
• 代理服务不能替代数据来源授权和业务合规审核。

把这些边界写进接入方案，比只记录一个API地址更有利于后续维护。

完整接入流程应该落到哪类产品？

做网站采集器、APP大数据分析等需要程序自行获取代理并管理代理列表的任务，可以使用短效代理API提取。短效代理存活时间为1-30分钟，适合短周期请求和按需更新。需要每次请求自动换IP、减少客户端维护时，可以使用隧道代理。隧道代理按请求数计费，每次请求换IP。我们青果网络在招投标数据和工商公开信息采集等场景中，更关注代理类型是否匹配请求节奏，而不是只比较接口返回数量。

常见问题

Q1：API提取代理时，是否需要每次都更新白名单？

A：不需要。白名单通常绑定服务器公网IP，只有实际出口发生变化时才需要更新。建议将公网IP变化纳入服务器运维检查，发现请求来源变化后先更新白名单，再恢复业务调用。

Q2：代理API返回的IP需要保存多久？

A：保存时间应参考产品标注的存活周期和业务请求节奏。短效代理适合按需提取和及时更新，不建议把历史代理长期缓存。若业务需要持续会话，应选择存活时间和会话要求更匹配的产品类型。

Q3：如何判断问题出在API还是代理？

A：先单独检查API请求是否成功，再用返回代理访问自有测试地址，最后验证业务请求。API失败通常涉及地址、参数或鉴权，代理失败通常涉及协议、端口、白名单和网络环境，分步测试更容易定位。

Q4：SOCKS5代理需要额外安装什么吗？

A：是否需要额外依赖取决于客户端。以Python的requests为例，通常需要安装requests[socks]扩展。其他语言和工具应查看对应客户端的SOCKS5支持方式，不能直接套用HTTP配置。

Q5：全球HTTP代理在什么网络环境下使用？

A：全球HTTP代理不支持在中国大陆地区网络环境下使用。应根据服务器所在网络环境选择对应线路，并在实际运行环境中做单条连接测试，避免把网络边界问题误认为接口参数错误。