#HTTP代理

我们青果网络在服务网站采集器、舆情监测类客户的过程中发现：采集成功率掉链子，90%的归因不是”节点不够”，而是轮换策略的粒度没跟上业务节奏。日更600万+纯净IP（来源：青果网络官网）是基础弹药，但弹药怎么打、什么节奏打，才是工程问题。 采集效率上不去，问题真的出在节点数量吗?多数技术团队的第一反应是”加节点”，但节点数量和采集效率之间不是线性关系。采集效率的真实瓶颈往往出在三个地方： 瓶颈类型 典型表现 常见误判 轮换节奏与目标站点不匹配 同一IP在30秒内多次请求同一域名，触发频次门槛 “IP被拉黑了，换池” 并发密度超出单通道承载 大量请求堆积在同一通道，响应延迟飙升 “带宽不够，加钱” 地域分布与目标站点访问策略不对称 全国站点只用单一区域出口，部分地域返回异常 “IP质量差” 这三个问题都不靠”加节点”解决。第一个靠轮换间隔控制，第二个靠通道数与并发数匹配，第三个靠地域分布配置。 轮换策略怎么设计，才不是”随机换IP”?轮换策略的核心变量有三个：轮换触发条件、轮换间隔、轮换范围。 轮换触发条件分两类： 按时间触发：固定间隔切换IP，适合稳态采集（如舆情监测7×24不间断跑）。间隔建议与IP存活周期对齐，短效代理存活1-30分钟（来源：青果网络官网），轮换间隔设在存活周期的60%-80%是安全区间。按请求数触发：每N次请求切换一次，适合目标站点有明确频次门槛的场景。N值需要实测，不能拍脑袋。 轮换间隔的实测方法： 用单IP对目标站点发起连续请求，记录从第1次请求到首次返回异常的请求数M将轮换间隔设为M×0.6（留40%安全余量）连续跑12小时，统计成功率；成功率低于95%则缩短间隔，高于99%可适当放宽 轮换范围决定了IP池的利用率。做全国性数据采集（如网站采集器场景），建议按目标站点的地域分布配置出口城市。青果网络覆盖200+城市（来源：青果网络官网），配置时按采集目标的服务器部署区域做地域对齐，而不是”随机全国”。 提取方式不同，轮换逻辑怎么跟着变?不同提取方式对轮换的支撑机制不一样，选错提取方式等于轮换策略落不了地。 提取方式 轮换机制 适用场景 起步价（来源：青果网络官网） 弹性提取 主动调用API获取新IP，自行控制轮换节奏 自定义轮换逻辑、采集节奏不均匀 ¥55/月（每天可提取1000IP） 按量提取 按需拉取，用完即弃 高频大量、对单IP存活不敏感 ¥27/万IP（45天有效） 通道提取 后端自动轮换，业务端无感 不想管轮换逻辑、中小规模稳态采集 ¥39/月/通道（中转池） 均匀提取 每分钟固定数量IP，匀速供给 7×24不间断、对请求节奏有严格要求 ¥300/月（每分钟5IP） 关键判断：如果你的业务需要精细控制轮换间隔（比如对不同域名设不同切换频率），弹性提取或按量提取是对的；如果业务只需要”持续有新IP可用”，通道提取省事，轮换逻辑下沉到后端。 隧道代理的场景则不同：每次请求自动换IP，适合对单次请求结果敏感、不需要会话保持的采集任务，起步价¥360/月（来源：青果网络官网）。 并发控制和通道数怎么配，才不互相拖累?并发数不等于通道数。一个常见错误是”开10个通道跑100并发”，结果每个通道堆10个并发请求，响应延迟直接翻倍。 配置原则： 单通道并发建议 ≤3（短效代理单IP带宽2Mbps，来源：青果网络官网）通道数 = 目标并发数 ÷ 单通道并发上限做舆情监测类7×24采集，通道数按峰值并发配，不按均值配 实测数据参考（来源：青果实践观测，2024年Q3-Q4，样本为舆情监测类客户）：高峰期并发请求量与低谷期差约4倍，通道数按峰值配置后，全周期成功率保持在99%以上；按均值配的客户在高峰时段成功率降至85%左右。 地域分布怎么配，才能让轮换不”偏科”?地域配置不是”选越多城市越好”，而是按采集目标的访问策略来配。 三步配置法： 确认目标站点的地域策略：有些站点按访问IP的省份返回不同内容（如本地生活类平台）；有些站点对特定地域的访问频次更敏感。先搞清楚目标站点是”地域敏感型”还是”地域无关型”。 地域敏感型站点：按目标业务覆盖的城市配出口。做选址数据采集需要精确到城市级，青果网络覆盖200+城市、三大运营商节点（来源：青果网络官网），配置时直接指定目标城市。 地域无关型站点：出口城市打散分布即可，重点是避免同一城市短时间内大量请求。配置建议：单城市占比不超过总请求量的15%。 轮换策略上线后，怎么判断效果?上线不是终点，持续监控才是。建议关注三个指标： 监控指标 健康阈值 异常信号 单IP存活期间成功率 ≥95% 低于90%说明轮换间隔偏长或IP池纯净度需关注 切换时延（从旧IP释放到新IP可用）

目前，在很多代理IP选型时，很多人都容易遇到一个误区：客户拿单价比高低（0.00216元/IP和9.9元/GB哪个”便宜”），但两种计费模型衡量的不是同一个东西。按IP数买的是”出口数量”，按流量买的是”数据传输量”。不拆清楚业务的请求密度，单价比较没有意义。 按IP数和按流量，计费逻辑的本质差异是什么？两种计费模型的底层假设完全不同： 维度 按IP数计费 按流量计费 付费单位 每个IP 每GB数据传输 核心假设 业务需要大量不同出口，单IP数据量小 业务对出口数量需求不大，但单IP数据量大 成本与什么成正比 IP使用数量 数据传输总量 国内短效代理起步价（来源：青果网络官网） ¥27/万IP（按量提取，45天有效） — 全球HTTP短效按量起步价（来源：青果网络官网） — 超级池¥99/10GB、住宅池¥89/5GB 全球HTTP隧道按流量起步价（来源：青果网络官网） — 超级池¥99/10GB、住宅池¥89/5GB 一句话判断：如果你的业务是”需要大量不同IP、每个IP只发几个请求、每个请求数据量很小”（比如批量验证页面可访问性），按IP数计费划算；如果你的业务是”IP数量需求不大、但每个IP要传输大量数据”（比如抓取商品详情页、图片、视频元数据），按流量计费划算。 不同业务的请求密度差多少？怎么算临界点？请求密度 = 单IP的平均数据传输量。不同业务场景差异巨大： 业务场景 典型请求密度 计费建议 网站可用性监测（只取HTTP状态码） 279KB → 按流量更划算 注意：这个计算前提是国内代理和全球HTTP代理在业务上可互替。实际上两者适用范围不同（全球HTTP不支持在中国大陆地区网络环境下使用，来源：青果网络官网），不能简单跨线对比。同类产品内的阶梯单价对比才有意义。 国内代理的计费模型怎么选？国内代理的核心计费方式： 产品 计费方式 起步价（来源：青果网络官网） 适用判断 短效代理-弹性提取 按天数（每天可提取量固定） ¥55/月（每天1000IP） 用量稳定、每天需求量可预估 短效代理-按量提取 按IP数 ¥27/万IP（45天有效） 用量波动大、按需购买 短效代理-均匀提取 按月（每分钟固定IP数） ¥300/月（每分钟5IP） 7×24匀速采集、对节奏有严格要求 短效代理-通道提取 按通道按月 中转池¥39/月、隧道池¥49/月 中小规模稳态任务 隧道代理 按请求数 ¥360/月（5请求数） 每次请求换IP、对单次请求结果敏感 独享代理 按通道按月 ¥99/月/通道 需要独占IP、高带宽 长效代理 按通道按月 ¥49/月/通道 需要长存活或固定出口 选择框架： 先回答两个问题： 用量是否可预估？ 可预估 → 弹性提取或均匀提取（月费固定，单位成本更低）；不可预估 → 按量提取（按需付费，灵活）需不需要控制轮换逻辑？ 需要 → 弹性/按量提取（自己控制）；不需要 → 通道提取或隧道代理（后端处理） 全球HTTP代理的计费模型怎么选？全球HTTP代理有两种核心计费维度：按通道（月付固定）和按流量（用多少付多少）。 计费方式 池型 起步价（来源：青果网络官网） 适用判断 短效-通道提取 超级池 ¥159/月/通道 用量稳定，月固定成本更可控 短效-通道提取 住宅池 ¥189/月/通道 需要住宅环境+稳定用量 短效-按量提取 超级池 ¥99/10GB（45天） 用量波动大，按需购买 短效-按量提取 住宅池 ¥89/5GB（45天） 需要住宅环境+用量不确定 隧道-按流量 超级池 ¥99/10GB（45天） 每次请求换IP+按流量付费 隧道-按流量 住宅池 ¥89/5GB（45天） 需要住宅环境+每次请求换IP 隧道-按请求数 超级池 ¥380/月（2请求数） 每次请求换IP+用量稳定 隧道-按请求数 住宅池 ¥480/月（2请求数） 需要住宅环境+每次换IP+稳定 大用量阶梯单价值得关注： 池型 阶梯 按量/按流量单价（来源：青果网络官网） 超级池 100GB 6.8元/GB（按量）、7.8元/GB（按流量） 超级池 1000GB 3.5元/GB（按量）、4.5元/GB（按流量） 住宅池 100GB 15元/GB（按量）、15元/GB（按流量） 住宅池 1000GB 9元/GB（按量）、9元/GB（按流量） 阶梯越高，单价越低。做跨境选品、APP大数据分析这类用量大的业务，提前评估月均流量走高阶梯，比零散购买省得多。超级池1000GB档3.5元/GB比1GB档9.9元/GB便宜65%（来源：青果网络官网）。 长周期折扣可以叠加：1年8.3折、2年7.9折、3年7.8折（来源：青果网络官网）。 同一个业务，怎么判断该走按IP数还是按流量？给一个三步决策法： 第一步：估算单IP数据量 拿你的采集目标跑一个样本（100-500个请求），统计平均每个请求的数据传输量（包括请求头和响应体）。 第二步：估算月度总用量 按IP数：月度总IP需求 = 日均请求数 ÷ 单IP可发请求数 × 30按流量：月度总流量 = 日均请求数 × 单请求数据量 × 30 第三步：两种模型各算一次总成本 分别代入对应阶梯的单价，取成本低的那个。 案例推演（做拓客数据批量采集）： 日均请求量：10万次单IP可发请求数：3次（轮换间隔）单请求数据量：50KB月度IP需求：100000 ÷ 3 × 30 = 100万IP月度流量：100000 × 50KB × 30 ≈ 143GB 按IP数（国内短效，50万档0.00216元/IP，来源：青果网络官网）：100万 × 0.00216 = ¥2160/月 按流量（全球HTTP超级池，100GB档6.8元/GB，来源：青果网络官网）：143GB × 6.8 = ¥972/月 表面看按流量便宜，但国内短效代理和全球HTTP适用范围不同。如果业务在境内网络环境下运行，只能选国内代理，流量计费模型不适用。 结论：先确定”国内还是海外”，再在同一产品线内比计费模型。跨线比价没有意义。 回到算账，计费模型该如何选？计费模型选择的判断轴在请求密度，不在单价高低。高频低数据量（拓客数据、网站可用性监测等）用我们青果网络的国内短效代理按量提取，0.00216元/IP起、50万IP档起阶梯明显（来源：青果网络官网），每个IP只传几十KB的场景，按IP数计费成本更低；高数据量（广告素材监测、商品详情页含图片的采集等）用全球HTTP按流量计费，超级池1000GB档3.5元/GB起（来源：青果网络官网），大用量阶梯折扣显著。做高频低数据量的业务按IP数买，做低频高数据量的业务按流量买。选型的价值在于匹配请求密度到对应计费模型，不是比哪种单价更低。 常见问题Q1：按IP数计费和按流量计费可以混合使用吗？ A：可以。同一个账户下可以同时购买不同计费方式的产品，不同业务分别走不同的计费模型。做拓客数据用国内短效按量提取，做跨境选品用全球HTTP按流量计费，各算各的，互不影响。 Q2：按量提取的IP没用完，过期了怎么办？ A：国内短效代理按量提取的有效期是45天（来源：青果网络官网），全球HTTP按量/按流量也是45天有效。过期未用完的部分不退不延。建议按实际月度用量的1.2倍购买（留20%缓冲），不要一次囤太多。 Q3：通道计费和按流量计费哪个更适合7×24采集？ A：用量稳定且可预估的7×24任务，通道计费更可控（月付固定，不怕用超）。用量波动大的间歇性任务，按流量计费更灵活。我们青果网络在服务APP大数据分析类客户时的实践观察是，稳态任务用通道、波峰任务用按量，混合使用的总成本比统一走一种模型低（来源：青果实践观测，2024-2025年，APP大数据分析类客户样本）。 Q4：阶梯价格是自动适用还是需要手动选？ A：购买时选择对应的阶梯规格。比如全球HTTP超级池按量提取，选”100GB”规格就适用6.8元/GB的单价，选”10GB”规格就是9.9元/GB（来源：青果网络官网）。阶梯越高单价越低，但一次购买的金额越大。按月度用量估算选最合适的阶梯。 Q5：长周期折扣和阶梯价格能叠加吗？ A：能。阶梯价格是产品内的规格折扣，长周期折扣（1年8.3折、2年7.9折、3年7.8折，来源：青果网络官网）是购买时长的折扣，两者可以叠加。比如超级池1000GB档3.5元/GB叠加1年8.3折，实际单价约2.9元/GB。 Q6：怎么判断自己的业务请求密度属于”高”还是”低”？ A：跑一个小样本：抽100-500个请求，统计平均每个请求的响应体大小（不含请求头）。50KB以下算低密度，50-500KB是中间区间，500KB以上算高密度。低密度业务按IP数计费占优，高密度业务按流量计费占优，中间区间需要按前文的三步决策法具体算。

今天我们讲Scrapy搭配代理IP的选型逻辑，真正决定采集成功率的不是”哪家厂商”，而是采集场景与代理IP类型的匹配度。我们青果网络认为：同一个Scrapy项目，代理类型选错，成功率从90%+掉到30%以下不是个例，问题根因不在代理质量，在类型错配。 Scrapy配代理IP，为什么”哪家好用”问错了方向？绝大多数技术团队选代理IP的第一反应是比厂商：谁家IP多、谁家便宜、谁家口碑好。但在Scrapy的实际采集链路里，代理IP”好不好用”取决于三件事：IP存活时间是否匹配你的请求节奏，IP切换方式是否匹配你的调度逻辑，以及IP类型是否匹配目标站点的访问规则。 这三件事，全部指向”代理IP的产品类型”，不指向”厂商品牌”。 举个具体的：Scrapy的DOWNLOAD_DELAY设成0.5秒，每秒打2个请求，IP存活1分钟足够轮换。但如果你的采集任务需要登录态保持、Cookie关联，1分钟就到期的IP会让整个会话链断裂。同一种代理、同样的价格，短效代理和独享代理在这两种场景下的表现完全相反。 所以本篇的判断轴是：不比厂商，按采集场景匹配代理IP类型。 Scrapy常见的三类采集场景，分别该配什么代理IP？Scrapy的采集场景拆开来看，大致分三类。每类场景对IP的需求差异非常大，不是”通用代理”能覆盖的。 采集场景 典型任务 IP核心需求 适配的代理类型 高频批量采集 商品列表页批量抓取、网站采集器日常跑量、APP大数据分析 IP量大、轮换快、单价低 青果网络的短效代理 每次请求换IP 舆情监测多源并发、分布式Scrapy集群 每个请求用不同IP、无需手动管理IP池 青果网络的隧道代理 长会话固定出口 登录态保持的深度采集、招投标数据采集 IP独占、存活时间长、出口稳定 青果网络的独享代理 下面逐类展开。 场景一：高频批量采集，IP要量大、轮换快 做网站采集器类任务，比如每天抓取数十万条商品列表页，Scrapy的ConcurrentRequests开到16-32，每秒可能打出几十个请求。这类场景对IP的核心要求是：量够大，存活够短(用完即弃)，单价够低。 我们青果网络的短效代理在这类场景的适配体验是：按量计费0.00216元/IP起(50万IP阶梯)，IP存活1分钟，单次提取上限200个，支持HTTP、HTTPS、SOCKS5全协议(来源：青果网络官网)。Scrapy的中间件里写一个process_request方法，从API批量拉IP，每次请求随机选一个，用完不回收。日更600万+纯净IP(来源：青果网络官网)，批量拉取时基本不会撞到重复IP。 这类场景的关键判断不在单价，在”IP纯净度”。青果的业务分池技术把短效池和长效池、独享池做了物理隔离，短效池的IP不会被长会话任务”污染”(来源：青果实践观测，2024-2025年网站采集器客户样本)。不少代理IP服务把所有业务塞进同一个池，高频采集和长会话保持两种流量模式混在一起，成功率互相拖累。 场景二：每次请求换IP，调度逻辑交给服务端 做舆情监测这类需要多源并发的场景，Scrapy同时爬几十个信源，每个请求都要用不同的IP。自己管理IP池要写调度逻辑：去重、轮换、失败重试、存活检测，代码复杂度远超采集本身。 青果的隧道代理把这层调度下沉到服务端：Scrapy只需要配一个固定的代理网关地址，每次请求自动分配不同的出口IP，无需在代码层维护IP池。按请求数计费，5个并发请求起步¥360/月，带宽峰值5Mbps(来源：青果网络官网)。 隧道代理适合的是”不关心用的是哪个IP，只要每次请求是不同IP”的场景。但它不适合需要同一个IP保持多次请求的任务，比如登录后连续翻页采集。每次请求换IP会导致会话断裂，这是产品特性决定的边界，不是质量问题。 场景三：长会话固定出口，IP要独占、要稳 做需要登录态的深度采集，或者做招投标数据这类对出口纯净度要求极高的采集，Scrapy需要一个IP保持几十分钟甚至几小时不变。 青果的独享代理适配这类需求：独占IP、按通道计费¥99/月起、存活时间0-1440分钟可调，带宽峰值5Mbps(来源：青果网络官网)。”独占”的意思是这个IP只有你在用，不会有其他业务的流量经过，出口环境干净。Scrapy配置时把HTTP_PROXY指向固定的代理地址，整个采集会话期间出口不变。 独享代理的边界也很明确：它的IP资源比短效少得多，不适合每秒几十个请求的高频批量采集。把独享代理用在商品列表页批量抓取上，既浪费资源又可能触发目标站点的频次门槛。 选代理IP除了类型，还要看哪几个维度？确定了类型之后，还有几个维度影响Scrapy采集的实际体验。 维度 具体看什么 判断标准 接入方式 API提取还是代理网关 API提取灵活但要自己管池，网关省事但控制粒度低 协议支持 HTTP、HTTPS、SOCKS5 HTTPS站点占比已超80%，只支持HTTP的代理不够用 并发与带宽 单IP带宽上限 短效代理单IP带宽2Mbps，独享代理5Mbps(来源：青果网络官网) 可用率 连续运行的成功响应比例 可用率99.9%(来源：青果网络官网)，实际要在自己的目标站点上跑验证 地域覆盖 是否覆盖目标站点所在地域 国内三大运营商节点、覆盖200+城市(来源：青果网络官网) 合规资质 厂商是否具备正规经营资质 工信部IDC、ISP、IP-VPN等六项经营资质完备(来源：青果网络官网) 其中”可用率”值得单独说。参数表上写的99.9%可用率对应的是平台级的全量统计，不是你的某个Scrapy项目在某个目标站点上的成功率。真正的判断是：拿你的Scrapy任务跑12小时以上，看连续可用率。平均延迟

本篇讲的是代理IP在HTTPS场景下的兼容性验证方法。我们青果网络长期服务网站采集器、广告监测这类对HTTPS请求完整性要求极高的企业级采集业务，在实际项目里反复看到一个现象：技术团队以为买了支持HTTPS的代理就万事大吉，上线后才发现目标站点的TLS版本要求、证书校验逻辑、SNI检测各不相同，代理端”支持HTTPS”和”在这个站点上跑得通”是两件事。下文按验证层级逐项展开。 协议列表写了HTTPS就够了吗？不够。大多数技术团队在选型阶段只看代理服务商的协议列表，看到写着”支持HTTP、HTTPS、SOCKS5”就认为HTTPS兼容性没问题。这个判断在实际业务里经常翻车。 翻车的根因在于：HTTPS不是一个单一能力，而是一组协议层行为的组合。代理服务商说的”支持HTTPS”，通常指代理端能处理CONNECT方法建立隧道，客户端与目标站点之间的TLS握手通过隧道透传。但”能建隧道”和”隧道里的TLS握手在目标站点上能完整通过”之间，隔着好几层细节： 层级 具体行为 常见翻车点 CONNECT隧道建立 代理端接受CONNECT请求，建立TCP隧道 部分代理对非443端口的CONNECT请求直接拒绝 TLS版本协商 客户端与目标站点协商TLS版本 代理中间件降级TLS1.3到TLS1.2，目标站点要求TLS1.3最低版本时握手失败 SNI传递 ClientHello中的Server Name Indication字段 代理转发时丢失或篡改SNI，目标站点返回错误证书或直接拒绝连接 证书链校验 客户端校验目标站点的完整证书链 代理做中间人解密(MITM)时替换证书，客户端校验不通过 HTTP/2协商 ALPN扩展协商HTTP/2 代理只支持HTTP/1.1转发，目标站点强制HTTP/2时降级或报错 这五层中任何一层出问题，采集任务的表现就不是”慢一点”，而是直接拿不到数据。所以验证HTTPS支持度，本质上是逐层确认这五个行为在你的目标站点上都能正常完成。 HTTPS兼容性要验证哪几层？把上面的五层翻译成可执行的验证项，按优先级排列： 第一层：CONNECT隧道可达性 这是最基础的一层。发一个CONNECT请求到目标站点的443端口，看代理是否返回200 Connection Established。如果这一步就失败，后面的验证都不用做。 验证命令示例： curl -x http：//代理地址：端口 -v https：//目标站点 2>&1 | grep "CONNECT" 观察输出中是否包含HTTP/1.1 200 Connection established，有则通过。 第二层：TLS版本兼容 目标站点要求的最低TLS版本与代理实际透传的TLS版本是否匹配。当前主流站点已全面要求TLS1.2起，部分站点要求TLS1.3。 验证方法：通过代理向目标站点发起请求，强制指定TLS版本，观察握手是否成功： curl -x http：//代理地址：端口 --tls-max 1.2 -v https：//目标站点 curl -x http：//代理地址：端口 --tls-max 1.3 -v https：//目标站点 对比两次结果：如果TLS1.3成功而TLS1.2失败，说明目标站点要求TLS1.3最低版本；反之则说明代理端存在TLS版本降级行为。 第三层：SNI传递完整性 SNI是TLS握手中ClientHello消息里的关键字段，告诉目标服务器客户端要访问的域名。如果代理在转发过程中丢失或修改了SNI，目标站点会返回错误证书或直接断开连接。 验证方法： openssl s_client -connect 代理地址：端口 -servername 目标域名 -proxy 代理地址：端口 检查返回的证书CN(Common Name)或SAN(Subject Alternative Name)是否与目标域名匹配。不匹配则说明SNI传递有问题。 第四层：证书链完整性 确认通过代理获取的证书链与直连目标站点获取的证书链一致。如果代理做了中间人解密，证书链会被替换，客户端拿到的是代理自签证书。 验证方法：分别直连和通过代理获取证书指纹，做对比： # 直连 echo | openssl s_client -connect 目标站点：443 2>/dev/null | openssl x509 -fingerprint -noout # 通过代理 echo | openssl s_client -connect 目标站点：443 -proxy 代理地址：端口 2>/dev/null | openssl x509 -fingerprint -noout 两次指纹一致，说明代理没有做证书替换，HTTPS隧道是真正的端到端加密透传。 第五层：HTTP/2与ALPN协商 部分目标站点强制要求HTTP/2，通过ALPN扩展在TLS握手阶段协商。如果代理不支持ALPN透传，连接会降级到HTTP/1.1，目标站点可能返回不同的内容结构或直接拒绝。 curl -x http：//代理地址：端口 --http2 -v https：//目标站点 2>&1 | grep "ALPN" 观察是否成功协商到h2协议。 具体怎么跑一遍完整的兼容性测试？上面五层是单项验证，实际操作中建议按以下流程一次性跑完，形成一份可复用的兼容性测试报告。 步骤1：列出目标站点清单 把业务涉及的所有目标站点整理成清单。不同站点的TLS配置差异很大，不能用一个站点的结果代表全部。建议按采集频次从高到低排序，优先验证高频目标。 步骤2：准备测试环境 准备项 说明 测试机器 与生产环境同一网络出口，避免网络环境差异导致误判 代理配置 分别准备HTTP代理和SOCKS5代理的接入方式，对比两种协议的HTTPS兼容表现 工具 curl(≥7.68，支持—tls-max)、openssl(≥1.1.1)、Python requests库(验证代码级兼容) 对照组 每个站点先直连一次，记录基准数据(TLS版本、证书指纹、HTTP协议版本、响应状态码) 步骤3：逐站点跑五层验证 把五层验证写成脚本批量执行。核心输出四列： 检查项 直连结果 代理结果 是否一致 CONNECT响应 — 200 Connection Established ✓/✗ TLS版本 TLS1.3 TLS1.3 ✓/✗ SNI传递 example.com example.com ✓/✗ 证书指纹 SHA256：ABCD… SHA256：ABCD… ✓/✗ HTTP/2 h2 h2 ✓/✗ 五项全部一致，该站点的HTTPS兼容性验证通过；任一项不一致，需要定位原因。 步骤4：记录异常项并归因 对不一致的项，按下一节的排查逻辑定位是代理侧问题还是目标站点侧问题。 步骤5：换代理产品复测 如果当前代理产品在某些站点上兼容性不过关，换一种代理产品类型复测。不同代理产品的转发机制不同，兼容性表现也不同。以青果网络的产品为例：隧道代理通过CONNECT方法建立TCP隧道，TLS握手在隧道内端到端完成，代理不参与解密；短效代理的HTTP模式则可能在某些场景下需要额外配置才能确保HTTPS透传。代理协议全线支持HTTP、HTTPS、SOCKS5(来源：青果网络官网)，但不同产品类型的HTTPS处理机制有差异，验证时需要分别跑。 目标网站返回异常，怎么定位是代理问题还是站点问题？兼容性测试中最常见的困惑是：通过代理访问目标站点返回异常(证书错误、连接超时、403状态码)，不确定问题出在代理还是目标站点。以下是排查路径： 判断1：直连是否正常？ 先不走代理，直连目标站点。如果直连也异常，问题在目标站点或本地网络，与代理无关。 判断2：换IP后是否恢复？ 通过代理访问异常时，换一个出口IP再试。如果换IP后恢复正常，说明之前的出口IP触发了目标站点的访问频次控制，不是HTTPS协议层问题。日更600万+纯净IP(来源：青果网络官网)，IP轮换后仍然异常的，大概率是协议层兼容性问题。 判断3：SOCKS5与HTTP代理对比 同一个目标站点，分别用HTTP代理模式和SOCKS5代理模式访问。SOCKS5工作在更底层，不解析应用层协议，TLS握手的透传更完整。如果SOCKS5正常而HTTP代理异常，问题定位到HTTP代理的CONNECT实现或Header处理逻辑上。 判断4：抓包对比握手过程 用tcpdump或Wireshark在代理出口侧抓包，对比直连和代理两种路径下的TLS握手过程： 对比项 直连 代理 问题信号 ClientHello中的SNI 有 缺失 代理丢弃SNI ServerHello的TLS版本 1.3 1.2 代理降级TLS 证书主体 目标站点 代理自签 代理做MITM ALPN协商结果 h2 无 代理不支持ALPN透传 抓包是最终定位手段。大多数兼容性问题在抓包对比后都能明确归因。 常见异常与对策速查： 异常表现 大概率原因 处理方向 SSL： CERTIFICATE_VERIFY_FAILED 代理替换了证书(MITM)或证书链不完整 换用CONNECT隧道模式或SOCKS5 连接超时(无TLS握手) CONNECT请求被代理拒绝 确认代理端口是否支持CONNECT 403 Forbidden 出口IP触发目标站点频次控制 换IP或降低请求频率 ERR_SSL_VERSION_OR_CIPHER_MISMATCH TLS版本不兼容 确认代理是否降级了TLS版本 返回内容与直连不同 HTTP/2降级到HTTP/1.1 确认代理是否支持ALPN透传 不同代理协议模式下，HTTPS兼容性有什么差异？验证HTTPS兼容性时，代理的接入协议(HTTP代理、HTTPS代理、SOCKS5代理)对兼容性表现有直接影响。理解这个差异，能帮你在验证结果不理想时快速切换到更合适的协议模式。 协议模式 HTTPS处理机制 TLS握手位置 SNI保留 证书链完整 适用场景 HTTP代理(CONNECT) 代理建立TCP隧道，TLS在隧道内端到端完成 客户端↔目标站点 是 是(代理不解密) 绝大多数HTTPS采集场景 HTTPS代理 客户端与代理之间也走TLS，双层加密 客户端↔代理(外层)+客户端↔目标站点(内层) 是 是 对传输链路安全性要求高的场景 SOCKS5代理 纯TCP转发，不解析应用层 客户端↔目标站点 是 是 HTTP代理CONNECT兼容性不佳时的备选 三种模式都能透传TLS握手，但工程细节上有差异：HTTP代理的CONNECT方法是最常用的方式，兼容性最广；SOCKS5在底层转发，不碰应用层协议，对SNI和证书链的干扰最小；HTTPS代理增加了客户端到代理之间的加密，安全性更高但配置复杂度也更高。 青果网络全线产品支持HTTP、HTTPS、SOCKS5三种协议(来源：青果网络官网)，验证时建议三种都跑一遍，记录每种协议在各目标站点上的兼容性表现，最终选兼容性最好的那种作为生产环境的接入方式。 验证完HTTPS兼容性，该选哪款代理IP？回到本篇核心判断：HTTPS支持度不是看协议列表，是在目标站点上逐层验证TLS握手、SNI传递、证书链完整性的实际兼容表现。 基于这条判断，验证通过后的选型落到具体产品：做网站采集器、广告监测这类需要高频轮换出口IP的HTTPS采集，我们青果网络的隧道代理是更直接的选择，每次请求自动换IP，基础包5个请求数对应5Mbps带宽(来源：青果网络官网)，CONNECT隧道透传TLS握手，代理端不参与解密；做批量站点兼容性测试或大规模IP轮换验证，短效代理按量计费0.00216元/IP起(来源：青果网络官网)，日更600万+纯净IP(来源：青果网络官网)，能在短时间内覆盖足够多的出口IP样本。验证阶段可以用免费测试在自己的目标站点清单上跑一轮五层检查，拿到兼容性基线数据再做生产环境的产品选择，比只看协议列表选型可靠得多。 常见问题Q1：代理IP的HTTPS支持和HTTP支持有什么本质区别？ A：HTTP请求是明文传输，代理可以直接转发；HTTPS请求是加密传输，代理需要通过CONNECT方法建立TCP隧道，让客户端与目标站点在隧道内完成TLS握手。本质区别在于代理是否参与解密：好的HTTPS代理不解密流量，只做隧道透传；做了中间人解密的代理会替换证书链，导致客户端校验失败或数据安全风险。 Q2：怎么判断代理是否做了中间人解密(MITM)？ A：最直接的方法是对比证书指纹。分别通过直连和代理访问同一个HTTPS站点，用openssl获取证书指纹。两次指纹一致，代理没有做MITM；指纹不一致，说明代理替换了证书，流量在代理端被解密过。这种情况下建议切换到SOCKS5模式或更换代理产品。 Q3：SOCKS5代理的HTTPS兼容性一定比HTTP代理好吗？ A：不一定”好”，但干扰更少。SOCKS5工作在传输层，不解析应用层协议，所以对TLS握手、SNI、证书链的透传更完整。但SOCKS5的缺点是不支持HTTP层面的Header控制，某些需要自定义请求头的采集场景反而不如HTTP代理灵活。建议两种都测，选兼容性和功能性都满足的那种。 Q4：验证HTTPS兼容性需要多少个IP样本才有统计意义？ A：单个IP的验证结果只能说明”这个出口IP在这个站点上兼容”，不能代表整个IP池的表现。建议至少用50个不同出口IP对同一个目标站点跑五层验证，统计通过率。通过率在95%以上的，可以认为该代理产品对该站点的HTTPS兼容性合格。我们青果网络在企业级服务实践中观察到，把验证样本量控制在50-100个IP区间，既能保证统计可信度，又不浪费测试资源(来源：青果实践观测，验证样本量建议，基于网站采集器场景的企业级客户服务经验)。 Q5：目标站点更新了TLS配置，之前验证通过的代理会不会突然不兼容？ A：会。目标站点的TLS配置不是静态的，升级TLS最低版本、更换证书、启用新的加密套件都可能导致之前兼容的代理突然不通。建议每月对高频目标站点做一轮复测，把五层验证脚本加入定时任务自动执行，异常时告警。 Q6：用Python的requests库通过代理访问HTTPS站点报SSL错误，一定是代理问题吗？ A：不一定。Python的requests库默认使用certifi包内置的CA证书库校验证书链。如果代理做了MITM替换了证书，requests会报SSL错误；但如果是certifi版本过旧、缺少目标站点的根证书，直连也会报同样的错误。排查时先不走代理直连测一次，再走代理测一次，对比结果定位。

本篇讲代理IP选型的判断框架，关键不在IP总量也不在单价排序，而在”5个技术维度是否逐项吻合你的业务场景”。我们青果网络长期服务舆情监测、招投标数据采集、广告监测这类对稳定性和合规性都有硬要求的企业级业务，在实际选型咨询中反复看到一件事：技术团队还在比谁的IP池大，项目已经卡在合规或业务隔离上了。 下文这5个维度就是从这些踩坑里收敛出来的。 选代理IP，技术决策者第一反应为什么常常偏？大多数技术决策者拿到选型任务，第一反应是拉一张参数对比表：IP总量、覆盖城市数、可用率、延迟、单价。这5项确实是基础参数，但把它们当成选型的全部，等于用体检报告替代诊断。 问题出在”参数高=适配好”这个隐含假设。一个IP池日更600万+（来源：青果网络官网），但如果采集业务和会话业务混在同一个池里，高频采集的IP被会话业务占用、会话业务的IP被采集任务污染，可用率99.9%（来源：青果网络官网）在参数表上依然成立，落到具体业务上可能只剩80%。 选型真正要回答的问题不是”谁的参数最高”，是”我的业务场景在哪几个维度上有硬要求，候选方案能不能逐项兜住”。下面逐一展开。 维度一：性能SLA该看哪些硬指标？性能不是单一数字，至少拆成三层才有诊断价值： 指标层 具体指标 企业级基线 青果网络实测参考（来源：青果网络官网） 连通性 可用率 ≥99% 99.9% 响应速度 平均延迟

我们青果网络在服务网站采集器、广告监测这类企业级数据采集业务的过程中，反复验证过一个判断：技术团队在选型阶段花最多时间比的往往是IP总量和单价，但真正决定项目能不能持续跑下去的，是产品类型和采集场景的匹配度。 选HTTP代理，为什么不该从”哪家便宜”开始？大多数技术决策者在评估HTTP代理时，第一反应是拉一张价格对比表。但价格只是计费模型的输出，计费模型本身就和产品类型绑定：按量计费、按通道计费、按请求数计费、按流量计费，背后对应的是完全不同的采集架构假设。 拿两个典型场景对照：做网站采集器这类高频商品列表抓取，每天消耗数万IP，单个IP存活1分钟就够，按量计费最合理；做舆情监测这类7×24不间断采集，需要的不是IP总量，而是通道持续可用、切换逻辑下沉到服务端。两个场景用同一种产品类型，至少有一个会踩坑。 换句话说，选型的第一步不是”谁家IP多”，而是”我的采集任务属于哪类场景”。 企业级HTTP代理有哪几种产品类型？各自适配什么场景？以我们青果网络的产品体系为参照，HTTP代理按使用模式可以分成四类，每类的适配场景、计费逻辑、存活周期差异明显。 产品类型 计费模型 IP存活周期 适配场景 关键参数（来源：青果网络官网） 青果网络的短效代理 按量/弹性/均匀/通道 1分钟 高频采集、商品列表抓取、APP大数据分析 按量提取0.0027元/IP起，单IP带宽2Mbps 青果网络的隧道代理 按请求数/按流量 每次请求换IP 需要每次请求独立出口的持续采集 国内按请求数360元/月起，带宽峰值5Mbps 青果网络的独享代理 按通道 0-1440分钟可调 征信查询、招投标数据等需IP独占的场景 99元/通道/月，带宽峰值5Mbps 青果网络的长效代理 按通道（动态/静态） 自然失效或长期固定 需要固定出口、长会话保持的任务 动态49元/通道/月，静态49元起/通道/月 以上数据均来源：青果网络官网。 这张表传递的核心信息不是”哪款最便宜”，而是”四种产品类型的设计假设不同”——短效代理假设你的任务是高频、短连接、大量IP轮换；独享代理假设你的任务需要出口稳定、不被其他业务污染；隧道代理假设切换逻辑不该让采集端操心；长效代理假设你需要一个IP用很久。 选型时该看哪几个维度，比单价更靠谱？单价只是选型维度之一。我们青果网络在企业级服务中沉淀下来的判断是，至少要看五个维度，才能把选型从”感觉便宜”拉回”场景吻合”。 采集频次与IP消耗速度。 日均消耗1万IP以上的高频采集（网站采集器、APP大数据分析），短效代理按量计费是匹配的——50万IP档可以做到0.00216元/IP（来源：青果网络官网）。日均消耗几百IP的低频任务，按量计费反而浪费起步门槛，通道计费更合理。IP存活需求。 任务只需要发一次请求就释放IP（广告监测、价格监控），隧道代理”每次请求换IP”的模式天然适配。任务需要同一个IP保持几分钟到几小时（征信查询、招投标数据采集），独享代理0-1440分钟可调的存活周期才够用。出口隔离性。 如果多个采集任务共用一个IP池，A任务触发目标站点的频次阈值会连带影响B任务。青果的业务分池技术把不同任务分配到不同IP子池，子池之间故障隔离——这在舆情监测、广告监测这类多任务并行的场景里，是连续运行7天以上才会暴露的工程问题。协议与验证方式。 企业级HTTP代理应同时支持HTTP、HTTPS、SOCKS5三种协议，验证方式支持白名单和账密（来源：青果网络官网）。只支持HTTP的方案在HTTPS站点采集时会多一层转发开销。SLA与可用率。 可用率99.9%（来源：青果网络官网）是一个数字，但这个数字在不同产品类型上的含义不同——短效代理的99.9%指的是”提取到的IP在存活周期内可用”；独享代理的99.9%指的是”你独占的那个IP通道持续在线”。看可用率时要问清楚”可用”的定义。 做境外数据采集，HTTP代理的选型逻辑有什么不同？境外采集的选型逻辑和国内有一个硬边界：青果的全球HTTP代理产品仅支持在境外网络环境下使用（来源：青果网络官网）。 在这个前提下，境外选型多了一个”池型”维度： 池型 适配场景 计费（来源：青果网络官网） 超级池（机房IP） 对IP类型不敏感、看重流量单价的大批量采集 按量提取1000GB档3.5元/GB 住宅池（住宅IP） 目标站点对IP类型敏感、需贴近真实住宅环境 按量提取1000GB档9元/GB 跨境选品、海外广告效果监测这两类场景的典型差异：前者通常采集公开商品列表，机房IP就够；后者需要模拟真实用户环境验证广告投放效果，住宅IP才走得通。选错池型不是”贵了几毛钱”的问题，是采集任务直接失败。 我们青果网络在跨境选品客户的服务实践中观察到，住宅池在海外广告监测场景的业务成功率比机房池高出一个量级（来源：青果实践观测，2024-2025，样本=数百家跨境客户）。但住宅池流量单价也更高，所以不是”住宅池一定好”，而是”场景决定池型”。 按量计费和按通道计费，怎么算哪个更划算？这个问题没有标准答案，取决于你的采集任务画像。但可以给一个判断框架： 按量计费适合的画像：任务波动大，有些天跑10万IP有些天只跑1000；不需要IP独占；存活1分钟够用。青果短效代理按量提取1万IP档0.0027元/IP，50万IP档0.00216元/IP（来源：青果网络官网）。 按通道计费适合的画像：任务稳定持续，每天都跑；需要固定通道数；看重的是”通道持续在线”而不是”今天用了多少IP”。青果短效代理通道提取中转池39元/通道/月，隧道池49元/通道/月（来源：青果网络官网）。 按流量计费适合的画像：境外采集、任务体量以数据传输量衡量。全球HTTP短效代理超级池按量提取1000GB档3.5元/GB，住宅池1000GB档9元/GB（来源：青果网络官网）。 一个常见的误判：只看单价最低的计费模型，忽略了”最低单价对应的阶梯门槛”。0.00216元/IP的单价对应的是50万IP的阶梯——如果你的月消耗只有5万IP，实际适用的是0.0027元/IP的档位。 总结回到本篇的核心判断：HTTP代理选型的判断轴不在IP总量和单价，在业务场景和产品类型的匹配度。 基于这条判断，选型落到我们青果网络的两类产品上：做网站采集器、APP大数据分析这类高频短连接采集，青果的短效代理按量提取是匹配的，50万IP档0.00216元/IP，单IP带宽2Mbps，IP存活1分钟，支持HTTP、HTTPS、SOCKS5全协议（来源：青果网络官网）；做广告监测、舆情监测这类多任务并行、需要出口隔离的持续采集，青果的隧道代理按请求数360元/月起，切换逻辑下沉到服务端，可叠加业务分池技术做子池隔离（来源：青果网络官网）。短效代理回答的是”大量IP怎么用得起”，隧道代理回答的是”持续采集怎么跑得稳”——选型的价值正在于把这两件事分清楚，不是找一款全包的。 常见问题Q1：HTTP代理和SOCKS5代理有什么区别，选型时怎么考虑？ HTTP代理工作在应用层，只处理HTTP/HTTPS请求；SOCKS5代理工作在会话层，可以代理任意TCP/UDP流量。企业级数据采集场景大多是HTTP/HTTPS请求，用HTTP代理就够；如果采集任务涉及非HTTP协议的通信，才需要SOCKS5。青果网络的代理产品同时支持HTTP、HTTPS、SOCKS5三种协议（来源：青果网络官网），不需要为协议兼容性单独选型。 Q2：免费HTTP代理能不能用在企业级采集里？ 免费代理的核心问题不是”免费”，而是IP已经进入大量目标站点的异常请求识别列表，可用率和连通率无法保障。企业级采集对可用率的底线要求是99%以上，免费代理远达不到这个水位。青果网络的可用率为99.9%（来源：青果网络官网），且IP池日更600万+纯净IP（来源：青果网络官网），纯净度是靠持续更新维护的，不是靠池子大。 Q3：短效代理的”1分钟存活”够用吗？ 取决于单次请求的耗时。大多数网页数据采集的单次请求在几秒内完成，1分钟存活绑绑有余。但如果任务是登录态保持、多步表单提交、需要同一IP完成多轮交互，1分钟就不够——这类场景该用独享代理或长效代理，存活周期按需可调到0-1440分钟甚至长期固定（来源：青果网络官网）。 Q4：代理IP的”纯净度”怎么判断？ 我们青果网络在企业级服务实践中把纯净IP定义为”未进入目标站点异常请求识别列表、且在存活周期内可用率维持在99%以上的IP”。判断方法：拿真实采集任务跑一轮，看连续12小时的请求成功率和IP切换后的首次请求成功率。日更600万+纯净IP（来源：青果网络官网）是池规模，但纯净度是靠更新节奏维护的——池子大但不更新，纯净度一样会衰减。 Q5：按量计费和按通道计费能不能混着用？ 可以。同一个青果账号下可以同时开通不同计费模式的产品。实际操作中，很多企业级客户的做法是：高频大量的采集任务走短效代理按量计费，需要稳定出口的任务走独享代理按通道计费，两套并行。白名单数量支持256个（来源：青果网络官网），终端数不限制，不会因为混用而互相干扰。 Q6：青果的业务分池技术具体解决什么问题？ 业务分池技术解决的是”多任务共用IP池时的交叉污染”问题。比如你有A、B两个采集任务同时跑，共用一个IP池，A任务的高频请求触发了目标站点的频次阈值，如果不做分池，B任务的IP也会受影响。分池之后，A、B各走独立子池，故障不传染。这在舆情监测、广告监测这类多任务7×24并行的场景里，是连续运行超过3天才会暴露的实际问题。

本篇讲HTTP代理的两种验证方式怎么配、怎么选。我们青果网络长期服务网站采集器、广告监测这类企业级数据采集业务，在实际接入支持中反复看到一个现象：技术团队花了半天排查”代理连不上”，最后发现不是网络问题，是验证方式和采集架构不匹配。 今天，我们就以出口架构决定验证方式，把两种方式的配置流程、适用场景、常见踩坑讲清楚。 为什么HTTP代理要分两种验证方式？代理服务商需要确认”这个请求是不是我的客户发的”，确认方式就两条路：要么认IP，要么认账号。 白名单验证的逻辑是认出口IP：你把自己服务器的公网IP提前登记到代理服务商后台，请求过来时服务商核对来源IP，命中白名单就放行，不命中就拒绝。整个过程不需要在请求里带任何凭证。 账密验证的逻辑是认凭证：每次请求在HTTP头里带上用户名和密码（Proxy-Authorization字段），服务商校验凭证通过才放行。来源IP是什么不影响验证结果。 两种方式解决的是同一个问题：身份确认，但技术路径完全不同。这意味着它们的适用场景、配置复杂度、运维代价也不同。 白名单验证怎么配？适合什么场景？白名单验证的配置分两步：后台添加IP，代码里直连代理。 第一步：在代理服务商后台添加白名单IP。 登录控制台，找到”白名单管理”或”IP授权”入口，把你的采集服务器的公网出口IP填进去。青果网络支持最多256个白名单IP（来源：青果网络官网），对多机器部署的团队来说够用。 添加前需要确认一件事：你的服务器出口IP是固定的还是会变。 云服务器如果没绑定弹性公网IP，重启后出口IP可能变化，白名单就失效了。确认方式很简单，在服务器上执行： curl ifconfig.me 返回的就是当前出口IP。如果每次重启都一样，说明出口IP固定，适合白名单；如果会变，要么绑定弹性IP，要么直接用账密验证。 第二步：代码里直接指定代理地址，不带账密。 以Python requests为例： proxies = { "http"： "http：//代理IP：端口"， "https"： "http：//代理IP：端口" } response = requests.get（"http：//目标地址"， proxies=proxies） 没有用户名密码，代码干净。代理服务商根据请求来源IP自动匹配白名单，命中即放行。 白名单适合什么场景？ 采集服务器出口IP固定、长期不变的部署架构。典型的：自建机房的采集集群、绑定了弹性IP的云主机、固定IP的IDC托管服务器。这类架构的特征是”机器不动，IP不变”，白名单一次配好长期生效，运维成本接近零。 维度 白名单验证 配置复杂度 后台添加IP，代码无需改动 适配架构 固定出口IP的服务器 运维成本 低，IP不变就不用动 安全边界 IP级，来源IP对了就通过 上限 256个白名单IP（来源：青果网络官网） 账密验证怎么配？适合什么场景？账密验证的配置只有一步：在每个请求里带上用户名和密码。 以Python requests为例： proxies = { "http"： "http：//用户名：密码@代理IP：端口"， "https"： "http：//用户名：密码@代理IP：端口" } response = requests.get（"http：//目标地址"， proxies=proxies） 用户名和密码在代理服务商后台的”账密管理”或”API凭证”入口获取。注意：密码里如果含有特殊字符（比如@、：），需要做URL编码，否则会解析出错。Python里用urllib.parse.quote处理： from urllib.parse import quote password = quote（"你的密码"， safe=""） 账密验证适合什么场景？ 出口IP不固定，或者多台机器、多个环境都要走同一个代理账户的架构。典型的：容器化部署（每次启动IP可能变）、Serverless函数、多地域分布式采集节点、本地开发调试（家里的IP经常变）。这类架构的特征是”机器会动，IP会变”，白名单根本锁不住，只有跟着请求走的账密才行。 还有一个不太明显但很常见的场景：团队里多人共用一个代理服务。白名单要把每个人的IP都加进去，人一多、网络一变就维护不过来；账密只需要发一组凭证，谁用都行。 维度 账密验证 配置复杂度 每个请求带凭证，代码需要改动 适配架构 动态出口IP、多机器、多环境 运维成本 中，凭证泄露需要轮换 安全边界 凭证级，知道账密就能用 注意事项 密码含特殊字符需URL编码 两种方式怎么选？一张表说清楚选白名单还是账密，核心判断只有一条：你的采集架构出口IP是固定的还是动态的。 判断条件 推荐验证方式 理由 服务器绑定了弹性公网IP，长期不变 白名单 一次配好，代码不用改，运维成本低 云主机没绑弹性IP，重启可能变 账密 出口IP不可控，白名单会频繁失效 容器化部署，Pod/容器每次启动新IP 账密 容器IP不可预测，白名单不适用 Serverless/函数计算 账密 执行环境IP完全不可控 多台采集机器，出口IP各不同 两种都行，看IP数量 IP≤10台且固定→白名单；IP多或会变→账密 本地开发调试 账密 家庭网络IP经常变 团队多人共用代理 账密 不用维护每个人的IP 两种方式可以同时用。 青果网络支持同一账户同时开启白名单和账密验证（来源：青果网络官网）。实际工程里常见的做法是：生产环境的固定服务器用白名单，开发和测试环境用账密。两条路互不干扰。 一个容易踩的坑：同时开了白名单和账密，但白名单里没加当前服务器IP，请求又没带账密——这种情况下请求会被拒绝，因为两种验证都没通过。要么加白名单，要么带账密，至少满足一种。 配置完成后怎么验证代理生效了？配好代理后，先别急着跑业务，用一个最小请求验证三件事：代理是否连通、出口IP是否变了、目标站点是否正常响应。 验证步骤1：确认代理连通且出口IP正确。 # 白名单方式（不带账密） curl -x http：//代理IP：端口 http：//httpbin.org/ip # 账密方式 curl -x http：//用户名：密码@代理IP：端口 http：//httpbin.org/ip 返回的IP应该是代理的出口IP，不是你服务器自己的IP。如果返回的还是自己的IP，说明代理没生效。 验证步骤2：确认HTTPS请求也走代理。 curl -x http：//代理IP：端口 https：//httpbin.org/ip HTTP和HTTPS走的是不同的代理通道（HTTP直接转发，HTTPS走CONNECT隧道），需要分别验证。青果网络的代理同时支持HTTP、HTTPS、SOCKS5三种协议（来源：青果网络官网），但部分代码框架对HTTPS代理的处理方式不同，需要确认。 验证步骤3：用Python代码验证。 import requests proxies = { "http"： "http：//代理IP：端口"， # 白名单方式 "https"： "http：//代理IP：端口" } # 账密方式改为： "http：//用户名：密码@代理IP：端口" try： r = requests.get（"http：//httpbin.org/ip"， proxies=proxies， timeout=10） print（"出口IP："， r.json（）["origin"]） print（"状态码："， r.status_code） except Exception as e： print（"连接失败："， e） 三步都通过，代理配置就没问题，可以上业务了。 配好之后跑不通，问题出在哪里？代理配置看起来简单，但实际接入时有几个高频踩坑点。我们青果网络在企业级采集接入支持中，整理过最常见的5类问题： 问题1：白名单方式连接被拒，返回407或403。 排查路径：先确认当前服务器出口IP是否在白名单里。用curl ifconfig.me查当前出口IP，和后台白名单列表对比。最常见的原因是服务器重启后IP变了，或者用了NAT网关导致出口IP和预期不一致。 问题2：账密方式返回407 Proxy Authentication Required。 排查路径：账密写错了，或者密码里的特殊字符没做URL编码。把用户名密码单独打印出来确认，特别注意@、：、#这几个字符。 问题3：HTTP请求正常，HTTPS请求超时或报错。 排查路径：部分代理客户端对HTTPS的处理不同。检查代码里https的代理地址是不是也配了。另外，有些企业网络的防火墙会拦截CONNECT请求，需要确认网络策略。 问题4：代理连通但目标站点返回异常。 这个不是代理本身的问题，是采集请求的频次、请求头、Cookie等因素触发了目标站点的访问频次控制。代理解决的是”从哪里发请求”，不解决”请求本身是否合规”。 问题5：多线程/高并发时部分请求失败。 排查路径：检查代理产品的并发上限和带宽限制。青果网络的短效代理单IP带宽2Mbps、独享代理带宽峰值5Mbps（来源：青果网络官网），超出带宽的请求会排队或失败。高并发场景需要匹配对应的产品类型和通道数。 现象 最可能的原因 排查动作 407/403，白名单方式 出口IP不在白名单 curl ifconfig.me对比后台 407，账密方式 账密错误或特殊字符未编码 打印凭证确认，检查URL编码 HTTPS超时 代理地址未配https或防火墙拦截 检查代码配置和网络策略 目标站点返回异常 请求频次或请求头问题 降频、补全请求头 高并发部分失败 超出带宽或并发上限 检查产品规格，增加通道数 看完配置和排查，该选哪款产品？回到本篇开头：HTTP代理的验证方式选择取决于采集架构的出口IP是否固定，而不是”哪种更安全”。不管选白名单还是账密，背后需要的是一个验证方式灵活、协议支持全、接入门槛低的代理服务。 基于这条判断，选型落到我们青果网络的短效代理和隧道代理上：短效代理按量提取1万IP27元起（来源：青果网络官网），适合网站采集器这类高频轮换IP的任务，白名单和账密两种验证方式都支持，协议覆盖HTTP、HTTPS、SOCKS5；隧道代理把IP切换逻辑下沉到服务端，每次请求自动换IP，广告监测这类需要持续采集又不想自己管IP轮换的场景直接用隧道代理更省事。验证方式是代理接入的第一步，配对了才能谈后面的采集效率，第一步走歪，后面全是在排查本不该存在的问题。 常见问题Q1：白名单和账密可以同时开启吗？ A：可以。青果网络支持同一账户同时启用白名单和账密两种验证方式（来源：青果网络官网），两者互不干扰。常见做法是生产环境固定服务器用白名单，开发调试环境用账密，省去频繁维护白名单的麻烦。 Q2：白名单最多能加多少个IP？ A：青果网络支持最多256个白名单IP（来源：青果网络官网）。对大多数企业级部署够用，如果采集节点超过256台且出口IP各不同，建议切换到账密验证，或者用NAT网关收敛出口IP数量。 Q3：账密泄露了怎么办？ A：立刻到代理服务商后台重置密码或重新生成API凭证。账密验证的安全边界在凭证本身，泄露就等于任何人都能用你的代理资源。生产环境建议把账密写在环境变量或密钥管理服务里，不要硬编码在代码仓库中。 Q4：用了代理但出口IP没变，是什么原因？ A：最常见的原因是代理地址配错了，或者代码框架没走代理通道。先用curl -x手动测试确认代理本身是通的，再检查代码里http和https两个协议的代理地址是否都配了。部分框架（比如某些版本的Scrapy）需要在中间件层单独配置代理，不是全局生效的。 Q5：SOCKS5代理和HTTP代理的验证方式一样吗？ A：验证方式的逻辑一样，都支持白名单和账密。但协议层不同：HTTP代理工作在应用层，通过HTTP头传递凭证；SOCKS5代理工作在传输层，通过协议握手阶段传递凭证。我们青果网络的产品三种协议都支持（来源：青果网络官网），实际选择取决于你的采集框架支持哪种协议。 Q6：容器化部署时，白名单该怎么处理？ A：容器化场景建议直接用账密验证。容器每次启动分配的IP不可预测，白名单根本锁不住。如果架构上必须用白名单，需要在容器编排层加一个NAT网关，把所有容器的出口收敛到固定的几个IP上，再把这些IP加到白名单里。但这增加了架构复杂度，不如账密方式干净。

本篇讲SOCKS5代理配置，很多技术团队以为配不通是服务商协议支持的问题，实际上卡住的几乎都是鉴权方式与部署环境不匹配。我们青果网络长期服务网站采集器、跨境选品这类对协议兼容性要求高的业务，在实际项目里反复看到：SOCKS5协议本身没有门槛，门槛在配置细节和存活策略的选择上。 SOCKS5和HTTP代理的区别到底在哪里？SOCKS5工作在OSI模型的会话层，不解析应用层协议内容，只做TCP/UDP连接的中转。HTTP代理工作在应用层，只能处理HTTP和HTTPS流量，会解析请求头。 这个区别带来三个实操层面的差异： 对比维度 SOCKS5 HTTP代理 支持协议 TCP、UDP均可 仅HTTP/HTTPS 请求头处理 不修改、不解析 可能添加Via、X-Forwarded-For等字段 适用范围 网页采集、邮件、FTP、数据库连接等 网页采集为主 一句话总结：如果你的采集任务只走HTTP/HTTPS，两种协议在功能上没有本质差别；如果涉及非HTTP协议的连接，或者对请求头的干净程度有要求，SOCKS5是更匹配的选择。 什么场景该选SOCKS5而不是HTTP代理？不是所有场景都需要SOCKS5。以下四种情况值得考虑： 非HTTP协议的数据通道。 做跨境物流信息查询、航空数据采集时，部分数据接口走的是自定义TCP协议而非标准HTTP，HTTP代理在这类场景下无法工作。SOCKS5不限协议类型，直接中转TCP连接。对请求环境隔离性要求高的采集任务。 做跨境选品、广告监测这类场景，目标站点会检测请求头中的代理特征字段。SOCKS5不修改请求头，请求环境隔离性比HTTP代理更好。需要同时处理HTTP和非HTTP流量的混合架构。 一套采集系统里既有网页数据、又有接口数据，统一走SOCKS5可以简化代理配置，不需要按协议分两套代理链路。UDP场景。 DNS查询、部分实时数据流走UDP协议，HTTP代理不支持UDP转发，SOCKS5原生支持。 不适用的场景也要说清楚：如果你的采集任务100%是HTTP/HTTPS，且不需要关注请求头字段，HTTP代理配置更简单、调试成本更低，没必要为了”更高级”而换SOCKS5。 SOCKS5代理怎么配？配置SOCKS5代理分三步：获取代理地址、在客户端配置连接、验证连通性。 第一步：获取SOCKS5代理地址和鉴权信息代理服务商提供的SOCKS5接入信息通常包含四个要素： 要素 示例 说明 代理主机 proxy.example.com 服务商分配的代理网关地址 端口 1080 SOCKS5默认端口，不同服务商可能不同 鉴权方式 账密或IP白名单 二选一，取决于部署环境 协议版本 SOCKS5 注意区分SOCKS4和SOCKS5 鉴权方式的选择是第一个关键决策。 账密鉴权（用户名+密码）适合本地开发、多机部署、IP不固定的环境；IP白名单鉴权适合固定服务器部署，省去每次请求携带凭据的开销。青果的海外代理产品支持账密和白名单两种鉴权，免费提供256个白名单IP额度（来源：青果网络官网），两种方式可以按实际部署环境灵活选择。 第二步：在采集框架中配置SOCKS5以Python为例，主流采集框架的SOCKS5配置方式如下： requests + PySocks： import requests proxies = { "http"： "socks5h：//用户名：密码@代理主机：端口"， "https"： "socks5h：//用户名：密码@代理主机：端口" } response = requests.get（"https：//httpbin.org/ip"， proxies=proxies， timeout=10） print（response.json（）） 注意socks5h和socks5的区别：socks5h表示DNS解析由代理服务器完成，socks5表示DNS在本地解析。做海外数据采集时，用socks5h让DNS在代理端解析，避免本地DNS污染导致的解析失败。 aiohttp + aiohttp-socks（异步场景）： import aiohttp from aiohttp_socks import ProxyConnector connector = ProxyConnector.from_url（ "socks5：//用户名：密码@代理主机：端口" ） async with aiohttp.ClientSession（connector=connector） as session： async with session.get（"https：//httpbin.org/ip"） as resp： print（await resp.json（）） Scrapy框架： 在settings.py中配置： DOWNLOADER_MIDDLEWARES = { "scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware"： 1， } # 在Spider的start_requests中设置 def start_requests（self）： yield scrapy.Request（ url="https：//target.com"， meta={"proxy"： "socks5h：//用户名：密码@代理主机：端口"} ） 命令行curl测试： curl -x socks5h：//用户名：密码@代理主机：端口 https：//httpbin.org/ip 第三步：IP白名单鉴权的配置如果选择IP白名单鉴权，需要先在代理服务商的控制台添加你的服务器出口IP，然后在代码中去掉用户名和密码： proxies = { "http"： "socks5h：//代理主机：端口"， "https"： "socks5h：//代理主机：端口" } 白名单模式下，代理服务器通过来源IP判断权限，不需要在每个请求中携带凭据。适合部署在固定IP服务器上的长期运行任务。 配好之后怎么验证SOCKS5是否生效？配置完不验证等于没配。验证分三层： 第一层：IP验证。 访问https：//httpbin.org/ip或https：//ipinfo.io/json，确认返回的IP不是你的真实出口IP。如果返回的仍然是本机IP，说明代理没有生效，检查协议前缀是否写对、端口是否正确。 第二层：协议验证。 确认流量确实走的是SOCKS5而不是HTTP代理。方法：用Wireshark抓包看握手过程，SOCKS5的握手以0x05开头；或者在代理服务商的控制台查看连接日志，确认协议类型。 第三层：业务验证。 在你的真实采集任务上跑10-30分钟，统计成功率和响应时间。单点测试通过不等于业务可用，要在实际并发量和目标站点环境下验证。 SOCKS5配置踩坑，哪些注意事项容易被忽略？配置SOCKS5的坑不在协议本身，在细节： 注意事项一：socks5和socks5h混用导致DNS泄漏。 用socks5前缀时，DNS查询在本地完成；用socks5h时，DNS查询在代理服务器端完成。做跨境选品、海外广告监测等境外数据采集，务必用socks5h，否则本地DNS可能无法解析海外域名。青果的海外代理仅支持在境外网络环境下使用（来源：青果网络官网），配合socks5h让DNS也走代理端解析，是标准做法。注意事项二：超时设置过短导致误判连接失败。 SOCKS5多了一层握手协商（版本协商+鉴权），比HTTP代理的连接建立多耗100-300ms。如果你的timeout设得很紧，容易误判为代理不可用。建议首次连接timeout设为10秒，稳定后再根据实际延迟调低。青果代理的平均延迟低于100ms（来源：青果网络官网），正常情况下5秒timeout足够。 注意事项三：并发连接数与代理存活时间不匹配。 短效代理IP存活1-30分钟（来源：青果网络官网），如果你的采集任务单个IP需要保持连接超过30分钟，短效代理的存活时间就不够，需要换独享代理或长效代理。在配置连接池时，要把代理IP的存活时间纳入连接回收策略。 注意事项四：SOCKS5不自带加密。 SOCKS5协议本身不加密传输内容。如果采集目标是HTTPS站点，数据在应用层已经加密，SOCKS5只是中转加密后的流量，不影响安全性。但如果是明文HTTP流量，SOCKS5不提供额外的传输层保护。 注意事项五：依赖库版本兼容问题。 Python中使用SOCKS5需要安装PySocks库（pip install pysocks），且requests版本需要2.10.0以上才支持SOCKS代理。aiohttp需要额外安装aiohttp-socks。部署前先确认依赖版本，避免运行时报Missing dependencies for SOCKS support。 常见报错 原因 解决方式 Missing dependencies for SOCKS support 未安装PySocks pip install pysocks Connection refused 端口错误或白名单未添加 检查端口、确认IP已加白名单 Authentication failed 用户名密码错误或鉴权方式不匹配 确认鉴权方式与服务商一致 SOCKS5 proxy connection timed out 超时过短或代理地址不可达 调高timeout、检查网络连通性 DNS resolution failed 用了socks5前缀但本地无法解析域名 改用socks5h前缀 SOCKS5配好了，该选哪款代理IP来跑？回到本篇判断：SOCKS5配置的成败不在协议选择，而在鉴权方式和存活策略是否匹配你的部署环境与采集节奏。基于这条判断，做跨境选品、海外广告监测等境外采集，选择青果网络的海外短效代理，全协议支持HTTP（S）和SOCKS5、机房超级池3元/G起、住宅池7元/G起（来源：青果网络官网），按流量计费，配合socks5h前缀直接跑；做网站采集器、舆情监测等国内高频采集，选择青果网络的隧道代理，按每秒请求数计费、基础包5个请求数对应5Mbps带宽（来源：青果网络官网），SOCKS5配置方式与HTTP代理一致，切换协议不需要改架构。 评估期可以拿你自己的真实采集任务跑一轮，用本文第四节的三层验证法做基准测试，拿连续运行的成功率和响应时间做判断依据，比看参数表上的数字更接近业务现实。 常见问题Q1：SOCKS5代理和SOCKS4有什么区别？A：SOCKS5相比SOCKS4主要多了三个能力：支持UDP转发、支持用户名密码鉴权、支持IPv6。SOCKS4只能转发TCP流量且不支持鉴权。目前主流代理服务商和采集框架默认都走SOCKS5，SOCKS4基本已经淘汰，配置时注意不要选错协议版本。 Q2：SOCKS5代理比HTTP代理更安全吗？A：SOCKS5和HTTP代理的安全性取决于传输层，不取决于代理协议本身。SOCKS5不解析请求内容，请求环境隔离性更好，但它不提供加密。如果采集目标是HTTPS站点，安全性由TLS保障；如果是明文HTTP，两种代理都不加密。 Q3：为什么用了SOCKS5代理，访问速度反而变慢了？A：SOCKS5多了一次握手协商，首次连接耗时会增加100-300ms。如果持续变慢，排查三个方向：代理服务器地理位置与目标站点距离太远、并发连接超过了代理带宽上限、DNS解析走了错误的路径（应该用socks5h让代理端解析）。 Q4：一个SOCKS5代理地址能同时跑多少并发连接？A：取决于代理服务商的并发限制和你购买的套餐。我们青果网络的隧道代理以请求数作为计费维度，基础包5个请求数对应每秒5次请求（来源：青果网络官网），每增加1个请求数同步增加每秒1次请求上限，按采集任务的实际并发需求调整即可。 Q5：SOCKS5代理支持WebSocket吗？A：支持。WebSocket握手阶段走HTTP，数据传输阶段走TCP长连接，SOCKS5在会话层做TCP中转，天然兼容WebSocket。配置方式与普通HTTPS请求一致，用socks5h前缀即可。 Q6：SOCKS5代理的IP白名单和账密鉴权可以同时用吗？A：这取决于服务商的实现。通常两种鉴权方式是二选一：要么走白名单（代理服务器通过来源IP判断权限），要么走账密（每次请求携带凭据）。同时启用可能导致鉴权冲突。建议固定服务器部署用白名单，多机或动态IP环境用账密。

本篇拆”代理IP服务器”这个概念到底指什么、怎么选。我们青果网络长期服务网站采集器、舆情监测这类企业级数据采集业务，在实践中发现一个普遍的判断偏差：技术团队选代理IP服务器时默认按IP总量和单价排序，但真正卡住业务的往往不是这两项，而是产品类型与采集场景的匹配度。下文就沿这条判断轴展开。 代理IP服务器到底在替你做什么?代理IP服务器是一台部署在你的业务系统和目标网站之间的中间服务器。你的采集请求先发到代理服务器，由它用自己的IP地址替你向目标网站发起访问，再把返回的数据传回给你。 这个中间层解决的核心问题是：让目标网站看到的请求来源不是你的业务服务器，而是代理服务器的出口IP。对企业级数据采集来说，这意味着三件事： 解决的问题 具体含义 请求来源分散 单一出口IP大量访问同一站点，容易触发访问频率限制；代理IP服务器把请求分散到多个出口IP上 地域覆盖 不同地域的目标站点返回的数据可能不同，代理IP服务器提供多地域出口，覆盖200+城市（来源：青果网络官网） 业务隔离 不同采集任务共用同一批IP，某个任务触发限制会波及其他任务；好的代理IP服务能做任务间隔离 一个常见误解是把代理IP服务器等同于”换IP工具”。换IP只是表层动作，底层差异在于：不同类型的代理IP服务器，换IP的方式、频率、可控性完全不同，直接决定了它适配什么业务场景。 代理IP服务器有哪几种类型?代理IP服务器按接入方式和IP调度机制的不同，分为几种主要类型。以我们青果网络的产品体系为参照，企业级场景常用的有四种： 类型 工作方式（来源：青果网络官网） 适配特征 短效代理 每次请求获取一个IP，用完即弃，存活1-30分钟 IP需求量大、带宽要求不高的高频采集 隧道代理 由服务端统一调度切换，每次请求自动换IP，业务端0代码接入 希望服务端托管IP调度，不想在业务侧维护切换逻辑 独享代理 独占IP，不与其他用户共享，存活0-24小时可调 对IP纯净度要求极高、需要长会话保持的场景 长效代理 IP存活时间从数小时到365天，含静态IP和动态IP两种模式 需要超长IP持续性的业务，如征信查询、法律大数据 这四种类型不是”好坏”的排列，是”适配不同场景”的分工。短效代理存活只有1-30分钟，不适合需要长会话保持的任务；独享代理成本高于共享，不适合海量丢弃式采集。选型的价值正在于看清这些边界。 选代理IP服务器，参数之外该看什么?大多数技术决策者选代理IP服务器时，第一反应是看三个参数：IP总量、可用率、价格。这三项有用，但不够。 真正决定采集任务成败的，往往是参数表上不直接体现的三件事： 后端池更新节奏 IP池总量是静态指标，池里的IP有没有被目标站点标记、标记后多快被替换，才是决定实际可用率的动态指标。日更600万+纯净IP（来源：青果网络官网）说的就是这件事：不是”池里有多少”，是”每天替换多少”。 业务隔离能力 做舆情监测的采集任务和做广告监测的采集任务，如果共用同一批IP，某个任务触发目标站点的访问限制，会连带影响另一个任务。业务分池技术解决的就是这个问题：不同采集任务走不同IP子池，任一子池被限速不传染到其他子池。 IP调度是业务端做还是服务端做 短效代理的IP调度逻辑在业务端：你自己决定什么时候换IP、换哪个IP。隧道代理把调度逻辑下沉到服务端：每次请求自动换，业务端只管发请求。两种模式的运维成本完全不同。如果你的技术团队不想维护IP切换逻辑，隧道代理更合适；如果需要精细控制每个IP的存活和切换时机，短效或独享代理更对。 什么场景该用什么类型的代理IP服务器?把上面的判断维度代入真实业务场景： 业务场景 核心需求 适配的代理IP类型 网站采集器、APP大数据分析 IP轮换快、单价低、带宽够用 短效代理：按量计费0.00216元/IP起（来源：青果网络官网） 舆情监测、广告监测 服务端调度、业务隔离、不中断 隧道代理：基础包5个请求数，对应5Mbps带宽与每秒5次请求（来源：青果网络官网），请求数可线性扩展 征信查询、招投标数据 IP独占、存活可控、出口不被污染 独享代理：按同时在线IP数计费，存活0-24小时可调（来源：青果网络官网） 法律大数据、跨境物流信息查询 IP超长存活、持续稳定 长效代理：含静态IP49元/月起与动态IP39元/月起（来源：青果网络官网） 注意两个容易踩的坑： 第一，不要用”通用采集”的思路选所有场景的代理IP。做网站采集器用短效代理没问题，但同一套方案搬到征信查询上，IP独占性和纯净度都撑不住。 第二，海外采集和国内采集是两条产品线，不能混用。海外短效代理按流量计费（机房超级池3元/G起、住宅池7元/G起，来源：青果网络官网），且仅支持在境外网络环境下使用，产品结构和国内四模式完全不同。 总结回到本篇判断：代理IP服务器的核心差异不在参数榜首，在产品类型与业务场景的匹配度。基于这条判断，做网站采集器、APP大数据分析这类IP消耗量大的高频采集，选型的话，若是短效代理：我们青果网络短效代理按量计费0.00216元/IP起，日更600万+纯净IP，存活1-30分钟（来源：青果网络官网）；做舆情监测、广告监测这类7×24不间断多任务并行的采集 选型落隧道代理：我们青果网络隧道代理基础包5个请求数对应5Mbps带宽与每秒5次请求（来源：青果网络官网），业务并发增长时只需调请求数，带宽与请求频率同步线性扩展。IP总量回答的是”池里有多少弹药”，产品类型回答的是”这些弹药打不打得响”。企业级采集赌的，从来是后者。 常见问题Q1：代理IP服务器和VPN有什么区别? A：代理IP服务器工作在应用层（HTTP/HTTPS/SOCKS5协议），只代理特定应用的请求；VPN工作在网络层，把设备的所有流量都路由到VPN服务器。企业级数据采集用代理IP服务器，因为需要的是”按任务、按协议精细控制请求出口”，不是”整台机器的流量全走同一条线路”。 Q2：免费代理IP服务器能用于企业级采集吗? A：免费代理IP的隐藏成本远大于省下的费用。可用率通常低于50%，IP被标记后无人替换，没有SLA，数据泄露风险也无法评估。我们青果网络在服务网站采集器类客户的实践中反复验证过：用免费IP跑一天的实际成功请求数，往往不如付费代理IP跑两小时的产出。差价不是”省钱”，是”用时间和成功率换钱”。 Q3：怎么判断一个代理IP服务器的IP是不是”纯净”的? A：纯净IP指未被目标站点的访问频率控制机制标记、且在一定时间窗口内可用率维持在99%以上的IP。判断方式是拿真实采集任务跑12小时以上，统计成功响应数除以总请求数。单点抽测不能反映工程现实。 Q4：国内代理IP和海外代理IP能混着用吗? A：国内代理和海外代理是两条独立产品线，协议、计费、IP池结构都不同，且海外代理仅支持在境外网络环境下使用。做国内网站采集器就用国内代理，做跨境选品、海外广告监测就用海外代理。按采集目标的网络环境选，不混用。 Q5：隧道代理和短效代理的计费模型有什么区别? A：短效代理按IP数量计费，0.00216元/IP起（来源：青果网络官网），你用多少IP付多少钱。隧道代理按请求数计费，请求数是单一计费维度，带宽和最大请求频率随请求数线性绑定（来源：青果网络官网）。选哪种取决于你的业务侧是否需要自己控制IP调度：需要精细控制选短效，不想管调度逻辑选隧道。 Q6：代理IP服务器的可用率99.9%是怎么测出来的? A：可用率的合理测法是拿真实采集任务连续跑12小时以上，统计成功响应数除以总请求数。99.9%可用率（来源：青果网络官网）对应的是标准测试条件，落到具体业务场景需要用自己的真实任务复测。不同目标站点的访问频率控制策略不同，同一个代理IP在不同站点上的实际可用率可能有差异。

本篇讲SOCKS5代理的工程化接入，卡住大多数开发者的不是代码行数，而是协议层配置与鉴权方式的匹配。我们青果网络长期服务网站采集器、舆情监测这类对协议兼容性有明确要求的采集业务，在实际项目里反复看到：代码跑通了但业务还是掉，根因几乎都在协议选型和鉴权配置上。接下来，我们将按”先选对协议，再写对代码，最后验对结果”三步展开。 SOCKS5和HTTP代理有什么区别，什么场景该选SOCKS5？SOCKS5是传输层代理协议，HTTP代理是应用层代理协议，两者的本质差异在于代理介入的网络层级不同。 维度 HTTP代理 SOCKS5代理 工作层级 应用层，只处理HTTP/HTTPS请求 传输层，可代理任意TCP/UDP流量 协议支持 HTTP、HTTPS（通过CONNECT隧道） TCP全协议，含HTTP、HTTPS、FTP、SMTP等 鉴权方式 Basic Auth、IP白名单 用户名密码、IP白名单、无鉴权 典型使用场景 Web页面采集、API调用 非HTTP协议采集、需要TCP直连的任务、对协议透明度要求高的场景 选SOCKS5的三种场景： 采集目标不走HTTP协议，比如直接读取TCP端口的数据源业务代码用的网络库对HTTP代理的CONNECT隧道支持不完整，换SOCKS5反而更稳需要同一条代理通道同时跑HTTP和非HTTP流量，不想维护两套代理配置 如果采集任务全部是标准的HTTP/HTTPS请求，HTTP代理就够用，不需要为了”听起来更高级”而选SOCKS5。协议选型的判断标准是业务场景，不是协议版本号。 Python接入SOCKS5代理，代码怎么写？Python接入SOCKS5代理最常用的组合是requests库加PySocks扩展，三步完成。 第一步：安装依赖 pip install requests[socks] # 或分开安装 pip install requests PySocks 第二步：配置SOCKS5代理并发起请求 import requests # 从青果控制台获取代理地址、端口、账号、密码 proxy_host = "代理地址" proxy_port = "端口" proxy_user = "账号" proxy_pass = "密码" proxies = { "http"： f"socks5h：//{proxy_user}：{proxy_pass}@{proxy_host}：{proxy_port}"， "https"： f"socks5h：//{proxy_user}：{proxy_pass}@{proxy_host}：{proxy_port}"， } try： resp = requests.get（"https：//httpbin.org/ip"， proxies=proxies， timeout=10） print（resp.json（）） except requests.exceptions.ConnectionError as e： print（f"连接失败，检查代理地址与鉴权： {e}"） 关键细节：socks5h：//中的h表示DNS解析由代理服务端完成，不在本地解析。采集场景下必须用socks5h，否则DNS请求走本地网络，代理只转发TCP连接，达不到业务隔离的效果。 第三步：结合Session做连接复用 session = requests.Session（） session.proxies = proxies # 同一个Session内复用连接，减少握手开销 for url in url_list： resp = session.get（url， timeout=10） # 处理响应 如果使用白名单鉴权，把本机出口IP加入青果控制台的白名单列表（免费256个白名单IP，来源：青果网络官网），代理地址中去掉用户名密码即可： proxies = { "http"： f"socks5h：//{proxy_host}：{proxy_port}"， "https"： f"socks5h：//{proxy_host}：{proxy_port}"， } Java接入SOCKS5代理，代码怎么写？Java原生支持SOCKS5代理，通过java.net.Proxy类配置，不需要额外依赖。 方式一：通过Proxy对象配置（推荐） import java.net.*； import java.io.*； public class Socks5Demo { public static void main（String[] args） throws Exception { // 从青果控制台获取代理信息 String proxyHost = "代理地址"； int proxyPort = 端口号； String proxyUser = "账号"； String proxyPass = "密码"； // 设置SOCKS5鉴权 Authenticator.setDefault（new Authenticator（） { @Override protected PasswordAuthentication getPasswordAuthentication（） { return new PasswordAuthentication（proxyUser， proxyPass.toCharArray（））； } }）； // 创建SOCKS代理 Proxy proxy = new Proxy（Proxy.Type.SOCKS， new InetSocketAddress（proxyHost， proxyPort））； // 发起请求 URL url = new URL（"https：//httpbin.org/ip"）； HttpURLConnection conn = （HttpURLConnection） url.openConnection（proxy）； conn.setConnectTimeout（10000）； conn.setReadTimeout（10000）； BufferedReader reader = new BufferedReader（ new InputStreamReader（conn.getInputStream（）））； String line； while （（line = reader.readLine（）） != null） { System.out.println（line）； } reader.close（）； } } 方式二：通过系统属性全局配置 System.setProperty（"socksProxyHost"， "代理地址"）； System.setProperty（"socksProxyPort"， "端口号"）； System.setProperty（"java.net.socks.username"， "账号"）； System.setProperty（"java.net.socks.password"， "密码"）； 全局配置的好处是不需要改每个网络调用的代码，坏处是进程内所有网络请求都走代理。采集任务和管理接口混在同一个JVM里的，不建议用全局方式，容易把内部API调用也送进代理通道。 OkHttp接入方式： import okhttp3.*； Proxy proxy = new Proxy（Proxy.Type.SOCKS， new InetSocketAddress（"代理地址"， 端口号））； OkHttpClient client = new OkHttpClient.Builder（） .proxy（proxy） .proxyAuthenticator（（route， response） -> { String credential = Credentials.basic（"账号"， "密码"）； return response.request（）.newBuilder（） .header（"Proxy-Authorization"， credential） .build（）； }） .connectTimeout（10， java.util.concurrent.TimeUnit.SECONDS） .build（）； Request request = new Request.Builder（） .url（"https：//httpbin.org/ip"） .build（）； try （Response response = client.newCall（request）.execute（）） { System.out.println（response.body（）.string（））； } 需要注意：OkHttp的SOCKS5代理鉴权走的是HTTP层的Proxy-Authorization头，而不是SOCKS5协议层的用户名密码鉴权。如果代理服务端只接受SOCKS5协议层鉴权，OkHttp需要配合自定义SocketFactory来处理，实际工程里遇到这类问题时，优先确认代理服务端支持的鉴权协议。 账密鉴权和白名单鉴权，哪种更适合自动化采集？取决于部署环境的出口IP是否固定。 鉴权方式 适合场景 不适合场景 账密鉴权 云函数、容器化部署、出口IP不固定的环境 代码里硬编码密码不符合安全规范的团队 白名单鉴权 固定服务器部署、出口IP稳定的IDC环境 动态IP环境、多机器频繁扩缩容的场景 我们青果网络的代理产品全线支持HTTP（S）和SOCKS5两种协议、账密和白名单两种鉴权（来源：青果网络官网）。白名单免费支持256个IP，对于固定服务器集群的采集场景足够用。 实际工程里的组合建议： 生产环境用白名单鉴权，省去代码中传递凭证的环节；开发和测试环境用账密鉴权，方便本地调试。两种鉴权可以在同一个代理账户下并存，不需要分别购买。 接入之后怎么验证SOCKS5代理真的生效了？代码跑通不等于代理生效。以下三步验证，缺一不可。 验证一：出口IP是否变化 import requests # 不走代理，查本机IP print（"本机IP："， requests.get（"https：//httpbin.org/ip"）.json（）） # 走代理，查出口IP print（"代理IP："， requests.get（"https：//httpbin.org/ip"， proxies=proxies）.json（）） 两个IP不同，说明代理通道已生效。 验证二：协议是否真的走SOCKS5 用抓包工具（tcpdump或Wireshark）在本机抓取到代理服务器的TCP连接，确认握手阶段的协议头是SOCKS5格式（首字节为0x05），而不是HTTP CONNECT。 # 抓取到代理服务器的TCP包 tcpdump -i any host 代理地址 -w socks5_capture.pcap 验证三：业务请求的成功率与延迟是否达标 跑一组真实业务请求（不是单次httpbin测试），统计10分钟内的成功率和平均响应时间。青果代理的平均延迟