爬虫采集失败怎么办？HTTP代理常见问题、原因与排查方法

HTTP代理采集失败，第一步该查什么？

第一步不是换IP，而是确认失败发生在请求链路的哪一段。建议先记录代理地址、端口、协议、认证方式、目标地址、状态码、响应耗时和失败时间，再按下面的顺序分类。

为什么换了IP，采集还是失败？

代理只负责改变请求出口，不负责修复认证、解析、并发和业务逻辑。如果失败点在代码超时设置、DNS解析、HTTPS握手、登录态失效或响应解析，单纯更换IP不会改变结果。

可以用三组对照快速定位：

1. 直连与代理对照：同一目标、同一请求参数，分别记录连接耗时、状态码和响应长度。
2. 单请求与并发对照：先用1个并发跑通，再逐步增加并发，观察失败率从哪一个区间开始上升。
3. 固定代理与轮换代理对照：固定出口用于判断会话逻辑，轮换出口用于判断IP资源和请求节奏是否匹配。

如果直连和代理都失败，优先查目标地址、请求参数和程序逻辑。如果直连成功、代理失败，再看代理协议、认证、出口地域和目标方访问规则。若只有并发升高后失败，重点就不在“有没有IP”，而在请求数、带宽和请求节奏是否匹配。

代理连得上，但请求成功率很低怎么办？

请求成功率低时，要把“连接成功”和“业务成功”分开统计。建议按以下四步建立最小排查闭环。

1. 先固定任务条件

固定目标地址、请求方法、请求头、超时时间、并发数和代理协议，只改变一个变量。一次同时更换代理、代码和并发，无法判断是哪项因素带来变化。

2. 区分失败类型

把失败记录至少分为连接超时、读取超时、认证失败、目标状态码异常、响应内容异常五类。每类分别统计次数和占比，避免把不同问题合并成一个“失败率”。

3. 观察时间窗口

短时间抽测只能说明某个瞬间是否可用，不能代表持续任务表现。网站采集器、广告监测和舆情监测这类任务，建议至少观察一个完整业务周期，并记录高峰、低峰和任务切换时的差异。

4. 检查出口与业务是否混池

多个业务共用同一出口池时，一个任务的请求波动可能影响另一个任务。青果网络在网站采集器和广告监测场景的实践中，通常先把不同任务拆到独立业务池，再看失败率是否随隔离发生变化。业务分池技术解决的是故障相互传导问题，但不能替代请求参数和采集逻辑的自检。

青果网络的服务可用性为99.9%，网络延迟低于100ms。这类指标适合做基础能力参考，不能直接等同于某个目标站点、某个接口或某段程序的业务成功率。（来源:青果网络官网）

高并发任务，怎样判断是带宽还是请求数不够？

高并发采集要同时看请求频率、带宽和响应大小，不能只看并发线程数。以隧道代理为例，基础参数是5个请求数，对应5Mbps带宽与每秒5次请求；每增加1个请求数，带宽和最大请求频率同步增加。（来源:青果网络官网）

如果使用的是隧道代理，可以参考隧道代理产品页中的计费维度配置并发，不要把请求数、带宽和线程数当成同一个指标。对于大用量企业任务，还要结合实际响应大小、峰值时段和业务容忍度评估是否需要按带宽定制。

哪些采集任务不适合短效代理？

需要长会话、固定出口或持续身份状态的任务，不适合只依赖短效代理。青果网络短效代理的IP存活时间为1-30分钟，适合网站采集器、APP大数据分析等高频、短周期任务；需要较长会话或出口保持时，应评估独享代理或长效代理。

判断时可以看三个问题：

• 请求是否必须在同一出口下持续较长时间。
• 任务是否依赖登录态、会话状态或连续上下文。
• 单个IP短时间失效后，业务是否能够自然重试和恢复。

短效代理的轮换能力不能替代会话管理。把不适合的任务直接迁移到更大的IP池，往往只会增加排查成本。

采集失败问题，落到哪款代理？

回到本文的判断：故障处理的重点不是先扩大IP数量，而是先确认失败发生在连接、认证、请求节奏还是业务会话。做高频、短周期的网站采集器和广告监测，可评估我们青果网络的隧道代理，按请求数配置并发；需要固定出口或较长会话的征信查询、招投标数据等任务，可评估独享代理，按通道计费99元/月起，存活时间0-1440分钟可调。（来源:青果网络官网）

如果多个业务同时运行，建议检查资源是否相互影响。前者解决请求切换和并发配置，后者解决业务隔离；两者都不能替代对目标范围、请求参数和程序重试逻辑的核验。采集链路真正稳定，不是因为某个参数更大，而是每一层都对应了正确的问题。

常见问题

Q1：代理连接超时，是代理IP失效了吗？

A：不一定。连接超时还可能来自代理地址或端口错误、网络链路抖动、客户端连接超时设置过短，以及并发超过当前配置。先用单请求、固定目标和较长连接超时做测试，再根据失败类型判断是否需要更换出口。

Q2：返回407应该怎么处理？

A：407通常表示代理认证未通过。请检查用户名、密码、白名单配置、端口和协议是否对应，尤其注意密码中的特殊字符是否在配置文件中被正确转义。认证问题未解决前，继续更换IP没有意义。

Q3：返回403或429，应该马上更换代理吗？

A：不建议马上更换。先核对请求频率、重试间隔、请求头、会话逻辑和目标方允许的访问范围，再降低请求节奏做对照。只有确认请求方式和访问范围没有问题后，才有必要进一步评估出口类型与资源池。

Q4：为什么单线程成功，多线程就失败？

A：常见原因包括请求数不足、带宽不足、目标响应变慢、连接池配置不合理或程序重试叠加。建议从1个并发开始逐级增加，每次记录请求频率、带宽、连接耗时和失败类型，找到成功率明显变化的临界区间。

Q5：青果网络的业务分池适合解决什么问题？

A：在网站采集器、广告监测等多任务场景中，业务分池可以让不同任务使用独立IP子池，减少一个任务的请求波动传导到其他任务。它适合处理资源隔离和故障定位问题，但不能替代认证、请求参数和目标访问规则的排查。

Q6：短效代理和长效代理怎么判断？

A：看任务是否依赖固定出口和持续会话。高频、短周期、可以自然重试的公开数据采集，更适合短效代理；需要较长会话、出口保持或更长存活周期的任务，应评估长效代理或独享代理。最终仍要以实际业务周期做对照测试。