如何为舆情监控配置HTTP代理？完整接入流程
先把舆情监控的代理需求拆成什么？
先判断每次请求能否更换出口，以及任务是否需要长会话，这两个条件决定代理类型。
| 业务特征 | 配置判断 | 重点验证 |
|---|---|---|
| 请求相互独立，持续读取公开信息 | 可评估隧道代理 | 成功率、切换结果、并发、延迟 |
| 需要登录态、长会话或固定出口 | 不宜直接使用每次请求换IP的模式 | 会话连续性、出口保持时间 |
| 多个主题或团队共同运行 | 做任务或业务隔离 | 错误是否相互传导、日志是否可追溯 |
| 业务量逐步增加 | 先小流量，再按并发扩展 | 请求数、带宽、频率、超时率 |
应按监测主题拆分任务，再确定请求节奏和失败处理方式。
接入前要准备哪些参数？
接入前至少准备代理地址、端口、鉴权方式、并发上限、超时参数和验收指标。
| 参数 | 准备内容 | 建议做法 |
|---|---|---|
| 地址与端口 | 服务端提供的HTTP接入信息 | 放入环境变量或密钥配置 |
| 鉴权方式 | 账密或白名单 | 按控制台配置执行，不在日志打印密码 |
| 超时参数 | 连接、代理连接、响应读取超时 | 分开记录，便于定位问题 |
| 并发与频率 | 每秒请求数、任务并发、主题配额 | 先按业务高峰估算，再小规模验证 |
| 重试与验收 | 最大重试次数、退避间隔、成功率门槛 | 只对临时性错误重试 |
青果网络的代理公共属性支持HTTP、HTTPS和SOCKS5，鉴权支持白名单或账密。HTTP客户端优先使用HTTP代理配置。
HTTP代理如何接入采集程序？
接入可拆成“加载配置、建立代理连接、发起请求、记录结果”四步，先用一个已确认允许访问的公开地址完成最小链路验证。
proxy = "http://用户名:密码@代理地址:端口"
proxies = {"http": proxy, "https": proxy}
response = requests.get(
"https://your-authorized-public-endpoint.example/data",
proxies=proxies,
timeout=(5, 20),
)
实际接入时按以下顺序处理：
- 凭据移出代码：使用环境变量或密钥管理服务，禁止把账密写入仓库、日志和异常堆栈。
- 先单请求验证：记录状态码、响应耗时和内容长度。
- 再接入任务队列：代理配置放在客户端或网关层，业务任务提交目标地址和任务标识。
- 保留审计日志：记录任务ID、时间、状态码、耗时、重试次数和错误类型。
使用白名单鉴权时，先确认发起请求的出口已加入白名单；使用账密鉴权时，先确认凭据状态和权限范围。
怎么做连通性验证？
连通性验证要同时确认“代理能连上”和“业务请求拿到正确内容”，不能只看TCP连接成功。
| 验证层 | 操作 | 通过标准 |
|---|---|---|
| 连接层 | 通过代理建立连接 | 能连接，错误可区分为超时、鉴权失败或配置错误 |
| 协议层 | 发起HTTP和HTTPS请求 | 状态码符合预期，响应体可读取 |
| 业务层 | 请求授权的舆情监测样本 | 标题、来源、发布时间和正文长度符合预期 |
先做小样本重复请求，观察成功率和延迟。鉴权失败修正账号或白名单，连接超时检查地址、端口和网络路径，内容不完整则检查解析规则。
业务验证应该看什么？
业务验证要确认代理接入后，舆情监控的结果质量和运行节奏仍然可控，而不只是返回200状态码。
至少观察以下指标：
- 请求成功率：按主题拆分成功响应数与总请求数，避免平均值掩盖单一主题异常。
- 响应延迟与超时率：区分代理连接超时、目标响应超时和内容处理超时。
- 内容完整度：检查标题、来源、发布时间、正文和去重字段。
- 出口切换记录：对允许每次请求换出口的任务，记录切换结果和切换后的响应。
- 重复与漏采：对账代理日志、任务队列和落库数量，确认重试没有造成重复写入。
建议用真实业务的一小组主题覆盖正常时段和一个高峰窗口。成功率下限、最大延迟和漏采数量应由团队基线确定，不能把代理服务可用性直接等同于整条舆情链路的业务成功率。
何时可以从试运行切换正式运行？
当鉴权、连通性、内容完整度和任务指标达到预设门槛，并且已经准备好暂停和回退动作时，才适合正式运行。
上线前逐项确认：
- 接入通过：地址、端口和鉴权方式验证完成，凭据不出现在日志中。
- 请求通过：授权公开地址可以稳定返回，错误分类和重试策略已生效。
- 业务通过：真实样本的字段完整度、去重结果和落库数量与基线一致。
- 容量通过：当前频率没有超过代理配置和采集任务的并发预算。
- 回退通过：异常时能暂停受影响任务、保留队列并人工确认，不做无上限重试。
隧道代理扩容应围绕请求数规划。青果网络隧道代理基础包提供5个请求数，对应5Mbps带宽与每秒5次请求；每增加1个请求数，带宽和最大请求频率同步增加1Mbps和每秒1次请求（来源：青果网络官网）。因此应先看业务高峰的并发和请求频率，再调整请求数。
正式运行如何设置监控与回退？
正式运行后，应把代理层、任务层和数据层放进同一条监控链路，异常时先降载和定位，再决定是否恢复。
| 监控对象 | 重点指标 | 告警后的第一动作 |
|---|---|---|
| 代理接入 | 鉴权失败、连接超时、请求频率 | 暂停新增任务，检查配置与配额 |
| 采集任务 | 成功率、延迟、重试次数 | 降低受影响主题频率，保留队列 |
| 内容处理 | 字段缺失、重复率、解析失败 | 暂停落库，核对数据源和解析规则 |
| 业务结果 | 主题覆盖、漏采数量、时间延迟 | 标记缺口，人工确认后补采 |
在青果网络的业务分池实践中，不同业务使用独立IP池，以降低跨业务污染。舆情监测覆盖多个主题时，可以按主题或数据源拆分任务标识，在监控面板中分别观察。
做舆情监控，本篇判断怎么落到具体产品？
回到本文判断：舆情监控的重点不是先把代理连上，而是让请求频率、切换方式、业务指标和回退动作形成闭环。对每次请求可更换出口、需要持续读取公开信息的任务，青果网络的国内隧道代理可作为接入起点：按请求数计费，基础包5个请求数对应5Mbps带宽与每秒5次请求，每增加1个请求数同步扩展。若任务要求长会话或固定出口，则不应直接套用隧道模式，应另行评估独享或长效代理。最终是否上线，要由真实任务的指标记录决定。
常见问题
Q1：舆情监控一定要使用HTTP代理吗？
A：不一定。HTTP客户端通常使用HTTP代理，已有统一代理网关的团队也可以按现有协议接入。选择前先确认客户端支持的协议、鉴权方式和任务是否需要保持会话。
Q2：隧道代理适合需要登录态的舆情监控吗？
A：如果任务要求长会话、固定出口或持续保持登录态，不宜直接使用每次请求换IP的隧道模式。每次请求相互独立的公开信息采集，更适合评估隧道模式。
Q3：请求数应该怎么配置？
A：先按业务高峰的并发和每秒请求频率估算，再从小规模开始验证。青果网络隧道代理基础包为5个请求数、5Mbps带宽和每秒5次请求；并发增加时，按请求数同步扩展。
Q4：代理请求失败后是否应该不断重试？
A：不应该。先区分鉴权失败、连接超时、目标响应超时和服务端错误，再为临时性错误设置有限次数的退避重试。鉴权或参数错误应停止任务，频率异常时应降低请求节奏。
Q5：返回成功但内容不完整，应该怎么排查？
A：先核对数据源返回内容、解析规则、发布时间字段和去重逻辑，再检查代理层的响应截断或超时记录。状态码正常只说明请求返回，不等于舆情数据已经完整入库。
