python 爬虫 代理要怎么用？实战技巧
在爬虫开发中，若你的脚本多次请求同一个网站，很可能会触发网站的限制机制，比如频繁返回错误页面、被封禁或者数据抓取速度变慢等问题。这个时候，代理IP就派上了用场。
代理IP让你的请求通过不同IP出口发送，既能分散流量防止频率限制，又能提高爬取效率。接下来，我们将通过简单易懂的方式告诉你如何在Python爬虫中正确使用代理IP？
什么是代理IP？代理IP本质上是一个“中间人”。当你向目标服务器发送请求时，代理服务器会作为“中转站”代替你发出请求。举个简单例子：
正常情况下，你的请求直接到目标网站：你 ➡️ 网站；如果使用代理IP，你的请求会先经过代理服务器，然后再发给目标网站：你 ➡️ 代理 ➡️ 网站。
代理IP在Python爬虫中的基本用法Python有许多爬虫框架和库，例如 Requests 和 Scrapy，它们都允许配置代理以完成请求。以下介绍两种最常用的库和结合代理的方式。
1. 用Requests模块添加代理Requests是Python最流行的HTTP库之一，操作简单。以下是使用代理IP的基本示例：
代码示例：设置一个静态代理IPimport requests
# 配置静态代理IP
proxies = {
"http": "http://username:password@ip_address:port", # HTTP代理
"https": "http://username:password@ip_address:port" # HTTPS代理
}
# 测试请求
url = "https://httpbin.org/ip" # 用于查看当前出口IP的工具网站
response = requests.get(url, proxies=proxies)
# 返回爬虫当前出口IP
print(response.json())
代码解析：
proxies 是代理设置的字典，分为 http 和 https 两部分。用户名、密码 是代理服务商提供的账号凭证，ip_address 和 port 是代理的IP地址和端口号。运行这段代码时，会通过代理IP发出请求，你的真实IP不会暴露。
代码示例：动态代理池轮换IP代理IP可以自动从IP池中获取，每次请求换一个IP，提高爬取成功率：
import requests
import random
# 代理池（以示例为准）
proxy_pool = [
"http://username:password@ip1:port",
"http://username:password@ip2:port",
"http://username:password@ip3:port"
]
# 动态获取代理IP
def get_proxy():
return random.choice(proxy_pool) # 随机选择一个代理
# 发起请求
url = "https://httpbin.org/ip"
proxies = {"http": get_proxy(), "https": get_proxy()}
response = requests.get(url, proxies=proxies)
print(response.json())
优势：
使用代理池可让每次请求的IP都不同，避免触发针对单一IP的限制。
推荐使用像青果网络的代理池服务，支持动态切换，IP池质量高，可完美适配脚本需求。
2. 用Scrapy配置代理Scrapy是一个功能强大的爬虫框架，代理IP的配置也非常简单。
代码示例：在Scrapy中设置静态代理IP在Scrapy框架的 settings.py 文件中，直接添加下面的配置：
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
}
# 配置静态代理
HTTP_PROXY = 'http://username:password@ip_address:port'
此设置将使Scrapy的所有请求都通过配置的代理IP发送。
动态代理池轮换代理如果需要在Scrapy中动态切换IP，可在 middlewares.py 文件中编写自定义中间件：
import random
class ProxyMiddleware:
proxy_pool = [
"http://username:password@ip1:port",
"http://username:password@ip2:port",
"http://username:password@ip3:port"
]
def process_request(self, request, spider):
proxy = random.choice(self.proxy_pool) # 每次请求随机选择一个IP
request.meta['proxy'] = proxy
然后在 settings.py 开启自己的代理中间件：
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.ProxyMiddleware': 543,
}
提高代理IP爬虫的效率与稳定性仅仅使用代理IP还不够，爬虫爬取中的细节也至关重要。以下几点建议能让你的脚本效率翻倍：
1. 控制请求频率无论使用多少代理IP，请求过于频繁都会引起目标网站的注意。适当设置请求间隔（如 time.sleep()）以模拟正常用户行为。
2. 配置重试机制网络波动或IP失效可能导致请求失败。为了解决这个问题，可以设置自动重试逻辑，例如：
from requests.exceptions import ProxyError
# 尝试多次发送请求
max_retries = 5
for _ in range(max_retries):
try:
response = requests.get("https://example.com", proxies=proxies)
print(response.text)
break # 成功后退出循环
except ProxyError:
print("代理不可用，尝试更换IP...")
总结在Python爬虫中，使用代理IP是应对频率限制、区域化访问等问题的利器。动态代理池则进一步帮助你提升采集效率和数据完整性。从设置静态代理IP到实现动态IP池的轮换，我们不难发现，劣质代理服务可能会提供被封禁的IP或者中途掉线的IP，这会严重影响你的脚本运行结果。选择拥有高成功率、高覆盖率的服务商非常重要。优质的IP代理的使用不仅增加了爬虫的灵活性，还提升了任务完成率。
