python 爬虫代理要怎么用？实战技巧-资讯中心-青果网络

python 爬虫代理要怎么用？实战技巧

技术分享

2025-01-16 10:04:00

python代理ip

在爬虫开发中，若你的脚本多次请求同一个网站，很可能会触发网站的限制机制，比如频繁返回错误页面、被封禁或者数据抓取速度变慢等问题。这个时候，代理IP就派上了用场。

代理IP让你的请求通过不同IP出口发送，既能分散流量防止频率限制，又能提高爬取效率。接下来，我们将通过简单易懂的方式告诉你如何在Python爬虫中正确使用代理IP？

什么是代理IP？

代理IP本质上是一个“中间人”。当你向目标服务器发送请求时，代理服务器会作为“中转站”代替你发出请求。举个简单例子：

正常情况下，你的请求直接到目标网站：你 ➡️ 网站；
如果使用代理IP，你的请求会先经过代理服务器，然后再发给目标网站：你 ➡️ 代理 ➡️ 网站。

代理IP在Python爬虫中的基本用法

Python有许多爬虫框架和库，例如 Requests 和 Scrapy，它们都允许配置代理以完成请求。以下介绍两种最常用的库和结合代理的方式。

1. 用Requests模块添加代理

Requests是Python最流行的HTTP库之一，操作简单。以下是使用代理IP的基本示例：

代码示例：设置一个静态代理IP

import requests

# 配置静态代理IP
proxies = {
    "http": "http://username:password@ip_address:port",  # HTTP代理
    "https": "http://username:password@ip_address:port"  # HTTPS代理
}

# 测试请求
url = "https://httpbin.org/ip"  # 用于查看当前出口IP的工具网站
response = requests.get(url, proxies=proxies)

# 返回爬虫当前出口IP
print(response.json())

代码解析：

proxies 是代理设置的字典，分为 http 和 https 两部分。
用户名、密码 是代理服务商提供的账号凭证，ip_address 和 port 是代理的IP地址和端口号。
运行这段代码时，会通过代理IP发出请求，你的真实IP不会暴露。

代码示例：动态代理池轮换IP

代理IP可以自动从IP池中获取，每次请求换一个IP，提高爬取成功率：

import requests
import random

# 代理池（以示例为准）
proxy_pool = [
    "http://username:password@ip1:port",
    "http://username:password@ip2:port",
    "http://username:password@ip3:port"
]

# 动态获取代理IP
def get_proxy():
    return random.choice(proxy_pool)  # 随机选择一个代理

# 发起请求
url = "https://httpbin.org/ip"
proxies = {"http": get_proxy(), "https": get_proxy()}
response = requests.get(url, proxies=proxies)

print(response.json())

优势：

使用代理池可让每次请求的IP都不同，避免触发针对单一IP的限制。

推荐使用像青果网络的代理池服务，支持动态切换，IP池质量高，可完美适配脚本需求。

2. 用Scrapy配置代理

Scrapy是一个功能强大的爬虫框架，代理IP的配置也非常简单。

代码示例：在Scrapy中设置静态代理IP

在Scrapy框架的 settings.py 文件中，直接添加下面的配置：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
}

# 配置静态代理
HTTP_PROXY = 'http://username:password@ip_address:port'

此设置将使Scrapy的所有请求都通过配置的代理IP发送。

动态代理池轮换代理

如果需要在Scrapy中动态切换IP，可在 middlewares.py 文件中编写自定义中间件：

import random

class ProxyMiddleware:
    proxy_pool = [
        "http://username:password@ip1:port",
        "http://username:password@ip2:port",
        "http://username:password@ip3:port"
    ]

    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_pool)  # 每次请求随机选择一个IP
        request.meta['proxy'] = proxy

然后在 settings.py 开启自己的代理中间件：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 543,
}

提高代理IP爬虫的效率与稳定性

仅仅使用代理IP还不够，爬虫爬取中的细节也至关重要。以下几点建议能让你的脚本效率翻倍：

1. 控制请求频率

无论使用多少代理IP，请求过于频繁都会引起目标网站的注意。适当设置请求间隔（如 time.sleep()）以模拟正常用户行为。

2. 配置重试机制

网络波动或IP失效可能导致请求失败。为了解决这个问题，可以设置自动重试逻辑，例如：

from requests.exceptions import ProxyError

# 尝试多次发送请求
max_retries = 5
for _ in range(max_retries):
    try:
        response = requests.get("https://example.com", proxies=proxies)
        print(response.text)
        break  # 成功后退出循环
    except ProxyError:
        print("代理不可用，尝试更换IP...")

总结

在Python爬虫中，使用代理IP是应对频率限制、区域化访问等问题的利器。动态代理池则进一步帮助你提升采集效率和数据完整性。从设置静态代理IP到实现动态IP池的轮换，我们不难发现，劣质代理服务可能会提供被封禁的IP或者中途掉线的IP，这会严重影响你的脚本运行结果。选择拥有高成功率、高覆盖率的服务商非常重要。优质的IP代理的使用不仅增加了爬虫的灵活性，还提升了任务完成率。