ProxyPool

Python爬虫代理IP池 — 定时采集、验证、存储免费代理，通过 RESTful API 提供服务。

GitHub 快速开始

多源采集

内置 15+ 免费代理源，支持自定义扩展，定时自动采集。

自动验证

HTTP/HTTPS 可用性自动校验，剔除失效代理，保证代理质量。

持久存储

Redis/SSDB 持久化存储，支持集群部署，数据不丢失。

RESTful API

提供 /get、/pop、/all、/count、/delete 等接口，开箱即用。

Docker 部署

一条命令启动，支持 docker-compose，自带 Redis 服务。

定时调度

APScheduler 驱动，自动维护代理池数量，无需人工干预。

---

快速开始

# 克隆项目
git clone https://github.com/jhao104/proxy_pool.git
cd proxy_pool

# 安装依赖
pip install -r requirements.txt

# 启动调度程序（采集和验证代理）
python proxyPool.py schedule

# 启动 API 服务
python proxyPool.py server

启动后访问 http://127.0.0.1:5010/get 即可获取一个代理。

API 示例

import requests

# 获取代理
proxy = requests.get("http://127.0.0.1:5010/get/").json()

# 使用代理
html = requests.get(
    "http://www.example.com",
    proxies={"http": f"http://{proxy['proxy']}"}
)

文档导航

章节	说明
快速开始	安装、配置、启动项目
项目结构	目录结构与核心模块说明
配置参考	setting.py 全部配置项详解
API 使用	RESTful API 端点与调用示例
Docker 部署	Docker / docker-compose 部署方式
扩展代理源	自定义代理采集方法
扩展校验器	自定义代理校验规则
变更日志	版本发布记录