jhao104/proxy_pool — 23.5k Stars

Topics

#crawler #http #proxy #redis #spider

Language breakdown

Python 96.9%

Shell 2.9%

Dockerfile 0.3%

▸ Files click to expand

README

ProxyPool 爬虫代理IP池 =======

_ | \ | _ \ | | | |/ / \ | |/ / | | | /| // \ \ \/ /| | | || // \ / \ | | | | | | | () | > < \ || || | | () | () || |_ \| || \/ //\\ \ |\| \/ \/ \_\ __ / / /_ /

ProxyPool

爬虫代理IP池项目,主要功能为定时采集网上发布的免费代理验证入库，定时验证入库的代理保证代理的可用性，提供API和CLI两种使用方式。同时你也可以扩展代理源以增加代理池IP的质量和数量。

文档: document

支持版本:

测试地址: http://demo.spiderpy.cn (勿压谢谢)

付费代理推荐: 亮数据 Bright Data（前身 Luminati）.全球代理与网络抓取行业头部领导者。覆盖 195+ 国家的 1.5亿+ 真人住宅IP，亲测成功率极高，轻松突破反爬封锁。需要高质量代理IP的可以注册后联系中文客服。申请免费试用 (PS:用不明白的同学可以参考这个使用教程)。

想自建爬虫？接入 Bright Data MCP Server，让 Claude、Cursor、Windsurf 等 AI 助手直接实时抓取网页——自动破解验证码、绕过地区限制。Scraper Studio 支持 AI 一键生成或 JS 代码定制，全托管基础设施运行，无需自购代理、无需搭服务器，分钟级上线。所有产品底层均由同一套顶级代理网络驱动。

API 产品现享7折 + 免费试用额度，注册后可联系中文客服快速上手。(用不明白的同学可参考使用教程，或注册后直接使用互动 AI 智能助手) 👉 https://get.brightdata.com/cd3yy5

运行项目

下载代码:

git clone

git clone https://github.com/jhao104/proxy_pool.git

releases

https://github.com/jhao104/proxy_pool/releases 下载对应zip文件

安装依赖:

pip install -r requirements.txt

更新配置:

# setting.py 为项目配置文件
配置API服务
HOST = "0.0.0.0"               # IP PORT = 5000                    # 监听端口
配置数据库
DB_CONN = 'redis://:pwd@127.0.0.1:8888/0'
配置代理源（可选）
默认自动扫描 fetcher/sources/ 目录下所有 enabled=True 的代理源
如需禁用某些代理源，在黑名单中添加其 name 即可
PROXYFETCHEREXCLUDE = ["freevpnnode"]

启动项目:

# 如果已经具备运行条件, 可用通过proxyPool.py启动。
程序分为: schedule 调度程序 和 server Api服务
启动调度程序
python proxyPool.py schedule
启动webApi服务
python proxyPool.py server

Docker Image

docker pull jhao104/proxy_pool

docker run --env DBCONN=redis://:password@ip:port/0 -p 5010:5010 jhao104/proxypool:latest

docker-compose

项目目录下运行:

bash docker-compose up -d

使用

Api

启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:

| api | method | Description | params| | ----| ---- | ---- | ----| | / | GET | api介绍 | None | | /get | GET | 随机获取一个代理| 可选参数: ?type=https 过滤支持https的代理| | /pop | GET | 获取并删除一个代理| 可选参数: ?type=https 过滤支持https的代理| | /all | GET | 获取所有代理 |可选参数: ?type=https 过滤支持https的代理| | /count | GET | 查看代理数量 |None| | /delete | GET | 删除代理 |?proxy=host:ip|

爬虫使用

　　如果要在爬虫代码中使用的话，可以将此api封装成函数直接使用，例如：

import requests
def get_proxy():     return requests.get("http://127.0.0.1:5010/get/").json()
def delete_proxy(proxy):     requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy))
your spider code
def getHtml():     # ....     retry_count = 5     proxy = get_proxy().get("proxy")     while retry_count > 0:         try:             html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)})             # 使用代理访问             return html         except Exception:             retry_count -= 1     # 删除代理池中代理     delete_proxy(proxy)     return None

扩展代理

项目默认包含几个免费的代理获取源，但是免费的毕竟质量有限，所以如果直接运行可能拿到的代理质量不理想。所以，提供了代理获取的扩展方法。

添加一个新的代理源方法如下:

1、在 fetcher/sources/ 目录下新建 .py 文件，继承 BaseFetcher 基类，声明 name/url/enabled 属性，实现 fetch() 方法以生成器(yield)形式返回host:port格式的代理，例如:

from fetcher.baseFetcher import BaseFetcher
from util.webRequest import WebRequest
class MyProxyFetcher(BaseFetcher):     """我的代理源"""
name = "myproxy"     url = "https://www.example.com/"     enabled = True
def fetch(self):         r = WebRequest().get("https://www.example.com/api/proxies")         for item in r.json:             yield item["ip"] + ":" + item["port"]

2、添加好后，schedule 进程下次抓取时会自动扫描 fetcher/sources/ 目录并启用新代理源，无需修改配置。

　　可用 python proxyPool.py fetcher 命令查看当前启用的代理源列表。

如需临时禁用某个代理源，在 setting.py 的 PROXYFETCHEREXCLUDE 黑名单中添加其 name 即可。

免费代理源

目前实现的采集免费代理网站有(排名不分先后, 下面仅是对其发布的免费代理情况, 付费代理测评可以参考这里): | 代理名称 | 状态 | 更新速度 | 可用率 | 地址 | 代码 | |--------------| ---- |------|-----|---------------------------------------------------|---------------------------------------------------------| | 开心代理 | ✔ | ★ | * | 地址 | kxdaili.py | | 快代理 | ✔ | ★ | * | 地址 | kuaidaili.py | | 云代理 | ✔ | ★ | * | 地址 | ip3366.py | | 小幻代理 | ✔ | ★ | * | 地址 | ihuan.py | | 89代理 | ✔ | ★★ | ** | 地址 | ip89.py | | 稻壳代理 | ✔ | ★★ | * | 地址 | docip.py | | 谷德代理 | ✔ | ★★ | * | 地址 | goodips.py | | 66代理 | ✔ | ★★ | * | 地址 | daili66.py | | Proxifly | ✔ | ★★ | ** | 地址 | proxifly.py | | FreeVPNNode | ✔ | ★★ | * | 地址 | freevpnnode.py | | Geonode | ✔ | ★★ | ** | 地址 | geonode.py | | RoundProxies | ✔ | ★ | * | 地址 | roundproxies.py |