ChatPDF

Python

RAG for Local LLM, chat with PDF/doc/txt files, ChatPDF. 纯原生实现RAG功能，基于本地LLM、embedding模型、reranker模型实现，支持GraphRAG，无须安装任何第三方agent库。

Last updated Jul 30, 2026

855

Stars

144

Forks

Issues

Stars/day

Attention Score

View on GitHub ↗ Open in github.dev

Topics

#chatdoc #chatpdf #graphrag #llm #local-rag #pdf #rag

Language breakdown

Python 100.0%

▸ Files click to expand

README

ChatPDF

基于本地 LLM 做检索知识问答(RAG)

根据文件回答 / 开源模型 / 本地部署LLM

Animation Demo

介绍

本项目实现了轻量版的GraphRAG

- 支持local模式的关系图检索的文档问答 - 支持Openai API, Deepseek API, Ollama API等，可自行扩展支持更多LLM - 支持openai embedding、本地 text2vec embedding、huggingface embedding、sentence-transformers embedding等 - 异步开发，支持多个API并发请求

本项目支持多种开源LLM模型，包括Qwen/DeepSeek等
本项目支持多种文件格式，包括PDF、docx、markdown、txt等
本项目优化了RAG准确率

- Chinese chunk切分优化，适配中英文混合文档 - embedding优化，使用text2vec的sentence embedding，支持sentence embedding/字面相似度匹配算法 - 检索匹配优化，引入jieba分词的rank_BM25，提升对query关键词的字面匹配，使用字面相似度+sentence embedding向量相似度加权获取corpus候选集 - 新增reranker模块，对字面+语义检索的候选集进行rerank排序，减少候选集，并提升候选命中准确率，用rerankmodelnameorpath参数设置rerank模型 - 新增候选chunk扩展上下文功能，用numexpandcontext_chunk参数设置命中的候选chunk扩展上下文窗口大小 - RAG底模优化，可以使用200k的基于RAG微调的LLM模型，支持自定义RAG模型，用generatemodelnameorpath参数设置底模

本项目基于gradio开发了RAG对话页面，支持流式对话

原理

Usage

安装依赖

在终端中输入下面的命令，然后回车即可。

pip install -r requirements.txt

如果您在使用Windows，建议通过WSL，在Linux上安装。如果您没有安装CUDA，并且不想只用CPU跑大模型，请先安装CUDA。

如果下载慢，建议配置豆瓣源。

RAG示例

请使用下面的命令。取决于你的系统，你可能需要用python或者python3命令。请确保你已经安装了Python。

CUDAVISIBLEDEVICES=0 python rag.py

output:

prompt: 基于以下已知信息，用专业知识回答用户的问题。用简体中文回答。
已知内容: [1]	 "ReferencesPeter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Fredrick Jelinek, John DLafferty, Robert L Mercer, and Paul S Roossin. A statistical  [2]	 "Let be an encoder that infers the content zfor a given sentence xand a styley ...
问题: 自然语言中的非平行迁移是指什么？

回答:
自然语言中的非平行迁移是指在文本生成任务中，我们只能假设访问到非平行或单语的文本数据。这类任务包括翻译和摘要，其中所有问题都涉及这类任务。 
['[1]\t "ReferencesPeter F Brown, John Cocke, Stephen A Della Pietra, Vincent J Della Pietra, Fredrick Jelinek, John DLafferty, Robert L Mercer, and Paul S Roossin. A statistical approach to machine translation.Computational linguistics 
'[2]\t "LetE:X\x02Y!Z be an encoder that infers the content zfor a given sentence xand a styley, andG:Y\x02Z!X be a generator that generates a sentence xfrom a given style yand contentz.EandGform an auto-encoder ', 
...
]