轻松玩转LLM兼容openai&langchain，支持文心一言、讯飞星火、腾讯混元、智谱ChatGLM等
🔥ChatLLM 基于知识库🔥
star之后可联系wx: 313303303领取1000w tokens（国产模型）
star之后可联系wx: 313303303领取1000w tokens（国产模型）
star之后可联系wx: 313303303领取1000w tokens（国产模型）
todo: SimpleGraphRAG
ChatLLM API 分发系统上线
Click to Star⭐️免费领取tokens
https://api.chatllm.vip/
Install
pip install -U chatllmDocs
Usages
目前适配的LLMs
计划推出国内 oneapi，支持各种主流大模型，兼容openai客户端生态。
from chatllm.applications import ChatBase
qa = ChatBase() qa.loadllm(modelnameorpath="THUDM/chatglm-6b") for i in qa(query='周杰伦是谁', knowledge_base='周杰伦是傻子'): print(i, end='')
根据已知信息无法回答该问题，因为周杰伦是中国内地流行歌手、演员、音乐制作人、导演，
是具有一定的知名度和专业能力的人物，没有提供足够的信息无法判断他是傻子。
OpenaiEcosystem
Click to 无缝对接openai生态
# 服务端
pip install "chatllm[openai]" && chatllm-run openai <本地模型地址>- SDK：
pip install openai
import openai
openai.api_base = 'http://0.0.0.0:8000/v1' openai.api_key = 'chatllm' prompt = "你好" completion = openai.Completion.create(prompt=prompt, stream=True, model="text-davinci-003") for c in completion: print(c.choices[0].text, end='')
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你，欢迎问我任何问题。
- 客户端：点击下载chatbox，也可接入客户端
openai_keys: 不定期更新免费keys
ChatOCR
Click to ChatOCR
from meutils.pipe import *
from chatllm.llmchain.applications import ChatOCR
llm = ChatOCR() file_path = "data/invoice.jpg" llm.display(file_path, 700) llm.chat('识别编号,公司名称,开票日期,开票人,收款人,复核人,金额', filepath=filepath) | xprint
ChatMind
Click to ChatMind
pip install "chatllm" && chatllm-run webui --name chatmind
ChatPDF
Click to ChatPDF
pip install "chatllm[pdf]" && chatllm-run webui --name chatpdf- python交互
from chatllm.applications.chatpdf import ChatPDF
qa = ChatPDF(encode_model='nghuyong/ernie-3.0-nano-zh') qa.loadllm(modelnameorpath="THUDM/chatglm-6b") qa.create_index('财报.pdf') # 构建知识库
for i in qa(query='东北证券主营业务'): print(i, end='')
根据已知信息，东北证券的主营业务为证券业务。公司作为证券公司，主要从事证券经纪、证券投资咨询、与证券交易、
证券投资活动有关的财务顾问、证券承销与保荐、证券自营、融资融券、证券投资基金代销和代销金融产品待业务。
- 支持召回结果查看
Deploy
Click to Deploy
- ChatGLM-6B 模型硬件需求
- 从本地加载模型
TODO
Click to TODO
- [ ] ChatLLM 应用
- [ ] 多路召回
- [ ] 增加更多 LLM 模型支持
- [ ] 增加更多 Embedding 模型支持
- [x] 增加一键启动 webui
chatllm-run webui --name chatpdf
- [ ] 利用 gradio 实现 Web UI DEMO
- [ ] 添加输出内容及错误提示
- [ ] 引用标注
- [ ] 增加知识库管理
- [ ] 选择知识库开始问答
- [ ] 上传文件/文件夹至知识库
- [ ] 删除知识库中文件
- [ ] 增加 API 支持
chatllm-run openai <本地模型地址> --host 127.0.0.1 --port 8000
- [ ] 前后端分离，实现调用 API 的 Web UI Demo
交流群
若二维码失效加微信拉群 313303303
