Lumi
检测中

YOUR PERSONAL AI

今天想聊点什么?

我是运行在这台主机上的 Lumi,用 CPU 在本地推理。
对话不会离开这台机器,从下面挑一个开始吧。

本地模型 · 首次回答需要一点时间加载

SETTINGS

设置与连接

模型连接 检测中
运行模式
—
当前模型
—
可用模型
—

正在向本机的 llama.cpp 推理服务查询状态…

本地推理

页面由服务器上的 llama.cpp 直接加载 GGUF 模型。模型在主机内存中推理, 不经过外部 AI 平台,也不需要 API Key。

MODEL_ID=qwen2.5-3b-instruct
MODEL_PATH=models/qwen2.5-3b-instruct-q4_k_m.gguf
THREADS=4
CONTEXT=4096
MAX_TOKENS=768

数据与隐私

对话记录只保存在当前浏览器的 localStorage 里。消息由服务器 CPU 上的 llama.cpp 推理,不发送到任何外部接口。