Farfalle — 开源人工智能搜索引擎,支持运行本地 LLM (llama3, gemma, mistral) 或使用云模型 (Groq/llama3, OpenAI/gpt4-o)。
体验地址:
部署
先决条件
• Docker
• Ollama
下载任何支持的模型,如 llama3、mistral、gemma
启动 ollama :ollama serve
获得 API 密钥
• Tavily
申请地址:https://app.tavily.com/home
关于Tavily:
Tavily是一个专为大型语言模型(LLMs)和检索增强生成(RAG)应用设计的搜索引擎。它旨在提供高效、快速且持久的搜索结果。Tavily Search API 允许人工智能开发人员轻松地将他们的应用程序与实时在线信息集成在一起,主要目标是提供来自可信来源的真实可靠的信息,从而提高AI生成内容的准确性和可靠性。Tavily的特点包括:
快速响应:Tavily能够迅速返回搜索结果。
良好摘要:返回每个页面的良好摘要,无需加载每个页面的全部内容。
相关图像:返回与检索问题相关的图像。
优化LLMs:为大型语言模型提供优化的搜索结果,提高AI应用的决策能力。
减少偏差:通过连接到可信的实时知识库,减少幻觉(hallucinations)和整体偏差。
• OpenAI(可选)
• Groq(可选)
克隆项目
git clone [email protected]/farfalle.git
cd farfalle
添加环境变量
touch .env
在.env 文件中添加以下变量:
必须的#
TAVILY_API_KEY=...
可选的#
OPENAI_API_KEY=...
GROQ_API_KEY=...
运行容器
需要 Docker Compose 2.22.0 或更高版本。
docker-compose -f docker-compose.dev.yaml up -d