Farfalle — 開源人工智能搜索引擎,支援執行本地 LLM (llama3, gemma, mistral) 或使用雲模型 (Groq/llama3, OpenAI/gpt4-o)。
體驗地址:
部署
先決條件
• Docker
• Ollama
下載任何支援的模型,如 llama3、mistral、gemma
啟動 ollama :ollama serve
獲取 API 密鑰
• Tavily
申請地址:https://app.tavily.com/home
關於Tavily:
Tavily是一個專為大型語言模型(LLMs)和檢索增強生成(RAG)應用設計的搜索引擎。它旨在提供高效、快速且持久的搜索結果。Tavily Search API 允許人工智能開發人員輕鬆地將他們的應用程序與實時在線信息集成在一起,主要目標是提供來自可信來源的真實可靠的信息,從而提高AI生成內容的準確性和可靠性。Tavily的特點包括:
快速響應:Tavily能夠迅速返回搜索結果。
良好摘要:返回每個頁面的良好摘要,無需加載每個頁面的全部內容。
相關圖像:返回與檢索問題相關的圖像。
優化LLMs:為大型語言模型提供優化的搜索結果,提高AI應用的決策能力。
減少偏差:通過連接到可信的實時知識庫,減少幻覺(hallucinations)和整體偏差。
• OpenAI(可選)
• Groq(可選)
克隆項目
git clone [email protected]/farfalle.git
cd farfalle
添加環境變量
touch .env
在.env 文件中添加以下變量:
必須的#
TAVILY_API_KEY=...
可選的#
OPENAI_API_KEY=...
GROQ_API_KEY=...
運行容器
需要 Docker Compose 2.22.0 或更高版本。
docker-compose -f docker-compose.dev.yaml up -d