現在免費，比 Gemini 快 10 倍，比 GPT-4 快 18 倍！

是一個 100% 由漂亮國產業鏈完成的 AI 芯片，基本上可以說是目前世界上最快的 AI 芯片

基於此芯片運行的 Mixtral8x7B-32k 和 Llama 270B-4k 能夠以每秒 500 個 token 輸出，比 Gemini 快 10 倍，比 GPT-4 快 18 倍！

官網的介紹
創建了 LPU™ 推理引擎，這是同類產品中第一個也是最快的，服務於實時 AI 市場。我們的推理（而非訓練）解決方案使我們在速度和精度方面成為計算中心的 AI 性能領導者。與其他提供商不同，我們不代理雲服務。我們構建了自己的芯片、編譯器和軟件、系統以及 GroqCloud™。我們的第一代 GroqChip™ 是一種語言處理單元™ （LPU），是一個新的處理器類別。這是我們秘訣的一部分。我們的表現使人工智能在多個行業具有更大的潛力。這是關於實時 AI、低延遲、低批量大小的解決方案。

調用方式
API 申請地址：https://console.groq.com/keys

const Groq = require('groq-sdk');

const groq = new Groq();
async function main() {
  const chatCompletion = await groq.chat.completions.create({
    "messages": [
      {
        "role": "system",
        "content": "請使用中文回答我的問題"
      },
      {
        "role": "user",
        "content": "你是哪個模型，你等你做什麼"
      },
      {
        "role": "assistant",
        "content": "嗨！我是一名人工智能助手，旨在回答您的問題、回答您的疑問，並提供有關各種主題的信息。我可以幫助您計算數學問題，提供encyclopedic 知識，並執行各種類型的語言處理任務，例如查找信息、調整語言，甚至創作詩歌。請問有什麼我可以為您做的嗎？"
      }
    ],
    "model": "mixtral-8x7b-32768",
    "temperature": 0.5,
    "max_tokens": 1024,
    "top_p": 1,
    "stream": true,
    "stop": null
  });

  for await (const chunk of chatCompletion) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

支持的模型
但是目前支持的模型不多，只有三個，但是都是可以免費體驗的：

LLaMA2-70b
Mixtral-8x7b
Gemma-7b-it
趕緊使用上面的 API key 的申請地址申請幾個 key。

qps 還是給得挺夠的
・每分鐘 30 個請求（RPM）

・每天 14,400 個請求（RPD）

・每分鐘 40,000 個令牌（TPM）