現在無料で、Geminiよりも10倍速く、GPT-4よりも18倍速いです！

Groq は、完全に国内の美しい製造業者チェーンによって作られた AI チップであり、現在世界で最も高速な AI チップと言えます。

このチップをベースに動作する Mixtral8x7B-32k と Llama 270B-4k は、1 秒あたり 500 トークンの出力が可能であり、Gemini よりも 10 倍、GPT-4 よりも 18 倍速いです！

公式ウェブサイトの紹介
LPU™ 推論エンジンを作成しました。これは同種の製品の中で最初で最速のものであり、リアルタイム AI 市場にサービスを提供しています。私たちの推論（トレーニングではない）ソリューションにより、私たちは計算センターの AI パフォーマンスリーダーとなりました。他のプロバイダとは異なり、私たちはクラウドサービスを代理していません。私たちは独自のチップ、コンパイラ、ソフトウェア、システム、GroqCloud™を構築しました。私たちの第一世代の GroqChip™は、Language Processing Unit™（LPU）という新しいプロセッサのカテゴリです。これが私たちの秘密の一部です。私たちのパフォーマンスにより、人工知能はさまざまな産業でより大きな潜在能力を持つようになりました。これはリアルタイム AI、低遅延、低バッチサイズのソリューションについてのものです。

呼び出し方法
API 申請アドレス：https://console.groq.com/keys

const Groq = require('groq-sdk');

const groq = new Groq();
async function main() {
  const chatCompletion = await groq.chat.completions.create({
    "messages": [
      {
        "role": "system",
        "content": "Please answer my question in Chinese"
      },
      {
        "role": "user",
        "content": "Which model are you and what are you waiting for?"
      },
      {
        "role": "assistant",
        "content": "Hi! I am an artificial intelligence assistant designed to answer your questions, address your concerns, and provide information on various topics. I can help you with mathematical calculations, provide encyclopedic knowledge, and perform various types of language processing tasks such as information retrieval, language adjustment, and even poetry composition. Is there anything I can assist you with?"
      }
    ],
    "model": "mixtral-8x7b-32768",
    "temperature": 0.5,
    "max_tokens": 1024,
    "top_p": 1,
    "stream": true,
    "stop": null
  });

  for await (const chunk of chatCompletion) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

サポートされているモデル
ただし、現在サポートされているモデルは少なく、無料で体験することができるのは次の 3 つだけです：

LLaMA2-70b
Mixtral-8x7b
Gemma-7b-it
上記の API キーの申請アドレスからいくつかのキーを申請してください。

QPS は十分に提供されています
・1 分あたり 30 リクエスト（RPM）

・1 日あたり 14,400 リクエスト（RPD）

・1 分あたり 40,000 トークン（TPM）