私たちは、Hugging Face の人気のあるオープンモデルを Cloudflare Workers AI に統合します。これは、テキスト生成推論（TGI）など、私たちのプロダクション環境デプロイメントソリューションによって可能になります。
テキスト生成推論（TGI）
https://github.com/huggingface/text-generation-inference/
Cloudflare Workers AI にデプロイすることで、開発者は GPU インフラストラクチャやサーバーの管理を必要とせずに、低コストで強力な生成型 AI アプリケーションを構築することができます。実際の計算消費のみを支払う必要があり、アイドルリソースの支払いは不要です。
開発者向けの生成型 AI ツール
この新しいサービスは、昨年 Cloudfalre との戦略的パートナーシップの一環として発表されたものです。開発者や組織は、GPU リソースの不足とデプロイサーバーの固定コストという主要な問題に直面しています。
戦略的パートナーシップ
https://blog.cloudflare.com/zh-cn/partnering-with-hugging-face-deploying-ai-easier-affordable-zh-cn/
Cloudflare Workers AI 上のデプロイは、サーバーレスアクセスと実行可能な Hugging Face モデルの解決策を提供することで、簡単かつ低コストな解決策を提供します。
リクエストベースの料金体系
https://developers.cloudflare.com/workers-ai/platform/pricing
具体的な例を挙げると、RAG アプリケーションを開発し、1 日に約 1000 のリクエストを処理し、各リクエストには 1000 のトークン入力と 100 のトークン出力が含まれているとします。使用するモデルは Meta Llama 2 7B です。このような LLM 推論の生産コストは、約 1 ドル / 日です。
Cloudflare の価格ページ
私たちはこの統合を非常に早く実現できたことを嬉しく思っています。Cloudflare のグローバルネットワーク上のサーバーレス GPU 能力と、Hugging Face の人気のあるオープンソースモデルを組み合わせることで、世界のコミュニティに多くの刺激的なイノベーションをもたらします。
John Graham-Cumming、Cloudflare の CTO
使用方法
Cloudflare Workers AI で Hugging Face モデルを使用するのは非常に簡単です。以下は、Nous Research の最新モデル Mistral 7B を Hermes 2 Pro で使用する方法のステップバイステップガイドです。
利用可能なすべてのモデルは、Cloudflare Collection で見つけることができます。
Cloudflare Collection
https://hf.co/collections/Cloudflare/hf-curated-models-available-on-workers-ai-66036e7ad5064318b3e45db6
注意：Cloudflare のアカウントと API トークンが必要です。
Cloudflare アカウント
https://developers.cloudflare.com/fundamentals/setup/find-account-and-zone-ids/
API トークン
https://dash.cloudflare.com/profile/api-tokens
「Cloudflare にデプロイ」のオプションが含まれるすべてのサポートされているモデルのページで、「デプロイ」メニューを開きます。これには、Llama、Gemma、Mistral などのモデルが含まれます。
「デプロイ」メニューを開き、「Cloudflare Workers AI」を選択します。これにより、このモデルの使用方法とリクエストの送信方法に関するガイドが表示されます。
注意：使用したいモデルに「Cloudflare Workers AI」のオプションがない場合、現在サポートされていないことを意味します。モデルの可用性を拡大するために Cloudflare と協力しています。リクエストを提出するためには、お問い合わせください。
この統合を使用するには、2 つの方法があります：Workers AI REST API を使用するか、Cloudflare AI SDK を直接 Workers で使用します。お好みの方法を選択し、コードを環境にコピーします。REST API を使用する場合は、ACCOUNTID と APITOKEN 変数が定義されていることを確認してください。
Workers AI REST API
https://developers.cloudflare.com/workers-ai/get-started/rest-api/
Cloudflare AI SDK
https://developers.cloudflare.com/workers-ai/get-started/workers-wrangler/#1-create-a-worker-project
ACCOUNTID
https://developers.cloudflare.com/fundamentals/setup/find-account-and-zone-ids/
APITOKEN
https://dash.cloudflare.com/profile/api-tokens
以上です！これで、Cloudflare Workers AI にホストされている Hugging Face モデルにリクエストを送信する準備が整いました。モデルの期待する正しいヒントとテンプレートを使用することを確認してください。