banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

OpenAIのオープンソースの代替案、大規模モデルの自己デプロイメント、GPU不要

無料でオープンソースの OpenAI の代替ソリューション。セルフホスティング、コミュニティ駆動、ローカル優先。OpenAI の直接的な代替品で、消費者向けのハードウェア上で動作します。GPU は必要ありません。ggml、gguf、GPTQ、onnx、TF 互換モデルを実行します:llama、llama2、rwkv、whisper、vicuna、koala、cerebras、falcon、dolly、starcoder など

公式ウェブサイト https://localai.io/
GitHub アドレス

国内ミラー(翻訳バージョン)

http://www.gitpp.com/llm/localai-cn

LocalAI は無料のオープンソースの OpenAI の代替品です。LocalAI は REST API の直接的な代替品であり、ローカル推論に OpenAI API の仕様と互換性があります。消費者向けのハードウェアを使用して、LLM、画像生成、音声生成などをローカルまたはオンプレミスで実行できます。GPU は必要ありません。

LocalAI は、開発者に無料かつ使いやすいローカル AI ソリューションを提供することを目的としたオープンソースプロジェクトです。OpenAI の API 仕様と互換性があり、開発者は OpenAI のサービスを使用せずに同様の機能を利用することができます。LocalAI は言語モデル、画像生成モデル、音声生成モデルなど、さまざまなモデルシリーズをサポートしています。

LocalAI の特徴は次のとおりです:

  1. オープンソース:LocalAI はオープンソースであり、誰でも自由にソースコードを閲覧、変更、配布することができます。

  2. 無料利用:LocalAI は無料の使用権限を提供し、開発者は費用をかけずに機能を利用することができます。

  3. ローカル推論:LocalAI はローカルハードウェアでの推論をサポートしており、クラウドサービスに接続したりリモートサーバーを使用する必要がありません。

  4. 消費者向けハードウェア:LocalAI は消費者向けハードウェアで動作し、高性能な GPU や特殊なハードウェアのサポートは必要ありません。

  5. モデルの互換性:LocalAI は複数のモデルシリーズをサポートしており、開発者は自分のニーズに合わせて適切なモデルを選択することができます。

  6. API の互換性:LocalAI のインターフェースは OpenAI の API 仕様と互換性があり、既存の OpenAI のコードを比較的簡単に LocalAI に移行することができます。

LocalAI の登場は、中央集権化されたサービスの使用を避けたり、プライバシーやセキュリティの観点からデータをローカル環境に保持したい開発者に代替選択肢を提供しています。ただし、LocalAI は便利な機能を提供する一方で、完全に OpenAI のサービスを代替することはできない場合があります、特にモデルのパフォーマンスや機能の面で。開発者は、自分のニーズと期待に基づいて LocalAI を使用する際に評価する必要があります。

始め方
LocalAI を実行する最も簡単な方法は、Docker Compose または Docker と一緒に使用することです(ローカルでビルドする場合は、ビルドセクションを参照してください)。

LocalAI には少なくとも 1 つのモデルファイルまたは構成 YAML ファイル、またはその両方が必要です。構成ファイルを使用してさらなるモデルのデフォルト値と特定の設定をカスタマイズすることができます。

コンテナイメージの要件:

Docker または Podman、またはコンテナエンジン

LocalAI をビルドするには、ローカルでコンテナイメージ Docker を使用することができます:

# イメージをビルドする
docker build -t localai .
docker run localai

ローカル

LocalAI をローカルでビルドするには、次の要件を満たす必要があります:

*Golang >= 1.21
*Cmake/make
*GCC
*GRPC

以下のコマンドを使用して LocalAI をビルドするには、次の要件を満たす必要があります:

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
make build
読み込み中...
文章は、創作者によって署名され、ブロックチェーンに安全に保存されています。