banner
andrewji8

Being towards death

Heed not to the tree-rustling and leaf-lashing rain, Why not stroll along, whistle and sing under its rein. Lighter and better suited than horses are straw sandals and a bamboo staff, Who's afraid? A palm-leaf plaited cape provides enough to misty weather in life sustain. A thorny spring breeze sobers up the spirit, I feel a slight chill, The setting sun over the mountain offers greetings still. Looking back over the bleak passage survived, The return in time Shall not be affected by windswept rain or shine.
telegram
twitter
github

谷歌Gemma本地快速運行,設備要求低,操作簡單

Gemma 已經介紹過了,另外還介紹了使用程式碼的方式和他進行聊天。
程式碼這種方式,比較適合搞開發的程式設計師,相對門檻較高。
從使用的角度來說,用起來也不方便。
今天介紹另外一種對任何人都更友好的方式,直接使用可視化軟體和 Gemma 進行交流。
今天要用的軟體叫 lmstudio,一個支援一鍵運行眾多大模型的軟體。

https://lmstudio.ai(需要魔法)

圖片

它的最新版 0.2.16 已經支援 Gemma 模型,20 億和 70 億參數的模型都支援。
這個軟體挺不錯,除了支援和大量開源模型聊天之外,還能啟動兼容 OpenAI 的 API 服務。
對普通使用者和開發者都比較友好。
軟體也有多平台支援,目前已經支援 Windows,Mac(Apple Silicon M 系列),Linux 這三個系統。
另外軟體預設好像是呼叫 CPU 進行推理,所以設備門檻就降低了很多很多。
小模型推理速度也非常不錯。

圖片
安裝完軟體之後(舊版使用者記得升級),在主介面上就可以看到 Google's Gemma 2b Instruct 的卡片。在卡片中找到 download,點一下就開始下載模型了。
整個過程非常簡單,但是內網使用者可能遇到無法下載的問題。
下載完成之後,在軟體頂部下拉選擇 Gemma 模型,等待模型載入完成就可以進行對話了。

圖片

在視窗底部 User 後面輸入內容,就可以開始聊天了。
你可以直接發中文,它能聽懂,但是他會用英文回答你。

圖片

加载中...
此文章数据所有权由区块链加密技术和智能合约保障仅归创作者所有。