小模型與地端 AI：資料不出公司，適合哪些企業？

「我們的資料很敏感，不能傳到外面去。」這是很多企業在評估 AI 時，最先踩下的煞車。報價、配方、客戶名單、設計圖、病歷、財務資料 —— 這些東西送到外部的 AI 服務處理，確實讓人不放心。

好消息是，這兩年**小型語言模型（Small Language Models，SLM）**進步得很快。越來越多開放權重的模型，可以下載到公司自己的伺服器上執行，資料完全不必離開公司。

但地端 AI 不是萬靈丹。它有能力上的限制，也有維運上的成本。這篇文章幫你把選擇攤開來看。

什麼是小型語言模型？

一般提到的大型語言模型，通常由 AI 公司在雲端提供服務，參數規模龐大，能力全面。小型語言模型則是參數少得多的版本，特色是：

• 可以在自己的環境執行：公司的伺服器、工作站，甚至筆電。
• 速度快、成本可預測：不用按每次呼叫付費。
• 可以針對特定任務調整：用公司的資料微調，讓它更熟悉特定領域的用語。

目前常見的開放權重模型家族包括 Llama、Qwen、Gemma、Mistral 等，各有不同的大小可以選擇。需要注意的是，每個模型的授權條款不同，商業使用前一定要確認。

雲端大模型 vs. 地端小模型

小模型適合做什麼？

小模型在範圍明確、有標準答案的任務上表現很好：

• 分類與分流：客服訊息屬於哪一類？這封信是詢價、客訴還是垃圾信？
• 欄位擷取：從文件裡找出客戶名稱、品號、數量、日期（見〈AI 讀懂訂單與報價單〉）。
• 摘要：把會議紀錄、客服對話整理成重點。
• 依範本改寫：把技術規格改寫成給客戶看的說明。
• 敏感資料的前處理：先在地端把個資遮蔽，再把處理過的內容交給雲端大模型。

相對地，需要廣泛知識、多步驟規劃、長時間自主工作的任務（例如 AI Agent 跨系統處理複雜流程），目前還是雲端大模型比較可靠。

怎麼判斷該用哪一種？

問自己三個問題：

1. 資料是否受到法規、客戶合約或公司政策限制，不能離開公司？ 如果是，這部分的處理就必須在地端。
2. 任務是不是範圍明確、有標準答案？ 如果是，小模型通常就夠用；如果需要複雜推理，考慮雲端大模型或混合架構。
3. 公司有沒有人能負責維運？ 地端 AI 需要有人部署、監控、處理故障與更新。沒有這個能力，就需要找合作夥伴，或先從雲端開始。

最常見的答案：混合架構

實務上，多數企業最適合的是混合架構：

• 敏感資料在地端處理：例如用地端小模型擷取與遮蔽個資、處理內部機密文件。
• 一般任務用雲端大模型：例如撰寫文案、分析公開資料、處理已經去識別化的內容。
• 由一個整合層決定分流：依資料類型與任務，自動送到對的模型，並記錄每一次處理。

這樣既能保護敏感資料，又能享有雲端大模型的能力，也不必一開始就投入大量硬體。

混合架構的實際樣子：以客服紀錄分析為例

假設你想用 AI 分析過去一年的客服對話，找出客人最常抱怨的問題。對話裡有姓名、電話、地址、訂單內容，屬於敏感資料。混合架構可以這樣處理：

1. 地端小模型先處理：在公司內部的伺服器上，用小模型辨識並遮蔽個資（姓名換成「客戶 A」、電話與地址移除），同時把每則對話分類（出貨、品質、退款、其他）。
2. 只把去識別化的內容交給雲端：經過遮蔽的對話摘要，送到雲端大模型做深入分析，例如歸納抱怨的根本原因、提出改善建議。
3. 結果回到公司內部：分析報告存在公司的系統裡，並記錄每一次處理用了哪個模型、處理了哪些資料。

這樣的分工，讓敏感資料從頭到尾沒有離開公司，同時又能用上雲端大模型的分析能力。架構設計的重點，是在資料離開公司之前，先決定哪些資訊可以被帶走。

評估模型時，要測什麼？

不要只看網路上的評比分數。用你自己的資料測試：

• 準確度：準備 50–100 個真實案例，比較不同模型的結果。
• 速度：在預計的硬體上，一次處理需要多久？同時有多人使用時會不會變慢？
• 穩定性：同樣的輸入，結果是否一致？格式是否每次都正確？
• 中文能力：繁體中文與台灣的用語，不同模型的表現差異很大，一定要實測。

導入前的建議

1. 先分類資料：哪些是機密、哪些是內部、哪些可以公開？分類清楚，架構自然清楚。
2. 用真實任務測試：拿實際的文件與問題，同時測試雲端與地端模型，比較準確度與速度。
3. 計算完整成本：地端不只是硬體，還有電力、機房空間、人力與更新成本。
4. 保留彈性：模型進步很快，架構上要能輕鬆替換模型，不要綁死在某一個。

「資料不能出公司」不再是無法使用 AI 的理由。選對架構，就能在安全與能力之間取得平衡。想評估你的資料與任務適合哪一種方式，歡迎參考我們的 AI 導入與整合服務，或和我們聊聊你的需求。