AI 能裝在公司自己的設備上嗎？本地 AI 的 6 個理由

可以。用開放權重模型加上一台工作站，AI 就能在公司自己的設備上跑，資料不必經過外部的 AI 服務，門檻也比幾年前低很多。但不是每家公司都需要，要看你的資料、客戶合約和用量。

很多團隊已經在用 AI 幫忙工作：業務把客戶的報價單整理成比較表，工程師請 AI 找出圖面規格和上一版的差異。用得越順手，越常有人問：「這些資料放在誰的伺服器上？」這篇先給兩句問法和決定之前能做的 5 件事，再說明六個理由、成本怎麼算，以及怎麼從一台工作站開始試（能力比較見小模型與地端 AI 的比較）。

先直接問 AI

這兩句只用工作和資料的名稱、你自己估的數字，不需要貼上報價、配方或客戶資料。貼給 ChatGPT、Claude 或 Gemini 這類 AI 助理，範例換成你的就好（範例都是示意）。

把資料分級，草擬使用規範

下面是我們公司目前用 AI 的工作（只有工作和資料類型，沒有實際內容）：業務把客戶報價整理成比較表、工程師比對圖面規格的版本差異、客服整理常見問題、行銷改寫產品文案。請幫我：一、把每種資料分成「機密」「內部」「可公開」三級，各寫一句理由；二、依照分級草擬一頁 AI 使用規範：哪些資料可以放進雲端 AI、哪些要先去識別化（例如姓名換成「客戶 A」、刪掉電話與地址）、哪些不要放。分級用表格，規範用條列。

算出損益平衡點

我想比較雲端 AI 和本地 AI 哪個划算。請設計一張 Excel 試算表，照這個公式算：本地每月總成本（硬體分年攤提＋電力與散熱＋維運人力）÷ 雲端每件成本 ＝ 每月至少要處理幾件才划算。硬體價格、攤提年數、電費、人力、雲端每件成本、目前每月件數，都做成我能自己填的欄位，每欄附一句怎麼估，最後顯示目前的用量高於還是低於損益平衡點。

分級和規範都是草稿：受保密協議或法規限制的資料，要對照合約再確認，規範也請主管看過再發給同事。試算表做好後，先填一組簡單的數字，自己驗算一次公式。

決定之前，現在就能做的 5 件事

1. 列出 AI 現在用在哪些工作

開一張共用的 Excel 或 Google 試算表，欄位是：工作內容、用哪個 AI 工具、放進去的資料、誰在用、多久一次。請各部門填一下，就知道哪些資料會經過外部服務；工作內容和資料這兩欄，正好可以貼進第一句問法。

2. 把資料分三級，寫一頁使用規範

把第一句問法得到的分級和規範草稿加進同一份檔案，請主管和各部門逐項確認後再公布。規則清楚，同事用起來也更放心。

3. 確認現在用的雲端方案

先確認同事用的是個人版還是企業方案。主要雲端 AI 服務的企業方案已經提供不少保障，例如 OpenAI 表示預設不會用企業方案與 API 的資料訓練模型。再向服務商問清楚：資料會不會用於訓練、保存多久、存放在哪個區域、能不能要求刪除。

4. 對照法規與客戶合約

翻出客戶的保密協議（NDA），找出和第三方、資料存放有關的條款，再對照下面第 2 個理由列出的規定。在第 2 步的表格裡標出有明確限制的資料，這些通常就是最適合放在本地的部分。

5. 算出候選任務的每月用量

挑出「機密又常做」的任務，記下每月大概處理多少件，例如幾張訂單、幾則客服對話；系統能匯出紀錄的話，用樞紐分析表依月份加總。把這個數字填進第二句問法做的試算表，就知道離損益平衡點還有多遠。

本地 AI 指的是什麼？

本地 AI（也常稱為地端 AI、On-premise AI）指的是模型檔在你手上、運算發生在你控制的硬體上：機房裡的 GPU 伺服器、辦公室裡的 AI 工作站，甚至員工的筆電。全程不經過外部的 AI 服務商。它和雲端 AI 最大的差別是控制權：資料放哪裡、用哪個版本、何時升級、每月花多少，都由你決定，責任也一起回到你身上。

企業選擇本地 AI 的六個理由

1. 資料主權：機密不必離開公司

報價與成本、配方與製程參數、設計圖、客戶名單與個資，是企業最核心的資產。企業對生成式 AI 的使用也越來越謹慎：2023 年，三星電子在發現工程師把內部原始碼上傳到 ChatGPT 之後，限制員工在公司設備上使用生成式 AI 工具。企業方案有它的保障，但對某些資料來說，問題不是「對方可不可信」，而是**「這份資料本來就不該出去」**。本地 AI 讓這類資料留在公司裡處理。

2. 法規、客戶合約與稽核

很多限制不是公司自己訂的：

• 個資：把客戶個資交給外部服務處理，要先想清楚是否屬於個資法上的「委託處理」。依個資法施行細則第 8 條，委託者必須監督受託者，包括委託結束後資料的返還與刪除。
• 金融業：金管會的金融業運用人工智慧（AI）指引提醒金融機構監督第三方 AI 業者，並建議為停止委託的情況訂定資料與系統的遷移機制。
• 公部門：行政院的生成式 AI 參考指引不允許承辦人把應保密的公務資訊或個人資料提供給生成式 AI，但封閉式地端部署的模型在確認系統環境安全後，可以依機密等級分級使用。
• 客戶合約：代工、設計等產業的保密協議常限制資料交給第三方；客戶稽核時，要說清楚資料流向。

本地部署讓「資料去了哪裡」的答案變得很短。更完整的法規整理，請見2026 年 AI 法規重點。

3. 用量大時，成本比較好預測

雲端用得越多、帳單越高；本地是一次性的硬體加上大致固定的電力與維運。每天大量處理同一類工作時，固定成本就有機會被攤平，下一節會細算。

4. 斷網時照常運作

雲端服務偶爾也會中斷。2025 年 6 月 10 日，OpenAI 的 API、ChatGPT 與 Sora 出現長時間的錯誤率升高；同年 11 月 18 日，Cloudflare 的一次故障讓 X、ChatGPT 等服務一度無法使用。對工廠產線、門市與客服來說，本地模型在斷網時照樣能跑，速度也不受外部尖峰與流量限制影響。

5. 客製化與固定版本

本地模型可以用公司自己的資料微調，熟悉產品料號、製程術語、內部簡稱與文件格式。另一個好處是版本由你決定。雲端模型會依供應商的時程退役：Anthropic 的模型退役政策寫明，公開模型退役前至少提前 60 天通知，退役後的請求就會失敗；OpenAI 也在 2026 年 2 月讓 GPT-4o 等舊模型從 ChatGPT 下架。流程若已驗證、寫進 SOP，底下的模型一換，輸出與準確度都可能跟著變。本地模型要升級時，可以先測試再切換。

6. 不被單一供應商綁住

價格方案、使用政策、地區可用性、模型下架時程，都由供應商決定。前面提到金管會指引建議準備遷移機制，處理的就是這件事。開放權重模型的檔案下載後就在你手上，在授權條款允許的範圍內可以一直使用，也能隨時換成別的模型。

算一筆帳：什麼時候本地比較划算？

兩種成本的結構完全不同：

• 雲端：成本 ≈ 處理量 × 單價。沒有前期投入，用量翻倍，帳單也翻倍。
• 本地：成本 ≈ 硬體（一次投入、分年攤提）＋ 電力與散熱 ＋ 維運人力與模型更新。在硬體容量之內，多處理一件的額外成本很低。

把累計成本畫成線，本地「起點高、坡度緩」，雲端「從零開始、坡度看用量」。用量大時，兩線會在某個時間點交叉，那就是損益平衡點；用量小時，雲端可能一直比較便宜。

粗估的方法：本地每月總成本（含硬體攤提）÷ 雲端每件成本 ＝ 每月至少要處理多少件才划算，再和第 5 步算出的每月用量比一比。另外要一起考慮三件事：

1. 雲端一直在降價。 a16z 比較 2021 年以來的價格後指出，同等能力的 LLM 推論成本大約每年降到十分之一。損益平衡點可能逐年往後移，要定期重算。
2. 硬體閒著也在花錢。 本地設備要充分使用才划算；把不急的批次工作排到夜間，可以提高使用率。
3. 用量會長大。 AI 變便宜、變好用之後，用量往往成長得比預期快（見傑文斯悖論與 AI 成本）。本地設備要預留擴充的空間。

門檻降低了：四個讓本地 AI 變實際的改變

幾年前，本地 AI 意味著昂貴的伺服器與專門團隊。現在門檻明顯降低了：

1. 開放權重模型變強了。 除了 Llama、Qwen、Gemma、Mistral 等模型家族，OpenAI 在 2025 年以 Apache 2.0 授權釋出 gpt-oss：gpt-oss-120b 可以放進單張 80GB GPU，gpt-oss-20b 在 16GB 記憶體內就能執行。繁體中文方面，國科會推動的 TAIDE 也以開放模型為基礎，釋出加強台灣用語的模型。
2. 量化讓模型變小。 把模型權重從 16 位元壓縮到 4 位元，存放權重所需的記憶體大約只剩四分之一；可能損失一些準確度，壓得越多越需要實測。
3. 執行工具成熟了。 Ollama、LM Studio、llama.cpp 讓一台電腦就能跑模型；多人同時使用則有 vLLM 這類伺服器端引擎。Ollama 與 vLLM 都提供和 OpenAI API 相容的介面，程式要在雲端與本地之間切換更容易。
4. 硬體走進辦公室。 NVIDIA 在 2025 年 10 月開賣桌上型的 DGX Spark，配備 128GB 統一記憶體，官方表示可在本地推論最多 2,000 億參數的模型，華碩、宏碁、技嘉、微星等台灣品牌也有同架構機種；工作站顯示卡 RTX PRO 6000 Blackwell 則有 96GB 記憶體。筆電端，微軟的 Copilot+ PC 要求 NPU 達 40 TOPS 以上。

本地 AI 的成本與限制

本地 AI 有它的成本，也有做不到的事：

本地不是全有或全無。 多數企業最後走的是混合架構：敏感、大量、範圍明確的任務在本地處理，需要頂尖推理能力或偶爾才用的任務交給雲端。怎麼分，可以用小模型與地端 AI 的判斷流程裡的三個問題。

什麼時候可以考慮下一步

做好前面 5 件事，很多工作用雲端企業方案就能安心處理。遇到下面這些情況，就可以考慮試試本地 AI：

• 標成「機密」或有明確限制的資料，正好是每天都在處理的工作。
• 客戶稽核時，希望能簡單說清楚資料的流向。
• 同一類工作的用量越來越大，已經接近算出來的損益平衡點。
• 產線、門市需要在斷網時也能繼續使用 AI。

下一步：一個任務、一台工作站、一組數字

不必一開始就買伺服器。建議照這四步走：

1. 挑一個「敏感又大量」的任務。 資料不適合外送、每天都在做、範圍明確、對錯判斷得出來，例如從訂單與報價單擷取欄位、客服紀錄分類與個資遮蔽。
2. 在一台工作站上試點。 用開放權重模型加上本地執行工具，拿過去的真實資料測試兩到四週；同一批題目去識別化後，也交給雲端模型跑一次當作對照組。
3. 把數字量出來。 準確率、每件處理時間、多人同時使用的速度，以及含硬體攤提、電費與人力的每件成本；也記下它錯在哪裡。
4. 再做決定。 本地表現夠好、用量又大，就規劃正式的伺服器；本地只能做好一部分，就走混合架構；雲端明顯更划算，就先留在雲端，半年後再算一次。

試點期間原本的做法照常進行，AI 的結果先由人確認；正式導入時，本地模型再和現有的 ERP、文件系統串接，重要的動作一樣由人確認，每一次處理都留下紀錄。還在想第一個流程選哪個，可以先看導入 AI 從哪裡開始。

本地 AI 的價值，在於讓你對資料、成本與版本更有主導權。想評估哪些流程適合放在本地、硬體怎麼配、怎麼和現有系統整合，可以先做一次免費的 AI 健檢，或參考我們的 AI 導入與整合服務與企業系統開發，也歡迎直接和我們聊聊你的需求。