AI 讀懂訂單與報價單:多模態文件處理如何取代人工 key-in
客戶用 Email、傳真、LINE 傳來格式各異的訂單,業助每天花好幾個小時手動輸入。多模態 AI 能直接看懂 PDF 與照片,把欄位填進系統。本文說明做法、準確度怎麼控管,以及哪些情況仍需要人。

重點摘要
- 多模態 AI 能同時理解文字、表格與版面,不同客戶、不同格式的訂單都能讀。
- 關鍵是把讀出來的資料「對回」你的主檔:客戶代號、料號、單位與價格。
- 依信心程度分流:有把握的自動建單,不確定的交給人確認,異常的直接退回。
- 導入後,人從「打字的人」變成「檢查例外的人」,速度與準確度都會提升。
在很多貿易商與製造業的辦公室裡,有一個固定的畫面:業務助理一手拿著客戶傳來的訂單,一手在 ERP 裡逐欄輸入品名、料號、數量、交期。訂單可能來自 Email 附件的 PDF、傳真、Excel,甚至是 LINE 上的一張照片 —— 每個客戶的格式都不一樣。
這種工作繁瑣、容易出錯,也很難交接:資深的業助知道「A 客戶的料號要去掉前綴」「B 客戶寫的箱是 12 入」,新人往往要花好幾個月才能上手。
近兩年成熟起來的多模態 AI(能同時理解圖片與文字的模型),讓這件事有了新解法。
多模態 AI 和傳統 OCR 差在哪?
傳統的 OCR(光學字元辨識)只做一件事:把影像轉成文字。至於哪個數字是數量、哪個是單價,得針對每一種表單格式寫規則。客戶一換格式,規則就要重寫。
多模態 AI 則是看懂整份文件:它理解表格結構、欄位標題、上下文,就像人看一張單子一樣。你可以直接要求它「把這張訂單的品項、數量、交期整理成固定格式」,換了新客戶的單據也能處理。
| 傳統 OCR | 多模態 AI | |
|---|---|---|
| 輸出 | 一整串文字 | 指定格式的欄位資料 |
| 新格式 | 要重寫規則 | 通常直接可用 |
| 表格、手寫、照片 | 容易出錯 | 較能理解,但仍需檢查 |
| 能不能解釋 | 不能 | 能說明是從哪裡讀到的 |

真正的難題:把資料「對回」你的系統
讀出文字只是第一步。真正決定能不能自動化的,是把讀出來的資料,對應到你系統裡的主檔:
- 客戶:單據上寫「大同精密」,系統裡是客戶代號 C0231。
- 料號:客戶用自己的品號 XJ-220,你們內部是 P-88120。
- 單位:客戶寫「3 箱」,系統要的是「36 個」。
- 價格:單據上的價格要和報價或合約價核對。
這一步通常要結合三種資料:客戶與料號主檔、每個客戶的「對照表」(客戶品號 ↔ 內部料號),以及過去的歷史訂單。AI 負責判斷「這一行指的是哪個品項」,系統則負責檢查結果是否合理。
用信心程度分流,而不是全自動
我們不建議一開始就追求 100% 自動化。更實際的做法,是依照 AI 的信心程度與檢查結果,把每張單分成三條路:
- 自動建單:所有欄位都對得上主檔、數量與金額在合理範圍、總額加總正確。
- 人工確認:有欄位信心不足(例如字跡模糊)、出現新的客戶品號、數量明顯比平常大。系統把 AI 讀到的內容與原始單據並排顯示,業助只要核對、修正、按確認。
- 退回或聯絡客戶:缺少必要資訊(沒有交期、沒有品號)、單據內容互相矛盾。

這樣設計的好處是:導入第一天就能開始省時間,而且錯誤不會悄悄流進系統。隨著對照表越來越完整,能自動建單的比例會逐步提高。
準確度要怎麼衡量?
導入文件自動化時,只問「AI 準不準」是不夠的。我們建議追蹤以下幾個指標,才能知道系統實際幫上多少忙:
| 指標 | 意思 | 為什麼重要 |
|---|---|---|
| 欄位正確率 | 讀出來的每個欄位,有多少是對的 | 衡量 AI 讀取本身的品質 |
| 自動建單比例 | 不需要人修改、直接建單的單據比例 | 衡量真正省下的人工 |
| 平均確認時間 | 需要人確認的單據,每張花多少時間 | 確認畫面設計得好不好 |
| 漏網錯誤 | 自動建單後才發現錯誤的次數 | 衡量檢查規則是否足夠 |
其中最重要的是漏網錯誤:寧可多讓人確認幾張,也不要讓錯誤悄悄進入系統。一開始可以把門檻設得保守一些,觀察一段時間、確認某些客戶或某類單據一直都很準,再逐步放寬。
讓準確度持續提升的做法
- 把人工修正記錄下來:每一次人工修正,都是在告訴系統「這個客戶的這種寫法,應該對應到哪個料號」,下次就能自動對上。
- 為重要客戶建立專屬規則:例如某客戶的單位永遠是「打」、某客戶的品號前面有固定前綴。
- 定期抽查自動建單的結果:即使系統有把握,也每週隨機抽幾張核對,及早發現問題。
除了訂單,還能處理哪些文件?
同樣的做法,可以用在很多「看文件、輸入系統」的工作:
- 報價詢價單:讀取客戶的詢價內容,自動帶出品項與歷史報價,業務只要調整價格。
- 供應商發票與對帳單:和採購單、進貨單比對(見〈批發貿易的對帳地獄〉)。
- 出貨與報關文件:擷取品名、重量、HS 編號等欄位。
- 名片、申請表、檢驗報告:轉成結構化資料存檔,之後可以搜尋與統計。
導入前要準備什麼?
- 收集樣本:每個主要客戶準備 10–20 張真實的單據,包含比較難讀的例子。
- 整理主檔:客戶、料號、單位換算。主檔越乾淨,自動化比例越高。
- 定義檢查規則:哪些情況一定要人看?例如金額超過某個門檻、新客戶、新料號。
- 先並行一段時間:AI 建議、人照常輸入,比對兩邊結果,確認準確度後再切換。
導入之後,業助的角色會從「打字的人」變成「檢查例外的人」。原本要花一整個上午輸入的訂單,可能變成十幾分鐘的確認工作 —— 多出來的時間,可以留給跟客戶溝通、追交期這些真正需要人的事。想評估你的單據適不適合自動化,歡迎參考我們的企業系統開發服務,或寄幾張範例單據給我們。


