關於亞太地區人工智能的有趣問題，已不再是組織會否採用它。 而是為何這麼多資金充裕的計劃只產生示範，卻從未帶來員工人數、週期時間或錯誤率的改變。
在審視過成功的部署，以及多個悄然停擺的部署後，可見差異 幾乎從不在於模型本身，而在於首個用例的範圍、其背後資料的狀況， 以及有否事先寫明失敗會呈現甚麼模樣。
價值真正顯現的地方
價值集中於高處理量、範圍明確且檢查成本低的流程。四種模式 在我們的客戶工作中反覆出現：
| 模式 | 為何有效 | 典型首個指標 |
|---|---|---|
| 文件繁重的後勤部門 — 開戶套件、KYC文件、發票、採購訂單、 標準合約 | 數量龐大、結構一致，經驗豐富的審核人員可在數秒內辨別 優質與劣質的輸出 | 每份文件所需分鐘；需要重做的百分比 |
| 服務台及查詢分流 | 重複性意圖分類、草擬支援 並可由真人在發送前編輯 | 首次回應時間；上報準確度 |
| 軟件交付 — 測試生成、程式碼審查輔助、文件編寫 | 快速 反饋循環，錯誤由現有測試及管道捕捉 | 週期時間；漏檢 缺陷率 |
| 從非結構化來源擷取及核對資料 | 人手進行 且枯燥乏味的工作，並具備可供核實的數字答案 | 接觸時間；對賬 例外事項 |
不會帶來回報的地方
低處理量與高模糊性是扼殺商業案例的兩項條件。如果一個流程每月執行二十次，而正確答案取決於判斷及關係歷史，語言模型只會增加一個審核步驟，而非減少一個。另外兩個反模式值得指出：將一個本身有問題的流程自動化——你只會更快得到同樣的錯誤答案——以及因為某個使用案例對董事會可見，而非因為它可被量度，而選擇該使用案例。
批准試點前必問的五個問題
- 該流程是否交易量大且範圍有限？ 如果你無法用一頁篇幅描述正確的 輸出，就無法評估產生該輸出的系統。
- 我們是否持有該等資料，以及我們是否獲准使用該等資料？ 兩部分都重要。可供使用但你無權改作其他用途的 資料，是負擔，而非資產。
- 誰須為輸出結果負責？ 答案必須是公司內的一個 角色。「模型」在客戶或監管機構面前，並非可問責的一方。
- 失敗的代價是甚麼？ 內部備註中的草擬錯誤與監管申報中的錯誤 數字，並非同一種風險，且不應共用同一套控制設計。
- 基準是甚麼？ 時間、成本、錯誤率，今日。沒有基準， 第三個月關於它是否奏效的爭論，便無法以證據平息。
香港資料保障的角度
這是最常在試點計劃建立後才令其停滯不前的部分，因為它往往 最後才獲處理。根據《個人資料（私隱）條例》（Cap. 486）：
- 目的及通知（保障資料原則第1原則）。 為客戶提供服務而收集的資料，不會自動可用於訓練或改進供應商的模型。這屬於新的目的，需要有合法依據，實際上亦需作出通知。
- 使用限制（DPP3）。 以書面確認供應商是否使用你的輸入資料來改進其服務。許多供應商默認如此，而有關條款往往載於次級處理者附件，而非主合約。
- 保安（DPP4）。 交由處理者持有的個人資料，責任仍在你身上。有關責任是以合約約束對方，而非單靠期望。
- 保留（DPP2）。 提示與輸出日誌會悄然成為影子檔案庫。應在首次輸入提示之前，而非在首次審計之後，決定其保存期限。
- 查閱及更正（DPP6）。 若客戶行使其權利，你能否取回、更正或刪除已進入系統的資料？
- 跨境。 若模型在境外運行，個人資料便會離開香港。須考慮轉移事宜、供應商所在地，以及合約就此所作的規定。
區分供應商與轉售商的供應商問題
| 問題 | 好的答案聽起來是怎樣的 |
|---|---|
| 你們是否預設以我們的資料進行訓練？ | 清晰明確的「是」或「否」，並附上如此訂明的合約條款及 控制該事項的設定。 |
| 我們的資料在何處處理及儲存？ | 指定地區、指定次級處理者，任何變更前通知。 |
| 我們如何得知模型已變更？ | 版本及變更通知的承諾， 而非「改進會自動進行」。 |
| 你的評估證據是甚麼？ | 以類似我們任務的實測準確度，而非 基準測試分數或客戶標誌牆。 |
| 退出時會發生甚麼事？ | 匯出格式、刪除證明書、明確時間表。 |
相稱的管治
閣下毋須一份四十頁的人工智能政策才站得住腳。閣下需要的是一頁紙的註冊紀錄，列明 正在使用的人工智能工具並為每項指定負責人、在新工具接觸客戶或僱員資料前設立的審批關卡、 一份簡短的禁止用途清單、當人工智能有份參與客戶所收到的交付成果時向客戶披露，以及 定期檢討。這份註冊紀錄是令其餘各項得以落實的關鍵：大多數相信自己只使用五項人工智能工具的機構， 在盤點後會發現實際上有二十項。
可站得住腳的90天試行計劃
- 第1–15日 — 基準及資料檢查。 衡量現行流程，確認你可使用有關資料，並以書面訂明終止準則。
- 第16–60日 — 窄範圍建構，保留人手把關。 一個工作流程，一個團隊，輸出由現時負責該項工作的人審閱。
- 第61–80日 — 對照基準衡量。 時間、質素、重做率。 同類比較，須在同一工作上進行。
- 第81–90日 — 決定擴大規模、更改或停止。 無法中止的試行項目 從來不是試行項目。無論結果如何，都要把所學記錄下來；大部分 價值在於第二個使用案例。
取得真正回報的組織，並非那些擁有最雄心壯志的概念驗證的組織，而是首個用例沉悶、可衡量並已完成者。