生成式AI導入遇瓶頸?企業轉向On-Premise LLM尋求突破

商傳媒
6 Min Read
生成式AI導入遇瓶頸?企業轉向On-Premise LLM尋求突破
生成式AI導入遇瓶頸?企業轉向On-Premise LLM尋求突破
圖/本報資料庫

商傳媒|吳承岳/台北報導

企業導入生成式AI應用已數年,但實際效益可能不如預期。《ITmedia》報導,企業導入生成式 AI 已進入深水區,日本 Emuni 公司 AI 顧問下野弘雄近日指出,多數企業因缺乏產線端的具體應用場景,導致技術效益不如預期。不同於美系企業針對特定業務精準打擊,亞洲企業普遍面臨全公司盲目導入、卻僅能應對基礎文書的窘境。下野弘雄強調,製造業若要兼顧資安與產業 know-how,具備高度隱私性的「地端部署(On-Premise)」將成為提振競爭力的核心戰場。

生成式 AI 雖然在雲端環境展現強大動能,但在極度重視機密保護的工廠環境,雲端模型如 GPT 系列常因資安顧慮而受限。專家指出,透過地端部署(On-Premise)LLM 雖然存在技術門檻,卻是台日兩地製造業數位轉型的必經之路。

地端 AI 部署的三大核心挑戰:

  •     模型精準度優化: 雖然地端開源模型在基本面可能遜於雲端前沿模型,但透過 RAG(檢索增強生成)或微調(Fine-tuning)技術,在專利翻譯等專業領域的表現甚至能超越通用模型。
  •    資料前處理複雜度: 地端系統需仰賴更高程度的專業知識進行圖表與文字的 AI-OCR 處理,方能彈性結合現場資訊。
  •    維運成本與硬體門檻: 企業須在前期硬體採購成本與長期雲端訂閱費用之間取得平衡,並考量後續伺服器的維管能力。

 

針對製造業的長遠發展,生成式 AI 最具價值的應用在於「隱性知識轉型」。過去資深技師的技術傳承往往受限於經驗難以量化,現在可藉由「AI 訪談員」主動提問並結構化產線經驗。此舉不僅能優化產業結構,更能解決高齡化社會下的技術斷層危機。對台灣半導體與精密機械供應鏈而言,地端 AI 的導入能確保核心參數不外洩,同時加速人才培訓的自動化進程。

下野弘雄建議,企業應由法人機構與技術顧問協助重新梳理業務流程,找出能真正創造價值的節點,而非盲目跟風導入。