工業電腦大廠新漢於10月8號到10號在美國德州奧斯丁舉行的嵌入式電子與工業電腦展(Embedded World North America 2024)展示其最新 Edge AI 軟體定義邊緣運算技術,並正式推出由集團旗下專注在開發物聯網技術的 AIC 物聯雲事業部所獨立開發的 AI 運算平台 AI-X。展會上同時呈現新漢集團在智慧車載、智慧城市、工業機器人以及工業級資安等數個領域的 Edge AI 應用,帶出新漢集團近年來積極布局軟體定義邊緣運算(Software-Defined Edge Computing)的創新成果。
由新漢集團推出的 AI-X 是基於 LLM(大語言模型)的地端型 GenAI 運算平台,隨著各行各業對地端型 AI 應用的需求日益增長,尤其是在高度強調數據隱私和知識產權保護的領域,如醫療、金融、製造業和法律等,透過將資料運算從雲端搬至地端進行,AI-X 能大幅降低數據外洩的風險,同時降低運算能耗,其 RAG(Retrieval Augmented Generation,檢索增強生成)特性,能夠直接參考並使用用戶上傳的限定範圍知識庫,也可以根據使用者不同的目的,以離線方式提供特定的回答模式及資訊內容,針對需要高度知識產權保護的行業,AI-X 提供精準且安全的知識問答服務,同時避免開放式 GPT 常出現的誤導性回應狀況。
AI-X 使用 Ollama 作為 LLM 語言模型,同時可支援多種 AI 模型如 Llama3、Qwen2、Code Llama 等,使用者能根據需求彈性選擇最適合的模型進行訓練和部署;其平台架構設計簡潔直觀,類 GPT 的使用者界面,讓企業管理者能夠輕鬆進行設備配置和系統監控,提升操作便捷性,無論是用於學術教育目的、法律文本分析、還是製造業實時數據監控,均能提供高效、可靠的解決方案。
除了本次主打的 AI-X 外,新漢集團持續強化軟體定義邊緣運算(Software-Defined Edge Computing)在各領域的應用,如智慧車載、智慧城市、工業型機器人以及工業級資安等領域推出創新產品,本次奧斯丁展會上,展示了多款軟體定義邊緣運算解決方案,包括基於 NVIDIA Jetson Orin NX 系統模組平台所開發的 Coeus 3801T 邊緣 AI 控制器,工業4.0自動化事業部全新推出的物聯網閘道器,智慧城市應用方面則亮相了 NDiS B339 視覺邊緣運算電腦,新漢旗下專注在開發 OT 資安解決方案的椰棗科技(TMRTEK)則展出 eSAF OT 網路資安防護解決方案,提供工業級資安保護,應對日益增長的網絡威脅。