教育
「分散式AI訓練」省算力 理大：研與伊院內地合作治癌
【明報專訊】生成式人工智能（AI）模型傳統多屬集中式，訓練時要將數據及算力集中一處，需用大量數據及算力資源，僅少數機構可負擔；使用時亦要將數據上傳雲端，有私隱疑慮。理工大學人工智能高等研究院（PAAI）團隊最近取得技術突破，將生成式AI訓練由「集中式」轉向「分散式」，算力及數據需求更低，可容許機構內部以小規模設備運算，亦有助保障醫療應用數據安全。團隊正研究與內地及香港醫院合作，將技術用於研發AI工具協助癌症放射治療。
研放射治療靶區勾畫
PAAI執行院長楊紅霞昨稱，團隊正與3間內地醫院及香港伊利沙伯醫院合作，包括以新技術研發AI工具進行癌症放射治療的「靶區勾畫」。她說，醫療人員倘用傳統方式，每一個案需花30至50分鐘，未來冀在AI輔助下減至10至20分鐘，惟相關技術何時能應用則未有定論。
楊解釋，DeepSeek、OpenAI等廣為人知的大模型均屬集中式，其中DeepSeek的預訓練階段消耗20TB數據，而醫院用醫療數據做AI訓練，一般亦耗數千TB，分散式訓練容許各醫院自行訓練小模型後再融合。
去中心化 訓練更快
楊稱，AI訓練「去中心化」是基於兩方面的技術創新，其一是「低比特（ low-bit）訓練」。她解釋，全球主流大型基礎模型用FP16或BF16水平的浮點數精度訓練，其團隊則研發以FP8訓練，數據精度的損失較大，但只需用一半算力及儲存空間，就可訓練出同樣好的模型。團隊的低比特訓練全套方案與傳統BF16相比，訓練速度提高逾兩成、顯存峰值佔用減逾一成，成本大降。
團隊另一突破是「InfiFusion模型融合技術」，可將各「小模型」融合，取代直接用大量數據訓練一個集中式的大模型；集中式訓練需耗百萬計GPU小時，新技術則只需160個GPU小時就可完成4個尖端模型融合。
