作為人工智能領域頗具里程碑式的進展,ChatGPT以其驚豔的表現,迅速掀起了行業熱潮,使得大模型成為當下最為炙手可熱的技術方向之一。但在大模型落地過程中,如何既能保障大模型使用方的數據安全,又能保護大模型提供方的部署安全?
基於行業需求,金山雲立足自身深耕雲賽道十餘年所積累的技術和服務優勢,推出MaaS(Model as a Service)互信推理專區方案。作為中國知名的中立雲服務商,金山雲推出該方案的目的是在大模型廠商、用户和金山雲之間建立互信,以解決模型及數據的互信問題。
為了實現“互信”這個目標,金山雲在技術思路和架構設計方面兼顧了基礎設施層面(網絡、存儲等)的安全和雲原生層面(容器等)的安全。
金山雲MaaS互信推理專區方案邏輯架構圖
在金山雲MaaS互信推理專區方案中,模型廠商的互信虛擬網絡(Mutual Trust Virtual Private Cloud,以下簡稱互信VPC)是經過安全加固定制的(如上圖中所示),通過私有連接(Private Link )與用户業務區域連通,經由堡壘機連接模型運維和開發區區域。互聯網相關的EIP、NAT和Peering等功能都會被禁用。互信VPC提供了豐富的流量管控手段,可通過私有連接、對等連接、安全組、ACL等功能靈活控制VPC與公網、VPC與VPC、VPC內雲產品的流量進出,既保證了網絡的隔離,又能夠按需提供網絡的連通。
在堡壘機層面,為了保障系統的安全性和合規性,同時也為了防範數據泄漏事件的發生,金山雲在模型開發和推理區之間提供了行為與流量審計系統,用以跟蹤和監控數據的流動,確保所有流量都可以被審計和驗證,可及時檢測和記錄任何非法流量的存在,識別潛在的安全威脅或數據泄露風險。
在金山雲MaaS互信推理專區方案中,互信VPC通過私有連接進行點對點的打通,在保障業務流量安全穩定的情況下,還具備一定的靈活性。訪問VPC內服務的流量均在金山雲內網轉發,不經過公網,避免了通過公網訪問服務帶來的潛在安全風險。同時基於金山雲內網建設的完備性,可提供大帶寬、低延時的高質量通信服務。
此外,金山雲對MaaS互信推理專區內所有的出入流量進行記錄和行為審計,禁止所有未經審計的流量流出,定期向客户提供審計報吿。專區內部有文件存儲或對象存儲寫入的需求(如日誌服務等),會在VPC內獨立部署一套存儲服務,對外不可讀寫。專區外可讀寫的對象存儲KS3(Kingsoft Cloud Standard Storage Service),其控制權收歸於金山雲,金山雲通過權限控制保證該對象存儲只接收自研存儲網關Nas-J的讀寫請求,除此之外沒有其他任何權限。
雲原生層面,出於數據安全性考慮,在採用容器服務納管GPU裸金屬服務器實現容器化改造的同時,金山雲搭建了基於數據層面“Read Only”容器只讀環境,只將訓練好的模型進行推理運算,並在推理後將結果輸出到應用平台中呈現給最終用户。在模型推理期間,容器只讀取推理模型,不會把企業用户的敏感數據暴露給模型廠商,能夠打消企業用户對自身數據安全性方面的顧慮。
作為金山雲重要的戰略伙伴之一,目前,MiniMax與金山雲積極推動大模型生態建設。為了提供持續穩定的模型能力服務,金山雲MaaS互信推理專區方案已應用於“金山辦公+MiniMax”的實踐場景,保證了用户數據及模型的安全和互信。根據實際業務需求,MiniMax將持續對模型進行Fine-tuning優化,構建易用且規範的API接口和平台,同時不斷對模型進行升級和優化。
金山辦公-MiniMax實施架構圖
經過長時間積累,MiniMax是國內少有的同時擁有文本、語音、視覺三模態融合的通用大模型引擎能力,並打通產品全鏈路的創業公司。團隊將前沿的人工智能引擎技術,應用於多維度多場景的交互中,並以此進一步加速和賦能模型的進步和迭代。MiniMax於今年3月推出面向企業級的大模型解決方案,為企業和開發者提供領先的通用大模型能力,通過人工智能引擎技術底座幫助模型與業務流程順利融合,保障穩定性及安全合規性。目前已接入數百家企業客户,打通辦公協作、智能硬件、教育、醫療、客服等十餘個行業場景。基於MiniMax出色的大模型能力,金山辦公已經與MiniMax開展深度合作,未來會進一步推動大模型在辦公領域的應用和快速落地。
在為金山辦公和MiniMax提供服務的過程中,金山雲積累了MaaS服務的經驗。隨着技術迭代升級,該方案後續將引入大模型多租户隔離、Finetuning訓練和推理一體化專區等更多功能和業務模塊,為越來越多大模型領域的企業提供服務。