北京2026年4月23日 /美通社/ -- 摘要：上海開赟數(shù)字技術(shù)有限公司（下文簡稱開赟）聯(lián)手IBM，基于IBM Spectrum LSF（下文簡稱LSF）高性能作業(yè)調(diào)度和資源管理平臺，針對內(nèi)存資源優(yōu)化，推出了一套 "預(yù)、調(diào)、控、監(jiān)"深度組合拳，助力企業(yè)在算力成本風暴中實現(xiàn)降本增效。
在半導(dǎo)體供應(yīng)鏈劇烈波動的今天，服務(wù)器內(nèi)存等核心硬件價格一路走高。對于依賴高性能計算（HPC）的企業(yè)而言，以往那種"硬件不夠就繼續(xù)堆硬件"的粗放模式，已經(jīng)難以為繼。成本壓力之下，如何在不盲目采購新設(shè)備的前提下，充分挖掘現(xiàn)有每一根內(nèi)存條的潛力，已成為關(guān)乎企業(yè)核心競爭力的關(guān)鍵課題。
上海開赟數(shù)字技術(shù)有限公司（下文簡稱開赟）聯(lián)手IBM，基于IBM Spectrum LSF（下文簡稱LSF）高性能作業(yè)調(diào)度和資源管理平臺，針對內(nèi)存資源優(yōu)化，推出了一套 "預(yù)、調(diào)、控、監(jiān)"深度組合拳，助力企業(yè)在算力成本風暴中實現(xiàn)降本增效。
用戶提交作業(yè)時，常因無法準確預(yù)估內(nèi)存消耗而采取"寧多勿少"的策略。這種做法看似穩(wěn)妥，實則導(dǎo)致大量內(nèi)存資源被申請后長期閑置，集群無法接納新作業(yè)，整體利用率低下。
LSF Predictor結(jié)合IBM watsonx的機器學(xué)習(xí)能力，有效的解決了這一問題，系統(tǒng)會自動分析歷史作業(yè)的特征（用戶、提交命令、輸入數(shù)據(jù)等），訓(xùn)練出高精度的預(yù)測模型。當用戶再次提交作業(yè)時，系統(tǒng)會智能預(yù)測出作業(yè)所需要的內(nèi)存資源和運行時間，從源頭上打破資源虛標，讓集群內(nèi)存利用率實現(xiàn)質(zhì)的飛躍。
簡單的調(diào)度策略容易造成內(nèi)存碎片化，大作業(yè)進不來，小作業(yè)填不滿，集群利用率始終徘徊在低位。就像俄羅斯方塊堆砌不整，需要經(jīng)過智能編排，才能合理利用空間、減少資源浪費。
開赟利用 LSF 的高效調(diào)度算法，實現(xiàn)對內(nèi)存資源的"顆粒級"掌控。以回填調(diào)度機制為例，當系統(tǒng)為高優(yōu)先級的大作業(yè)預(yù)留內(nèi)存時，調(diào)度器會自動尋找時間縫隙，安排短小作業(yè)利用等待空窗期運行，確保內(nèi)存始終處于滿載狀態(tài)。而親和性調(diào)度則確保計算核心優(yōu)先訪問最近的本地內(nèi)存，通過提升作業(yè)運行速度來縮短內(nèi)存占用周期，變相提高資源周轉(zhuǎn)率。類似這樣提升內(nèi)存利用率的調(diào)度策略，在LSF中還有很多。開赟基于LSF，已經(jīng)積累了豐富的實踐經(jīng)驗。
某些異常作業(yè)或存在內(nèi)存泄露的程序，可能會吞噬整臺服務(wù)器的資源，導(dǎo)致系統(tǒng)宕機，影響其他作業(yè)。為此，LSF 提供了多維度的機制，來確保內(nèi)存資源得到合理利用。
LSF提供了兩種內(nèi)存限制策略：軟限制和硬限制。軟限制相當于一條"預(yù)警線"，系統(tǒng)會盡量將作業(yè)的內(nèi)存消耗控制在此范圍內(nèi)，但允許短暫超出，給予一定的緩沖。而硬限制則是一條不可逾越的"紅線"，一旦作業(yè)觸及，LSF會立即將其終止，防止單個作業(yè)拖垮整個節(jié)點。同時LSF可與Linux底層容器技術(shù)深度集成，為每個作業(yè)構(gòu)建多層次的內(nèi)存防護體系，確保集群整體穩(wěn)定。與此同時，動態(tài)搶占機制還允許核心業(yè)務(wù)在資源緊張時，"借用"低優(yōu)先級作業(yè)的內(nèi)存，保障關(guān)鍵任務(wù)優(yōu)先運行。通過這種"軟硬兼施"的策略組合，集群能夠在穩(wěn)定運行的前提下，最大化內(nèi)存資源的有效利用。
實時"監(jiān)"控讓浪費無處藏身
如果沒有精細的監(jiān)控，管理員往往難以直觀發(fā)現(xiàn)集群中哪些作業(yè)占用了大量資源卻幾乎沒有實際計算貢獻，優(yōu)化工作也就缺乏明確的數(shù)據(jù)支撐。
借助LSF監(jiān)控平臺，系統(tǒng)能實時識別申請了高額內(nèi)存、但負載極低的作業(yè)，并自動生成按部門、項目組、用戶等多維度劃分的詳細資源消耗報告。還可以借助開赟ICP智能算力平臺，以IBM LSF為底層核心引擎，進一步實現(xiàn)調(diào)度、監(jiān)控、分析與優(yōu)化的一體化，為企業(yè)提供從算力分配到資源優(yōu)化的全生命周期管理。
這些報告清晰展示了每一部分資源的實際使用效率，幫助管理員快速定位浪費源頭，及時回收閑置內(nèi)存。同時，這些數(shù)據(jù)也為日常調(diào)度策略的調(diào)整提供了客觀依據(jù)，并為未來的硬件采購、集群擴容或架構(gòu)優(yōu)化構(gòu)建了科學(xué)的決策閉環(huán)，讓每一次資源投入都有據(jù)可查、有數(shù)可依。
以某國內(nèi)領(lǐng)先的芯片設(shè)計企業(yè)為例，該客戶在EDA仿真場景下面臨嚴重的內(nèi)存資源浪費問題，集群整體內(nèi)存利用率長期不足50%，即便持續(xù)擴容硬件，作業(yè)排隊現(xiàn)象依然嚴重。
開赟基于上述的LSF的"預(yù)、調(diào)、控、監(jiān)"組合拳，為該客戶構(gòu)建了精準的內(nèi)存資源管理體系。上線后，集群內(nèi)存利用率提升至78%以上，作業(yè)平均等待時間縮短超過30%，這意味著，在不新增硬件的情況下，變相釋放出數(shù)十臺服務(wù)器的算力容量，每年為客戶節(jié)省硬件采購成本數(shù)百萬元。
用戶對內(nèi)存的使用率越來越重視，為了響應(yīng)需求，LSF 即將發(fā)布的新版本中，將新增一項內(nèi)存報告功能，大幅增強對作業(yè)內(nèi)存使用情況的統(tǒng)計能力。該功能不僅可以從作業(yè)粒度查看內(nèi)存數(shù)據(jù)（如申請的內(nèi)存、實際使用的峰值和平均值，以及 swap 用量），還能提供衍生指標（包括內(nèi)存浪費或不足、使用壓力、風險等級、峰值與均值的對比），并支持按運行時長加權(quán)計算整體內(nèi)存使用效率。在統(tǒng)計總覽中，還可以看到平均內(nèi)存用量、作業(yè)申請的合理性、風險分布，以及整體內(nèi)存預(yù)留、使用、浪費與不足的累計情況，便于全面評估集群的內(nèi)存利用率和作業(yè)申請的合理性。
在硬件價格持續(xù)高漲的當下，"精耕細作"已不再是錦上添花，而是HPC持續(xù)發(fā)展的必然選擇。上海開赟與IBM聯(lián)合打造的這套組合方案，將AI的智能預(yù)測、調(diào)度的精細控制、風控的嚴密邊界與監(jiān)控的透明可視融為一體，形成了一套完整的資源優(yōu)化閉環(huán)。通過技術(shù)手段，讓企業(yè)每一分硬件投入都轉(zhuǎn)化為實實在在的科研產(chǎn)出與生產(chǎn)效率，實現(xiàn)真正意義上的"降本增效"。
上海開赟數(shù)字技術(shù)有限公司副總經(jīng)理楊杰表示："在硬件成本持續(xù)高企的背景下，HPC集群的內(nèi)存利用率，直接決定了企業(yè)的研發(fā)效率與競爭力。開赟基于LSF打造的‘預(yù)、調(diào)、控、監(jiān)'方案，從AI預(yù)測到精細化調(diào)度，再到多層次透明監(jiān)控，真正幫助企業(yè)用好每一字節(jié)內(nèi)存。這不僅是技術(shù)升級，更是算力管理理念的革新。"
IBM中國科技事業(yè)部架構(gòu)師何金池表示："LSF的核心優(yōu)勢不僅在于其強大的調(diào)度能力，更在于它能夠與AI等前沿技術(shù)深度融合，讓資源預(yù)測從‘憑經(jīng)驗'變成‘靠數(shù)據(jù)'，解決用戶最真實的痛點。此外，LSF通過智能的數(shù)據(jù)管理機制，進一步優(yōu)化了作業(yè)執(zhí)行過程中的數(shù)據(jù)訪問與遷移效率。LSF還有非常豐富的調(diào)度策略，全方位保障集群的高效運行。
IBM大中華區(qū)自動化業(yè)務(wù)總經(jīng)理許偉杰表示："當前，算力已成為企業(yè)數(shù)智化轉(zhuǎn)型的核心承載力，提效的關(guān)鍵在于資源的精細化管理。我們攜手開赟，基于LSF打造了從調(diào)度、預(yù)測到監(jiān)控的閉環(huán)方案，幫助企業(yè)在不增購硬件的前提下，充分釋放現(xiàn)有算力潛力。未來，IBM將持續(xù)深耕HPC領(lǐng)域的技術(shù)創(chuàng)新，助力企業(yè)真正實現(xiàn)降本增效與業(yè)務(wù)增長的雙贏。"
上海開赟數(shù)字技術(shù)有限公司，是一家高科技數(shù)字技術(shù)創(chuàng)新企業(yè)，專精特新企業(yè)，小巨人企業(yè)。我們專注于「先進信息技術(shù)服務(wù)」和「智能制造場景軟件研發(fā)」兩個核心業(yè)務(wù)，為廣大客戶提供先進生產(chǎn)力建設(shè)、數(shù)字化轉(zhuǎn)型、大數(shù)據(jù)和人工智能技術(shù)。在「先進信息技術(shù)服務(wù)」領(lǐng)域，開赟提供包括智能算力、AI、大數(shù)據(jù)、云計算、信息安全等眾多技術(shù)場景的應(yīng)用、構(gòu)建、運維；在「智能制造場景軟件研發(fā)」領(lǐng)域，開赟通過開赟ICP智能算力平臺、CMES智能制造軟件、CCLab-WorkFlow智能工作流軟件等相關(guān)產(chǎn)品，為客戶創(chuàng)造業(yè)務(wù)價值。
IBM 是全球領(lǐng)先的混合云、人工智能及企業(yè)服務(wù)提供商，幫助超過 175個國家和地區(qū)的客戶，從其擁有的數(shù)據(jù)中獲取商業(yè)洞察，簡化業(yè)務(wù)流程，降低成本，并獲得行業(yè)競爭優(yōu)勢。金融服務(wù)、電信和醫(yī)療健康等關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域的超過 4000家政府和企業(yè)實體依靠 IBM 混合云平臺和紅帽 OpenShift 快速、高效、安全地實現(xiàn)數(shù)字化轉(zhuǎn)型。IBM 在人工智能、量子計算、行業(yè)云解決方案和企業(yè)服務(wù)方面的突破性創(chuàng)新為我們的客戶提供了開放和靈活的選擇。對企業(yè)誠信、透明治理、社會責任、包容文化和服務(wù)精神的長期承諾是 IBM 業(yè)務(wù)發(fā)展的基石。
IBM 媒體聯(lián)絡(luò)人：陳赟，chychen@cn.ibm.com
