SIAT新聞網(wǎng)
深圳先進(jìn)院在系統(tǒng)配置參數(shù)自動(dòng)快速調(diào)優(yōu)研究方面取得突破
近日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院數(shù)字所異構(gòu)智能計(jì)算中心在系統(tǒng)配置參數(shù)自動(dòng)快速調(diào)優(yōu)研究方面取得重要進(jìn)展，相關(guān)成果以“Swift: Fast Performance Tuning with GAN-Generated Configurations”為題被計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級(jí)會(huì)議的CCF A類會(huì)議USENIX ATC'25 （The 2025 USENIX Annual Technical Conference）接收。該會(huì)議致力于展示和討論計(jì)算機(jī)系統(tǒng)領(lǐng)域中的新思想和最新研究成果。深圳先進(jìn)院異構(gòu)智能計(jì)算中心陳超助理研究員為論文第一作者，深圳先進(jìn)院異構(gòu)智能計(jì)算中心喻之斌研究員為通訊作者。
本文提出Swift方法，這是一種新穎的、基于貝葉斯優(yōu)化（BO）的大數(shù)據(jù)系統(tǒng)參數(shù)配置快速自動(dòng)調(diào)優(yōu)方法。其核心思想是利用一種生成式人工智能方法，即生成對(duì)抗網(wǎng)絡(luò)（GAN），根據(jù)已評(píng)估的性能最佳的配置來生成高質(zhì)量的配置。將這些配置與隨機(jī)生成的配置相混合，具有使搜索空間向最優(yōu)配置傾斜的效果，從而實(shí)現(xiàn)更快的收斂速度，并減少優(yōu)化時(shí)間。實(shí)驗(yàn)結(jié)果表明，與由CherryPick調(diào)優(yōu)的?Flink?程序相比，Swift?將其吞吐量提升了最高達(dá)1.59倍，并將延遲最多降低了1.68倍。最重要的是，Swift僅用5.8小時(shí)就完成了優(yōu)化，而CherryPick至少需要12.5小時(shí)。對(duì)于Spark程序，Swift將由CherryPick調(diào)優(yōu)后的程序執(zhí)行時(shí)間最多縮短了2.2倍。我們還在一家互聯(lián)網(wǎng)巨頭的生產(chǎn)集群中，使用Flink程序?qū)wift進(jìn)行了評(píng)估。此前該程序是通過手動(dòng)調(diào)整配置參數(shù)進(jìn)行優(yōu)化的，一位專業(yè)的性能工程師花了四天時(shí)間才完成優(yōu)化。結(jié)果顯示，Swift?在僅6.8小時(shí)內(nèi)就將這個(gè)經(jīng)過手動(dòng)優(yōu)化的程序的吞吐量提升了2.3倍，并將其延遲降低了2.8倍。
USENIX Annual Technical Conference（USENIX ATC）創(chuàng)辦于1992年，是計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)和并行/分布式計(jì)算領(lǐng)域的頂級(jí)國(guó)際會(huì)議，為中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦A類國(guó)際會(huì)議。2025年USENIX年度技術(shù)會(huì)議（ATC'25,The 2025 USENIX Annual Technical Conference）將于將于2025年7月7日至7月9日在美國(guó)波士頓與OSDI共同召開。本次會(huì)議共有634篇論文投稿，100篇被接收，中稿率為15.8%。
Swift快速自動(dòng)調(diào)優(yōu)方法流程圖
附件下載：
