NEWS & ARTICLE

Google開放比8年前更大更完整的Borg叢集追蹤資料,供雲端技術研究用

decree 2020-05-01

經過8年,Google再次釋出Borg叢集管理系統的追蹤資料,供外界進行研究與分析,Google提到,從2011年第一次發布Borg叢集追蹤資料以來,機器與軟體經過一段時間發展,工作負載也產生變化,工作負載變動的重要性越來越顯著。

Google的Borg是一個叢集管理系統,這些叢集的規模,可高達數萬臺電腦,Borg跨多個叢集執行來自為數龐大應用程式,所產生的成千上萬個作業。Borg透過程序層級的效能隔離,執行控制許可、打包任務以及機器共享等功能,達到高利用率的目的。幾乎所有的Google服務底層都是仰賴Borg,像是運作Google文件的機器,還有Google雲端運算服務的機器,都是由Borg管理。

Borg系統這樣的規模以及應用,使其追蹤資料極具研究價值,在8年前,Google發布了為期29天的Borg叢集追蹤紀錄,包含了Borg運算叢集中的所有作業提交、調度決定和資源使用情況資料,這份追蹤資料被廣泛地用在叢集以及雲端研究上,像是叢集調度程序以及雲端運算的技術發展上。

而現在技術的發展,已經與8年前不可同日而語,為了供研究人員探索這些變化,Google發布了新的2019年5月追蹤資料,這次釋出的資料集比2011年的還大,涵蓋8個Google運算叢集,而且還包括每5分鐘一次的CPU使用率直方圖,而不像之前僅是點樣本,還有分配集的相關資料,包括作業用的預留共享資源等,另外,這次資料集還給了Master和Worker關係資訊。

Google強調,這些追蹤資料重點在於資源的請求和使用上,不會包含終端用戶資料,或是存取儲存系統和服務的模式。現在這些資料已經放在Google BigQuery上,讓研究人員存取以及分析。


出處:https://www.ithome.com.tw/news/137313

關注我們

NOTICE US