四十八個德瑞克

Advancements in machine learning for machine learning – Google Research Blog

這篇Google研究部落格的文章闡述了機器學習(ML)領域的一項重大進展,即利用ML技術來提升ML工作負載的效率。文中首先介紹了ML編譯器的運作方式,它將用戶編寫的程序轉換為可在硬件上執行的指令。這些編譯器必須解決諸如圖級和核心級的優化問題。為了提高這些編譯器的性能,Google推出了“TpuGraphs”數據集,專門用於大型張量計算圖的性能預測。這個數據集收集了來自開源ML程序的圖表,涵蓋了多種流行的模型架構,如ResNet、EfficientNet、Mask R-CNN和Transformer等。

文章還介紹了一種新方法,“Graph Segment Training”(GST),用於擴展圖神經網絡(GNN)的訓練,使其能夠處理大型圖表。這個方法將大圖分割成較小的片段,並隨機選擇這些片段來更新模型,同時為剩餘的片段產生嵌入,而不保存它們的中間激活,從而降低記憶體消耗。這種方法使得整體訓練時間加快了3倍。

最後,Google舉辦了一場名為“Fast or Slow? Predict AI Model Runtime”的Kaggle競賽,該競賽使用TpuGraphs數據集。競賽共吸引了來自66個國家的792名參與者,組成了616支隊伍。參賽者開發了許多新技術,例如圖表剪枝/壓縮、特徵填充值的選擇和節點特徵的重要性。這些進展不僅顯示了ML技術在系統層面的應用潛力,也推動了結構化數據和人工智能領域的研究。

內容出處: Advancements in machine learning for machine learning – Google Research Blog

Exit mobile version