這篇Google研究部落格的文章闡述了機器學習（ML）領域的一項重大進展，即利用ML技術來提升ML工作負載的效率。文中首先介紹了ML編譯器的運作方式，它將用戶編寫的程序轉換為可在硬件上執行的指令。這些編譯器必須解決諸如圖級和核心級的優化問題。為了提高這些編譯器的性能，Google推出了“TpuGraphs”數據集，專門用於大型張量計算圖的性能預測。這個數據集收集了來自開源ML程序的圖表，涵蓋了多種流行的模型架構，如ResNet、EfficientNet、Mask R-CNN和Transformer等。
文章還介紹了一種新方法，“Graph Segment Training”（GST），用於擴展圖神經網絡（GNN）的訓練，使其能夠處理大型圖表。這個方法將大圖分割成較小的片段，並隨機選擇這些片段來更新模型，同時為剩餘的片段產生嵌入，而不保存它們的中間激活，從而降低記憶體消耗。這種方法使得整體訓練時間加快了3倍。
最後，Google舉辦了一場名為“Fast or Slow? Predict AI Model Runtime”的Kaggle競賽，該競賽使用TpuGraphs數據集。競賽共吸引了來自66個國家的792名參與者，組成了616支隊伍。參賽者開發了許多新技術，例如圖表剪枝/壓縮、特徵填充值的選擇和節點特徵的重要性。這些進展不僅顯示了ML技術在系統層面的應用潛力，也推動了結構化數據和人工智能領域的研究。
內容出處: Advancements in machine learning for machine learning – Google Research Blog