四十八個德瑞克

Dettato:20M 參數的開源音訊轉 MIDI 模型,成績壓過 1.3B 的 MuScriptor

Dettato 音訊轉 MIDI 模型文章封面,聲波光帶插畫

個人開發者近期發表 Dettato,一個只有 20M 參數的開源音訊轉 MIDI 模型。它在多項轉錄評測超越 1.3B 參數的 MuScriptor,也小幅領先閉源的 Mirelo A2M v1.1 Pro。訓練全程沒有使用版權錄音,模型權重開源,輸出可用於商業用途。

本文數據譯自原文研究頁,頁面發表於 2026 年 11 月 16 日,數據抓取於 2026 年 11 月 22 日。Hacker News 討論串編號 50526023,撰稿時即時分數 285,留言 59 則。

模型概覽

Dettato 定位是 SOTA 等級的開源音訊轉 MIDI 轉錄模型。對手包含三個:閉源的 Mirelo A2M v1.1 Pro、開源的 MuScriptor 1.3B,以及 Magenta 系列的 YourMT3+。Dettato 以大約 65 分之 1 的參數量,打敗體型最大的對手。

關鍵指標

綜合分數是 onset、frame、offset 三項 F1 的平均值。評測集採用 Mirelo 公布的測試集,包含 PHENICX、RWC 古典與 RWC 免版稅曲目。

模型 參數 綜合 Onset Frame Offset Drums
Dettato 20M 60.8 70.8 79.1 40.9 52.5
Mirelo A2M v1.1 Pro 未公開 56.1 67.1 75.7 40.1 41.4
MuScriptor 1.3B 47.4 57.0 71.2 31.4 30.1
YourMT3+ 46M 45.7 58.2 63.9 30.5 30.0

Dettato 五個欄位全拿第一。鼓組一欄差距最大,52.5 對上 Mirelo 的 41.4。Onset 是模型最強項,對應音高判斷。Offset 相對最弱,但仍然小贏 Mirelo。

分資料集表現

資料集 Dettato Mirelo MuScriptor
Bach10 91.3 未公布 54.7
Dagstuhl ChoirSet 60.8 未公布 35.5
PHENICX-Anechoic 64.8 60.9 54.4
RWC Popular 54.0 未公布 44.3
RWC Classical 64.4 65.8 58.4
RWC Genre 48.7 未公布 42.6
RWC Jazz 55.7 未公布 52.0
RWC Royalty-Free 61.6 56.2 46.8
Slakh2100 合成集 68.4 未公布 51.1

RWC Classical 是唯一輸給 Mirelo 的場地,64.4 對 65.8。Bach10 的 91.3 是全表最高分。其餘場地 Dettato 全部領先。

訓練資料:零版權錄音

作者把訓練資料分成三路。合成樂器錄音混合 CC 授權獨奏,以 URMP 資料集為基底混音。其餘樂器用大約 30 個 soundfont 互相混合,方法是作者先前發表的 soundfont babies。CC 錄音則做切分與拉伸,對齊目標 MIDI 音符。

作者的主張很直接。不用版權錄音不是綁住手腳的限制,反而逼出更好的模型,開放與閉源音樂檢索公司都可以學這一課。

作者的方法洞見

Dettato 開發大約 10 個月,4 月曾經打掉重練。作者一開始把音訊轉錄當成資料問題,後來發現瓶頸其實在架構。

他把音訊轉錄跟自己先前做的光學樂譜辨識對照。兩個領域早期都用演算法,後期都硬塞巨型 LLM 部件。這類模型天生容易對合成資料過擬合,因為全域建模把問題想難了。解法是把問題改寫成區域性問題。樂譜辨識用偵測器模型,音訊轉錄用音高通道模型。

作者自陳的侷限

作者在頁面先自己潑了冷水。模型分軌能力偏弱,相似音色的樂器會跳來跳去。輸出是對拍演奏 MIDI,不是能直接拿起來演奏的樂譜。需要樂譜的話,他推薦 Songscription 或 Klangio,兩家都是認真推進這個領域的公司。

頁面上的試聽播放器與上傳轉檔 demo 屬於互動展示區,這裡只記錄結論,不逐項轉錄。

社群討論:59 則留言的重點

Hacker News 討論串共 59 則留言,可讀頂層 36 則,抓取時間 2026 年 11 月 22 日。留言按回覆量排序,取高回覆子串整理,分成五組。

1. 實測回報:鋼琴與自錄歌曲效果最好

@hdb2 拿 Dixie Dregs 的鋼琴獨奏去轉,結果幾乎全對,直呼抄譜速度快了非常多。@lachlan_gray 試了侵略性很強的爵士樂,評價是轉得很穩。@ch_sm 用自家錄的流行與搖滾歌曲測試,結論是效果很好。@mewse-hn 則拿混亂嘈雜的 Nine Inch Nails 歌曲挑戰,轉出來的 26KB MIDI 檔案準確度出乎意料。

2. 流行與人聲是短板,作者親自回應

@rogerdickey 問頁面範例都是古典或純器樂,流行與饒舌表現如何。@lachlan_gray 回報爵士樂可用。作者 @hidude562 親自回應,饒舌還沒試過,流行樂大致可用,但人聲會糊掉。@thomspoon 補充,獨奏樂器效果很好,多樂器齊奏時容易混淆。

3. 樂器分軌與單一樂器鎖定

@dimmuborgir 上傳純鋼琴錄音,輸出卻被拆成鋼琴、吉他與鼓三軌,問能不能鎖定單一樂器。作者回應目前不行,要在後製自己編輯。@gregzem 問頻率重疊的樂器辨識,以及是否提供音符時值與力度。作者承認相似音色會跳軌,但確認 offset 與 velocity 都有提供。

4. 合成資料怎麼做:作者公開配方

@bryzaguy 追問合成樂器錄音怎麼做,是虛擬樂器還是生成式 AI。作者回應用虛擬樂器混合公有領域錄音,沒有用生成式 AI。方法是手上大約 30 個音色庫,加上自己發表的 soundfont babies 混音法。CC 錄音則切分拉伸去對 MIDI 音符。

5. 倫理選擇獲得最多掌聲

@peaseagee 開頭就肯定作者只用開放與公有領域錄音,證明這條路走得通。@gw32 認為討好音樂人就該這麼做,這是維持信任的必要條件。@SoleilAbsolu 也說,在到處抓取版權素材的年代,這種做法讓人耳目一新。作者還被問到 12TET 以外的調律,回應是模型只預測十二平均律,替代調律應該不行,但基準音 A4 重調沒問題。

其餘值得一記的回報。@dekhn 用 45 分鐘長檔測試,GPU 報錯但 CPU 跑完了,轉錄品質不錯。@gpugreg 建議網站做去重,連點轉檔按鈕會重複扣費。@JodieBenitez 許願 Bitwig 直接內建,@alin23 則說自己正在把 MuScriptor 接進 macOS 練琴 App,看到 Dettato 非常開心。

視覺懶人包

手機版若無法顯示內嵌頁面,可直接開啟備援連結:Dettato 懶人包全文

編後語

小模型打敗大模型的故事很多,但這次有兩個地方值得記住。第一,分軌與人聲仍是硬傷,作者沒有藏,留言區的實測也對得上,分數好看不代表什麼曲風都通吃。第二,零版權訓練反而逼出架構創新,這個因果值得玩味。資料受限時,人只好回頭修架構,而架構修對了,分數就跟著來了。對開源音樂工具來說,這是比模型本身更重要的消息。

原文連結:Dettato 研究頁

Exit mobile version