個人開發者近期發表 Dettato,一個只有 20M 參數的開源音訊轉 MIDI 模型。它在多項轉錄評測超越 1.3B 參數的 MuScriptor,也小幅領先閉源的 Mirelo A2M v1.1 Pro。訓練全程沒有使用版權錄音,模型權重開源,輸出可用於商業用途。
本文數據譯自原文研究頁,頁面發表於 2026 年 11 月 16 日,數據抓取於 2026 年 11 月 22 日。Hacker News 討論串編號 50526023,撰稿時即時分數 285,留言 59 則。
模型概覽
Dettato 定位是 SOTA 等級的開源音訊轉 MIDI 轉錄模型。對手包含三個:閉源的 Mirelo A2M v1.1 Pro、開源的 MuScriptor 1.3B,以及 Magenta 系列的 YourMT3+。Dettato 以大約 65 分之 1 的參數量,打敗體型最大的對手。
關鍵指標
綜合分數是 onset、frame、offset 三項 F1 的平均值。評測集採用 Mirelo 公布的測試集,包含 PHENICX、RWC 古典與 RWC 免版稅曲目。
| 模型 | 參數 | 綜合 | Onset | Frame | Offset | Drums |
|---|---|---|---|---|---|---|
| Dettato | 20M | 60.8 | 70.8 | 79.1 | 40.9 | 52.5 |
| Mirelo A2M v1.1 Pro | 未公開 | 56.1 | 67.1 | 75.7 | 40.1 | 41.4 |
| MuScriptor | 1.3B | 47.4 | 57.0 | 71.2 | 31.4 | 30.1 |
| YourMT3+ | 46M | 45.7 | 58.2 | 63.9 | 30.5 | 30.0 |
Dettato 五個欄位全拿第一。鼓組一欄差距最大,52.5 對上 Mirelo 的 41.4。Onset 是模型最強項,對應音高判斷。Offset 相對最弱,但仍然小贏 Mirelo。
分資料集表現
| 資料集 | Dettato | Mirelo | MuScriptor |
|---|---|---|---|
| Bach10 | 91.3 | 未公布 | 54.7 |
| Dagstuhl ChoirSet | 60.8 | 未公布 | 35.5 |
| PHENICX-Anechoic | 64.8 | 60.9 | 54.4 |
| RWC Popular | 54.0 | 未公布 | 44.3 |
| RWC Classical | 64.4 | 65.8 | 58.4 |
| RWC Genre | 48.7 | 未公布 | 42.6 |
| RWC Jazz | 55.7 | 未公布 | 52.0 |
| RWC Royalty-Free | 61.6 | 56.2 | 46.8 |
| Slakh2100 合成集 | 68.4 | 未公布 | 51.1 |
RWC Classical 是唯一輸給 Mirelo 的場地,64.4 對 65.8。Bach10 的 91.3 是全表最高分。其餘場地 Dettato 全部領先。
訓練資料:零版權錄音
作者把訓練資料分成三路。合成樂器錄音混合 CC 授權獨奏,以 URMP 資料集為基底混音。其餘樂器用大約 30 個 soundfont 互相混合,方法是作者先前發表的 soundfont babies。CC 錄音則做切分與拉伸,對齊目標 MIDI 音符。
作者的主張很直接。不用版權錄音不是綁住手腳的限制,反而逼出更好的模型,開放與閉源音樂檢索公司都可以學這一課。
作者的方法洞見
Dettato 開發大約 10 個月,4 月曾經打掉重練。作者一開始把音訊轉錄當成資料問題,後來發現瓶頸其實在架構。
他把音訊轉錄跟自己先前做的光學樂譜辨識對照。兩個領域早期都用演算法,後期都硬塞巨型 LLM 部件。這類模型天生容易對合成資料過擬合,因為全域建模把問題想難了。解法是把問題改寫成區域性問題。樂譜辨識用偵測器模型,音訊轉錄用音高通道模型。
作者自陳的侷限
作者在頁面先自己潑了冷水。模型分軌能力偏弱,相似音色的樂器會跳來跳去。輸出是對拍演奏 MIDI,不是能直接拿起來演奏的樂譜。需要樂譜的話,他推薦 Songscription 或 Klangio,兩家都是認真推進這個領域的公司。
頁面上的試聽播放器與上傳轉檔 demo 屬於互動展示區,這裡只記錄結論,不逐項轉錄。
社群討論:59 則留言的重點
Hacker News 討論串共 59 則留言,可讀頂層 36 則,抓取時間 2026 年 11 月 22 日。留言按回覆量排序,取高回覆子串整理,分成五組。
1. 實測回報:鋼琴與自錄歌曲效果最好
@hdb2 拿 Dixie Dregs 的鋼琴獨奏去轉,結果幾乎全對,直呼抄譜速度快了非常多。@lachlan_gray 試了侵略性很強的爵士樂,評價是轉得很穩。@ch_sm 用自家錄的流行與搖滾歌曲測試,結論是效果很好。@mewse-hn 則拿混亂嘈雜的 Nine Inch Nails 歌曲挑戰,轉出來的 26KB MIDI 檔案準確度出乎意料。
2. 流行與人聲是短板,作者親自回應
@rogerdickey 問頁面範例都是古典或純器樂,流行與饒舌表現如何。@lachlan_gray 回報爵士樂可用。作者 @hidude562 親自回應,饒舌還沒試過,流行樂大致可用,但人聲會糊掉。@thomspoon 補充,獨奏樂器效果很好,多樂器齊奏時容易混淆。
3. 樂器分軌與單一樂器鎖定
@dimmuborgir 上傳純鋼琴錄音,輸出卻被拆成鋼琴、吉他與鼓三軌,問能不能鎖定單一樂器。作者回應目前不行,要在後製自己編輯。@gregzem 問頻率重疊的樂器辨識,以及是否提供音符時值與力度。作者承認相似音色會跳軌,但確認 offset 與 velocity 都有提供。
4. 合成資料怎麼做:作者公開配方
@bryzaguy 追問合成樂器錄音怎麼做,是虛擬樂器還是生成式 AI。作者回應用虛擬樂器混合公有領域錄音,沒有用生成式 AI。方法是手上大約 30 個音色庫,加上自己發表的 soundfont babies 混音法。CC 錄音則切分拉伸去對 MIDI 音符。
5. 倫理選擇獲得最多掌聲
@peaseagee 開頭就肯定作者只用開放與公有領域錄音,證明這條路走得通。@gw32 認為討好音樂人就該這麼做,這是維持信任的必要條件。@SoleilAbsolu 也說,在到處抓取版權素材的年代,這種做法讓人耳目一新。作者還被問到 12TET 以外的調律,回應是模型只預測十二平均律,替代調律應該不行,但基準音 A4 重調沒問題。
其餘值得一記的回報。@dekhn 用 45 分鐘長檔測試,GPU 報錯但 CPU 跑完了,轉錄品質不錯。@gpugreg 建議網站做去重,連點轉檔按鈕會重複扣費。@JodieBenitez 許願 Bitwig 直接內建,@alin23 則說自己正在把 MuScriptor 接進 macOS 練琴 App,看到 Dettato 非常開心。
視覺懶人包
手機版若無法顯示內嵌頁面,可直接開啟備援連結:Dettato 懶人包全文
編後語
小模型打敗大模型的故事很多,但這次有兩個地方值得記住。第一,分軌與人聲仍是硬傷,作者沒有藏,留言區的實測也對得上,分數好看不代表什麼曲風都通吃。第二,零版權訓練反而逼出架構創新,這個因果值得玩味。資料受限時,人只好回頭修架構,而架構修對了,分數就跟著來了。對開源音樂工具來說,這是比模型本身更重要的消息。
原文連結:Dettato 研究頁
