StreamDiffusion是一款為即時互動生成設計的創新擴散管道,由Akio Kodaira、Chenfeng Xu等多位作者共同開發。該項目主要改進了目前基於擴散的圖像生成技術的性能【6†來源】。
它的關鍵功能包括:
- 通過有效的批量操作,實現數據處理的流線化。
- 改進的指導機制,以減少計算冗餘。
- 通過先進的過濾技術提高GPU利用效率。
- 高效管理輸入和輸出操作,以實現更平滑的執行。
- 為KV-Caches進行預計算,以加速處理。
- 利用各種工具進行模型優化和性能提升。
在使用GPU:RTX 4090、CPU:Core i9-13900K和OS:Ubuntu 22.04.3 LTS的環境下,通過StreamDiffusion管道產生的圖像顯示了顯著的性能改進。
安裝步驟包括克隆存儲庫、創建環境、安裝PyTorch和安裝StreamDiffusion,可透過pip、conda或Docker進行。
該項目還提供了互動式的txt2img演示,以及圖像到圖像和文本到圖像的使用示例。此外,它還引入了隨機相似性過濾器和殘差CFG(RCFG)等選項功能,以進一步提高效率和效能。
該項目的開發團隊包括多位專家,如Aki、Ararat、Chenfeng Xu等,並對使用LCM-LoRA和KohakuV2模型以及SD-Turbo生成的視頻和圖像示例表示感謝。