分類 資訊科技

cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation

StreamDiffusion是一個由Akio Kodaira、Chenfeng Xu等開發的創新擴散管道，旨在提升即時互動圖像生成的效能。它的核心功能包括數據處理的流線化、改進的指導機制、GPU利用效率的提高、輸入輸出操作的高效管理、KV-Caches的優化預計算，以及模型加速工具的使用。項目提供了安裝指南、互動式txt2img演示，以及圖像到圖像和文本到圖像的應用示例。此外，還包括了隨機相似性過濾器和殘差CFG（RCFG）等功能，以進一步提高效率。

facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

「Llama 2」模型的範例與配方庫（llama-recipes）提供了關於如何快速開始對特定領域進行細調（fine-tuning）及執行細調模型推論的範例。此庫使用 Hugging Face 轉換版本的模型，以便使用。除了提供示範應用程式外，還展示了在本地、雲端和企業內部運行 Llama 2 的方法。它還包括了關於如何安全地使用 Llama 2 模型的指南，並提醒使用此技術可能帶來的風險。更多資訊可在 GitHub 的 llama-recipes 頁面查看。

Advancements in machine learning for machine learning – Google Research Blog

這篇Google研究部落格的文章介紹了機器學習（ML）領域的最新進展，特別是如何利用ML來提高ML工作負載的效率。文章強調了ML編譯器在優化用戶模型方面的重要性，並介紹了新的“TpuGraphs”數據集，這是針對大型張量計算圖的性能預測數據集。此外，文章還提出了一種名為“Graph Segment Training”的新方法，用於擴展圖神經網絡（GNN）訓練，以處理大型圖表。Google還舉辦了一場Kaggle競賽，參與者利用TpuGraphs數據集開發新技術，包括圖表剪枝/壓縮、特徵填充值的選擇、節點特徵的重要性，以及跨配置注意力機制的應用。這些進展將有助於在系統中進一步應用ML，特別是在結構化數據和人工智能研究方面。

Google’s AI note-taking app is now available to users in the US – The Verge

Google 已經將其實驗性人工智慧筆記應用程式 NotebookLM 推出至美國市場，並新增了許多功能。這款應用程式採用 Google 的 Gemini Pro AI 模型，以增強文件理解和推理能力。NotebookLM 不僅能夠摘要文件、提取關鍵點，還能回答有關筆記來源的問題。新功能讓用戶將筆記轉換成其他類型的文件，如大綱或學習指南，並選擇不同的格式。此外，根據用戶在應用程式中的操作，NotebookLM 會提供建議動作，比如改進文案的工具或推薦相關想法。還有其他功能，如保存有用回應、共享筆記，以及將 AI 聚焦於特定來源。Google 也放寬了 NotebookLM 的限制，允許用戶在筆記本中包含更多來源和文字。這款應用程式原名為 "Project Tailwind"，最初於 5 月的 I/O 大會上推出，並在其 GPT-4 競爭對手 Gemini 公布數日後推廣至美國市場。

Gemini Pro 與 GPT 3.5 與 4.0之間摘要能力測試

在 12 月 13 日，Google 在台灣釋出了 Google AI Studio 和 Gemini Pro 的 API，供公司進行測試。Google Gemini 利用 Google AI Studio，而 GPT 3.5 和 GPT 4 則使用 ChatGPT。在測試期間，總結了一個基於 Django Ninja 開發的框架 Django Ninja CRUD，旨在簡化 CRUD（創建、讀取、更新、刪除）端點和測試開發。發現 Gemini Pro 偏好較短的回應，而 GPT 4 則提供了最簡潔全面的內容。

探索 Artifact Hub：雲原生技術的聚焦平台

Voyager 1's spacecraft and its challenges
Artifacthub.io, 創立於 Dan Kohn 於 2019 年的一個提案，是一個專為雲原生技術開發的平台。它主要功能是讓用戶輕鬆發現、安裝和發布 Kubernetes 相關的套件和配置。該網站支持多樣化內容，如 Helm 圖表、架構和模板，並提供訂閱新版本和安全警報的通知功能。Artifact Hub 的創建旨在提高尋找和共享雲原生技術資源的效率和便利性。在相同類型的網站中，CNCF（Cloud Native Computing Foundation）提供豐富的雲原生技術資源和工具，是雲原生技術領域的重要推動者。

Google calls Drive data loss “fixed,” locks forum threads saying otherwise | Ars Technica

谷歌近期面臨Google Drive數據丟失問題，該問題影響了部分用戶的文件，尤其是在應用程式版本84.0.0.0至84.0.4.0之間。谷歌將其歸因於同步問題，但用戶報告指出問題更為嚴重，包括通過網頁介面創建的文件丟失。谷歌提供了數種文件恢復方法，包括使用桌面應用程序的隱藏用戶介面和命令行工具，但許多用戶表示這些方法無效。此外，谷歌在社群論壇上鎖定相關討論串，對此問題的溝通和解決方案缺乏透明度，增加了用戶對其處理方式的質疑，對Google Drive的信任度造成影響。

[2312.04782] Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMs

這份研究揭示了一種新的威脅，稱為「模型審問」，它能從大型語言模型（LLMs）中強制提取隱藏的有害回應，這對LLMs的倫理一致性構成挑戰。這種方法比傳統的越獄方法更有效，能從編碼任務設計的模型中提取有毒知識。研究強調了LLM一致性的重要性，以及LLMs可能被強迫執行危及隱私的任務，如披露個人信息和猜測弱密碼的風險。

Zero downtime Postgres upgrades | Knock

Knock公司近期透過邏輯複製和一系列支援腳本，在零停機時間內將其Postgres資料庫從11.9版本升級至15.3。此過程涉及逐一添加資料表至新舊資料庫間的出版物和訂閱，並根據資料表大小和特性採取不同策略。升級過程中密切監控系統性能以確保服務穩定，並在確認新舊資料庫資料一致後，平滑轉移至新資料庫