分類 資訊科技

cumulo-autumn/StreamDiffusion: StreamDiffusion: A Pipeline-Level Solution for Real-Time Interactive Generation

StreamDiffusion是一個由Akio Kodaira、Chenfeng Xu等開發的創新擴散管道,旨在提升即時互動圖像生成的效能。它的核心功能包括數據處理的流線化、改進的指導機制、GPU利用效率的提高、輸入輸出操作的高效管理、KV-Caches的優化預計算,以及模型加速工具的使用。項目提供了安裝指南、互動式txt2img演示,以及圖像到圖像和文本到圖像的應用示例。此外,還包括了隨機相似性過濾器和殘差CFG(RCFG)等功能,以進一步提高效率。

facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

「Llama 2」模型的範例與配方庫(llama-recipes)提供了關於如何快速開始對特定領域進行細調(fine-tuning)及執行細調模型推論的範例。此庫使用 Hugging Face 轉換版本的模型,以便使用。除了提供示範應用程式外,還展示了在本地、雲端和企業內部運行 Llama 2 的方法。它還包括了關於如何安全地使用 Llama 2 模型的指南,並提醒使用此技術可能帶來的風險。更多資訊可在 GitHub 的 llama-recipes 頁面查看。

Advancements in machine learning for machine learning – Google Research Blog

這篇Google研究部落格的文章介紹了機器學習(ML)領域的最新進展,特別是如何利用ML來提高ML工作負載的效率。文章強調了ML編譯器在優化用戶模型方面的重要性,並介紹了新的“TpuGraphs”數據集,這是針對大型張量計算圖的性能預測數據集。此外,文章還提出了一種名為“Graph Segment Training”的新方法,用於擴展圖神經網絡(GNN)訓練,以處理大型圖表。Google還舉辦了一場Kaggle競賽,參與者利用TpuGraphs數據集開發新技術,包括圖表剪枝/壓縮、特徵填充值的選擇、節點特徵的重要性,以及跨配置注意力機制的應用。這些進展將有助於在系統中進一步應用ML,特別是在結構化數據和人工智能研究方面。

Google’s AI note-taking app is now available to users in the US – The Verge

Google 已經將其實驗性人工智慧筆記應用程式 NotebookLM 推出至美國市場,並新增了許多功能。這款應用程式採用 Google 的 Gemini Pro AI 模型,以增強文件理解和推理能力。NotebookLM 不僅能夠摘要文件、提取關鍵點,還能回答有關筆記來源的問題。新功能讓用戶將筆記轉換成其他類型的文件,如大綱或學習指南,並選擇不同的格式。此外,根據用戶在應用程式中的操作,NotebookLM 會提供建議動作,比如改進文案的工具或推薦相關想法。還有其他功能,如保存有用回應、共享筆記,以及將 AI 聚焦於特定來源。Google 也放寬了 NotebookLM 的限制,允許用戶在筆記本中包含更多來源和文字。這款應用程式原名為 "Project Tailwind",最初於 5 月的 I/O 大會上推出,並在其 GPT-4 競爭對手 Gemini 公布數日後推廣至美國市場。

Gemini Pro 與 GPT 3.5 與 4.0之間摘要能力測試

在 12 月 13 日,Google 在台灣釋出了 Google AI Studio 和 Gemini Pro 的 API,供公司進行測試。Google Gemini 利用 Google AI Studio,而 GPT 3.5 和 GPT 4 則使用 ChatGPT。在測試期間,總結了一個基於 Django Ninja 開發的框架 Django Ninja CRUD,旨在簡化 CRUD(創建、讀取、更新、刪除)端點和測試開發。發現 Gemini Pro 偏好較短的回應,而 GPT 4 則提供了最簡潔全面的內容。

探索 Artifact Hub:雲原生技術的聚焦平台

Voyager 1's spacecraft and its challenges
Artifacthub.io, 創立於 Dan Kohn 於 2019 年的一個提案,是一個專為雲原生技術開發的平台。它主要功能是讓用戶輕鬆發現、安裝和發布 Kubernetes 相關的套件和配置。該網站支持多樣化內容,如 Helm 圖表、架構和模板,並提供訂閱新版本和安全警報的通知功能。Artifact Hub 的創建旨在提高尋找和共享雲原生技術資源的效率和便利性。在相同類型的網站中,CNCF(Cloud Native Computing Foundation)提供豐富的雲原生技術資源和工具,是雲原生技術領域的重要推動者。

Google calls Drive data loss “fixed,” locks forum threads saying otherwise | Ars Technica

谷歌近期面臨Google Drive數據丟失問題,該問題影響了部分用戶的文件,尤其是在應用程式版本84.0.0.0至84.0.4.0之間。谷歌將其歸因於同步問題,但用戶報告指出問題更為嚴重,包括通過網頁介面創建的文件丟失。谷歌提供了數種文件恢復方法,包括使用桌面應用程序的隱藏用戶介面和命令行工具,但許多用戶表示這些方法無效。此外,谷歌在社群論壇上鎖定相關討論串,對此問題的溝通和解決方案缺乏透明度,增加了用戶對其處理方式的質疑,對Google Drive的信任度造成影響。

[2312.04782] Make Them Spill the Beans! Coercive Knowledge Extraction from (Production) LLMs

這份研究揭示了一種新的威脅,稱為「模型審問」,它能從大型語言模型(LLMs)中強制提取隱藏的有害回應,這對LLMs的倫理一致性構成挑戰。這種方法比傳統的越獄方法更有效,能從編碼任務設計的模型中提取有毒知識。研究強調了LLM一致性的重要性,以及LLMs可能被強迫執行危及隱私的任務,如披露個人信息和猜測弱密碼的風險。

Zero downtime Postgres upgrades | Knock

Knock公司近期透過邏輯複製和一系列支援腳本,在零停機時間內將其Postgres資料庫從11.9版本升級至15.3。此過程涉及逐一添加資料表至新舊資料庫間的出版物和訂閱,並根據資料表大小和特性採取不同策略。升級過程中密切監控系統性能以確保服務穩定,並在確認新舊資料庫資料一致後,平滑轉移至新資料庫