Gemini Pro 與 GPT 3.5 與 4.0之間摘要能力測試

在 12 月 13 日,Google 在台灣釋出了 Google AI Studio 和 Gemini Pro 的 API,供公司進行測試。Google Gemini 利用 Google AI Studio,而 GPT 3.5 和 GPT 4 則使用 ChatGPT。在測試期間,總結了一個基於 Django Ninja 開發的框架 Django Ninja CRUD,旨在簡化 CRUD(創建、讀取、更新、刪除)端點和測試開發。發現 Gemini Pro 偏好較短的回應,而 GPT 4 則提供了最簡潔全面的內容。

Google在台灣台北時間12月13日釋出了Google AI Studio以及Gemini Pro的API提供企業免費測試試用,以下快速的進行一個簡單的摘要能力測試。

測試環境說明

Google Gemini 使用 Google AI Studio,而GPT 3.5與GPT 4則使用ChatGPT來完成。

首先,使用ChatGPT 4總結以下Github hbakri/django-ninja-crud: ✨ Declarative CRUD Endpoints & Tests with Django Ninja. (github.com) 得到以下內容:

Django Ninja CRUD 是一個基於 Django Ninja 開發的框架,旨在簡化 CRUD(Create, Read, Update, Delete)端點和測試的開發工作。它提倡高效和穩健的端點創建最佳實踐,使開發者能夠專注於解決實際問題。這個框架最初受到 Django REST framework (DRF) 的 ModelViewSet 啟發,但為了解決其局限性,採用了組合優於繼承的方法,從而實現真正的模塊化,這是向更廣泛的宣告式接口邁進的重要一步。

Django Ninja CRUD 的主要特點包括:
1. 完全宣告式:定義視圖和測試時,只需聲明你想要什麼,而不是如何達成。
2. 無與倫比的模塊性:可以輕鬆地定製你的視圖集合,以及每個視圖的行為。
3. 強大的測試框架:使用基於矩陣的測試框架,以宣告方式定義多種測試情境。
4. 專注於重要事物:減少在 CRUD 模板上的時間,更多地解決實際問題。

此外,該框架提供了簡便的安裝方式,只需使用 pip 命令安裝即可。在使用上,Django Ninja CRUD 使得開發者可以透過簡單幾行代碼來設置 CRUD 操作。例如,建立一個大學系所系統時,你可以快速定義模型和視圖集合,以及進行數據轉換。此外,這個包也使視圖的測試變得更加容易,一旦設置了 CRUD 操作,就可以編寫測試以確保它們按預期工作。更多關於 Django Ninja CRUD 的信息可以在其官方文檔中找到

該項目的開發者也鼓勵對此項目感興趣的人在 GitHub 上給予星標或進一步支持,以促進其持續改進和增加其在潛在用戶和貢獻者中的可見度。

測試結果

使用Gemini Pro

Freeform Prompt:

Shorten the following summary in one paragraph:
{剛剛的摘要內容}
Output:

輸出:

Django Ninja CRUD 是一個使開發者能夠以輕鬆便捷的方式創建 CRUD 操作的框架。它提倡高效且穩健的端點創建,並提供強大的測試框架以確保數據操作的正確性。

使用GPT 4

Chat Prompt: Shorten your response in just one paragraph

Output: Django Ninja CRUD 是一個基於 Django Ninja 的框架,用於簡化 CRUD(創建、讀取、更新、刪除)端點和測試的開發。它採用完全宣告式的方法,提供無與倫比的模塊性和強大的測試框架,讓開發者能專注於解決實際問題。透過簡單的安裝和易於使用的接口,開發者可以快速設置 CRUD 操作並進行有效測試。此外,該項目的文檔提供了詳細的使用指南,並鼓勵社區成員通過 GitHub 星標或其他方式支持其發展。

使用GPT 3.5

Chat Prompt: Shorten the following summary in one paragraph and response in traiditonal chinese:
{剛剛的摘要內容}

(必須要加入response in traiditonal chinese不然有機率會輸出英文內容)

Output: Django Ninja CRUD 是基於 Django Ninja 開發的框架,旨在簡化 CRUD(Create, Read, Update, Delete)端點和測試的開發工作,並倡導高效的端點創建實踐。它受到 Django REST framework (DRF) 的啟發,但使用了組合而非繼承的方法,實現了真正的模塊化。該框架的主要特點包括宣告式的定義、高度的模塊性、強大的測試框架,以及專注於解決實際問題。使用 Django Ninja CRUD,開發者可以輕鬆定製視圖集合並進行測試,並且可以使用簡單的代碼設置 CRUD 操作,從而節省時間並確保功能正常運作。此外,它還提供簡單的安裝方式,詳細信息可在官方文檔中找到。開發者歡迎在 GitHub 上支持該項目,以推動其改進和擴展。

結論

三者之間以類似的prompt要求其縮寫先前的總結內容為較短的項目,Gemini Pro傾向回覆較短的內容,甚至應該只是幾句話,但GPT 3.5跟GPT 4相對來說能比較能表達完整的內容,而GPT 4的改寫比GPT 3.5再簡潔精鍊一點。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *