數據科普|語言模型巔峰對決:谷歌的PaLM 2對比OpenAI的GPT-4

谷歌
谷歌

剛剛看完今年的谷歌 I/O 開發者大會,我注意到了一個重要的新聞:谷歌宣布推出最新的大型語言模型PaLM 2和新一代Bard,那些都是被認為與OpenAI的GPT-4和ChatGPT競爭的產品。在這篇文章中,我將為大家介紹PaLM 2,並對其與ChatGPT進行一些比較。

谷歌
谷歌
捲動即可繼續查看內容
廣告

谷歌在今年二月急忙發布了第一代Bard,原因是OpenAI的ChatGPT突然崛起,開始瓜分行業的市場份額。第一代Bard的表現可謂乏善足陳,尤其考慮到谷歌通常被認為是AI領域的先驅,這對谷歌的公共形象和業績產生了負面影響。在過去的幾個月里,谷歌努力進一步開發第二代大型語言模型PaLM 2(全名Pathways Language Model 2),用於理解和生成多語言文本。與前代相比,PaLM 2有很多重要的改進,已經被應用在近25個谷歌產品中,包括Gmail、Google Docs和Google Search。值得一提的是,PaLM 2是一個擁有5400億參數的模型,建立在谷歌最新的JAX和TPU v4基礎設施之上。

與OpenAI的ChatGPT一樣,谷歌並未提供太多關於如何訓練這款新一代模型的技術細節。然而,PaLM 2在訓練數據集上可能超越了ChatGPT。PaLM 2的數據集包含1.56兆個單詞,而GPT-4的數據集包含1.37兆個單詞。這意味著Bard和PaLM 2可以獲得更多數據,從而使它們對世界的了解更加全面,生成更準確且信息豐富的文本。

谷歌在開發者大會上專注於其功能,表示其新模型在常識推理、數學和邏輯方面表現更好。眾所周知,大型語言模型在處理這類問題時往往存在一定的局限性。然而,PaLM 2據稱能夠更好地理解語境並生成更具邏輯性的答案。此外,PaLM 2在生成文本時,也著重於減少偏見和歧視性語言,以確保用戶獲得更安全、可靠的信息。

谷歌
谷歌

然而,在我剛剛測試新的Bard時候,幻覺(hallucinations)問題仍然存在。當我問以它與ChatGPT比較時,它的回答是「Bard 和 PaLM 2 都基於變換器(Transformer)架構,而 OpenAI 和 ChatGPT 則基於循環神經網絡(RNN)架構。變換器能夠學習單詞之間的長距離依賴關係,這使得它們能夠比 RNN 更細緻地理解文本的含義。」這是一個事實上不正確的答案!

谷歌表示已經對PaLM 2進行了大量的測試和優化,以確保模型在各種應用場景下的性能,並宣布不再需要先註冊加入Bard的等候名單,服務範圍亦擴展到180個其他國家和地區。然而,可惜的是香港並不在其中,在我剛剛的初步測試中,它尚無法幫助我將文本翻譯成中文。在香港從事AI行業的朋友,確實面臨著一些挑戰。

文:劉偉良(Eden)/社交媒體商業應用公司天勤(Tocanan)首席執行官

原文刊登於 AM730 https://www.am730.com.hk/本地/數據科普-語言模型巔峰對決-谷歌的palm-2對比openai的gpt-4/376551?utm_source=yahoorss&utm_medium=referral