Meta的生成式人工智能工具，與ChatGPT和谷歌Bard相比如何？
STEPHEN PASTIS
2023-08-16
圖片來源：OMAR MARQUES/SOPA IMAGES/LIGHTROCKET VIA GETTY IMAGES
人工智能（AI）聊天機器人的隊列越來越擁擠。今年7月，Facebook母公司Meta發布了其在生成式AI領域的最新產品：LLaMa 2。
顧名思義，LLaMa 2是Meta發布的第二版LLaMa——LLaMa是“Large Language Model Meta AI”（大型語言模型Meta AI）的縮寫。根據Meta的說法，用于訓練新版LLaMa的數據量比前一版多了40%，上下文長度是前一版的兩倍。
不過LLaMa 2與ChatGPT、必應聊天（Bing Chat）或谷歌Bard等其他一些文本生成式AI工具相比又如何呢？
我試用了LLaMa 2，想了解一下它對于生成式AI工具能夠協助完成的一些常見任務的執行情況。我發現它是一個強大的開源模型，有很大潛力能被改造和定制以提供不同的體驗。然而，作為面向消費者的創新性AI（寫作和研究等）工作助手，LLaMA 2能發揮一定的作用，但相比現有的一些機器人還稱不上是一款卓越的工具。
另一種AI機器人
關于LLaMa 2需要了解的一件事是，它的主要用途并不是作為一個聊天機器人。LLaMa 2是一款通用大型語言模型，可供開發者下載和定制——這也是Meta首席執行官馬克·扎克伯格完善和改進該模型計劃的一部分。
這意味著如果你想將LLaMa 2用作聊天機器人，你就需要使用Hugging Face等平臺上提供的LLaMa 2特殊演示版。我們使用的版本HuggingChat是由開發者社區通過將LLaMa 2部署到Hugging Face上創建的。還有其他平臺可以試用不同的基于LLaMa 2的聊天機器人，不過HuggingChat是一個專門的聊天機器人，旨在成為ChatGPT的開源替代品。
Hugging Face的技術總監菲利普?施密德對《財富》雜志表示，盡管HuggingChat可媲美其他AI機器人，但這種比較并不十分恰當。LLaMa 2的特點在于它能夠根據特定需求被改造，且這個過程無需昂貴的成本。該模型尚未像必應聊天等產品一樣針對特定目的進行微調。
LLaMa 2也沒有連接互聯網。這意味著它的“知識”截至2022年12月。這比ChatGPT的截止日期2021年9月離現在更近。HuggingChat聊天機器人的創建者為其增加了搜索網頁的選項，但這項功能還處在發展的初期，無法賦予LLaMa 2與其他網頁搜索聊天機器人同等的能力。如果你需要從互聯網上獲得最新的信息，最好使用必應聊天或谷歌Bard這類工具。
Facebook研究人員在一篇宣布推出LLaMa 2的論文中寫道，論文中的人類評估結果顯示，LLaMa 2模型通常比現有的其他開源模型表現更佳，并且性能非常接近ChatGPT等閉源模型。該論文承認，LLaMa 2目前還不能與OpenAI最先進的大型語言模型GPT4相提并論。
對LLaMa 2進行測試
我讓LLaMa 2機器人給我的同事寫一封電子郵件，告訴他們我要出城。它生成了一份符合職場簡練和正式風格的像樣的備忘錄。
既然它可以寫電子郵件，那能否駕馭敏感話題（如拒絕一份工作）呢？我讓LLaMa 2機器人給我起草一封回復郵件，說我不能接受這份工作。結果它寫了一篇沒有人情味的三段式短文，這份回復郵件或許會被當成是人類寫的，但肯定絲毫不能撫平對方因遭到拒絕產生的挫敗感。
于是我再次要求它執行這一指令，并且要求它寫得更加具體、有人情味且充滿歉意。然后它生成了一封冗長、或許太過正式的郵件，不過這次的郵件是可用的。當有需要時，LLaMa 2演示版似乎可以假裝懊悔。
LLaMa 2是能夠完成這類任務的，尤其是當你提示它具體信息時。它可以寫出不錯的摘要，如果需要的話，它還能輕松地幫忙起草一份備忘錄。只要向LLaMa 2提供具體的名稱、時間和理由，它就能夠禮貌拒絕參加某場會議或書寫一封特定的正式郵件。
我發現，相比ChatGPT，LLaMa 2的文筆尚可，卻過于正式。我寧愿使用ChatGPT，因為它更善于在語言中融入幾分人情味。LLaMa的語言則有些生硬和千篇一律，難以勝任這類任務。
對于更具創造性或“文學性”的寫作任務，LLaMa 2瑕瑜互見。它很難遵循字數指示。如果我讓LLaMa 2寫一篇150字的短文，它往往會寫出190字。它可以根據建議的主題寫俳句或16行詩，但詩篇是否出彩卻很難說。你覺得“電路熱鬧忙碌，處理器加速數字沖突，雙重交響樂”是一首俳句佳作嗎？
我讓LLaMa 2以“2020年新聞業困境”為主題寫作，結果它卻寫了一首相當糟糕的16行詩。雖然聊天機器人并非以文筆雅正聞名（而且我也不夠資格來評價詩作），但那首詩卻給我一種半生不熟的感覺。全詩沒有押韻，即使它當中含有“墨跡斑斑的可憐蟲，第四等級曾經的驕傲”等有趣的詩句并且主題連貫，但我無論如何也不認為它是一首好詩。
在研究能力方面，LLaMa 2并沒有達到標準
我還向LLaMa 2機器人詢問了一些客觀事實，讓它跟我描述中國的房地產危機。LLaMa 2給出了一系列要點，總結了中國的市場背景、社會問題和基礎設施狀況。當我要求它提供更多信息時，它甚至還能詳細闡述房價情況和新冠疫情的影響。
接著，我要求LLaMa 2給我一份50字的摘要，并附上引文。結果它給出71字，并在每句話的末尾用括號附上了刊物的名稱。我打開“網頁搜索”功能（允許LLaMa 2從網頁獲取資料），然后再次提出指令。這次它給出了50字，但每個鏈接都指向不存在的頁面。
2023年7月，當我問及中國房地產危機的情況時，LLaMa 2再次因提供錯誤信息和更多無效鏈接而顯示一大堆令人摸不著頭腦的道歉話語。
鑒于LLaMa 2的知識截止日期為2022年12月且搜索功能存在缺陷，最好不要使用它來進行重要研究。目前的LLaMa 2模型還只是一個演示版，但也需要進行一定的微調。這個規則適用于所有生成式AI工具——一定要研究清楚它能創造什么。對于LLaMa 2這項AI工具來說，這樣做尤為重要。它在提供引文時出現了幻覺，并且具有知識截止點。如果我要求它概括或精簡信息或修改文本，它會越來越傾向于出現幻覺而提供虛假信息。
你應該利用LLaMa 2嗎？
Hugging Face上的LLaMa 2演示版不同于ChatGPT、谷歌Bard和必應聊天等其他聊天機器人。作為一款聊天機器人的早期版本，它有成功的希望，但仍然很不完善。LLaMa 2演示版不適合用于研究，而且有一些“欺騙性”時刻（請原諒這里使用擬人化）。
如果我想使用LLaMa 2演示版來完成測試和撰寫備忘錄之外的事情，我將不得不篩選冗長、有時甚至未完成的文本。
話說如此，使用AI聊天機器人的理由也舉不勝舉，而且像基于LLaMa 2的HuggingChat這類工具也在不斷地調整和更新。因此我希望你親自試用一下這個機器人，看看它是否更符合你的需求。只是要注意它的局限性。（財富中文網）
譯者：中慧言-劉嘉歡
人工智能（AI）聊天機器人的隊列越來越擁擠。今年7月，Facebook母公司Meta發布了其在生成式AI領域的最新產品：LLaMa 2。
顧名思義，LLaMa 2是Meta發布的第二版LLaMa——LLaMa是“Large Language Model Meta AI”（大型語言模型Meta AI）的縮寫。根據Meta的說法，用于訓練新版LLaMa的數據量比前一版多了40%，上下文長度是前一版的兩倍。
不過LLaMa 2與ChatGPT、必應聊天（Bing Chat）或谷歌Bard等其他一些文本生成式AI工具相比又如何呢？
我試用了LLaMa 2，想了解一下它對于生成式AI工具能夠協助完成的一些常見任務的執行情況。我發現它是一個強大的開源模型，有很大潛力能被改造和定制以提供不同的體驗。然而，作為面向消費者的創新性AI（寫作和研究等）工作助手，LLaMA 2能發揮一定的作用，但相比現有的一些機器人還稱不上是一款卓越的工具。
另一種AI機器人
關于LLaMa 2需要了解的一件事是，它的主要用途并不是作為一個聊天機器人。LLaMa 2是一款通用大型語言模型，可供開發者下載和定制——這也是Meta首席執行官馬克·扎克伯格完善和改進該模型計劃的一部分。
這意味著如果你想將LLaMa 2用作聊天機器人，你就需要使用Hugging Face等平臺上提供的LLaMa 2特殊演示版。我們使用的版本HuggingChat是由開發者社區通過將LLaMa 2部署到Hugging Face上創建的。還有其他平臺可以試用不同的基于LLaMa 2的聊天機器人，不過HuggingChat是一個專門的聊天機器人，旨在成為ChatGPT的開源替代品。
Hugging Face的技術總監菲利普?施密德對《財富》雜志表示，盡管HuggingChat可媲美其他AI機器人，但這種比較并不十分恰當。LLaMa 2的特點在于它能夠根據特定需求被改造，且這個過程無需昂貴的成本。該模型尚未像必應聊天等產品一樣針對特定目的進行微調。
LLaMa 2也沒有連接互聯網。這意味著它的“知識”截至2022年12月。這比ChatGPT的截止日期2021年9月離現在更近。HuggingChat聊天機器人的創建者為其增加了搜索網頁的選項，但這項功能還處在發展的初期，無法賦予LLaMa 2與其他網頁搜索聊天機器人同等的能力。如果你需要從互聯網上獲得最新的信息，最好使用必應聊天或谷歌Bard這類工具。
Facebook研究人員在一篇宣布推出LLaMa 2的論文中寫道，論文中的人類評估結果顯示，LLaMa 2模型通常比現有的其他開源模型表現更佳，并且性能非常接近ChatGPT等閉源模型。該論文承認，LLaMa 2目前還不能與OpenAI最先進的大型語言模型GPT4相提并論。
對LLaMa 2進行測試
我讓LLaMa 2機器人給我的同事寫一封電子郵件，告訴他們我要出城。它生成了一份符合職場簡練和正式風格的像樣的備忘錄。
既然它可以寫電子郵件，那能否駕馭敏感話題（如拒絕一份工作）呢？我讓LLaMa 2機器人給我起草一封回復郵件，說我不能接受這份工作。結果它寫了一篇沒有人情味的三段式短文，這份回復郵件或許會被當成是人類寫的，但肯定絲毫不能撫平對方因遭到拒絕產生的挫敗感。
于是我再次要求它執行這一指令，并且要求它寫得更加具體、有人情味且充滿歉意。然后它生成了一封冗長、或許太過正式的郵件，不過這次的郵件是可用的。當有需要時，LLaMa 2演示版似乎可以假裝懊悔。
LLaMa 2是能夠完成這類任務的，尤其是當你提示它具體信息時。它可以寫出不錯的摘要，如果需要的話，它還能輕松地幫忙起草一份備忘錄。只要向LLaMa 2提供具體的名稱、時間和理由，它就能夠禮貌拒絕參加某場會議或書寫一封特定的正式郵件。
我發現，相比ChatGPT，LLaMa 2的文筆尚可，卻過于正式。我寧愿使用ChatGPT，因為它更善于在語言中融入幾分人情味。LLaMa的語言則有些生硬和千篇一律，難以勝任這類任務。
對于更具創造性或“文學性”的寫作任務，LLaMa 2瑕瑜互見。它很難遵循字數指示。如果我讓LLaMa 2寫一篇150字的短文，它往往會寫出190字。它可以根據建議的主題寫俳句或16行詩，但詩篇是否出彩卻很難說。你覺得“電路熱鬧忙碌，處理器加速數字沖突，雙重交響樂”是一首俳句佳作嗎？
我讓LLaMa 2以“2020年新聞業困境”為主題寫作，結果它卻寫了一首相當糟糕的16行詩。雖然聊天機器人并非以文筆雅正聞名（而且我也不夠資格來評價詩作），但那首詩卻給我一種半生不熟的感覺。全詩沒有押韻，即使它當中含有“墨跡斑斑的可憐蟲，第四等級曾經的驕傲”等有趣的詩句并且主題連貫，但我無論如何也不認為它是一首好詩。
在研究能力方面，LLaMa 2并沒有達到標準
我還向LLaMa 2機器人詢問了一些客觀事實，讓它跟我描述中國的房地產危機。LLaMa 2給出了一系列要點，總結了中國的市場背景、社會問題和基礎設施狀況。當我要求它提供更多信息時，它甚至還能詳細闡述房價情況和新冠疫情的影響。
接著，我要求LLaMa 2給我一份50字的摘要，并附上引文。結果它給出71字，并在每句話的末尾用括號附上了刊物的名稱。我打開“網頁搜索”功能（允許LLaMa 2從網頁獲取資料），然后再次提出指令。這次它給出了50字，但每個鏈接都指向不存在的頁面。
2023年7月，當我問及中國房地產危機的情況時，LLaMa 2再次因提供錯誤信息和更多無效鏈接而顯示一大堆令人摸不著頭腦的道歉話語。
鑒于LLaMa 2的知識截止日期為2022年12月且搜索功能存在缺陷，最好不要使用它來進行重要研究。目前的LLaMa 2模型還只是一個演示版，但也需要進行一定的微調。這個規則適用于所有生成式AI工具——一定要研究清楚它能創造什么。對于LLaMa 2這項AI工具來說，這樣做尤為重要。它在提供引文時出現了幻覺，并且具有知識截止點。如果我要求它概括或精簡信息或修改文本，它會越來越傾向于出現幻覺而提供虛假信息。
你應該利用LLaMa 2嗎？
Hugging Face上的LLaMa 2演示版不同于ChatGPT、谷歌Bard和必應聊天等其他聊天機器人。作為一款聊天機器人的早期版本，它有成功的希望，但仍然很不完善。LLaMa 2演示版不適合用于研究，而且有一些“欺騙性”時刻（請原諒這里使用擬人化）。
如果我想使用LLaMa 2演示版來完成測試和撰寫備忘錄之外的事情，我將不得不篩選冗長、有時甚至未完成的文本。
話說如此，使用AI聊天機器人的理由也舉不勝舉，而且像基于LLaMa 2的HuggingChat這類工具也在不斷地調整和更新。因此我希望你親自試用一下這個機器人，看看它是否更符合你的需求。只是要注意它的局限性。（財富中文網）
譯者：中慧言-劉嘉歡
The lineup of A.I. chatbots is getting crowded. In July, Facebook-parent company Meta released its latest entry into the generative A.I. arena: LLaMa 2.
As the name suggests, this is Meta’s second version of the tool (LLaMA stands for Large Language Model Meta AI). According to Meta, the new LlaMa was trained on 40% more data than its predecessor and has double the context length.
But how does it compare to some of the other text-generating A.I. tools out there, like ChatGPT, Bing Chat or Google Bard?
I played around with LLaMa 2 to see how it performs on some of the common tasks that generative A.I. tools are useful for. What I found was a powerful open-source model that offers lots of potential to be adapted and customized for different experiences. But as an out-of-the-box consumer-facing A.I. assistant for jobs like writing or researching, LLaMA 2 is a usable, but not superior tool compared to some of the existing bots.
A different kind of A.I. bot
One thing to understand about LLaMa 2 is that its primary purpose isn’t to be a chatbot. LLaMa 2 is a general LLM available for developers to download and customize, part of Meta CEO Mark Zuckerberg’s plan to improve and advance the model.
That means that if you want to use LLaMa 2 as a chatbot, you’ll need to use special demo versions available on platforms like Hugging Face. The version that we used, HuggingChat, was created by the developer community by deploying LLaMa 2 to Hugging Face. There are other available places to try different LLaMa 2-based chatbots, but HuggingChat is a specialized chatbot, created to be an open-source alternative to ChatGPT.
Philipp Schmid, a technical director of Hugging Face, told Fortune that while the chatbot is comparable to other A.I. bots, it’s not a perfect comparison. LLaMa 2’s specialty is that it can inexpensively be shaped for specific needs. The model hasn’t been fine-tuned to a specific purpose the way a product like Bing Chat has.
LLaMA 2 is also not connected to the internet. That means it has a “knowledge cutoff” at December 2022. That’s more recent than the September 2021 cutoff of ChatGPT. The creators of the HuggingChat chatbot added an option to search the web, but it’s still in the early stages and doesn’t give LLaMa 2 the same capacity as other web-searching chatbots. If you need the most up-to-date information from the internet, you’re better served with a tool like Bing Chat or Google Bard.
In a paper announcing the release of LLaMa 2, Facebook researchers wrote that LLaMA 2 models generally perform better than existing open-source models and are close behind closed-source models like ChatGPT, according to the human evaluations in the paper. The paper acknowledges it can’t yet fully compare to GPT4, OpenAI’s most advanced LLM.
Putting LLaMa 2 to the test
I asked the bot to write an email to my co-workers telling them I was going out of town. It spit out a decent memo suited for the crisp formality of the corporate space.
It can write emails, but can it navigate the touchy subjects, like turning down a job offer? I prompted the bot to draft me an email response saying that I couldn’t accept the job offer. It wrote a short, impersonal three paragraphs that might pass as human, but the email certainly wouldn’t smooth any frustrations that would come from receiving a rejection.
So I asked it again, and I requested it to be more specific, personal and apologetic. It responded with a wordy, possibly too formal email, but this time the email was do-able. It seems the LLaMa 2 demo can fake some contrition when requested
LLaMa could do these kinds of tasks, especially if you prompt it with specifics. It could write decent summaries, and it could easily draft a memo should someone need help. There’s functionality for politely declining a meeting — just feed it the specific names, times and reasons — or for writing specific, formal emails.
Compared to ChatGPT, I found LLaMa 2’s penmanship to be decent but overly formal. I’d use ChatGPT because it often has a stronger flair for putting a degree of human in its language. LLaMa was a bit unpolished and generic for these tasks.
For more creative or “literary” writing tasks, LLaMa 2 was mixed. It struggles to follow word count instructions. If I asked for a 150-word short story, it would give me 190 words. It could write a haiku or 16-line poem about any suggested topic, but whether it was any good is hard to say. Do you think “Circuits hum with life, Processors pace the digital strife, Binary symphony” is a strong haiku?
I asked it to write about “the plight of journalism in 2020,” and it wrote a fairly terrible 16-line poem. While the chatbots aren’t known for their literary elegance (and I’m likely not qualified to judge a poem), this poem felt half-baked. It didn’t rhyme, and even though it generated fun lines like “ink-stained wretches, once the fourth estate’s pride” and had a coherent theme, I wouldn’t call it well-written by any stretch.
When it comes to research, LLaMA 2 isn’t up to par
I also quized the bot on some hard facts, asking it to tell me about the property crisis in China. It served up a slew of bullet points summarizing the market, societal problems and infrastructure in China. When pressed for more information, it could even elaborate on the housing prices and the effects of the COVID-19 pandemic.
Then, I asked it to give me a 50-word summary with citations. It gave me 71 words with the names of publications in parentheses at the end. I turned on the “Search web” function, which allows it to pull from the web, and asked again. It gave me 50 words this time, but each link led to a non-existent page.
When asked about what’s going on with the crisis in July 2023, it again fed me a slew of confusing apologies for misinformation and more broken links.
Between the knowledge cutoff of December 2022 and its faulty search function, it’s likely best to not use this for important research. It’s still a demo, but it’s in need of some fine-tuning. The same rules apply to all generative A.I. tools — always do your research about what it creates. But it is especially important to do that for this tool. It hallucinated citations and it has a knowledge cutoff. If I asked it to summarize and condense information or to alter the text, its response would be increasingly prone to hallucinating fake information.
Should you ride the LLaMA?
The LLaMA 2 demo on Hugging Face isn’t the same as the other chatbots like ChatGPT, Google Bard, and Bing Chat. It shows promise for an early version of a chatbot, but it’s still pretty unpolished. It’s not great for researching, and it had some “deceitful” moments (if you’ll excuse the anthropomorphism).
If I were looking to use the demo for anything more than testing and writing memos, I would have to sift through wordy, occasionally unfinished work.
That said, there are countless reasons to use an A.I. chatbot, and tools like the LLama 2-based HuggingChat are constantly being tweaked and updated. So I encourage you to take this bot for a spin yourself, and see if it’s better suited for what you need. Just be aware of its limitations.
