Trace Id is missing
跳到主要內容
Azure

大型語言模型 (LLM) 是什麽?

取得 LLM 如何運作的概觀,並探索如何使用 LLM 建立 AI 支援的解決方案。

LLM 的意義

大型語言模型 (LLM) 是個進階的 AI 系統,可以使用透過機器學習技術訓練的資料,了解並產生自然語言或類似人類的文字。LLM 可以自動產生文字型內容,可以套用至各個產業的多種使用案例,為世界各地的組織帶來更高的效率並節省成本。 

關鍵要點

  • LLM 是個可以理解並產生自然語言的進階 AI 系統。
  • LLM 依賴深度學習架構和機器學習技術,來處理及整合不同資料來源的資訊。
  • LLM 為多個領域帶來了重大好處,例如語言產生和翻譯。
  • 雖然它極具開創性,但 LLM 亦面臨了一些挑戰,包括計算需求、道德考量,以及了解內容的限制。
  • 儘管存在上述挑戰,組織已在使用生成式預先訓練轉換器 (GPT) 系列和雙向編碼器表示技術(BERT) 來進行內容建立、聊天機器人、翻譯和情緒分析等工作。

LLM 如何運作

LLM 的簡史

LLM 是一項現代的開發,但自然語言處理 (NLP) 的研究早在 1950 年當 Alan Turing 啟動 Turing 測試以測量電腦之間的智慧行為時就已開始。在該測試中,人類裁判會使用一組問題和電腦進行對話,然後判斷與自己對話的是電腦還是人類。
到了 1980 和 1990 年代,NLP 從邏輯實驗移轉到更資料導向的方法。由於系統能夠根據句子中的字詞預測接下來會出現的字詞,例如 n-grams 等統計語言模型為新紀元奠定了前進的方向。到了 2010 年初,較新的神經網路進一步擴充了這些語言模型的功能,讓他們超越判斷字詞順序,進一步了解字詞的表示方式和意義。
這些新進展在 2018 年取得了突破,當時八位 Google 科學家撰寫並發表了機器學習領域的里程碑研究《基於注意力機制的機器翻譯模型》。最顯著的突破是本研究引進了一個創新的網路神經網路架構: 轉換器架構,這個架構可以更精準且更大規模地管理及理解複雜的文字資訊。轉換器是現今一些功能最強大的 LLM 的基礎,包括 GPT 系列以及 BERT。

基本結構

現今最先進的 LLM 均使用 深度學習架構 (例如轉換器和其他深度神經網路架構) 來處理不同資料來源的資訊。轉換器在處理連續資料 (例如文字) 時特別有效,可讓其理解和產生自然語言,以用於語言產生和翻譯等工作。 
轉換器由兩個主要元件組成: 編碼器和解碼器。這些元件通常會一起處理及產生序列。編碼器會將原始的文字資料轉換成模型可以分析的離散元素。解碼器接著會透過一系列層級來處理該資料,以產生最終輸出,例如,這可能包括產生的句子。根據模型的類型或工作,轉換器也可以只包含編碼器或解碼器一種。

訓練流程

LLM 的訓練程式包含三個主要階段: 資料收集、模型訓練和微調。 
在資料收集階段,模型會接觸到來自各種來源的大量文字資料,包括網際網路資源、書籍、文章和資料庫。亦會清理、處理、和標準化資料,並將其儲存在 NoSQL 資料庫中,以便用來訓練模型的語言模式、文法、資訊和內容。 
在訓練前階段,模型會開始建立對資料中語言的理解。這是透過大規模、不受監督的工作所完成,模型會學習如何根據內容預測文字。某些技術包括自動迴歸模型,模型會學習預測序列中的下一個字詞,以及遮罩語言模型,其中模型會填入遮罩的字詞以了解內容。 
最後,在微調階段期間,模型會進一步在較小、更特定工作的資料集上進行訓練。此流程可精簡模型的知識,並增強其對特定工作 (例如情緒分析或翻譯) 的成效,以便套用在任何地方。

重要元件

轉換器模型會將原始文字分成較小的基本文字單位,稱為權杖。根據案例的不同,權杖可以由字詞、字詞的一部分或甚至是個別字元所組成。接著,這些權杖會轉換成密集的數位表示法,以擷取順序、語意意義和內容。這些稱為內嵌的表示法,接著會透過由兩個子層級 (自我關注和神經網路) 所組成的一疊圖層進行傳遞。
雖然這兩個層級可協助將文字轉換成模型可有效處理的形式,自我關注機制是轉換器架構的重要元件。自我關注機制允許模型無論位於文字序列的哪個部分,均能動態地衡量相對於序列中其他權杖的資訊價值。此機制也讓 LLM 能夠擷取書寫語言複雜相依性、關聯性,以及內容相關的細微差別。

優點與挑戰

優點

LLM 有許多優點,可促進工作與社會的重要進展。

改善語言產生和翻譯

因為 LLM 可以理解並擷取字詞之間的細微關係,所以它們能產生自然、類似人類的文字,因而改善語言產生。它們可以流暢且一致地產生充滿創意又內容適當的回應,而且可以透過各種格式 (包括小說) 進行。
由於它們可以將意義與內容相關化並尋找細微之處,所以經過多種語言資料訓練的 LLM 也可以執行高度精確的翻譯。針對一組特定的語言訓練模型,可協助它們微調處理習慣用語、表達方式和其他複雜語言特徵的能力,進而產生感覺自然又流暢的翻譯。

不同領域的應用

LLM 是多功能的工具,可以在許多領域 (包括醫療保健、財務和客戶服務) 中套用。
 
在醫療保健領域,LLM 可以: 
  • 分析病患報告以尋找可能的病症,並提供初步診斷。 
  • 產生病患筆記和出院摘要,進而簡化管理工作。 
  • 根據病患病史來建議個人化治療方案與醫療照護。  
  在財務領域,LLM 可以:
  • 在整個財務資料中識別可能代表詐騙之異常活動。 
  • 透過分析市場趨勢和財務報告來評定財務風險。 
  • 根據您的獨特財務記錄和目標,建議個人化建議。  
  在客戶服務領域,LLM 可以:
  • 透過交談代理程式和聊天機器人驅動自動化客戶支援。 
  • 為客戶提供全天支援,以擴大組織的服務範圍。
  • 根據常見問題產生內容,協助建立和更新文件。  

挑戰

LLM 有許多重要的優點,但也同時有些需要考量的挑戰。

計算與能源需求

雖然 LLM 功能強大,但需要大量的運算資源、儲存空間和能源耗量來運作。在訓練期間,轉換器會隨著輸入序列的長度進行調整,因此文字越長,您需要的記憶體也就越大。這些需求不僅昂貴,也會釋放大量的碳到環境中。
雲端運算平台可透過提供彈性、可調整的基礎結構,支援 LLM 繁重的計算工作負載,讓組織更容易開始開發自己的模型。不過,LLM 的的環境影響是一項挑戰,且仍需要更具能源效率的模型和技術。

道德考量 (例如,偏見和不正確的資訊)

LLM 只與其用以訓練的資料有一樣的水平。如果訓練資料中對特定群組有偏見歧視,則模型會凸顯出這些態度。我們必須持續努力識別並減低這些偏見,讓模型保持公平;這需要頻繁且持續的人工監控。
LLM 也可能會產生令人信服但實際上誤導的資訊,導致錯誤資訊、假新聞、網路釣魚電子郵件和其他形式的有害內容散佈。內容監視指導方針也可能因地區而異,因此難以控制。因此,許多組織在將 LLM 引入其商務營運時,可能會發現要建立和維護使用者的信任是一項挑戰。

了解內容與細微差別的限制

雖然 LLMS 在識別語言模式方面很專業,但在處理新的或未知的內容時,仍可能需要更細微的理解。因此,透過敏感性專屬資料訓練的 LLM 可能會不小心從訓練資料產生或顯示機密資訊。 
解決此問題可能帶來重大的挑戰,特別是因為 LLM 的內部工作通常缺乏透明度。這會導致整體缺乏責任,以及建立信任的問題。 

類型和使用案例

GPT 系列

GPT 系列在 2018 年首次由 OpenAI 開發,為 LLM 引進了資料收集、預先訓練和微調等基礎概念。2019 年發佈的 GPT-2 則大幅提升模型的功能,並改善其產生更相關內容語言的能力。GPT-3 則進一步提升了模型處理複雜提示和工作的能力。最新的反覆運算 GPT-4,則在 2023 年發行,它針對提示提供更精確且細微的回應,同時亦解決了一些模型先前的挑戰,包括偏見的問題。 
今天,GPT 仍繼續推動著自然語言產生領域的潛力。系列中的每個模型都以上一個模型為基礎,驅動著 AI 支援的創新。 

BERT 及其變體

由 Google 於 2018 年開發的 BERT 是個突破性的模型,並為 LLM 的可能性設定了標準。不同於以單向方式 (從左至右或從右至左) 處理文字的 GPT 系列,BERT 採用了雙向方式。雙向模型會同時從兩個方向處理每個字詞的上下文内容,這讓 BERT 除了可執行下一句預測之外,還能執行遮罩語言模型。研究人員也會針對某種工作 (例如情緒分析) 微調 BERT,因而設定新的基準,為領域的進一步進展做出貢獻。  

其他值得注意的模型

由 Facebook AI 於 2019 年開發,強力優化的 BERT 方法 (RoBERTa) 是 BERT 模型的變體,可最佳化預先訓練的流程,以擴充 BERT 的雙向轉換器結構。RoBERTa 已使用較大的資料集進行訓練,且時間較長。它亦只著重於遮罩語言模型。這可讓 RoBERTa 展示其擷取內容與細微差別的強大的能力。 
文字到文字傳輸轉換器 (T5) 是 Google Research 所發明的另一個值得注意的 LLM。與傳統型號一樣,T5 的基礎為轉換器結構,並使用編碼器與解碼器在預先訓練階段處理文字。與傳統模型不同,T5 將輸入和輸出視為文字字串,簡化結構並精簡訓練流程。T5 模型是可調整的一般用途模型,可處理各種工作。

內容創作和摘要

LLM 可以產生各種樣式和格式的吸引人、訊息豐富且內容相關的適當內容。收到提示時,它們可以產生文章、報告、部落格貼文、電子郵件、行銷文本,甚至是程式碼片段。   
LLM 有獨特的能力能將大量文字轉變成簡潔精確的摘要,這使得它在產生摘要功能中脫穎而出。LLM 可以呈現重點,但同時維持原始內容的原始內容和意義。研究人員已經使用 LLM 來摘要研究論文、文章、簡報和會議記錄,以節省時間並提高生產力。

交談代理程式和聊天機器人

交談代理程式和聊天機器人仰賴 LLM 的進階自然語言處理功能,來產生類似人類的互動。它們會解譯使用者的輸入,並以流暢、自然且內容相關的方式做出回應。它們不僅可以回答問題,還可以參與長時間且複雜的對話。 
隨著聊天機器人和虛擬助理的加入,企業現在可以為客戶提供全天候的支援,進而擴充其服務可用性、改善回應時間,以及提高整體的客戶滿意度。

語言翻譯和情緒分析

透過多種語言資料集廣泛訓練的 LLM,可產生各種語言的高度精確翻譯。與傳統的模型不同,LLM 可以擷取語言的細微之處和複雜性,例如慣用表達,因而產生流暢且內容適當的翻譯。 
LLM 也可以執行情緒分析,分析文字背後的基礎情緒語調。LLM 可處理及解譯語言的細微之處,以提供更精確且深入解析的情感評估。它們甚至可以偵測到更細微的情緒,例如諷刺性言語。 

個人化建議

LLM 可以分析使用者資料,包括使用者歷程記錄與喜好設定,並產生個人化、量身訂做的建議,反映使用者的興趣和需求,進而增強整體使用者體驗。 
這項功能在電子商務、內容串流和社交媒體中廣泛被使用,而提供量身打造的建議可推動更有意義的互動。LLM 也可以做為教育工具,為學生提供個人化的學習體驗。

未來發展

當研究人員持續改善其理解、效率及可擴縮性時,LLM 將更加擅長處理複雜的語言工作。隨著 LLM 的採用,越來越多的組織將經歷簡化的自動化、更大的個人化,以及更好的整體決策制定流程。 
研究人員會持續探索解決偏見的新方式,因爲這會是個持續的問題。其中包括在訓練期間使用消除偏見的演算法處理偏見,納入綜合性資料以重新平衡資料集以反映公平性,使用可解釋性工具以更了解模型決策,以及使用可協助更精確地識別及量化偏見的偵測基準。 
處理文字、影像、音訊和影片資料的多重模式模型也越來越複雜精密。當 LLM 透過評估語法和意義處理文字資料時,多模式模型會透過電腦視覺技術來分析視覺資料,以及透過時態性處理來分析音訊資料。[頂級多重模式] 模型正在增強當今的技術,同時也為未來的創新鋪路。
資源

深入了解 Azure AI

坐在電腦前的人
資源

學生開發人員資源

利用可協助您快速展開職業生涯的學習資料與計劃。
一群人圍著圈坐著
資源

Azure 資源

存取您需要的所有 Azure 資源,包括教學課程、白皮書及程式碼範例。
微笑看向電腦的人
資源

AI 學習中樞

使用針對自身角色或特定技術自訂的訓練來培養 AI 技能。
常見問題集

常見問題集

  • LLM 代表大型語言模型。
  • AI 是一個廣泛的領域,涵蓋各種語言之外的應用。它包含所有旨在複製人類智慧的技術。做為特定類型的 AI 模型,LLM 是更廣泛的 AI 環境子集,一個著重於處理和產生自然語言文字的子集。
  • 自然語言處理 (NLP) 是指著重於語言處理的主要領域,而大型語言模型 (LLM) 是 NLP 領域中特定的進階類型模型,使用深度學習技術來處理語言工作。
  • 生成式預先訓練轉換器 (GPT) 是指 OpenAI 開發的特定大型語言模型 (LLM) 系列。它們是一種 LLM,特別著重於語言產生。