Azure
LLM 是一項現代的開發，但自然語言處理 (NLP) 的研究早在 1950 年當 Alan Turing 啟動 Turing 測試以測量電腦之間的智慧行為時就已開始。在該測試中，人類裁判會使用一組問題和電腦進行對話，然後判斷與自己對話的是電腦還是人類。
到了 1980 和 1990 年代，NLP 從邏輯實驗移轉到更資料導向的方法。由於系統能夠根據句子中的字詞預測接下來會出現的字詞，例如 n-grams 等統計語言模型為新紀元奠定了前進的方向。到了 2010 年初，較新的神經網路進一步擴充了這些語言模型的功能，讓他們超越判斷字詞順序，進一步了解字詞的表示方式和意義。
這些新進展在 2018 年取得了突破，當時八位 Google 科學家撰寫並發表了機器學習領域的里程碑研究《基於注意力機制的機器翻譯模型》。最顯著的突破是本研究引進了一個創新的網路神經網路架構: 轉換器架構，這個架構可以更精準且更大規模地管理及理解複雜的文字資訊。轉換器是現今一些功能最強大的 LLM 的基礎，包括 GPT 系列以及 BERT。
現今最先進的 LLM 均使用 深度學習架構 (例如轉換器和其他深度神經網路架構) 來處理不同資料來源的資訊。轉換器在處理連續資料 (例如文字) 時特別有效，可讓其理解和產生自然語言，以用於語言產生和翻譯等工作。
轉換器由兩個主要元件組成: 編碼器和解碼器。這些元件通常會一起處理及產生序列。編碼器會將原始的文字資料轉換成模型可以分析的離散元素。解碼器接著會透過一系列層級來處理該資料，以產生最終輸出，例如，這可能包括產生的句子。根據模型的類型或工作，轉換器也可以只包含編碼器或解碼器一種。
LLM 的訓練程式包含三個主要階段: 資料收集、模型訓練和微調。
在資料收集階段，模型會接觸到來自各種來源的大量文字資料，包括網際網路資源、書籍、文章和資料庫。亦會清理、處理、和標準化資料，並將其儲存在 NoSQL 資料庫中，以便用來訓練模型的語言模式、文法、資訊和內容。
在訓練前階段，模型會開始建立對資料中語言的理解。這是透過大規模、不受監督的工作所完成，模型會學習如何根據內容預測文字。某些技術包括自動迴歸模型，模型會學習預測序列中的下一個字詞，以及遮罩語言模型，其中模型會填入遮罩的字詞以了解內容。
最後，在微調階段期間，模型會進一步在較小、更特定工作的資料集上進行訓練。此流程可精簡模型的知識，並增強其對特定工作 (例如情緒分析或翻譯) 的成效，以便套用在任何地方。
轉換器模型會將原始文字分成較小的基本文字單位，稱為權杖。根據案例的不同，權杖可以由字詞、字詞的一部分或甚至是個別字元所組成。接著，這些權杖會轉換成密集的數位表示法，以擷取順序、語意意義和內容。這些稱為內嵌的表示法，接著會透過由兩個子層級 (自我關注和神經網路) 所組成的一疊圖層進行傳遞。
雖然這兩個層級可協助將文字轉換成模型可有效處理的形式，自我關注機制是轉換器架構的重要元件。自我關注機制允許模型無論位於文字序列的哪個部分，均能動態地衡量相對於序列中其他權杖的資訊價值。此機制也讓 LLM 能夠擷取書寫語言複雜相依性、關聯性，以及內容相關的細微差別。
因為 LLM 可以理解並擷取字詞之間的細微關係，所以它們能產生自然、類似人類的文字，因而改善語言產生。它們可以流暢且一致地產生充滿創意又內容適當的回應，而且可以透過各種格式 (包括小說) 進行。
由於它們可以將意義與內容相關化並尋找細微之處，所以經過多種語言資料訓練的 LLM 也可以執行高度精確的翻譯。針對一組特定的語言訓練模型，可協助它們微調處理習慣用語、表達方式和其他複雜語言特徵的能力，進而產生感覺自然又流暢的翻譯。
LLM 是多功能的工具，可以在許多領域 (包括醫療保健、財務和客戶服務) 中套用。
在醫療保健領域，LLM 可以:
雖然 LLM 功能強大，但需要大量的運算資源、儲存空間和能源耗量來運作。在訓練期間，轉換器會隨著輸入序列的長度進行調整，因此文字越長，您需要的記憶體也就越大。這些需求不僅昂貴，也會釋放大量的碳到環境中。
雲端運算平台可透過提供彈性、可調整的基礎結構，支援 LLM 繁重的計算工作負載，讓組織更容易開始開發自己的模型。不過，LLM 的的環境影響是一項挑戰，且仍需要更具能源效率的模型和技術。
LLM 只與其用以訓練的資料有一樣的水平。如果訓練資料中對特定群組有偏見歧視，則模型會凸顯出這些態度。我們必須持續努力識別並減低這些偏見，讓模型保持公平；這需要頻繁且持續的人工監控。
LLM 也可能會產生令人信服但實際上誤導的資訊，導致錯誤資訊、假新聞、網路釣魚電子郵件和其他形式的有害內容散佈。內容監視指導方針也可能因地區而異，因此難以控制。因此，許多組織在將 LLM 引入其商務營運時，可能會發現要建立和維護使用者的信任是一項挑戰。
雖然 LLMS 在識別語言模式方面很專業，但在處理新的或未知的內容時，仍可能需要更細微的理解。因此，透過敏感性專屬資料訓練的 LLM 可能會不小心從訓練資料產生或顯示機密資訊。
解決此問題可能帶來重大的挑戰，特別是因為 LLM 的內部工作通常缺乏透明度。這會導致整體缺乏責任，以及建立信任的問題。
GPT 系列在 2018 年首次由 OpenAI 開發，為 LLM 引進了資料收集、預先訓練和微調等基礎概念。2019 年發佈的 GPT-2 則大幅提升模型的功能，並改善其產生更相關內容語言的能力。GPT-3 則進一步提升了模型處理複雜提示和工作的能力。最新的反覆運算 GPT-4，則在 2023 年發行，它針對提示提供更精確且細微的回應，同時亦解決了一些模型先前的挑戰，包括偏見的問題。
今天，GPT 仍繼續推動著自然語言產生領域的潛力。系列中的每個模型都以上一個模型為基礎，驅動著 AI 支援的創新。
由 Facebook AI 於 2019 年開發，強力優化的 BERT 方法 (RoBERTa) 是 BERT 模型的變體，可最佳化預先訓練的流程，以擴充 BERT 的雙向轉換器結構。RoBERTa 已使用較大的資料集進行訓練，且時間較長。它亦只著重於遮罩語言模型。這可讓 RoBERTa 展示其擷取內容與細微差別的強大的能力。
文字到文字傳輸轉換器 (T5) 是 Google Research 所發明的另一個值得注意的 LLM。與傳統型號一樣，T5 的基礎為轉換器結構，並使用編碼器與解碼器在預先訓練階段處理文字。與傳統模型不同，T5 將輸入和輸出視為文字字串，簡化結構並精簡訓練流程。T5 模型是可調整的一般用途模型，可處理各種工作。
LLM 可以產生各種樣式和格式的吸引人、訊息豐富且內容相關的適當內容。收到提示時，它們可以產生文章、報告、部落格貼文、電子郵件、行銷文本，甚至是程式碼片段。
LLM 有獨特的能力能將大量文字轉變成簡潔精確的摘要，這使得它在產生摘要功能中脫穎而出。LLM 可以呈現重點，但同時維持原始內容的原始內容和意義。研究人員已經使用 LLM 來摘要研究論文、文章、簡報和會議記錄，以節省時間並提高生產力。
交談代理程式和聊天機器人仰賴 LLM 的進階自然語言處理功能，來產生類似人類的互動。它們會解譯使用者的輸入，並以流暢、自然且內容相關的方式做出回應。它們不僅可以回答問題，還可以參與長時間且複雜的對話。
隨著聊天機器人和虛擬助理的加入，企業現在可以為客戶提供全天候的支援，進而擴充其服務可用性、改善回應時間，以及提高整體的客戶滿意度。
透過多種語言資料集廣泛訓練的 LLM，可產生各種語言的高度精確翻譯。與傳統的模型不同，LLM 可以擷取語言的細微之處和複雜性，例如慣用表達，因而產生流暢且內容適當的翻譯。
LLM 也可以執行情緒分析，分析文字背後的基礎情緒語調。LLM 可處理及解譯語言的細微之處，以提供更精確且深入解析的情感評估。它們甚至可以偵測到更細微的情緒，例如諷刺性言語。
LLM 可以分析使用者資料，包括使用者歷程記錄與喜好設定，並產生個人化、量身訂做的建議，反映使用者的興趣和需求，進而增強整體使用者體驗。
這項功能在電子商務、內容串流和社交媒體中廣泛被使用，而提供量身打造的建議可推動更有意義的互動。LLM 也可以做為教育工具，為學生提供個人化的學習體驗。
當研究人員持續改善其理解、效率及可擴縮性時，LLM 將更加擅長處理複雜的語言工作。隨著 LLM 的採用，越來越多的組織將經歷簡化的自動化、更大的個人化，以及更好的整體決策制定流程。
研究人員會持續探索解決偏見的新方式，因爲這會是個持續的問題。其中包括在訓練期間使用消除偏見的演算法處理偏見，納入綜合性資料以重新平衡資料集以反映公平性，使用可解釋性工具以更了解模型決策，以及使用可協助更精確地識別及量化偏見的偵測基準。
處理文字、影像、音訊和影片資料的多重模式模型也越來越複雜精密。當 LLM 透過評估語法和意義處理文字資料時，多模式模型會透過電腦視覺技術來分析視覺資料，以及透過時態性處理來分析音訊資料。[頂級多重模式] 模型正在增強當今的技術，同時也為未來的創新鋪路。
取得 Azure 行動應用程式 
