智譜清言

智普清顏是北京智普華章科技有限公司推出的首款生成式人工智能助手，于2023年8月31日正式上線。助手基于知乎AI自主研發(fā)的中英雙語對話模型ChatGLM2，經(jīng)過萬億字符的文本和代碼預(yù)訓(xùn)練，采用監(jiān)督微調(diào)技術(shù)，以通用對話的形式為用戶提供智能服務(wù)。智普清言可以為用戶解答工作、學(xué)習(xí)和日常生活中的各種問題，完成各種任務(wù)。它具有通用問答、多輪對話、創(chuàng)意寫作、代碼生成和虛擬對話等豐富能力，并計劃在未來開放多模態(tài)生成。截至2023年8月，智普清顏已在各大應(yīng)用商店上線，包括Apple Store應(yīng)用商店和Android主流商店。

智普清顏的發(fā)展史始于2021年，始于ChatGLM系列車型的迭代。起初，該系列基于GLM-130B模型，該模型致力于提高中英雙語對話處理的準(zhǔn)確性和效率。隨著ChatGLM系列的發(fā)展，特別是ChatGLM2系列的推出和優(yōu)化，加強了智能光譜澄清的技術(shù)基礎(chǔ)。2023年8月31日，《直撲青眼》正式發(fā)布。作為基于ChatGLM2模型的AI助手，它結(jié)合了預(yù)訓(xùn)練和監(jiān)督微調(diào)技術(shù)，可提供包括問答、創(chuàng)意寫作和代碼生成在內(nèi)的多項智能服務(wù)。此外，ChatGLM3于2023年10月在中國計算機大會（CNCC）上發(fā)布，帶來了進(jìn)一步的技術(shù)增強、應(yīng)用范圍擴大和性能提高。ChatGLM3的多模態(tài)理解、代碼生成和執(zhí)行以及增強的網(wǎng)絡(luò)搜索功能使其能夠更高效地處理多樣化的任務(wù)和場景。

智普清言作為一款根植于ChatGLM2模型核心技術(shù)的AI助手，憑借其先進(jìn)的性能、良好的上下文處理能力和快速的推理速度，在MMLU、C-Eval和GSM8K等多個標(biāo)準(zhǔn)任務(wù)上贏得了廣泛關(guān)注。尤其是在ChatGLM3引入AgentTuning技術(shù)后，為知乎清言提供了更深層次的智能規(guī)劃和執(zhí)行能力，在多輪對話和內(nèi)容創(chuàng)作等領(lǐng)域取得了顯著進(jìn)展。這主要體現(xiàn)在下載量和GitHub明星數(shù)量的快速增長上。此外，得益于其實際應(yīng)用潛力和適應(yīng)性的驗證，包括聯(lián)想、中國民航信息網(wǎng)絡(luò)公司、清華大學(xué)等在內(nèi)的多家企事業(yè)單位均采用了其或與其建立了合作關(guān)系。

智譜的技術(shù)發(fā)展是一個不斷迭代和創(chuàng)新的過程。主要過程可以概括為GLM-130B的初步探索，ChatGLM系列型號的不斷迭代，以及基于ChatGLM2和ChatGLM3的智能光譜的后期開發(fā)。因此，智普清研的發(fā)展源于智普AI大模型在各個階段的技術(shù)進(jìn)步。

GLM-130B發(fā)布:技術(shù)突破

GLM-130B模型的開發(fā)始于2021年12月，是在清華大學(xué)知識工程實驗室舉行的內(nèi)部頭腦風(fēng)暴會議上提出的。當(dāng)時的目標(biāo)是開發(fā)高精度的雙語（中文/英文）模型并將其開放。在項目啟動之初，缺乏計算資源，但在2022年1月，智普AI提供了必要的計算資源支持。隨后，項目團隊在技術(shù)開發(fā)中遇到了許多挑戰(zhàn)，包括頻繁的硬件故障、模型梯度爆炸、算法中內(nèi)存使用過多等等。在清華大學(xué)PACMAN團隊的協(xié)助下，這些問題被一一解決，最終成功訓(xùn)練出GLM-130B模型。

ChatGLM首次亮相:對話模式的新時代

ChatGLM于2023年3月14日首次發(fā)布，這是智普AI在GLM-130B模型基礎(chǔ)上的進(jìn)一步創(chuàng)新。作為中英雙語對話模型，ChatGLM專注于提高對話處理能力。智普AI已經(jīng)開放了GLM系列模型的新成員-Chatglm-6B，該模型支持在單個消費級顯卡上進(jìn)行推理。這是繼GLM-130B千億基模型開源后的又一重要研究成果。ChatGLM-6B是一個開源的雙語問答對話語言模型，針對中文進(jìn)行了優(yōu)化。該模型基于通用語言模型（GLM）架構(gòu)，擁有62億個參數(shù)。在對約1T個標(biāo)識符進(jìn)行中英文雙語訓(xùn)練后，輔以監(jiān)督微調(diào)、反饋自助和人類反饋強化學(xué)習(xí)等技術(shù)，ChatGLM-6B雖然規(guī)模不及千億模型，但大大降低了推理成本，提高了效率，可以生成符合人類偏好的答案。

ChatGLM2發(fā)布:技術(shù)的進(jìn)一步發(fā)展

ChatGLM2-6B于2023年6月25日推出，這是智普AI與清華大學(xué)KEG實驗室在對話AI領(lǐng)域的合作成果。作為ChatGLM-6B的后續(xù)版本，ChatGLM2-6B在繼承前代車型特點的基礎(chǔ)上進(jìn)行了一系列技術(shù)更新和優(yōu)化。其中包括模型性能的提升、上下文處理能力的擴展和推理速度的優(yōu)化。此外，為了推動AI技術(shù)的發(fā)展，智普AI及其合作伙伴已經(jīng)完全開放了ChatGLM2-6B模型的權(quán)重用于學(xué)術(shù)研究和商業(yè)用途。

知識界很清楚:生成式人工智能的新助手

智普清言的研發(fā)標(biāo)志著智普AI在生成式人工智能助手領(lǐng)域的巨大進(jìn)步。該產(chǎn)品于2023年8月31日正式上線，基于智普AI研發(fā)的中英雙語對話模型ChatGLM2。通過預(yù)訓(xùn)練和監(jiān)督微調(diào)技術(shù)，智普清言已經(jīng)成為一個可以在各種場景下提供支持的智能助手。它為用戶提供了一個多功能的AI助手，可以在日常生活、學(xué)習(xí)和工作中提供幫助。

ChatGLM3版本:基于ChatGLM2的模型升級

在2023年中國計算機大會（CNCC）上，智譜AI推出的ChatGLM3為智譜青巖提供了強大的技術(shù)支持，大大拓寬了其應(yīng)用范圍和性能。ChatGLM3的多模態(tài)理解能力、代碼生成和執(zhí)行功能以及網(wǎng)絡(luò)搜索增強功能使Zhipu articulate在處理復(fù)雜任務(wù)和多樣化場景時更加高效。特別是ChatGLM3的AgentTuning技術(shù)賦予了知乎青巖更深入的智能規(guī)劃和執(zhí)行能力，從而在多輪對話和內(nèi)容創(chuàng)作方面實現(xiàn)了質(zhì)的飛躍。此外，通過ChatGLM3的新技術(shù)，智普清言不僅提高了對話的流暢性和準(zhǔn)確性，而且在圖像處理和數(shù)學(xué)計算等多樣化應(yīng)用中也表現(xiàn)出了出色的性能，大大改善了用戶體驗。

作為知乎AI的先進(jìn)AI語言處理工具，知乎清言背后的技術(shù)力量來自ChatGLM3等大模型的加持。ChatGLM系列模型不僅在自然語言處理領(lǐng)域取得了顯著進(jìn)展，而且在多模態(tài)理解和代碼生成方面也表現(xiàn)出了卓越的能力。這種能力的背后，離不開一項核心技術(shù)的支撐——變壓器模型。Transformer模型獨特的架構(gòu)和自關(guān)注機制為ChatGLM2的高級功能提供了理論基礎(chǔ)和技術(shù)框架。

Transformer模型

Transformer模型是自然語言處理領(lǐng)域的核心技術(shù)，最早出現(xiàn)在2017年的論文《Attention Is All You Need》中。它采用自我關(guān)注機制，允許模型同時關(guān)注文本序列的所有部分，而不是逐個單元地處理它們。該方法優(yōu)于傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和長期記憶網(wǎng)絡(luò)（LSTM），特別是在處理長文本和捕獲長距離依賴方面。Transformer的并行處理能力提高了效率，解決了梯度消失的問題。其編碼器-解碼器結(jié)構(gòu)使其適用于許多復(fù)雜的語言處理任務(wù)，如機器翻譯和問答系統(tǒng)。

ChatGLM2與Transformer的關(guān)系

在ChatGLM2的開發(fā)過程中，Transformer模型的基礎(chǔ)設(shè)施得到了有效的應(yīng)用和關(guān)鍵的擴展，旨在滿足復(fù)雜多模態(tài)任務(wù)和代碼生成的需求。在這一開發(fā)過程中，ChatGLM2不僅保持了Transformer的高效并行處理和強上下文理解等核心優(yōu)勢，還對模型結(jié)構(gòu)和訓(xùn)練方法進(jìn)行了適當(dāng)?shù)膭?chuàng)新和調(diào)整。這些改進(jìn)和技術(shù)集成使ChatGLM3在語言處理和多模態(tài)內(nèi)容理解方面表現(xiàn)出出色的性能，并為智譜和清晰語音等應(yīng)用提供了可靠的技術(shù)支持。

一般問答

智譜在文本生成和創(chuàng)意寫作方面具有很強的能力。它使用基于深度學(xué)習(xí)的大規(guī)模預(yù)訓(xùn)練模型。知識圖譜可以生成多樣化的內(nèi)容，包括廣告文案、故事、博客文章等。，同時適應(yīng)用戶的特定要求和風(fēng)格偏好。其由深度學(xué)習(xí)驅(qū)動的創(chuàng)作過程使其能夠理解和模仿不同的寫作風(fēng)格，并進(jìn)行主題研究和情感分析，從而提高內(nèi)容的相關(guān)性和吸引力。此外，知乎青巖還提供協(xié)同增強和創(chuàng)意輔助功能，幫助用戶做出創(chuàng)意決策和優(yōu)化內(nèi)容，并預(yù)測內(nèi)容的市場反應(yīng)，在許多行業(yè)中得到廣泛應(yīng)用，尤其是在需要快速生產(chǎn)高質(zhì)量內(nèi)容的情況下。

問答系統(tǒng)

2023年6月，智普清言的多輪對話能力經(jīng)歷了一次重大升級。智普AI將其千億級模型ChatGLM升級到第二代，性能大幅提升。其中一個關(guān)鍵改進(jìn)是上下文理解長度的擴展，現(xiàn)在可以處理長達(dá)32K字符的對話上下文，推理速度也有了顯著提高。此次升級讓知乎青巖在多輪對話中展現(xiàn)出更強大的性能，不僅可以理解和回應(yīng)長文本對話，還擁有廣泛的知識儲備，涵蓋科技、歷史、文化、藝術(shù)和商業(yè)等多個領(lǐng)域的信息。

編程輔助工具

智普清研的代碼生成和編程輔助功能是其重要特點之一。它是一個能夠理解用戶需求的智能助手，可以在許多方面為用戶提供有用的幫助，包括但不限于工作、學(xué)習(xí)、日常生活和編程幫助。具體來說，智普清研的代碼生成能力使其能夠支持100多種編程語言，可以更快更準(zhǔn)確地生成代碼。該功能對于程序員來說非常方便，可以有效提高編程的效率和準(zhǔn)確性。

多模態(tài)交互

智普清言在多模態(tài)交互方面的顯著進(jìn)步和創(chuàng)新得益于其背后的最新技術(shù)，尤其是智普AI研發(fā)的第三代基礎(chǔ)模型ChatGLM3。它實現(xiàn)了許多新功能，包括具有多模態(tài)理解能力的CogVLM（基于圖片的語義識別）。此外，其代碼增強模塊Code Interpreter可以根據(jù)用戶的需求生成和執(zhí)行代碼，并自動完成數(shù)據(jù)分析和文件處理等復(fù)雜任務(wù)。WebGLM是網(wǎng)絡(luò)搜索的增強功能，使直撲青巖能夠在互聯(lián)網(wǎng)上找到最新信息，并在回答時提供相關(guān)信息的鏈接。同時支持包括工具調(diào)用、代碼執(zhí)行、游戲、數(shù)據(jù)庫操作、知識圖譜搜索與推理、操作系統(tǒng)等多種復(fù)雜場景。它使智普清研成為國內(nèi)首個具備代碼交互能力的大規(guī)模模型產(chǎn)品，支持圖像處理、數(shù)學(xué)計算、數(shù)據(jù)分析等多個應(yīng)用場景。

智普清研使用的核心模型ChatGLM2是一個基于通用語言模型（GLM）的雙語對話語言模型，擁有62億個參數(shù)。該模型的訓(xùn)練涉及一系列先進(jìn)的技術(shù)和策略，以提高其中英文處理性能和對話生成的自然度。同時，智普清研使用的核心型號ChatGLM2是基于ChatGLM-6B的進(jìn)化版本，而ChatGLM-6B本身是基于GLM-130B型號開發(fā)的。

GLM-130B:基本框架

GLM-130B采用多種訓(xùn)練技術(shù)，包括大規(guī)模語料庫預(yù)訓(xùn)練、分布式訓(xùn)練、混合精度訓(xùn)練和優(yōu)化器選擇，以提高訓(xùn)練效率和性能。該模型基于Transformer架構(gòu)，具有雙語處理能力，可以處理多種任務(wù)。其獨特的技術(shù)特點包括豐富的語言知識積累、雙語編碼、高效的訓(xùn)練和推理性能以及靈活的適應(yīng)性。

ChatGLM-6B:對話優(yōu)化

ChatGLM-6B是基于GLM-130B的大規(guī)模語言模型，旨在提高文本生成和對話的質(zhì)量。該模型結(jié)合了監(jiān)督微調(diào)、反饋自助和人類反饋強化學(xué)習(xí)等多種訓(xùn)練技術(shù)，使其能夠更好地理解和響應(yīng)用戶的需求，尤其是在對話和問答方面。在架構(gòu)上，ChatGLM-6B采用了高效的Transformer架構(gòu)，該架構(gòu)優(yōu)化了并行處理和長距離依賴捕獲，使其適用于復(fù)雜的語言理解和生成任務(wù)。此外，它在性能和通用性方面也非常出色:文本生成速度與GPT-3相當(dāng)，GPU內(nèi)存效率更高，因此可以部署在小型GPU上。ChatGLM-6B可以通過大規(guī)模文本和代碼訓(xùn)練執(zhí)行語言翻譯和創(chuàng)意內(nèi)容生成等多項任務(wù)，并在GLUE benchmark測試中表現(xiàn)出了先進(jìn)的性能。為了提高部署效率，該模型還通過INT8和INT4進(jìn)行了量化，降低了對計算資源的需求，使其成為一個多功能、高效且易于部署的大規(guī)模語言模型。

ChatGLM2:性能和效率的進(jìn)一步提高

ChatGLM2-6B是基于ChatGLM-6B的進(jìn)化版本，繼承了GLM-130B的核心架構(gòu)。它是一個專門為對話系統(tǒng)設(shè)計的中英雙語對話語言模型，擁有62億個參數(shù)，這使得ChatGLM2-6B在處理復(fù)雜語言模式和對話結(jié)構(gòu)方面具有非凡的能力。

訓(xùn)練技術(shù)：ChatGLM2模型使用GLM的混合目標(biāo)函數(shù)進(jìn)行預(yù)訓(xùn)練。該方法結(jié)合了自回歸和自編碼的優(yōu)點，有助于模型更好地理解和生成自然語言。此外，該模型已經(jīng)使用1.4T雙語標(biāo)識符進(jìn)行了預(yù)訓(xùn)練，這種大規(guī)模的雙語數(shù)據(jù)訓(xùn)練使該模型在中英文處理中都表現(xiàn)良好。為了進(jìn)一步優(yōu)化模型的對話生成能力，ChatGLM2還采用了人類反饋強化學(xué)習(xí)，使其生成的對話更符合人類的偏好和期望。

模型架構(gòu)：ChatGLM2-6B是基于ChatGLM-6B的進(jìn)化版本，繼承了GLM-130B的核心架構(gòu)。它是一個專門為對話系統(tǒng)設(shè)計的雙語對話語言模型。它擁有62億個參數(shù)，這使得ChatGLM2-6B在處理復(fù)雜的語言模式和對話結(jié)構(gòu)方面非常強大。

技術(shù)特征：ChatGLM2-6B基于GLM混合目標(biāo)函數(shù)和1.4T中英文識別器的預(yù)訓(xùn)練，在多個基準(zhǔn)測試中模型性能得到顯著提升。為了確保長對話的連續(xù)性，ChatGLM2-6B使用FlashAttention技術(shù)將上下文處理能力從2K擴展到32K。此外，通過引入多查詢注意力技術(shù)，其推理效率提升了42%，并且在INT4量化的支持下，該模型支持的對話長度在6G顯存下從1K提升至8K。與原始模型相比，ChatGLM2-6B在多個基準(zhǔn)測試上的性能提升更加明顯，在MMLU、CEval、GSM8K、BBH等數(shù)據(jù)集上的性能提升分別為+23%、+33%、+571%和+60%。

ChatGLM3:基于ChatGLM2的重新升級

ChatGLM3是智普AI推出的第三代基座型號，針對GPT-4V，實現(xiàn)了部分新功能的迭代升級。該模型結(jié)合了獨創(chuàng)的多階段增強預(yù)訓(xùn)練方法、更豐富多樣的訓(xùn)練數(shù)據(jù)和更優(yōu)化的訓(xùn)練方案。這些集成技術(shù)使ChatGLM3在基礎(chǔ)架構(gòu)方面更加先進(jìn)和強大。

智譜清言

訓(xùn)練技術(shù)：通過深度優(yōu)化，ChatGLM3的訓(xùn)練采用多階段增強方法，保證訓(xùn)練的充分性和深度。在44個中英文公開數(shù)據(jù)集的評測中，該模型在各項性能指標(biāo)上均有顯著提升。與ChatGLM II模型相比，MMLU、CEval、GSM8K和BBH分別提高了36%、33%、179%和126%。

模型架構(gòu)：在原有架構(gòu)的基礎(chǔ)上，ChatGLM3實現(xiàn)了多項技術(shù)升級。這些升級包括但不限于多模態(tài)理解、代碼增強模塊和網(wǎng)絡(luò)搜索增強功能。這些新增加的技術(shù)功能不僅增強了模型的語義理解能力，還增強了其邏輯處理能力，這使得ChatGLM3在多樣化的應(yīng)用場景中表現(xiàn)出比上一代模型更高的效率。

技術(shù)特征：ChatGLM3的技術(shù)特點主要體現(xiàn)在三個方面:其多模態(tài)理解能力CogVLM可以實現(xiàn)對圖像等多種信息的深度解讀，不僅可以回答各種類型的視覺問題，還可以完成復(fù)雜目標(biāo)的檢測和標(biāo)注，或自動數(shù)據(jù)標(biāo)注；在代碼解釋器的幫助下，ChatGLM3具有代碼生成和執(zhí)行的能力。該功能可以根據(jù)用戶的需求自動生成并執(zhí)行代碼，可用于完成數(shù)據(jù)分析和文件處理等復(fù)雜任務(wù)。最后，Web search enhanced WebGLM可以使模型充分利用網(wǎng)絡(luò)資源，從而提供更準(zhǔn)確和合適的答案。這些功能的集成提高了ChatGLM3處理多個復(fù)雜任務(wù)的語義和邏輯能力。ChatGLM3集成了智普AI自主研發(fā)的AgentTuning技術(shù)，激活了模型的agent功能，特別是在智能規(guī)劃和執(zhí)行方面，比ChatGLM2提升了1000%。此外，它還支持國內(nèi)大型模型的原生功能，如工具調(diào)用、代碼執(zhí)行、游戲、數(shù)據(jù)庫操作、知識圖譜搜索和推理、操作系統(tǒng)等復(fù)雜場景。