編輯時(shí)間	歷史版本	內(nèi)容長(zhǎng)度	圖片數(shù)	目錄數(shù)	修改原因
2024-05-07 10:21	最新歷史版本	4842	1	7

返回詞條

云雀語言模型

云雀語言模型是字節(jié)跳動(dòng)公司開發(fā)的大規(guī)模預(yù)訓(xùn)練語言模型系列，有五個(gè)版本，即lite、plus、pro、pro-4k和chat。V1.0版本僅包含三個(gè)版本，即lite、plus和pro，于2023年8月6日發(fā)布。

基于字節(jié)神經(jīng)網(wǎng)絡(luò)加速器開發(fā)了云雀模型。通過便捷的自然語言交互，它可以高效地完成交互對(duì)話、信息獲取、輔助創(chuàng)作等任務(wù)。它還提供簡(jiǎn)單的API調(diào)用，并可以快速構(gòu)建自己的AI應(yīng)用程序并基于大型模型進(jìn)行業(yè)務(wù)創(chuàng)新。

發(fā)展歷史

2023年8月17日，字節(jié)跳動(dòng)公開測(cè)試了基于云雀模型的人工智能對(duì)話產(chǎn)品“豆包”，該產(chǎn)品具有web客戶端、iOS客戶端和Android客戶端，并預(yù)設(shè)了英語學(xué)習(xí)助手和寫作助手兩種功能。

2023年8月31日，包括云雀模型在內(nèi)的首批8個(gè)大模型通過了《生成式人工智能服務(wù)管理暫行辦法》。

2023年9月19日，火山引擎在“V-Tech數(shù)據(jù)驅(qū)動(dòng)技術(shù)峰會(huì)”上宣布，火山引擎中的數(shù)字智能平臺(tái)VeDI推出了“AI助手”，主要通過接入Lark模型來幫助企業(yè)提高數(shù)據(jù)處理和查詢分析的效率。這是字節(jié)首次公開披露Lark的相關(guān)應(yīng)用。

模型能力

代碼生成:該語言模型具有專業(yè)的代碼生成能力和知識(shí)儲(chǔ)備，能夠高效輔助代碼生產(chǎn)場(chǎng)景。

對(duì)話表達(dá):我們可以通過自然語言處理技術(shù)與用戶對(duì)話，回答用戶的問題，并在訓(xùn)練時(shí)同時(shí)處理大量數(shù)據(jù)，從而學(xué)習(xí)更復(fù)雜的特征表達(dá)，掌握底層特征，然后完成復(fù)雜的多輪對(duì)話并提供相關(guān)信息和建議。

信息抽取:通過遞歸地理解和把握復(fù)雜的語義結(jié)構(gòu)，深入理解文本信息之間的邏輯關(guān)系，可以從非結(jié)構(gòu)化的文本信息中抽取出所需的結(jié)構(gòu)化信息。

邏輯推理:通過分析問題的前提條件和假設(shè)，可以推導(dǎo)出答案或解決方案，并給出新的想法和觀點(diǎn)。

模型融合:通過將幾個(gè)小模型融合在一起，形成一個(gè)功能更強(qiáng)大的大模型，提高了模型的準(zhǔn)確性，使模型更加靈活，可以適應(yīng)更廣泛的數(shù)據(jù)和任務(wù)。

預(yù)訓(xùn)練能力:通過預(yù)訓(xùn)練，模型在訓(xùn)練前已經(jīng)學(xué)習(xí)了一些基礎(chǔ)知識(shí)和特征表示，這使得模型更高效，更具機(jī)動(dòng)性，能夠適應(yīng)更廣泛的數(shù)據(jù)集和任務(wù)。

基本原理

Lark是一個(gè)基于Transformer架構(gòu)的語言模型，它通過預(yù)測(cè)上一篇文章中下一個(gè)最可能出現(xiàn)的單詞來實(shí)現(xiàn)文本生成。其中，使用的新技術(shù)主要是基于Transformer架構(gòu)的語言模型和基于人類反饋的強(qiáng)化學(xué)習(xí)。前者對(duì)自然語言中包含的大量知識(shí)進(jìn)行建模，而后者使模型能夠通過對(duì)話提供適當(dāng)?shù)膬?nèi)容。

傳動(dòng)機(jī)構(gòu)：用戶提問后，百靈鳥首先識(shí)別用戶需求，通過提前學(xué)習(xí)全網(wǎng)搜索內(nèi)容，在對(duì)話框或登陸頁面顯示相應(yīng)結(jié)果。該模型首先通過大規(guī)模無監(jiān)督預(yù)訓(xùn)練學(xué)習(xí)語言的統(tǒng)計(jì)規(guī)律和知識(shí)，然后通過監(jiān)督微調(diào)使模型學(xué)會(huì)遵循用戶的指令，最后通過強(qiáng)化學(xué)習(xí)和訓(xùn)練使模型生成合適的內(nèi)容。

應(yīng)用場(chǎng)景

云雀主要用于今日頭條、Tik Tok、剪報(bào)、番茄小說、西瓜視頻、飛書、豆包、悟空瀏覽器、知乎車皇等網(wǎng)站或應(yīng)用。它主要涵蓋以下三個(gè)方向:

內(nèi)容創(chuàng)作:該語言模型具有豐富的文本創(chuàng)作、嚴(yán)格的指令合規(guī)性和龐大的知識(shí)儲(chǔ)備能力，可應(yīng)用于大綱生成、營銷文案生成等內(nèi)容創(chuàng)作場(chǎng)景。

知識(shí)問答:這種語言模型集成了大量知識(shí)庫，可以高效地解決工作和生活等各種場(chǎng)景中的問題。

人與人之間的對(duì)話:這種語言模型的角色扮演能力符合設(shè)定，具有多輪記憶，可應(yīng)用于社交同伴、虛擬主播和其他人設(shè)置對(duì)話場(chǎng)景。

版本介紹

Skylark-lite:Lite: Lite版響應(yīng)速度快，適用于實(shí)時(shí)性要求高、成本敏感、對(duì)模型精度要求低的場(chǎng)景，如快速智能回復(fù)、實(shí)時(shí)通知生成、基本文本理解等。

云雀-Plus:Plus:Plus版本兼顧了響應(yīng)速度和模型精度，適用于兼顧模型效果和使用成本的場(chǎng)景，如文本摘要、基礎(chǔ)文案、文本翻譯等。

Skylark-Pro:Pro: Pro版本具有較高的模型精度，適用于更復(fù)雜的文本生成場(chǎng)景，如專業(yè)領(lǐng)域的文案生成、小說創(chuàng)作、高質(zhì)量翻譯等。

Skylark-Chat:聊天:聊天版本針對(duì)交互式場(chǎng)景進(jìn)行了優(yōu)化，可以更好地理解上下文并生成自然對(duì)話，適用于構(gòu)建聊天機(jī)器人、虛擬助理和在線客服。

模型應(yīng)用

豆包：“豆包”是基于云雀模型開發(fā)的AI機(jī)器人。用戶可以通過手機(jī)號(hào)碼、Tik Tok或蘋果ID登錄。“豆包”提供聊天機(jī)器人、寫作助手、英語學(xué)習(xí)助手等功能。它可以回答各種問題并進(jìn)行對(duì)話以幫助人們獲取信息。

云雀語言模型

除了文字，數(shù)字人“豆包”還會(huì)對(duì)每個(gè)答案進(jìn)行語音回答。在功能方面，豆包在注冊(cè)登錄后將默認(rèn)進(jìn)入聊天界面，提供豆包、英語學(xué)習(xí)助手、全能寫作助手和愛聊天的蕭寧等四個(gè)虛擬角色，為用戶提供多語言、多功能的AIGC服務(wù)，包括但不限于問答、智能創(chuàng)作和聊天。在技術(shù)上，“豆包”基于深度學(xué)習(xí)，可以預(yù)測(cè)和生成輸入文本。其語言模型基于Transformer架構(gòu)，具有高效的并行處理能力和良好的語言理解能力。訓(xùn)練數(shù)據(jù)來自互聯(lián)網(wǎng)上的大量文本，包括新聞、博客、小說、論文等。在訓(xùn)練過程中，使用了各種優(yōu)化算法，包括隨機(jī)梯度下降、Adagrad、Adadelta等。

洪辰：洪辰相當(dāng)于海外版的“豆包”，于今年8月在多個(gè)海外市場(chǎng)推出。聚焦海外市場(chǎng)，已于2023年8月在多個(gè)海外市場(chǎng)上線，截至12月初已在36個(gè)國家和地區(qū)上線，基本覆蓋除歐美成熟市場(chǎng)外的全球其他所有地區(qū)。

ChitChop：ChitChop是一款基于云雀模型的人工智能助手工具，可為用戶提供20智能機(jī)器人服務(wù)，通過提供創(chuàng)意靈感和提高工作效率來服務(wù)用戶的工作和生活。就功能而言，ChitChopCici和豆腐更通用。在ChitChop APP的首頁可以看到包括創(chuàng)作、工作、AI繪畫、娛樂、AI學(xué)習(xí)和生活在內(nèi)的六大使用場(chǎng)景。每個(gè)場(chǎng)景包含10多個(gè)AI工具，總計(jì)200多個(gè)智能機(jī)器人，用戶甚至可以與AI虛擬角色一起玩游戲。