商量SenseChat

商量SenseChat是商湯科技開發的千億參數大語言模型應用平臺。該產品具備語義理解、多輪對話、知識掌握、邏輯推理等綜合能力，可為醫療、金融、移動終端、代碼開發、企業服務、城市管理、汽車出行、教育等垂直領域用戶提供服務。

2023年4月10日，商湯發布了大型模型系統SenseNova和該系統下的大型語言模型討論商量。2023年8月31日，商量正式向用戶開放，作為第一批開發大規模模型的科技公司，商湯通過咨詢商量實現了生成式人工智能相關收入的增長。截至2023年10月，商量主要服務于B端，與金融、手機、醫療、汽車、房地產、能源、媒體、工業制造等多個垂直行業的500多家客戶建立了深度合作。

投資機遇

2014年，商湯科技成立。作為一家人工智能軟件公司，商湯科技以“堅持原創，讓AI引領人類進步”為使命，長期投入AI研究。2015年，商湯開始開發深度學習訓練框架SenseParrots，這是商湯智能計算基礎設施SenseCore的核心。2018年前后，商湯開始著手準備大模型初始階段所需的算力、算法和數據。2018年4月，商湯啟動人工智能計算原型開發項目。同年10月，OpenMMLab人工智能算法開源系統上線，涉及10多個研究方向，開放了130多個算法和1000個預訓練模型。2021年7月，商湯開始打造SenseCore AI。2022年1月，商湯的上海臨港人工智能智能計算中心（AIDC）正式投入運營。AIDC是尚湯艾設備的重要計算基地，其設計峰值計算能力高達每秒374億次浮點運算，使其成為亞洲最大的超級計算中心之一。

2022年11月30日，OpenAI推出了ChatGPT聊天機器人。ChatGPT被視為通向通用人工智能的道路（AGI）。此后，大語言模型迅速引起了世界各國的廣泛關注。商湯科技開展了新的業務探索，并于2023年2月25日推出了SenseCore尚湯艾云，基于該云構建了AGI基礎設施并開發了大型模型系統。

發布開發

2023年4月10日，商湯發布了大規模模型系統“SenseNova”，該系統包括自然語言處理、內容生成、自動數據標注、用戶自定義模型訓練等眾多大規模模型和能力，其中包括大規模語言模型“咨詢商量”。討論的意思是“如果你討論，你就可以解決它。”SenseChat1.0基于海量數據和深度計算能力開發，具備多輪對話和超長文本理解能力，支持編程助手、健康咨詢助手、PDF文件閱讀助手等應用。

商量SenseChat

2023年6月，商湯發布了第一款基礎型號InternLM，其綜合能力超過了GPT-3.5-turbo。該模型的參數達到1040億個，并使用1.6萬億token多語言語料庫進行訓練，支持20多種語言。在此基礎上，討論SenseChat2.0將于7月初發布。討論了商量2.0在MMLU、AGIEval和C-Eval的評估中領先于ChatGPT，其中一些非常接近GPT-4的水平。2023年8月，新型號InternLM-123B完成了訓練，其測試成績在全球51個知名評估集中的30萬個問題中排名世界第二，超過了GPT-3.5-turbo和LLaMA2-70B。在此基礎上，討論將商量升級到3.0版。2023年8月31日，商量正式向用戶開放。討論商量3.0在2023年9月SuperCLUE中國大型車型總榜單中排名第一。商量3.0在人工智能代理（由SuperCLUE添加的人工智能子列表）中排名第一，領先于所有中國中國大型模型、GPT 3.5和克勞德2。

2023年上半年，借助大設備的計算能力、“逐日增長”大模型系統的大語言模型和文生圖模型的研發，商湯與生成式人工智能相關的收入增長670.4%，收入貢獻占比超過20%。截至2023年10月，商量已與金融、手機、醫療、汽車、房地產、能源、媒體和工業制造等多個垂直行業的500多家客戶建立了深度合作。

版本信息

2023年4月10日

1.0：它包含1800億個參數，支持長文本知識理解、交互式多輪對話、自動及時的知識更新，并具有通過模型理解問題后生成和總結答案的能力；支持的應用包括:編程助手，可以幫助開發人員更高效地編寫和調試代碼；健康咨詢助手，為用戶提供個性化醫療建議；PDF文件閱讀助手，可以輕松地從復雜的文檔中提取和總結信息

2023年7月7日

2.0：它突破了大語言模型輸入長度的限制，支持阿拉伯語和粵語，并推出不同參數順序的模型版本，可適應移動終端、云等不同終端和場景的應用需求，降低部署成本；知識和信息的準確性、邏輯判斷能力、語境理解能力和創造力都有了很大的提高。

2023年8月31日

3.0：基礎模型為“學者普宇InternLM-123B”，擁有1230億個參數，生成的內容更加準確可靠，可用于復雜場景下的多步推理和計算。具有獨立反思和糾錯的能力；代碼解釋器和插件調用能力已經升級。python解釋器、API調用和搜索可用于解決復雜任務和構建AI代理應用程序。

計算能力和數據：商湯的SenseCore基于商湯人工智能計算中心的AIDC，擁有3萬個在線GPU，可輸出6000 Petaflops，可有效支持大型語言模型的訓練、升級迭代和服務。到2023年8月，尚湯燦每月產生約2萬億個高質量數據令牌，以支持基礎模型訓練。此外，該公司還投入了數百臺配備千卡GPU計算資源的服務器，并使用算法結合人工方法對原始語料數據進行分類和精細清洗，以確保數據的質量、安全性和價值符合要求。

基礎模型：學者Puyu InternLM是由上海人工智能實驗室（上海ai實驗室）、商湯科技、香港中文大學、復旦大學和上海交通大學發布的多語言、數十億參數的基座模型，并在萬億代幣數據上進行訓練。

數據集：InternetLM的訓練數據集來源包括網頁、書籍、學術論文、代碼等。語料庫包含多種語言的文檔，其中英文文本涵蓋了廣泛的領域，而中文文本則增強了模型對中國和中國文化的了解。雖然其他語言的文本只占很小的比例，但也提高了模型的多語言能力。為了保證語言模型預處理的魯棒性和準確性，進行了一些數據處理，分為四個階段:語言分類，將所有文檔按照主要語言（如英語、漢語或其他語言）進行分類，實現語言感知的數據處理；基于規則過濾，通過各種規則和啟發式方法去除無關或低質量的內容；基于模型過濾，在黃金標準語料庫上訓練的小語言模型用于識別那些高質量的文檔，以確保所有訓練數據都符合高質量標準。重復數據刪除意味著消除相似的文檔或完全重復的段落，以減少數據冗余并避免破壞模型性能。

模型設計：interlm-104 b的模型架構采用基于變壓器的解碼器架構，類似于GPT系列。該模型包括82個變壓器層，每層有80個頭，頭維度設置為128。因此，模型大小為10240。

培訓過程：訓練過程分為幾個階段，每個階段通過控制不同比例的數據來定義其優化目標。并選擇適當的數據集來評估進度。如果某個特定階段未能達到預期，我們將從該階段結束時重新開始訓練，以避免重新開始，從而提高訓練效率。為了確保數據利用率，不會對相同的數據進行重新采樣。此外，為了進一步提高訓練效率，不同長度的句子將被打包成固定長度的序列，并使用特殊符號來描述不同的句子。訓練過程中使用的優化參數包括:學習速率、批量大小和總學習步驟。通過余弦學習速率調度將最大學習速率設置在2e-4和4e-5之間。在每個訓練階段結束時，最終學習率下降到峰值學習率的10%。訓練中使用的優化算法是AdamW，其特征是β1值為0.9，β2值為0.95。權重衰減的范圍保持在0.01-0.1之間，所有階段的梯度削波值和學習率預熱比分別保持在1.0和0.025。

監督微調：SFT（監督微調）:收集了一個包含問答對和多輪對話的教學數據集。基于指令數據集，以監督的方式對模型進行微調。獎勵模型的訓練:根據3H標準，即幫助、無害和誠實，訓練了一個獎勵模型。我們在互聯網上收集用戶提示，構建一組有毒提示，然后使用人類注釋器、語言模型和注釋偏好來生成不同的響應。獎勵模型從SFT模型初始化，最后一個投影層由新的全連接層替換。人工反饋強化學習（RLHF）:基于獎勵模型，使用近似策略優化（PPO）進一步微調SFT模型。此階段的目的是使模型響應與人類偏好一致。

基本功能

咨詢商量具有語義理解、多輪對話、知識掌握和邏輯推理的綜合能力。它使用大量數據進行訓練并充分考慮中文上下文，因此可以理解和處理中文文本，并具有理解多輪對話和長文本的能力；憑借合理性判斷和邏輯推理能力，我們可以判斷用戶給出的陳述是否合理，也可以根據前提和事實進行推導，以處理復雜的邏輯問題。它還可以通過與用戶的多輪互動解決復雜問題，提供定制化建議，協助文本創作，并自帶知識自動及時更新模塊，從而生成更可信、準確、更安全的信息；并且具有一定的共情能力，可以成為用戶傾訴社交壓力、情感困惑等個人問題的對象。此外，咨詢還可以通過字符識別技術閱讀和理解PDF文件，并根據用戶關于文件輸入的問題給出相應的答案。

擴展功能

AI代碼助手：AI代碼助手是基于大型語言模型的人工智能輔助開發工具，應用于編程領域。AI代碼助手支持中英文和多種編程語言，并能適應開發人員的個性化編碼風格，提高開發效率并減少開發錯誤。它具有代碼補全、代碼擴展、代碼翻譯、代碼重構、代碼修正、注釋代碼生成、復雜性分析和測試用例生成等功能。

大醫：基于問診模式的醫療健康大語言模型。基于萬億代幣的預訓練語料庫，以超200億代幣的高質量醫學知識數據進行訓練，涵蓋醫學教科書、醫學指南、臨床路徑、藥物庫、疾病庫、體檢報告，以及4000萬真實病歷、醫患問答等。大醫生的嵌入式醫療“場景集市”包括智慧健康、智慧患者服務、智慧門診和數字智能建設四大領域，包含智能自診、用藥咨詢、診后隨訪管理、智慧病歷和結構化視頻報告等13個預設場景。支持提示項目定制、長期記憶訪問、醫學知識庫查詢匯總等個性化功能。

2023年11月18日，新華社中國企業發展研究中心發布《人工智能大模型體驗報告3.0》，對國內主流大模型進行了全面評估。根據該報告，在量化衡量情商的維度上，商湯的商量在10個被評估的大型模型中排名第一。分析表明，就智商指數而言，商量能夠根據指令回答問題；在情商指標方面，它可以給出詳細的計劃，多種角度切入問題，并能引發用戶深入思考。商量憑借其技術實力和發展潛力被新華研究院評為中國大型模型市場的“未來領導者”。