大地资源网视频在线观看新浪,日本春药精油按摩系列,成人av骚妻潮喷,国产xxxx搡xxxxx搡麻豆

正在閱讀:網(wǎng)易伏羲預訓練模型“玉言”登頂CLUE分類榜單,成績首次超過人類水平

網(wǎng)易伏羲預訓練模型“玉言”登頂CLUE分類榜單,成績首次超過人類水平

2023-01-21 10:00:00來源:TechWeb.com.cn 關鍵詞:人工智能網(wǎng)易伏羲閱讀量:24226

導讀:近日,網(wǎng)易伏羲預訓練模型“玉言”成功登頂 CLUE分類任務榜,這是網(wǎng)易伏羲在中文文本預訓練領域又一重要里程碑。
  近日,網(wǎng)易伏羲的“玉言”系列模型在CLUE分類任務排行榜中超越其他模型,榮登榜單第一。在CLUE1.1分類任務排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分類]、IFLYTEK[長文本分類]、OCNLI[自然語言推理]、WSC[代詞消歧]、CSL[關鍵詞識別]6個理解任務)上首次超過人類水平。
 
  作為中文語言理解領域最具權威性的測評基準之一,CLUE榜單在學術界及工業(yè)界有著深遠影響。此次「玉言」成功登頂 CLUE分類任務榜,是網(wǎng)易伏羲在中文文本預訓練領域又一重要里程碑。值得一提的是,一年前網(wǎng)易伏羲的“玉言”系列模型也曾登頂CLUE推出的中文小樣本學習評測榜單FewCLUE。
 
  "玉言“是網(wǎng)易伏羲自主研發(fā)的中文文本預訓練大模型系列,這次登頂CLUE分類任務榜單的模型參數(shù)達到110億,結構由深層 Encoder 和淺層 Decoder 組成,這種結構可以使得大模型具有優(yōu)秀理解能力的同時,也有著較為優(yōu)秀的生成能力。除此之外,Encoder-Decoder結構方便訓練任務的設計,不需要復雜的掩碼策略。其預訓練數(shù)據(jù)包括網(wǎng)易自有高質量數(shù)據(jù)、各類百科、新聞、社區(qū)問答、wiki、小說等等;網(wǎng)易伏羲對收集到的數(shù)據(jù)進行去重,清洗,產(chǎn)出了大量高質量數(shù)據(jù),并采用這些數(shù)據(jù)訓練模型,使得模型具有良好的泛化性,在各類任務上都有著出色的性能。
 
  網(wǎng)易伏羲在"玉言“模型的訓練中,采用多任務訓練框架對模型Encoder和Decoder進行訓練。為了提升模型的語義表示能力,同時讓模型更好的理解不同長度的文本信息,提出了不同的預訓練策略來幫助模型學習:
 
  1. 掩碼策略:掩碼[MASK]將句子中的詞進行掩蓋,讓模型還原被掩蓋的詞語,提升模型對詞語的語義表示能力;
 
  2. Word Shift 策略:通過打亂中文詞語里單字的順序,讓模型對其進行還原,從而提升模型對中文詞語表達的關注能力,增強對中文詞語的敏感性;
 
  3. Short Sentence Reorder 策略:通過打亂出現(xiàn)在句子中的短句,再讓模型還原以提升模型對句子語義的理解;
 
  4. Word/Sentence Deleted 策略:刪除句子中的單詞或整句后再讓模型進行還原,以提升模型對不同長度的文本的語義表示能力;
 
  網(wǎng)易伏羲的大規(guī)模預訓練相關工作由網(wǎng)易高級副總裁、網(wǎng)易雷火事業(yè)群總裁胡志鵬牽頭主持,并且入選2022年度浙江省科技計劃項目--“尖兵”項目。自研模型規(guī)模從最早的一億參數(shù)增長至千億參數(shù),模型領域從文本拓展到圖文、音樂、行為序列等多種模態(tài),積累了豐富的預訓練模型訓練和工程優(yōu)化的經(jīng)驗。相關技術也已經(jīng)應用在網(wǎng)易集團內的文字游戲、智能NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術設計、互聯(lián)網(wǎng)搜索推薦等業(yè)務場景,并取得了顯著的業(yè)務效果。
 
  另外,網(wǎng)易伏羲參與了中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟組織的大規(guī)模預訓練模型技術的應用評估方法編寫,并且在由中國信息通信研究院、人工智能關鍵技術和應用評測工業(yè)和信息化部重點實驗室等機構發(fā)起的2022可信AI峰會上,網(wǎng)易伏羲的大模型應用「 LOFTER-AI 寫文」和「傀儡戲-互動式文字游戲」同時入選“2022大規(guī)模預訓練模型優(yōu)秀應用案例”,在大模型技術及AI實踐領域獲行業(yè)認可。
 
  網(wǎng)易伏羲作為國內專業(yè)從事游戲與泛娛樂AI研究和應用的頂尖機構,未來會在大規(guī)模預訓練模型領域持續(xù)探索,并結合有靈機器人眾包能力,引入“人”的決策及數(shù)據(jù)閉環(huán),進一步提升大模型的能力。
我要評論
文明上網(wǎng),理性發(fā)言。(您還可以輸入200個字符)

所有評論僅代表網(wǎng)友意見,與本站立場無關。

版權與免責聲明:

凡本站注明“來源:智能制造網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡有限公司-智能制造網(wǎng)合法擁有版權或有權使用的作品,未經(jīng)本站授權不得轉載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權使用作品的,應在授權范圍內使用,并注明“來源:智能制造網(wǎng)”。違反上述聲明者,本站將追究其相關法律責任。

本站轉載并注明自其它來源(非智能制造網(wǎng))的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時,必須保留本站注明的作品第一來源,并自負版權等法律責任。如擅自篡改為“稿件來源:智能制造網(wǎng)”,本站將依法追究責任。

鑒于本站稿件來源廣泛、數(shù)量較多,如涉及作品內容、版權等問題,請與本站聯(lián)系并提供相關證明材料:聯(lián)系電話:0571-89719789;郵箱:1271141964@qq.com。

不想錯過行業(yè)資訊?

訂閱 智能制造網(wǎng)APP

一鍵篩選來訂閱

信息更豐富

推薦產(chǎn)品/PRODUCT 更多
智造商城:

PLC工控機嵌入式系統(tǒng)工業(yè)以太網(wǎng)工業(yè)軟件金屬加工機械包裝機械工程機械倉儲物流環(huán)保設備化工設備分析儀器工業(yè)機器人3D打印設備生物識別傳感器電機電線電纜輸配電設備電子元器件更多

我要投稿
  • 投稿請發(fā)送郵件至:(郵件標題請備注“投稿”)1271141964.qq.com
  • 聯(lián)系電話0571-89719789
工業(yè)4.0時代智能制造領域“互聯(lián)網(wǎng)+”服務平臺
智能制造網(wǎng)APP

功能豐富 實時交流

智能制造網(wǎng)小程序

訂閱獲取更多服務

微信公眾號

關注我們

抖音

智能制造網(wǎng)

抖音號:gkzhan

打開抖音 搜索頁掃一掃

視頻號

智能制造網(wǎng)

公眾號:智能制造網(wǎng)

打開微信掃碼關注視頻號

快手

智能制造網(wǎng)

快手ID:gkzhan2006

打開快手 掃一掃關注
意見反饋
我要投稿
我知道了
主站蜘蛛池模板: 浏阳市| 汉阴县| 科尔| 漳浦县| 全南县| 克拉玛依市| 秦皇岛市| 蒙城县| 陆川县| 大理市| 乌兰县| 屯门区| 江华| 佛教| 娱乐| 密云县| 张家口市| 宁强县| 蒙自县| 阳西县| 宁乡县| 翼城县| 定襄县| 龙胜| 上饶市| 虎林市| 怀安县| 恭城| 晋宁县| 益阳市| 汝城县| 吉木乃县| 延川县| 安化县| 综艺| 墨竹工卡县| 嵩明县| 通辽市| 洛宁县| 宁河县| 汕尾市|