91.3分!京東織女Vega v1模型位居GLUE榜首

21世紀經濟報道 發布於:2022-01-05

京東團隊超越同場競技的微軟、Facebook、斯坦福大學等企業和高校團隊。

21世紀經濟報道記者楊清清 綜合報道

1月4日消息,在近日公布的全球自然語言處理領域頂級測試GLUE中,京東探索研究院聯合悉尼大學、武漢大學以及北京航空航天大學組成夢之隊(JDExplore Dream Team, d-team)參與其中,其提出的織女模型Vega v1以總平均分91.3分榮登榜首奪冠,超越同場競技的微軟、Facebook、斯坦福大學等企業和高校團隊。 

值得提及的是,測試中織女模型在九個子任務中的四個單項任務,即情感分類任務SST-2(The Stanford Sentiment Treebank)、語義相似度任務MRPC (Microsoft Research Paraphrase Corpus)、問句語義等價任務QQP(The Quora Question Pairs)和指代消解任務WNLI(winograd NLI)中均位列第一。

據了解,本次奪冠的織女模型Vega v1採用了“預訓練-微調”範式,依托於多個重要預訓練的技術創新實現突破,例如採用了高效節能的並行化訓練框架以及數據利用方法,使用了數十億參數量的創新模型架構、更好的自監督信號以及多粒度句子級表徵等。

據介紹,未來還將考慮融合可信人工智能等技術對織女模型進行全面升級,讓其不僅具有強大的文本理解能力,還能具備穩定性、可解釋性、保護隱私、公平性等重要屬性。

(作者:楊清清 編輯:李清宇)

追加內容

本文作者可以追加內容哦 !

2024/05/05 - 外匯經紀商評分