科技

智源大会公布全球最大AI模型175万亿参数超过谷歌和OpenAI

銆恔eywords start銆戝箍瑗跨鎶€澶у,涓浗绉戞妧鍙戝睍璁烘枃,绉戞妧鐜嬪骇,涓浗绉戞妧鎴愬氨 杩戜袱骞?涓浗绉戝崗,澶╁绌洪棿绔?涓浗楂橀搧鎶€鏈€恔eywords end銆?锘?img src=https://img.hflfx.com/2023/07/opjsuzvtobi.jpg />

鏅轰笢瑗匡紙鍏紬鍙凤細zhidxcom锛?/p>

浣滆€?蹇冪紭

缂栬緫 婕犲奖

鏅轰笢瑗?鏈?鏃ユ姤閬擄紝涓婂崍锛屽湪鑱氶泦浜?00浣欎綅鍥藉唴澶栭《灏朅I涓撳鐨?021鍖椾含鏅烘簮澶т細寮€骞曞紡涓婏紝鍖椾含鏅烘簮浜哄伐鏅鸿兘鐮旂┒闄㈠彂甯冨叏鐞冩渶澶ч璁粌妯″瀷鈥斺€斺€滄偀閬?.0鈥濆法妯″瀷锛屽弬鏁伴噺楂樿揪1.75涓囦嚎锛?/p>

鍖椾含鏅烘簮澶т細鏄敱鏅烘簮鐮旂┒闄富鍔炵殑骞村害鍥介檯鎬I楂樼瀛︽湳浜ゆ祦浼氳锛屽畾浣嶄簬鈥滃唴琛岀殑AI浼氳鈥濓紝鏃ㄥ湪鎴愪负鍖椾含涔冭嚦涓浗AI鍙戝睍鐨勫鏈悕鐗囥€?/p>

鑰屾娆¢噸纾呭彂甯冪殑鈥滄偀閬?.0鈥濆法妯″瀷锛屾槸涓浗棣栦釜鍏ㄧ悆鏈€澶т竾浜挎ā鍨嬶紝姣旀湁1.6涓囦嚎涓弬鏁扮殑璋锋瓕鏈€澶фā鍨婼witch Transformer锛岃冻瓒冲浜?500浜夸釜鍙傛暟锛涙槸OpenAI GPT-3妯″瀷鍙傛暟閲忕殑10鍊嶃€?/p>

姝ゅ锛屸€滄偀閬?.0鈥濊繕鍙栧緱澶氶」涓栫晫绾у垱鏂扮獊鐮达紝鍦ㄩ璁粌妯″瀷鏋舵瀯銆佸井璋冪畻娉曘€佲炯鏁堥璁粌妗嗘灦绛夆絽闈㈠疄鐜颁簡鍘熷鐞嗚鍒涙柊锛屽苟鍦ㄤ笘鐣屽叕璁ょ殑AI鑳解紥鎺掑悕姒滃崟涓婏紝鍙栧緱9椤硅兘饧掔殑棰嗗厛鍦颁綅銆?/p>

鏅烘簮鈥滄偀閬撯€濇櫤鑳芥ā鍨嬶細澶фā鍨?澶у钩鍙?澶х敓鎬?/p>

灏ゅ叾鍊煎緱饧€鎻愮殑鏄紝杩欎釜鐢辨櫤婧愬壇闄⑩粨銆佹竻鍗庘激瀛︽暀鎺堝攼鏉扮巼棰嗕腑鍥界瀛﹀鍥㈤槦鑱斿悎鏀诲叧鐨勪竾浜挎ā鍨嬶紝棣栨100%鍩轰簬鍥戒骇瓒呯畻骞冲彴鎵撻€犮€佽繍饨や腑鍥芥妧鏈紝鎵撶牬鍘熸潵鍙兘鐢℅PU璁粌妯″瀷鐨勯棶棰樸€?/p>

鏅烘簮鐮旂┒闄㈣繕涓庢柊鍗庣ぞ鎴樼暐鍚堜綔锛屽皢鎮熼亾妯″瀷搴旂敤浜庢柊闂绘暟瀛楀寲杞瀷锛涘苟鍚堜綔鏅鸿氨AI銆佸井杞皬鍐板叕鍙革紝鑱斿悎鍩瑰吇鍑嗗杩涘叆娓呭崕鍞愭澃瀹為獙瀹ょ殑涓浗棣栦綅鍘熷垱铏氭嫙瀛︾敓鈥滃崕鏅哄啺鈥濄€?/p>

浜屻€佷负浠€涔堚€滃叏鐞冩渶澶р€濇ā鍨嬶紝浼氬嚭鐜板湪鏅烘簮锛?p>鈥滄偀閬撯€濇敾鍏冲洟闃熺敱鏅烘簮鍓櫌饣撱€佹竻鍗庘激瀛︽暀鎺堝攼鏉伴琛旓紝娓呭崕銆佸寳澶с€佲紙澶с€佷腑绉戦櫌绛?00浣欎綅绉戝瀹惰仈鍚堟敾鍏筹紝褰㈡垚浜咥I鐨勭壒鎴樺洟闃熴€?/p>

浠婂勾3鏈?0鏃ワ紝鏅烘簮鐮旂┒闄㈠彂甯冩垜鍥介涓秴澶ц妯℃櫤鑳芥ā鍨嬧€滄偀閬?.0鈥濓紝鍖呭惈涓枃銆佸妯℃€併€佽鐭ャ€佽泲鐧借川棰勬祴鍦ㄥ唴鐨勭郴鍒楁ā鍨嬶紝鍙栧緱浜嗗椤瑰浗闄呴鍏堢殑AI鎶€鏈獊鐮淬€?/p>

寮€鍒涙€х殑FastMoE鎶€鏈紝鏄墦鐮村浗澶栨妧鏈摱棰堬紝瀹炵幇鈥滀竾浜挎ā鍨嬧€濆熀鐭崇殑鍏抽敭銆?/p>

姝ゅ墠鍥犺胺姝屼竾浜挎ā鍨嬬殑鏍稿績鍙傛暟MoE锛圡ixture of Experts锛夊拰鍏舵槀璐电殑纭欢寮虹粦瀹氾紝缁濃激澶氭暟饧堟棤娉曞緱鍒颁娇鐢ㄤ笌鐮旂┒鏈轰細銆?/p>

MoE鏄紑涓湪绁炵粡缃戠粶涓紩鍏ヨ嫢饧蹭笓瀹垛焦缁滐紙Expert Network锛夌殑鎶€鏈紝鑳界洿鎺ユ帹鍔ㄩ璁粌妯″瀷缁忎粠浜跨骇鍙傛暟鍒颁竾浜跨骇鍙傛暟鐨勮法瓒婏紝浣嗗畠绂讳笉寮€瀵硅胺姝屽垎甯冨紡璁粌妗嗘灦mesh-tensorflow鍜岃胺姝屽畾鍒剁‖浠禩PU鐨勪緷璧栥€?/p>

鑰孎astMoE鎵撶牬浜嗚繖饧€闄愬埗锛氫綔涓洪涓敮鎸丳yTorch妗嗘灦鐨凪oE绯荤粺锛屽畠绠€鍗曟槗鐢ㄣ€佺伒娲汇€佲炯鎬ц兘锛屼笖饨€鎸佸ぇ瑙勬ā骞惰璁粌銆?/p>

FastMoE鐢扁€滄偀閬撴枃姹団€濆拰鈥滄偀閬撴枃婧€濅袱涓爺绌跺皬缁勮仈鍚堟敾鍏筹紝鍙湪涓嶅悓瑙勬ā鐨勮绠楁満鎴栭泦缇や笂鏀寔鎺㈢储涓嶅悓鐨凪oE妯″瀷鍦ㄤ笉鍚岄鍩熺殑搴旂敤锛岀浉姣旂洿鎺ヤ娇鐢≒yTorch瀹炵幇鐨勭増鏈紝鎻愰€?7鍊嶃€?/p>

闈㈠悜棰勮缁冩ā鍨嬬殑鍏ㄩ摼璺珮鏁堣缁冩鏋禖PM-2

锛?锛夆炯鏁堢紪鐮侊細鐮斿彂浜嗘渶楂樻晥銆佹渶鎶楀櫔鐨勪腑饨傞璁粌璇緮妯″瀷缂栫爜锛岃В鍐斥剑鍍诲瓧绛夐棶棰橈紱

锛?锛夆炯鏁堟ā鍨嬶細鏋勫缓浜嗕笘鐣岄涓函闈炴绌洪棿妯″瀷锛屽彧闇€涓€鍗婄殑鍙傛暟閲忥紝鍗冲彲杈惧埌杩戜技娆у紡妯″瀷鐨勬晥鏋滐紱

锛?锛夆炯鏁堣缁冿細涓栫晫棣栧垱饧よ妯¢璁粌妯″瀷铻嶅悎妗嗘灦锛屽舰鎴愨炯鏁堣缁冩柊妯″紡锛岃缁冩椂闂寸缉鐭?7.3%锛岄€熷害鎻愬崌37.5%锛?/p>

锛?锛夆炯鏁堝井璋冿細涓栫晫棣栧垱澶氱被鍒玃rompt寰皟锛屽彧闇€璁粌0.001%鍙傛暟锛屽嵆鍙疄鐜颁笅娓镐换鍔¢€傞厤锛?/p>

锛?锛夐珮鏁堟帹鐞嗭細涓栫晫棣栧垱浣庤祫婧愨激妯″瀷鎺ㄧ悊绯荤粺锛屽崟鏈哄崟鍗PU鍙繘饩忓崈浜胯妯$殑妯″瀷鎺ㄧ悊銆?/p>

鎮熼亾路鏂囨簮杩樺寘鍚笘鐣屾渶澶т腑鏂囪嚜鐒惰瑷€鑳藉姏璇勬祴鏁版嵁闆嗭紝杩欐槸鐩墠鏈€鍏ㄩ潰绯荤粺鐨勪腑鏂囪嚜鐒惰瑷€鑳藉姏璇勬祴鍩哄噯锛岃兘缁煎悎鍙嶆槧妯″瀷鐨勮瑷€鑳藉姏銆?/p>

闄や簡鍦ㄤ粖澶╀笂鍗堝彂琛ㄦ紨璁茬殑鍥剧伒濂栧緱涓汇€佸姞鎷垮ぇ钂欑壒鍒╁皵澶у鏁欐巿Yoshua Bengio涔嬪锛屽浘鐏靛寰椾富銆佽绠楁満浣撶郴缁撴瀯瀹楀笀David Patterson锛?017骞存娲插ぇ鑴戝寰椾富銆佷笘鐣岃憲鍚嶇缁忕瀛﹀Peter Dayan锛屽姞宸炲ぇ瀛︿集鍏嬪埄鍒嗘牎浜哄伐鏅鸿兘缁熻涓績鍒涘浜篠tuart Russell锛岃嚜鍔ㄩ┚椹朵箣鐖禨ebastian Thrun锛岃绠楀彲鎸佺画鎬ч鍩熷紑鍒涜€匔arla Gomes锛屽浗鍐匒I缁忓吀瑗跨摐涔︺€婃満鍣ㄥ涔犮€嬩綔鑰呫€佸鏁欐巿鍛ㄥ織鍗庣瓑鍥藉唴澶?00浣欎綅灏栫AI涓撳锛屽潎灏嗗湪鎺ヤ笅鏉ョ殑涓夊ぉ鍐呭垎浜墠娌挎€濇兂銆?/p>

鍚庣画锛屾櫤涓滆タ灏嗗彂鏉ユ洿澶氬寳浜櫤婧愬ぇ浼氱殑鎶ラ亾锛屽寘鎷笌瀛︽湳棰嗚鐨勯噰璁夸氦娴侊紝鏁鏈熷緟銆?/p>