四虎综合网,老子影院午夜伦不卡国语,色花影院,五月婷婷丁香六月,成人激情视频网,动漫av网站免费观看,国产午夜亚洲精品一级在线

每日經濟新聞
要聞

每經網首頁 > 要聞 > 正文

商湯科技董事長徐立:端側應用是大模型“鋪開”最核心的關鍵

每日經濟新聞 2024-04-24 13:37:29

◎商湯科技董事長兼CEO徐立表示:“我們認為,今年是大模型在端側應用的元年。試想,如果幾十億端側的設備都在不停地調用大模型,沒有任何一個服務器能夠‘服務得起’。所以說,端側應用,其實是大模型鋪開最核心的關鍵。”

每經記者 朱成祥    每經編輯 董興生    

4月24日上午,商湯-W(HK00020,股價0.8港元,市值268億港元)港股開盤大漲。隨后,商湯公告稱,于11點15分起短暫停止買賣。暫停交易前,商湯股價上漲31.15%,報0.80港元/股。

4月23日,商湯科技在上海臨港AIDC(人工智能計算中心)舉辦技術交流日活動。在技術交流日上,商湯發(fā)布日日新5.0大模型,全面對標GPT-4 Turbo。據悉,該大模型超過10TB tokens訓練、覆蓋大量合成數據,全新的日日新5.0采用混合專家架構,推理時上下文窗口可以有效到200K左右。

此外,商湯也推出日日新·端側大模型。商湯科技董事長兼CEO徐立表示:“我們認為,今年是大模型在端側應用的元年。試想,如果幾十億端側的設備都在不停地調用大模型,沒有任何一個服務器能夠‘服務得起’。所以說,端側應用,其實是大模型鋪開最核心的關鍵。”

據了解,商湯日日新·端側大語言模型的推理速度達到了業(yè)內最快,可在中端平臺實現(xiàn)18.3字/s的平均生成速度,旗艦平臺達到78.3字/s。

圖片來源:每日經濟新聞 靳水平 攝

在現(xiàn)場,徐立展示了端側AI智能體的應用。比如通過語音輸入查郵件,且將剛查看的郵件移動到智能手機的文件夾,并發(fā)送一個群公告:下午5點開會。

徐立表示:“端側業(yè)務SDK(軟件開發(fā)工具包)正式發(fā)布,大家可以掃碼來適配到不同端側,目前支持高通8系列、7系列芯片,還有匹配天璣的芯片。”

值得注意的是,此前的AI PC普遍對計算機性能要求較高。將大模型部署到PC端,它對算力、存儲的要求都很高。如果現(xiàn)在部署到手機端,手機的算力、存儲包括帶寬是否會不足以支撐端側小模型?

4月21日,商湯科技首席科學家王曉剛在接受《每日經濟新聞》記者采訪時表示:“大家要看不同的應用,對于模型的準確率或體驗的要求是不一樣的。比如大量聊天式的應用,對模型性能的要求也會低一些。如果通過模型作為智能體做各種操作,它對操作的準確性、時效性要求會更高。不同的應用方向、場景對模型的要求是不一樣的,對于模型應用要求不是非常高的地方,是可以用端側模型去做的。”

王曉剛補充表示:“(云端)大模型要求的是一個通用能力,能做很多事情,而手機上的端側小模型要求是只需要在某些方面的能力做到足夠好就可以了。最終,我們的模型不是一個模型,而可能是一組模型。比如在端側,就用它作為AI智能體執(zhí)行調用各種APP,執(zhí)行各種功能,這時候,可以把端上的小模型局限在特定的功能上,把它做到最好。”

除了針對特定的功能,端側模型的性能也在不斷提升,一是數據質量的提升,二是可以通過云端大模型生成數據。

王曉剛表示:“隨著整個數據清洗的質量越來越高,將來會有越來越高質量的數據訓練端上的模型。另外,因為云端大模型的能力變得很強,它也能幫助我們生成某些方面高質量的數據。用這些數據可以更好地訓練小模型,因此,端上小模型的性能也在快速地提升。各種因素綜合到一起,還是能保證未來在端上的模型有一個好的應用,滿足終端消費者的要求。”

封面圖片來源:每日經濟新聞 靳水平 攝

如需轉載請與《每日經濟新聞》報社聯(lián)系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

模型 大模型 科技 商湯 商湯科技 芯片

歡迎關注每日經濟新聞APP

每經經濟新聞官方APP

0

0