以科技創(chuàng)新推動(dòng)產(chǎn)業(yè)創(chuàng)新專題 | HiMo-CLIP入選AAAI 2026 Oral,聯(lián)通元景突破跨模態(tài)對(duì)齊瓶頸
2025/12/13 12:49:31
近日,來(lái)自Google的Gemini3掀起了新一輪的多模態(tài)技術(shù)浪潮,“讀圖”與“長(zhǎng)文本理解”已成為衡量AI智商的核心標(biāo)準(zhǔn)。然而,作為連接圖像與文本的“橋梁”,傳統(tǒng)的CLIP(ContrastiveLanguage-ImagePre-training)模型在面對(duì)復(fù)雜、多細(xì)節(jié)的長(zhǎng)文本描述時(shí),卻常出現(xiàn)一個(gè)怪象:描述越豐富,圖文匹配反而越差。
與此同時(shí),中國(guó)聯(lián)通數(shù)據(jù)科學(xué)與人工智能研究院在這一領(lǐng)域取得重要進(jìn)展,提出全新視覺語(yǔ)言對(duì)齊框架HiMo-CLIP,通過(guò)創(chuàng)新性建模語(yǔ)義層級(jí)與單調(diào)性,在不修改編碼器架構(gòu)的前提下,實(shí)現(xiàn)了長(zhǎng)文本、短文本場(chǎng)景的全維度性能突破。相關(guān)論文已入選國(guó)際人工智能頂會(huì)AAAI2026Oral(總投稿量23680篇,錄用率為17.6%,其中Oral錄用率僅約3.5%)。目前,量子位、CVer、AI思想會(huì)、我愛計(jì)算機(jī)視覺等媒體均對(duì)該成果進(jìn)行了報(bào)道。
關(guān)于AAAI
AAAI人工智能會(huì)議(AAAIConferenceonArtificialIntelligence)是人工智能領(lǐng)域歷史悠久、覆蓋范圍廣的國(guó)際學(xué)術(shù)盛會(huì)之一。其學(xué)術(shù)權(quán)威性備受認(rèn)可,被中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)、中國(guó)自動(dòng)化學(xué)會(huì)(CAA)及中國(guó)人工智能學(xué)會(huì)(CAAI)共同評(píng)定為A類會(huì)議。
(論文入選)
問(wèn)題溯源:CLIP的“扁平化”瓶頸
傳統(tǒng)CLIP模型在處理文本時(shí),往往把句子當(dāng)作“一鍋粥”,不能在復(fù)雜的上下文中捕捉到具區(qū)分度的特征。這將導(dǎo)致兩個(gè)典型問(wèn)題:語(yǔ)義層級(jí)和語(yǔ)義單調(diào)性的缺失。
例如,一張“白色福特F250”的圖片,若描述從“一輛白色卡車”逐步擴(kuò)展為“帶有超大輪胎、可見車軸、染色車窗的白色福特F250”,理想情況下模型應(yīng)該越來(lái)越確信這是一張匹配的圖片。但現(xiàn)有模型往往做不到這一點(diǎn)。
(隨著描述變長(zhǎng),現(xiàn)有模型分?jǐn)?shù)下降,而HiMo-CLIP(綠勾)穩(wěn)步提升)
HiMo-CLIP:兩大創(chuàng)新,讓AI“越看越懂”
HiMo-CLIP提出了兩個(gè)核心組件,由此讓模型具備了“分層理解”和“越詳細(xì)越匹配”的能力:
層次化解構(gòu)(HiDe):使用批次內(nèi)主成分分析(PCA),動(dòng)態(tài)提取文本中的關(guān)鍵語(yǔ)義成分,讓模型能根據(jù)上下文自適應(yīng)聚焦不同層次的語(yǔ)義信息。比如在同一批數(shù)據(jù)中,有時(shí)“福特F250”是關(guān)鍵,有時(shí)“染色車窗”更關(guān)鍵。
單調(diào)性感知對(duì)比損失(MoLo):設(shè)計(jì)雙分支對(duì)齊目標(biāo),一個(gè)分支保持全局圖文對(duì)齊,另一個(gè)分支將圖像與HiDe提取出的關(guān)鍵語(yǔ)義成分對(duì)齊。通過(guò)聯(lián)合優(yōu)化,模型自然而然地學(xué)會(huì)“文本越完整,對(duì)齊分?jǐn)?shù)越高”的單調(diào)性規(guī)律。
(HiMo-CLIP框架概覽)
實(shí)驗(yàn)結(jié)果:全場(chǎng)景性能碾壓主流基線
HiMo-CLIP在多個(gè)經(jīng)典的長(zhǎng)文本、短文本檢索基準(zhǔn),以及自行構(gòu)造的深度層級(jí)數(shù)據(jù)集HiMo-Docci上進(jìn)行了廣泛實(shí)驗(yàn)。
在長(zhǎng)文本(表1)和短文本(表2)檢索任務(wù)上,HiMo-CLIP展現(xiàn)出了顯著的優(yōu)勢(shì)。值得注意的是,HiMo-CLIP僅使用了1M(一百萬(wàn))的訓(xùn)練數(shù)據(jù),就擊敗了使用100M甚至10B數(shù)據(jù)的現(xiàn)有方法(如LoTLIP,SigLIP等),并在多個(gè)數(shù)據(jù)集上刷新SOTA。
(表1長(zhǎng)文本檢索結(jié)果)
(表2短文本檢索結(jié)果)
為系統(tǒng)評(píng)估語(yǔ)義單調(diào)性,中國(guó)聯(lián)通數(shù)據(jù)科學(xué)與人工智能研究院提出了HiMo@K指標(biāo),用于衡量模型在文本逐步完整時(shí)對(duì)齊分?jǐn)?shù)是否單調(diào)遞增。還通過(guò)可視化方式,展示了不同方法的語(yǔ)義單調(diào)性表現(xiàn)。現(xiàn)有方法經(jīng)常出現(xiàn)“細(xì)節(jié)增加但匹配度下降”的反直覺現(xiàn)象,而HiMo-CLIP則始終維持穩(wěn)定遞增的匹配趨勢(shì),符合人類認(rèn)知。
(HiMo-Docci上的單調(diào)性可視化)
HiMo-CLIP的提出標(biāo)志著多模態(tài)學(xué)習(xí)從“扁平化”向“結(jié)構(gòu)化”的重要轉(zhuǎn)變。正如論文中所強(qiáng)調(diào):“對(duì)齊跨模態(tài)表示的多個(gè)語(yǔ)義抽象層次,對(duì)魯棒且符
下一頁(yè)
返回列表
返回首頁(yè)
©2025 云計(jì)算世界-云計(jì)算資料和交流中心 電腦版
Powered by iwms
日韩精品一区二区三区swag_一区二区三区在线高清_亚洲国内欧美_国产精品xnxxcom
亚洲激情电影在线|
国产在线观看精品一区二区三区|
久久婷婷色综合|
久久综合伊人77777蜜臀|
欧美岛国在线观看|
欧美性大战久久久久久久蜜臀
|
国产精品久久久久久久久|
国产精品午夜在线观看|
激情懂色av一区av二区av|
亚洲精品无人区|
亚洲欧美一区二区精品久久久|
久久久久国产一区二区三区四区|
欧美大片免费观看在线观看网站推荐
|
日韩视频一区二区三区在线播放免费观看
|
一区二区三区产品免费精品久久75
|
亚洲视频国产视频|
久久精品99久久香蕉国产色戒|
噜噜噜在线观看免费视频日韩|
欧美日韩视频一区二区三区|
国产精品一区二区视频|
亚洲国产黄色片|
午夜久久一区|
欧美精品网站|
国产视频欧美视频|
亚洲精品乱码久久久久久按摩观|
午夜精品www|
欧美护士18xxxxhd|
国产自产高清不卡|
在线中文字幕日韩|
久久婷婷影院|
国产精品久久午夜|
亚洲精品一区二区三区不|
欧美在线日韩精品|
欧美日韩另类字幕中文|
在线观看一区视频|
欧美一级淫片播放口|
欧美日韩三级视频|
永久免费精品影视网站|
午夜精品久久久久久久久久久
|
韩日午夜在线资源一区二区|
亚洲视频你懂的|
女生裸体视频一区二区三区|
国产欧美一区二区精品忘忧草|
亚洲激情午夜|
久久久久久久久久看片|
国产精品美女久久福利网站|
亚洲精品久久久一区二区三区|
久久国产精品黑丝|
国产精品久久久久国产a级|
亚洲片区在线|
美女久久网站|
尹人成人综合网|
欧美在线91|
国产精品久久久久aaaa樱花|
日韩网站免费观看|
欧美黄色片免费观看|
亚洲第一福利视频|
久久天堂av综合合色|
国产视频一区在线观看|
亚洲在线观看视频网站|
欧美视频中文字幕在线|
99xxxx成人网|
欧美喷潮久久久xxxxx|
亚洲精品精选|
欧美激情网站在线观看|
亚洲精品123区|
欧美大片在线观看一区二区|
亚洲国产电影|
欧美ed2k|
亚洲精品国产品国语在线app
|
欧美视频中文在线看|
一本色道久久综合亚洲精品小说
|
国产精品视频免费|
亚洲影视中文字幕|
欧美性猛交一区二区三区精品|
一区二区三区日韩精品|
欧美日韩日本视频|
一本一本久久a久久精品综合妖精|
欧美激情1区2区3区|
亚洲黄网站在线观看|
欧美国产第二页|
亚洲日本欧美|
欧美日韩国产综合网|
一本大道久久a久久精品综合|
欧美激情影院|
夜色激情一区二区|
国产精品v日韩精品v欧美精品网站|
aa成人免费视频|
欧美午夜激情视频|
亚洲欧美视频在线观看|
国产亚洲欧美在线|
久久亚洲二区|
亚洲精品在线电影|
欧美天天综合网|
午夜精品久久久久久99热软件|
国产欧美日韩在线视频|
久久久久久久999精品视频|
激情综合五月天|
嫩草成人www欧美|
日韩视频第一页|
国产精品日韩高清|
久久精品人人做人人爽|
亚洲第一狼人社区|
欧美日本中文字幕|
亚洲与欧洲av电影|
国产综合色在线|
欧美风情在线|
亚洲一区日韩在线|
国产一区二区三区高清|
美女91精品|
99人久久精品视频最新地址|
国产精品久久久一本精品|
久久黄色级2电影|
亚洲高清在线|
欧美三级精品|
久久成人人人人精品欧|
91久久精品视频|
欧美性色aⅴ视频一区日韩精品|
欧美亚洲视频在线看网址|
在线观看欧美一区|
欧美日韩在线直播|
久久激情一区|
亚洲美女91|
国产欧美日韩亚洲一区二区三区|
久久影院午夜片一区|
一本一本久久a久久精品综合妖精
一本一本久久a久久精品综合麻豆
|
亚洲美女av在线播放|
国产精品视频导航|
久热综合在线亚洲精品|
中文亚洲字幕|
国一区二区在线观看|
欧美日韩mp4|
久久精品99国产精品|
9久re热视频在线精品|
国产亚洲一区二区三区|
欧美日韩ab|
久久久亚洲高清|
中文久久精品|
亚洲高清av|
国产欧美日韩专区发布|
欧美激情一区二区三区蜜桃视频
|
欧美激情第9页|
欧美一区二区三区在线看|
亚洲精品一区在线观看香蕉|
国产日韩专区|
欧美日韩一区国产|
麻豆乱码国产一区二区三区|
亚洲中字黄色|
亚洲精品视频二区|
国产一区二区三区在线观看精品|
欧美日韩激情小视频|
久久综合狠狠|
性伦欧美刺激片在线观看|
亚洲免费精品|
在线日韩中文字幕|
国产欧美日韩中文字幕在线|
欧美日本国产精品|
久久综合激情|
久久成年人视频|
亚洲一区在线看|
日韩一区二区高清|
亚洲国产美女精品久久久久∴|
国产婷婷色一区二区三区|
欧美色欧美亚洲另类二区|
鲁大师成人一区二区三区|
欧美一区二区三区久久精品茉莉花
|
久久精品一区四区|
亚洲一区二区在|
日韩视频在线一区二区|
亚洲第一偷拍|
国产午夜一区二区三区|
国产精品老女人精品视频|
欧美日韩成人精品|
免费在线一区二区|
久久久久中文|
欧美中文在线视频|
亚洲欧美在线网|
亚洲调教视频在线观看|
日韩午夜在线电影|
最新国产乱人伦偷精品免费网站|
精品1区2区3区4区|
国模 一区 二区 三区|
国产欧美日韩一区二区三区在线观看
|
亚洲一区视频在线|
一区二区欧美精品|
亚洲美女网站|
亚洲巨乳在线|
亚洲精品自在久久|
亚洲福利小视频|
亚洲第一色在线|
在线观看日韩国产|
国产一区二区三区日韩|
国产伦精品一区二区三区视频孕妇
|
国内精品一区二区|
国产亚洲精品aa|
国产亚洲欧美另类中文|
国产日韩欧美综合在线|
国产日产亚洲精品系列|
国产情侣久久|
国产在线观看一区|
精品51国产黑色丝袜高跟鞋|
亚洲电影免费观看高清完整版|
亚洲夫妻自拍|
亚洲三级电影在线观看|