多模態(tài)檢索成為近期關注的問題,當前的方法包括單流方法、多流方法,以及不同模態(tài)之 間對齊的技術,已經(jīng)在知識挖掘領域開展應用。
1.初級:從圖像識別啲結(jié)果中直接得到答案
2.中等:答案需要簡單事實的支持
3.高級:對于復雜的問題,答案不在圖像中,可能涉及常識、具體 話題和百科知識進行推理
1 多模態(tài)數(shù)據(jù)具有異構(gòu)性
2 多模態(tài)數(shù)據(jù)的關聯(lián)難度表示較大
3 多模態(tài)知識融合困難
4 多模態(tài)問答大多只能處理簡單的問題
5 多模態(tài)知識問答推理能力弱
6 多模態(tài)知識問答可解釋性差