物理與光電工程學(xué)院在IEEE JBHI和MICCAI 2024上發(fā)表成果

發(fā)布時間：2024-10-08

物理與光電工程學(xué)院在IEEE JBHI和MICCAI 2024上發(fā)表成果

 

近日,，物理與光電工程學(xué)院李小松副教授指導(dǎo)的2022級機械工程碩士黃敬學(xué)同學(xué)和2023級光學(xué)工程碩士徐宇燊同學(xué)分別以第一作者身份在生物醫(yī)學(xué)領(lǐng)域國際頂級期刊IEEE JBHI和頂級會議MICCAI 2024上發(fā)表論文,，佛山大學(xué)為唯一單位,。

多模態(tài)醫(yī)學(xué)圖像融合是一種結(jié)合多源信息融合,、醫(yī)學(xué)圖像處理、計算機視覺的熱門技術(shù),。該技術(shù)通過設(shè)計圖像融合算法將來自不同醫(yī)學(xué)模態(tài)圖像的互補信息進行充分整合,，得到相比于單一模態(tài)信息更豐富、全面,、客觀的融合圖像,，有助于醫(yī)生進行臨床醫(yī)療診斷及病灶監(jiān)測。然而,，現(xiàn)有的多模態(tài)醫(yī)學(xué)圖像融合研究主要針對兩模態(tài)進行,，例如CT/MRI、MRI/PET、MRI/SPECT的融合,。實際上，相較于現(xiàn)有的雙模態(tài)技術(shù),，三模態(tài)醫(yī)學(xué)圖像融合技術(shù)（如MR-T1/MR-T2/PET與MR-Gad/MR-T2/SPECT等）能提供更全面的病變視圖,，幫助醫(yī)生更準(zhǔn)確地評估病灶的位置、形狀和生物活性,。

 

圖1 基于原語關(guān)系推理的三模態(tài)醫(yī)學(xué)圖像融合模型（IEEE JBHI）

課題組提出一種用于解決三模態(tài)醫(yī)學(xué)圖像融合的端到端生成對抗網(wǎng)絡(luò)模型,，這也是深度學(xué)習(xí)技術(shù)首次應(yīng)用在三模態(tài)醫(yī)學(xué)圖像融合研究中，提出原語關(guān)系推理模塊用于提取全局信息,，同時引入多尺度擠壓和激勵推理注意力機制為每個模態(tài)圖像生成各自能量圖,，最后在能量比融合策略下實現(xiàn)高效融合，實驗結(jié)果在圖像融合,、多模態(tài)圖像分割上具有優(yōu)越表現(xiàn),。該成果“Generative adversarial network for trimodal medical image fusion using primitive relationship reasoning”近期發(fā)表在生物醫(yī)學(xué)和健康信息學(xué)領(lǐng)域國際頂級期刊IEEE JBHI (IEEE Journal of Biomedical and Health Informatics，中科院二區(qū)Top,，IF 6.7, CCF C類期刊) ,。

 

 

圖2同步實現(xiàn)三模態(tài)醫(yī)學(xué)圖像融合及超分流程圖（MICCAI 2024）

此外，針對醫(yī)學(xué)成像設(shè)備獲取的圖像質(zhì)量較低,、導(dǎo)致融合圖像分辨率不足的問題,，課題組提出一種三模態(tài)醫(yī)學(xué)圖像融合與超分模型，同步實現(xiàn)圖像融合與超分辨率重建雙任務(wù),。該模型基于擴散模型的隨機迭代去噪過程,，并在其中融入通道注意力來整合來自不同模態(tài)的關(guān)鍵信息，最后生成高質(zhì)量高分辨率的三模態(tài)融合圖像,，大量實驗表明所提方法的有效性,。該成果“Simultaneous tri-modal medical image fusion and super-resolution using conditional diffusion model”已被于2024年10月6-10日在非洲摩洛哥舉辦的生物醫(yī)學(xué)與影像計算領(lǐng)域頂級會議MICCAI（Medical Image Computing and Computer Assisted Intervention, CCF B類會議）接收。

上述研究得到了國家自然科學(xué)基金–青年項目（62201149）,、廣東省區(qū)域聯(lián)合基金-地區(qū)培育項目（2023A1515140077）,、廣東省自然科學(xué)基金–面上項目（2024A1515011880）以及廣東省教育廳特色創(chuàng)新項目(自然科學(xué)類)（2023KTSCX127）的資助。

（物理與光電工程學(xué)院）