系統(tǒng)框架
實(shí)際的圖像融合不能單獨(dú)的存在以構(gòu)成系統(tǒng)，它是連接實(shí)際采集信息和系統(tǒng)控制之間的紐帶。圖2給出了一個(gè)標(biāo)準(zhǔn)的圖像融合系統(tǒng)的框架，由圖的描述可看出系統(tǒng)的框架可分為4個(gè)部分：圖像配準(zhǔn)、圖像預(yù)處理、圖像融合、輸出和圖像后處理。 
在融合前期最重要的工作就是圖像配準(zhǔn)，除非是給出的為了融合而融合的圖像，否則都需要進(jìn)行圖像配準(zhǔn)。配準(zhǔn)的目的是使圖像滿足時(shí)問和空間上的一致。在實(shí)際工程中，導(dǎo)致采集的圖像時(shí)空不一致的因素很多，比如，攝像頭的視野不同、鏡片的焦距不同、圖像單位時(shí)間的幀數(shù)的差異、攝像頭的移動等。而且，實(shí)際工程中的圖像的空間和時(shí)間上的差異在融合中是很難把握，現(xiàn)在也沒有通用的標(biāo)準(zhǔn)來衡量這些誤差。這些其他因素產(chǎn)生的誤差是不能簡單地運(yùn)用融合算法來消除的。因此，只有先完成圖像的配準(zhǔn)工作，后期的圖像預(yù)處理和融合算法才有意義。實(shí)際配準(zhǔn)的過程是以一幅圖像作為基礎(chǔ)，把其他的圖像通過一定算法復(fù)合在其上。 
圖像預(yù)處理是融合前期的一步工作。很多研究人員認(rèn)為圖像預(yù)處理過程并不必要，因?yàn)閳D像預(yù)處理過程并不是為了在視覺上的優(yōu)化，而且這個(gè)過程常常是不能被用戶觀察到的。實(shí)際上，對于一些有先驗(yàn)知識的圖像，在預(yù)處理階段可以把對先驗(yàn)知識表示加入到圖像中，這樣出來的圖像再去融合，就能得到比較好的結(jié)果。如果不加預(yù)處理階段，一味地對圖像用融合方法進(jìn)行融合，得到結(jié)果的可靠性就自然降低了不少。
經(jīng)過融合后，系統(tǒng)將輸出一幅圖像，理論上這幅圖像將含有所有輸入圖像的有用信息。輸出的這幅圖像可以直接用于用戶觀測，或者經(jīng)過后期處理，即圖像信息應(yīng)用，直接用于控制系統(tǒng)。由于融合過程中已經(jīng)對圖像進(jìn)行了很好的信息抽取，此時(shí)后期處理階段就相對