TWI721288B - 影像處理裝置、影像處理方法及程式記錄媒體 - Google Patents

影像處理裝置、影像處理方法及程式記錄媒體 Download PDF

Info

Publication number
TWI721288B
TWI721288B TW107123760A TW107123760A TWI721288B TW I721288 B TWI721288 B TW I721288B TW 107123760 A TW107123760 A TW 107123760A TW 107123760 A TW107123760 A TW 107123760A TW I721288 B TWI721288 B TW I721288B
Authority
TW
Taiwan
Prior art keywords
gradient
image
pixel
score
composite
Prior art date
Application number
TW107123760A
Other languages
English (en)
Other versions
TW201921912A (zh
Inventor
柴田剛志
Original Assignee
日商日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣股份有限公司 filed Critical 日商日本電氣股份有限公司
Publication of TW201921912A publication Critical patent/TW201921912A/zh
Application granted granted Critical
Publication of TWI721288B publication Critical patent/TWI721288B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明係提供一種影像處理裝置，可達到改善合成影像所要求的畫質之目的。梯度計算部21對合成對象的多個影像中之各影像的每個像素計算影像梯度。量尺搜尋部22對合成對象的各影像中的每個像素計算根據空間頻率成分的含有程度之量尺分數。梯度分數計算部23根據影像梯度和量尺分數對每個像素計算梯度分數。梯度確定部24利用梯度分數，計算合成對象的多個影像合成過後的合成影像中的每個像素的影像梯度作為目標梯度。係數計算部25根據目標梯度，對合成影像的每個像素計算合成影像中構成預先設定的基本向量群之基本向量的係數。合成部26藉由根據算出的係數之基本向量的線性組合，生成合成影像。

Description

影像處理裝置、影像處理方法及程式記錄媒體
本發明係關於將多個影像合成之技術。
到目前為止已提出了種種的影像合成方法。另外，攝影時可變更設定(曝光量或曝光時間)之攝影機，可取得對光的波長帶不同感度特性之種種的影像。然而，即使曝光時間等的設定相同，由於攝影時鎂光燈閃光或不閃光的不同，而由攝影機取得實質上不同的影像。此外，為了要拍攝種種目的的對象，使用因應目的之感測器之攝影機十分普遍。例如，為了要監視人物，使用可見光感測器之監視攝影機十分普遍。另外，用於夜間的監視，配備有近紅外線或遠紅外線等利用非可見光的感測器之攝影機也十分普遍。其他還有市售的近紅外線攝影機。或者以比兆赫波或電波等可見光的波長帶更長的波長攝影之裝置也有販賣。
如上所述，因種種的攝影裝置已十分普及，故開發出一種影像處理技術，將波長帶不同的複數攝影影像應用於醫療或保全等多方面的領域。專利文獻1中已公開一種攝影區域和攝影時間相同，並將可見光影像與近紅外影像合成之技術。專利文獻1中公開之技術則是在將可見光影像與近紅外影像合成之際，針對各像素，比較可見光影像與近紅外影像的各亮度資訊，選擇較高者的亮度資訊，作為合成影像中像素的亮度資訊。另外，非專利文獻1中已公開一種在合成多個影像時，利用影像中各像素的影像梯度(相鄰像素之間的像素值的差分之資訊)生成合成影像之技術。 [習知技術文獻] [專利文獻]
[專利文獻1]日本特開2010－166363號公報
[非專利文獻1] Graham D. Finlayson, David Connah and Mark S. Drew, "Lookup-table-based Gradient Field Reconstruction", IEEE Transactions on Image Processing, Volume 20, Issue 10, Oct. 2011, page 2827－2836
[發明所欲解決的課題]
然則，藉由利用影像梯度的資訊進行影像處理，容易獲得適於影像處理後之影像的用途之畫質，可達到改善因應用途之影像的畫質之目的。非專利文獻1中雖已公開利用影像梯度的資訊將影像合成之技術，但會有發生以下的問題之虞。
詳言之，非專利文獻1中公開的技術係針對合成對象的多個影像中之各影像的每個像素，計算其影像梯度。然後，利用合成對象的各影像中對應的像素彼此間之影像梯度的總和所得的計算值，計算合成對象的多個影像合成過後的合成影像中的每個像素的影像梯度。也是利用這種方式算出之影像梯度的資訊來生成合成影像。
然而，以這種方法，由於係在生成合成影像之際利用影像梯度總和所得的計算值，因而局部大的影像梯度的資訊易於反映在合成影像。另一方面，層次等大範圍變動之小的影像梯度的資訊難以反映在合成影像。例如，遠紅外影像之紋理少，整體而言影像梯度小。藉由非專利文獻1中公開的方法，將這種影像梯度小之遠紅外影像等的影像，與具有多數大於該影像的影像梯度之可見光影像合成，則生成的合成影像幾乎未反映影像梯度小的影像資訊。因而，例如會發生難以利用「將遠紅外影像(換言之，遠紅外線感測器所形成的影像)重疊在可見光影像而獲得之合成影像」來解析在遠紅外影像所攝影的事物，此為其問題。
本發明係為了要解決上述的問題而提案。即本發明的主要目的為提供一種在利用影像梯度的資訊來合成多個影像時，可生成小的影像梯度的影像資訊也被反映出之合成影像，達到改善合成影像所要求的畫質之技術。 [解決課題的技術手段]
為了要達成上述目的，本發明的影像處理裝置具備： 梯度計算部，對合成對象的多個影像中之各影像的每個像素計算影像梯度； 量尺搜尋部，對合成對象的各影像中的每個像素計算根據空間頻率成分的含有程度之量尺分數； 梯度分數計算部，對該每個像素計算與算出的該影像梯度及該量尺分數的大小對應之梯度分數； 梯度確定部，比較該合成對象的多個影像中對應的像素彼此間之該梯度分數，對該合成對象的多個影像合成過後的合成影像中的每個像素，計算該合成對象的多個影像當中，與較其他影像該梯度分數為大之該像素的該梯度分數對應之影像梯度，作為目標梯度； 係數計算部，根據該目標梯度，對該合成影像的每個像素計算該合成像素中構成預先設定的基本向量群之基本向量的係數；及 合成部，藉由根據算出的該係數之該基本向量的線性組合，生成該合成影像。
另外，本發明的影像處理方法包含以下步驟： 對合成對象的多個影像中之各影像的每個像素計算影像梯度； 對該合成對象的各影像中的每個像素，計算根據空間頻率成分的含有程度之量尺分數； 對每個像素，計算與算出的該影像梯度及該量尺分數的大小對應之梯度分數； 比較該合成對象的多個影像中對應的像素彼此間之該梯度分數，對該合成對象的多個影像合成過後的合成影像中的每個像素，計算該合成對象的多個影像當中，與較其他影像該梯度分數為大之該像素的該梯度分數對應之影像梯度，作為目標梯度； 根據該目標梯度，對該合成影像的每個像素計算該合成像素中構成預先設定的基本向量群之基本向量的係數；及 藉由根據算出的該係數之該基本向量的線性組合，生成該合成影像。
另外，本發明的程式記錄媒體，記憶電腦程式，該電腦程式使電腦執行下列的處理： 對合成對象的多個影像中之各影像的每個像素計算影像梯度之處理； 對該合成對像的各影像中的每個像素計算根據空間頻率成分的含有程度之量尺分數之處理； 對該每個像素計算與算出的該影像梯度及該量尺分數的大小對應之梯度分數之處理； 比較該合成對象的多個影像中對應的像素彼此間之該梯度分數，對該合成對象的多個影像合成過後的合成影像中的每個像素，計算該合成對象的多個影像當中，與較其他影像該梯度分數為大之該像素的該梯度分數對應之影像梯度，作為目標梯度之處理； 根據該目標梯度對該合成影像的每個像素，計算該合成像素中構成預先設定的基本向量群之基本向量的係數之處理；及 藉由根據算出的該係數之該基本向量的線性組合，生成該合成影像之處理。 [發明功效]
依據本發明，在利用影像梯度的資訊來合成多個影像時，可生成小的影像梯度的影像資訊也被反映出之合成影像，達到改善合成影像所要求的畫質的目的。
根據圖式來說明本發明的實施形態。 ＜第1實施形態＞
圖1係表示本發明中第1實施形態的影像處理裝置的構成之方塊圖。第1實施形態的影像處理裝置1具備輸入部3、處理裝置4、記憶部5及輸出部6。
輸入部3為介面裝置，例如具備與攝影裝置7連接並接收從該攝影裝置7輸出的影像之介面功能。第1實施形態中，與輸入部3連接之攝影裝置7為可見光及近紅外光均可攝影之裝置(配備有近紅外光感測器之攝影裝置)，具備輸出可見光影像(以下，亦稱為純量影像)及近紅外影像之功能。從攝影裝置7輸出之純量影像及近紅外影像的攝影範圍大致相等，此處則是該攝影範圍視同一致。
此外，與輸入部3連接之攝影裝置並不受限於可見光及近紅外光可攝影之攝影裝置，例如可見光攝影之攝影裝置及近紅外光攝影之攝影裝置(亦稱為近紅外光感測器)與輸入部3連接亦可。另外，輸入部3連接記憶裝置以取代連接攝影裝置亦可。在此情況下，例如，由攝影裝置攝影之純量影像及近紅外影像儲存到記憶裝置，輸入部3接收從該記憶裝置例如藉由處理裝置4的功能讀出之純量影像及近紅外影像亦可。
記憶部5具備記錄媒體並具備可記憶種種的資料或電腦程式的構成。具備記錄媒體之記憶裝置，例如具有硬碟裝置或半導體記憶體等種種的種類，此處則是影像處理裝置1中配備之多種記憶裝置統一以記憶部5表示。
第1實施形態中，在記憶部5，藉由處理裝置4登錄由輸入部3接收的攝影影像(純量影像及近紅外影像)。
另外，在記憶部5，儲存著預定之基本向量群Φ的資訊。此處所指的基本向量群Φ為在合成對象的純量影像與近紅外影像合成的情況下被設定在合成影像之多個基本向量φj (“j”為1以上的整數)的群體。此外，基本向量φj 的“j”為辨識基本向量之資訊，此處則是表示構成基本向量群Φ之多個基本向量以Φ＝｛φ1、φ2、φ3、…｝這樣預定的順序排列來表示基本向量群Φ時的排列順序。
例如，輸入到輸入部3之純量影像的通道為紅(R)、藍(B)、綠(G)，近紅外影像的通道為近紅外光(N)。在此情況下，純量影像與近紅外影像的合成影像(以下，亦只稱為合成影像)中表示各像素i的像素值之基本向量群Φi ，例如藉由以下的式子(1)設定。 式子(1)： Φi ＝｛φji ｝ ＝｛Ri 、Gi 、Bi 、Ni 、Ri 2 、Gi 2 、Bi 2 、Ni 2 、Ri *Bi 、Ri *Gi 、Gi *Bi 、Ri *Ni 、Gi *Ni 、Bi *Ni ｝ 此外，式子(1)中的“i”為1以上的整數，表示純量影像或者近紅外影像或者合成影像中辨識各像素之資訊，此處則是表示在光柵掃描影像的情況下像素的順序。另外，式子(1)中的“*”為乘號。然而φji 中的“j”，與上述“j”同樣，為辨識基本向量之資訊。例如，在基本向量群Φi 由式子(1)表示的的情況，例如像素i中的基本向量φ3i (j＝3)為“Bi ”，另外，基本向量φ9i (j＝9)為Ri *Bi 。
此外，式子(1)所示的基本向量群Φi 為一個例子，基本向量群Φi 並不受限於式子(1)。例如，構成基本向量群Φi 的基本向量φji 少於式子(1)亦可，除了式子(1)之外，還加入Ri 3 ，Gi 3 ，Bi 3 ，Ni 3 等的基本向量亦可。考慮合成影像所要求的解像度等，適當地設定構成基本向量群Φi 的基本向量φji 。另外，考慮合成對象的各像素所含有之像素值的資訊等，設定基本向量φj 的組合不同之多個基本向量群Φ並儲存到記憶部5亦可。在此情況下，例如，因應裝置使用者要求的畫質等，選出用於處理之基本向量群Φ的其中一個。
在生成合成影像的情況，根據純量影像及近紅外影像(輸入影像)，決定合成影像中構成各像素之如上述的基本向量群Φi 之各基本向量φji 的係數，藉以決定合成像素之各像素的像素值，藉此可生成合成影像。第1實施形態中，其特徵為該合成影像中計算各基本向量群φji 的係數之方法和處理該方法之影像處理裝置(處理裝置4)。
例如，由1個或更多的CPU(Central Processing Unit)構成處理裝置4。第1實施形態中，處理裝置4讀出並執行記憶部5儲存的電腦程式，可具有下列的功能：處理裝置4具備梯度計算部40、分數計算部41、梯度確定部42、係數計算部43及合成部44作為功能部。
梯度計算部40具備計算影像梯度作為表示各像素的特徵之功能。影像梯度是指相鄰像素間之像素值的差分之資訊。計算影像梯度的方法已提案有種種的方法，此處則是採用考慮了合成影像所要求的畫質或處理裝置4的處理能力等的事項之適當的方法。梯度計算部40根據該採用的梯度計算方法，針對輸入部3接收到的純量影像及近紅外影像分別計算各像素的影像梯度。
此外，第1實施形態中，對各像素i中考慮了構成基本向量群Φi 的各基本向量φji 之各像素值的成分(通道)，計算影像梯度。例如，如同前述式子(1)設定基本向量群Φi 時，對每個像素，計算有關紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分的影像梯度。此處則是有關由梯度計算部40算出的紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分之影像梯度，在每個像素，也是以▽Ri 、▽Bi 、▽Gi 、▽Ni 表示。以下，本明細中的“i”係與式子(1)中的“i”同樣，表示辨識像素之資訊。
分數計算部41具備針對純量影像及近紅外影像計算以數值表示各像素特徵的分數之功能。影像處理裝置1中，分數計算部41具有量尺搜尋部411及梯度部(梯度分數計算部)412。量尺搜尋部411具備針對純量影像及近紅外影像，計算根據各像素中與空間頻率成分的含有程度關連的標度(以下，也簡稱為標度)之分數(此處方便上也是單稱為量尺分數)之功能。例如，量尺搜尋部411利用根據像素值將影像分解成每個空間頻率的影像之標度間隔方法，計算各像素的量尺分數。更具體而言，量尺搜尋部411使由Lindeberg等人提案的由下面的式子(2)表示之LoG(Laplacian of Gaussian)計算因子中“σ”的值變動，對每個像素計算最大值的LoG數值，作為各像素的量尺分數。 式子(2)：
Figure 02_image001
此外，式子(2)中的“σ”表示標度。另外，在以x、y二維直角座標系來表示輸入到輸入部3之影像(輸入影像)之各像素的位置時，“x”表示在x軸方向上離基準像素的距離，“y”表示在y軸方向上離基準像素的距離。
另外，第1實施形態中，量尺搜尋部411對考慮了構成預先設定的基本向量群Φi 之基本向量φji 之每個像素值的成分(通道)計算量尺分數。例如，在如同前述的式子(1)設定基本向量群Φi 時，量尺搜尋部411對每個像素計算有關紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分的量尺分數。此處則是由量尺搜尋部411算出的量尺分數也是以sRi ，sGi ，sBi ，sNi 表示。
此外，量尺搜尋部411計算量尺分數的方法並不受限於利用上述的LoG計算因子的方法。例如，計算量尺分數的方法採用具有式子(2)中之f(σ)的最大值乘以以σ(標度)作為變數之單調增加函數或者單調減少函數的值作為量尺分數之方法亦可。或是採用將式子(3)中之f(σ)的最大值作為量尺分數的方法，作為計算量尺分數的方法亦可。 式子(3)：
Figure 02_image004
梯度部412具備針對純量影像及近紅外影像，也考慮由量尺搜尋部411算出的量尺分數，計算各像素中根據梯度的分數(以下稱為梯度分數)之功能。例如計算具有由梯度計算部40算出之影像梯度及由量尺搜尋部411算出之量尺分數作為變數並與影像梯度及量尺分數的大小對應的值之式子的資料預先儲存在記憶部5。梯度部412針對純量影像及近紅外影像中的各影像，利用該資料來對考慮了各影像中構成基本向量群Φi 的基本向量φji 之每個像素值的成分計算梯度分數。列舉具體例子，在如同前述的式子(1)設定基本向量群Φi 時，對每個像素i計算有關紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分的梯度分數。即藉由梯度計算部40針對各像素i計算有關紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分之影像梯度▽Ri 、▽Gi 、▽Bi 、▽Ni 。另外，藉由量尺搜尋部411針對各像素i計算有關紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分的量尺分數sRi 、sGi 、sBi 、sNi 。在此情況下，梯度部412針對各像素i計算sRi ×▽Ri 、sGi ×▽Gi 、sBi ×▽Bi 、sNi ×▽Ni ，作為有關紅(R)成分、藍(B)成分、綠(G)成分以及紅外光(N)成分的梯度分數gRi 、gGi 、gBi 、gNi 。
梯度確定部42具備在純量影像與近紅外影像合成之際，利用由梯度部412算出之梯度分數來確定該合成影像中各像素i的影像梯度(以下，也稱為目標梯度)之功能。換言之，梯度確定部42利用「不僅考慮了純量影像及近紅外影像各自的影像梯度之資訊，也考慮了量尺分數(與空間頻率關連之資訊)之梯度分數」，來確定梯度分數。
例如，梯度確定部42選出各像素i中梯度分數gRi 、gGi 、gBi 、gNi 當中分數最大的成分(通道)，確定用於算出選擇成分(通道)的梯度分數之影像梯度作為目標梯度▽Ji 。列舉具體例子，在影像5 (i＝5)中梯度分數gR5 、gG5 、gB5 、gN5 當中分數最大的成分(通道)為紅色時，確定gR5 ＝sR5 ×▽R5 的“▽R5 ”作為目標梯度▽J5 。
此外，目標梯度▽Ji 的計算方法並不受限於上述方法。例如，梯度確定部42根據由梯度計算部40算出的影像梯度之資訊、由梯度部412算出之梯度分數及下面的式子，計算目標梯度▽Ji 亦可。也就是梯度確定部42藉由以影像梯度加權平均算出的梯度分數，對每個像素計算目標梯度▽Ji 。 式子(4)： ▽Ji ＝gRi ×▽Ri ＋gGi ×▽Gi ＋gBi ×▽Bi ＋sNi ×▽Ni
係數計算部43具備在純量影像與近紅外影像合成之際，利用由梯度確定部42界定之各像素i的目標梯度▽Ji ，針對合成影像中的各像素i計算構成基本向量群Φi 之基本向量φji 的係數之功能。例如，係數計算部43在像素i中基本向量群Φi 之基本向量φj 的係數為λj 時，計算將下面的式子(5)的平方誤差E(λj )最小化之λj 的值，作為基本向量φj 的係數。 式子(5)：
Figure 02_image005
此外，式子(5)的▽Φi 表示像素i中基本向量群Φi 的影像梯度(此處例如為基本向量φj 的梯度)。▽Ji 表示由梯度確定部42算出之目標梯度。
合成部44具備藉由根據由係數計算部43算出的各像素i之基本向量φji 的係數λji 之基底向量的線性組合生成合成影像之功能。
如上述，處理裝置4生成純量影像與近紅外影像的合成影像。輸出部6為介面裝置，例如具備與顯示裝置8連接並向顯示裝置8輸出純量影像或近紅外影像或合成影像的資訊之介面功能。顯示裝置8具備根據從輸出部6輸出之影像的資訊，將純量影像或近紅外影像或合成影像顯示在顯示器之功能。
其次，根據圖2的流程圖來說明處理裝置4生成合成影像之處理動作的一個例子。
例如，處理裝置4的梯度計算部40，例如從記憶部5讀出合成對象的純量影像及近紅外影像。然後梯度計算部40針對讀出的純量影像及近紅外影像，分別計算各像素的影像梯度(步驟S101)。
另外，分數計算部41的量尺搜尋部411針對純量影像及近紅外影像，分別計算各像素的量尺分數(步驟S102)。
之後分數計算部41的梯度部412針對純量影像及近紅外影像各自的每個像素，計算與算出的影像梯度和量尺分數的大小對應之梯度分數(步驟S103)。
此後梯度確定部42利用由梯度部412算出的梯度分數來確定純量影像與近紅外影像的合成影像中各像素的目標梯度(步驟S104)。
之後係數計算部43利用已確定的目標梯度來計算構成基本向量群之基本向量的係數(步驟S105)。然後合成部44藉由根據由係數計算部43算出之基本向量的係數之基本向量的線性組合，生成合成影像(步驟S106)。
第1實施形態的影像處理裝置1可藉由具備上述的構成，達到以下的效果：影像處理裝置1的處理裝置4在合成多個影像之際，計算與這些影像的各像素之空間頻率關連之資訊作為量尺分數，並考慮該該量尺分數來計算合成影像中各像素的梯度分數。然後處理裝置4利用算出的梯度分數來計算各像素之基本向量的係數，藉以生成合成影像。也就是處理裝置4也是考慮合成前各影像中空間頻率之資訊來生成合成影像。因而處理裝置4(影像處理裝置1)可達到提高合成影像的畫質。
例如，圖3中，利用前述非專利文獻1的方法，將(a)部分所示之純量影像與(b)部分所示紋理少含有層次之近紅外影像合成。在此情況下，近紅外影像中層次資訊並未出現在合成影像中。對於此點，第1實施形態中，計算與空間頻率關連的資訊作為量尺分數，利用該量尺分數來計算梯度分數。圖3中，(c)部分係由黑白程度表示(a)部分的純量影像中各像素之梯度分數大小的一個例子，(d)部分係由黑白程度表示(b)部分的近紅外影像中各像素之梯度分數大小的一個例子。圖3的(c)、(d)部分中，由黑白程度表示梯度分數，以使隨著梯度分數變大而變白(隨著梯度分數變小而變黑)。如圖3的(d)部分所示，對含有層次的部分給予高梯度分數，藉以如同圖3的(e)部分所示的合成影像，生成反映了層次資訊之合成影像。
如上所述，第1實施形態的影像處理裝置1(處理裝置4)在合成多個影像時，可藉由利用影像梯度之資訊，例如獲得：生成「對利用合成影像來進行影像解析之解析者而言，易於解析之合成影像」這樣的效果。而且第1實施形態的影像處理裝置1也是利用空間頻率的資訊(標度)來生成合成影像，故可生成也反映出大範圍變動之層次資訊之合成影像，藉此可達到改善合成影像所要求的畫質。 ＜其他的實施形態＞
此外，本發明並不受限於第1實施形態，可採用種種的實施形態。例如，第1實施形態中，考慮影像整體來設定構成基本向量群之基本向量。取而代之，例如藉由關注影像的一部分區域，設定構成基本向量群之基本向量亦可。另外，設定構成基本向量群之例如式子(1)所示的多數基本向量後，例如藉由利用主成分分析或非負矩陣分解法等來減少基本向量的數量，設定基本向量群之基本向量亦可。
進而，影像分成多個分割區域，在每個分割區域執行如上述的影像處理，在每個分割區域生成合成影像亦可。在此情況下，例如在影像的每個分割區域設定基本向量群亦可。另外，如上所述在每個分割區域設定基本向量群時，在每個分割區域，與第1實施形態同樣計算構成基本向量群之基本向量的係數過後，進行下列的處理亦可。例如，係數計算部43進一步計算使考慮了分割區域間的空間平滑度之如以下的式子(6)所示的最適化函數最小化之基本向量的係數，確定該算出的係數，作為考慮了合成影像整體的各像素之基本向量的係數。 式子(6)：
Figure 02_image007
此外，式子6中的λji 表示利用式子(6)來確定係數計算部43之像素i中基本向量群的第j項基本向量的係數。λji0 如同第1實施形態說明過與係數計算部43算出的係數λji 同樣，此處則是為了方便說明以λji0 表示。▽λji 表示係數的梯度，▽λji0 表示λji0 的梯度。
此外，取代式子(6)，採用下面的式子(7)來確定分割區域中各像素之基本像量的係數亦可。 式子(7)：
Figure 02_image009
此外，式子(7)中的p表示零以上的整數也就是常數，適當地設定該p值。
另外，第1實施形態中，雖以純量影像(可見光影像)與紅外光影像的合成為例作說明，但第1實施形態的影像處理裝置1，合成對象之多個影像的組合並不受限於第1實施形態的組合，有如純量影像與紅外光影像的合成。另外，影像處理裝置1執行的影像合成之處理並不受限於2個影像的合成，例如合成3個以上的影像之際也適用。
再者，本發明的影像處理裝置並不受限於第1實施形態的構成，若具備圖4的方塊圖所示的構成即可。即圖4所示的影像處理裝置20具備梯度計算部21、量尺搜尋部22、梯度分數計算部23、梯度確定部24、係數計算部25及合成部26。
梯度計算部21具備對合成對象的多個影像中之各影像的每個像素計算影像梯度之功能。量尺搜尋部22具備對合成對象的各影像中的每個像素計算根據空間頻率成分的含有程度之量尺分數之功能。梯度分數計算部23具備對每個像素計算與算出的前述影像梯度及前述量尺分數的大小對應之梯度分數之功能。
梯度確定部24具備：比較合成對象的多個影像中的對應像素彼此間的梯度分數，對合成對象的多個影像合成過後之合成影像中的每個像素，計算合成對象的多個影像當中與梯度分數大於其他影像之影像的梯度分數對應之影像梯度之功能。
係數計算部25具備根據目標梯度對合成影像的每個像素計算合成影像中構成預先設定的基本向量群之基本向量的係數之功能。合成部26具備藉由根據算出的係數之基本向量的線性組合生成合成影像之功能。
即使是該影像處理裝置20仍與第1實施形態同樣，考慮空間頻率成分來生成合成影像，故可獲得與第1實施形態同樣的效果。
以上以上述實施形態為範例說明了本發明。然而，本發明並不受限於上述實施形態。即在本發明的範圍內，本發明可應用本領域的業者得以理解的種種樣態。
1、20‧‧‧影像處理裝置 21、40‧‧‧梯度計算部 22、411‧‧‧量尺搜尋部 23‧‧‧梯度分數計算部 24、42‧‧‧梯度確定部 25、43‧‧‧係數計算部 26、44‧‧‧合成部 412‧‧‧梯度部 S101～S106‧‧‧步驟
圖1係簡單表示本發明中第1實施形態的影像處理裝置的構成之方塊圖。 圖2係表示第1實施形態的影像處理裝置中影像合成的動作例之流程圖。 圖3(a)～(e)係說明第1實施形態的影像處理裝置中藉由影像合成處理獲得的效果之圖。 圖4係說明本發明中其他的實施形態之圖。
1‧‧‧影像處理裝置
3‧‧‧輸入部
4‧‧‧處理裝置(CPU)
5‧‧‧記憶部
6‧‧‧輸出部
7‧‧‧攝影裝置
8‧‧‧顯示裝置
40‧‧‧梯度計算部
41‧‧‧分數計算部
42‧‧‧梯度確定部
43‧‧‧係數計算部
44‧‧‧合成部
411‧‧‧量尺搜尋部
412‧‧‧梯度部

Claims (7)

  1. 一種影像處理裝置，具備： 梯度計算部，對合成對象的多個影像中之各影像的每個像素計算影像梯度； 量尺搜尋部，對該合成對象的各影像中的每個像素計算根據空間頻率成分的含有程度之量尺分數； 梯度分數計算部，對該每個像素計算與算出的該影像梯度及該量尺分數的大小對應之梯度分數； 梯度確定部，比較該合成對象的多個影像中對應的像素彼此間之該梯度分數，對該合成對象的多個影像合成過後的合成影像中的每個像素，計算該合成對象的多個影像當中，與較其他影像該梯度分數為大之該像素的該梯度分數對應之影像梯度，作為目標梯度； 係數計算部，根據該目標梯度對該合成影像的每個像素，計算該合成像素中構成預先設定的基本向量群之基本向量的係數；及 合成部，藉由根據算出的該係數之該基本向量的線性組合，生成該合成影像。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中，該係數計算部在針對將該合成影像分成多個之每個分割區域，計算各像素中基本向量的係數後，對該算出的係數進行考慮了該分割區域間變的空間平滑的平滑化處理，確定考慮了該合成影像整體之基本向量的係數。
  3. 如申請專利範圍第1項所述之影像處理裝置，其中，該梯度確定部將該合成對象的多個影像中算出的梯度分數進行比較，確定具有最大梯度分數之影像的該影像梯度，作為該目標梯度。
  4. 如申請專利範圍第1項所述之影像處理裝置，其中，該梯度確定部藉由以該影像梯度加權平均算出的該梯度分數，對每個像素計算該目標梯度。
  5. 如申請專利範圍第1項所述之影像處理裝置，其中，該係數計算部在計算該合成影像中之該基本向量的係數之際，計算將有關影像梯度的平方誤差最小化之係數，作為該基本向量的係數。
  6. 一種影像處理方法，包含以下步驟： 對合成對象的多個影像中之各影像的每個像素計算影像梯度； 對該合成對象的各影像中的每個像素，計算根據空間頻率成分的含有程度之量尺分數； 對該每個像素，計算與算出的該影像梯度及該量尺分數的大小對應之梯度分數； 比較該合成對象的多個影像中對應的像素彼此間之該梯度分數，對該合成對象的多個影像合成過後的合成影像中的每個像素，計算該合成對象的多個影像當中，與較其他影像該梯度分數為大之該像素的該梯度分數對應之影像梯度，作為目標梯度； 根據該目標梯度，對該合成影像的每個像素計算該合成像素中構成預先設定的基本向量群之基本向量的係數；及 藉由根據算出的該係數之該基本向量的線性組合，生成該合成影像。
  7. 一種程式記錄媒體，記憶電腦程式，該電腦程式使電腦執行下列的處理： 對合成對象的多個影像中之各影像的每個像素計算影像梯度之處理； 對該合成對像的各影像中的每個像素計算根據空間頻率成分的含有程度之量尺分數之處理； 對該每個像素計算與算出的該影像梯度及該量尺分數的大小對應之梯度分數之處理； 比較該合成對象的多個影像中對應的像素彼此間之該梯度分數，對該合成對象的多個影像合成過後的合成影像中的每個像素，計算該合成對象的多個影像當中，與較其他影像該梯度分數為大之該像素的該梯度分數對應之影像梯度，作為目標梯度之處理； 根據該目標梯度，對該合成影像的每個像素計算該合成像素中構成預先設定的基本向量群之基本向量的係數之處理；及 藉由根據算出的該係數之該基本向量的線性組合，生成該合成影像之處理。
TW107123760A 2017-07-13 2018-07-10 影像處理裝置、影像處理方法及程式記錄媒體 TWI721288B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/025542 WO2019012647A1 (ja) 2017-07-13 2017-07-13 画像処理装置、画像処理方法およびプログラム記憶媒体
WOPCT/JP2017/025542 2017-07-13

Publications (2)

Publication Number Publication Date
TW201921912A TW201921912A (zh) 2019-06-01
TWI721288B true TWI721288B (zh) 2021-03-11

Family

ID=65002151

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123760A TWI721288B (zh) 2017-07-13 2018-07-10 影像處理裝置、影像處理方法及程式記錄媒體

Country Status (4)

Country Link
US (1) US11055877B2 (zh)
JP (1) JP6835227B2 (zh)
TW (1) TWI721288B (zh)
WO (1) WO2019012647A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチスペクトル撮像システム
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181086B2 (en) * 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
WO2005124664A2 (en) * 2004-06-14 2005-12-29 Precoad, Inc. Image clean-up and pre-coding
US7676113B2 (en) * 2004-11-19 2010-03-09 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using a sharpening factor
US8515171B2 (en) * 2009-01-09 2013-08-20 Rochester Institute Of Technology Methods for adaptive and progressive gradient-based multi-resolution color image segmentation and systems thereof
JP4985660B2 (ja) 2009-01-16 2012-07-25 株式会社豊田中央研究所 擬似濃淡画像生成装置及びプログラム
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
US8885941B2 (en) * 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
WO2016176209A1 (en) * 2015-04-28 2016-11-03 Dolby Laboratories Licensing Corporation Image highlight detection and rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチスペクトル撮像システム
JP2016032289A (ja) * 2014-07-25 2016-03-07 日本電気株式会社 画像合成システム、画像合成方法、画像合成プログラム
JP2017011633A (ja) * 2015-06-26 2017-01-12 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
WO2019012647A1 (ja) 2019-01-17
US11055877B2 (en) 2021-07-06
JP6835227B2 (ja) 2021-02-24
TW201921912A (zh) 2019-06-01
US20200193644A1 (en) 2020-06-18
JPWO2019012647A1 (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
ES2253542T3 (es) Procedimiento y sistema para producir informaciones formateadas relacionadas con los defectos, como minimo, de una aparato de una cadena, en especial por efecto borroso.
US20210342578A1 (en) Polarization Imaging for Facial Recognition Enhancement System and Method
Robertson et al. Estimation-theoretic approach to dynamic range enhancement using multiple exposures
Zhang et al. Gradient-directed multiexposure composition
Chakrabarti et al. Modeling radiometric uncertainty for vision with tone-mapped color images
US8619098B2 (en) Methods and apparatuses for generating co-salient thumbnails for digital images
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
Liu et al. A new polarization image demosaicking algorithm by exploiting inter-channel correlations with guided filtering
Genser et al. Camera array for multi-spectral imaging
US9549128B2 (en) Method and system for processing an image featuring multiple scales
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10984566B2 (en) Image processing apparatus that calculates using luminance values of one or more input images produced by photoelectric conversion of multiple polarized lights, image-capturing apparatus and image processing method
Dellepiane et al. Improved color acquisition and mapping on 3d models via flash-based photography
EP2648157A1 (en) Method and device for transforming an image
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Pistellato et al. Deep demosaicing for polarimetric filter array cameras
JP7277158B2 (ja) 設定装置及び方法、プログラム、記憶媒体
TWI721288B (zh) 影像處理裝置、影像處理方法及程式記錄媒體
Deng et al. Multi-scale contextual attention based HDR reconstruction of dynamic scenes
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
US6983070B2 (en) Method and apparatus for processing image data and a recording medium loaded with a program for executing the method
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム