JP2006072401A - Image compounding device and method - Google Patents
Image compounding device and method Download PDFInfo
- Publication number
- JP2006072401A JP2006072401A JP2004251185A JP2004251185A JP2006072401A JP 2006072401 A JP2006072401 A JP 2006072401A JP 2004251185 A JP2004251185 A JP 2004251185A JP 2004251185 A JP2004251185 A JP 2004251185A JP 2006072401 A JP2006072401 A JP 2006072401A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency
- color
- frequency component
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は,画像複合技術に関し,特に,例えば可視映像センサのようなRGBカラー画像取得手段と赤外線映像センサのようなグレースケール画像取得手段とを両方有する航空機搭載,車両搭載,固定設置等の映像装置用の表示において,2つの画像取得手段から得られた画像を1つの表示装置に表示するために画像複合を行う画像複合装置および画像複合方法に関するものである。 The present invention relates to an image composite technology, and in particular, an image mounted on an aircraft, mounted on a vehicle, fixedly installed, or the like having both RGB color image acquisition means such as a visible image sensor and gray scale image acquisition means such as an infrared image sensor. The present invention relates to an image composition apparatus and an image composition method for performing image composition in order to display images obtained from two image acquisition means on one display device.
近年における赤外線センサ等の画像取得デバイスの性能向上と,マイクロプロセッサを用いた画像処理技術および制御技術の進歩に基づいて,2つ以上の画像取得手段を備えた撮像装置が開発されており,利便性向上のため,それぞれの画像の持つ情報を保持したまま1つの画像として複合し表示することができる画像複合装置が要望されている。 In recent years, imaging devices equipped with two or more image acquisition means have been developed based on the improvement in performance of image acquisition devices such as infrared sensors and advances in image processing technology and control technology using microprocessors. In order to improve the performance, there is a demand for an image combination apparatus that can combine and display as one image while retaining the information of each image.
従来,RGBカラー画像が含まれる複数の画像取得手段を備える装置における表示手段としては,RGBカラー画像上に他のグレースケール画像の持つ情報の一部をシンボル表示するもの,RGBカラー画像の一部分をグレースケール画像に切り替えて(スーパーインポーズ)表示するものなどが知られている。 Conventionally, as a display means in an apparatus having a plurality of image acquisition means including an RGB color image, a part of information of another grayscale image is displayed as a symbol on the RGB color image, and a part of the RGB color image is displayed. An image displayed by switching to a gray scale image (superimpose) is known.
具体的な従来技術として,下記の特許文献1には,熱画像に基づく診断を迅速かつ正確に行うことを目的とし,一対の可視カメラと一対の赤外線カメラの画像を元とし,赤外線画像から輝度データを抽出して,該輝度に応じて予め決められた色をつけ,可視カメラから得た立体可視画像と合成する技術について記載されている。 As a specific prior art, the following Patent Document 1 is intended to perform a diagnosis based on a thermal image quickly and accurately, and based on images of a pair of visible cameras and a pair of infrared cameras, luminance from the infrared image is determined. A technique for extracting data, applying a predetermined color according to the luminance, and synthesizing it with a stereoscopic visible image obtained from a visible camera is described.
また,特許文献2には,可視画像の一部に赤外線画像の該当部を重畳して合成することにより,対向車のヘッドライトで眩惑されて見えなくなる領域を赤外線画像で補完する技術について記載されている。 Patent Document 2 describes a technique for complementing a region that is dazzled by the headlight of an oncoming vehicle and disappears with an infrared image by superimposing a corresponding portion of the infrared image on a part of the visible image and synthesizing it. ing.
また,特許文献3には,赤外光域と可視光域とをそれぞれ撮影するTVカメラにより得た両画像を,スーパーインポーズで1画面内に示すことにより,鉄鋼業でのせん断工程(水蒸気でよく見えない状態)を観測する技術について記載されている。
上記従来技術のうち,RGBカラー画像上に他のグレースケール画像の持つ情報の一部をシンボル表示する技術では,特徴抽出処理を行った対象以外のグレースケール画像の持つ情報やシンボル表示領域内のRGBカラー画像の情報が反映されないという問題がある。 Among the above-described conventional techniques, in the technique of displaying a part of information of other grayscale images on the RGB color image, the information of the grayscale image other than the target on which the feature extraction processing has been performed, There is a problem that the information of the RGB color image is not reflected.
また,スーパーインポーズを行う技術では,スーパーインポーズ領域のRGBカラー画像の情報,スーパーインポーズ領域外のグレースケール画像の情報が反映されないため,観測者が対象物を見落とす可能性があるという問題がある。 In addition, the superimpose technique does not reflect the RGB color image information in the superimpose region and the grayscale image information outside the superimpose region, which may cause the observer to miss the object. There is.
また,上記特許文献1に記載された技術は,例えば人体の立体画像上に炎症部位などを示すために,輝度データに応じて,予め決められた色を付与しており,実際に人間が見る色とはまったく異なる色になる。特許文献2に記載された技術は,可視画像の一部に赤外線画像を貼り付けているのみであり,また,特許文献3に記載された技術は,スーパーインポーズで1画面内に2画面を表示しており,いずれも,RGBカラー画像とグレースケール画像双方の情報を保持したまま1つの画像として表示する技術ではない。 In addition, the technique described in Patent Document 1 gives a predetermined color according to luminance data in order to show, for example, an inflamed part on a three-dimensional image of a human body, and is actually seen by humans. The color will be completely different from the color. The technique described in Patent Document 2 is only pasting an infrared image on a part of a visible image, and the technique described in Patent Document 3 is a method of superimposing two screens in one screen. None of these techniques is a technique for displaying a single image while maintaining both RGB color image and grayscale image information.
すなわち,従来技術は,RGBカラー画像とグレースケール画像双方の情報を保持したまま1つの画像として表示するものではないことから,特に,例えば,薄暗い状況で海難時の救命筏を捜索する場合などに,利便性が低いという問題がある。 In other words, since the conventional technology does not display information as both an RGB color image and a grayscale image as a single image, for example, when searching for a life raft in case of a marine disaster in a dim situation, for example. , There is a problem that convenience is low.
本発明は,このような従来技術の課題を解決しようとするものであって,RGBカラー画像の色情報はそのままに,グレースケール画像の輝度情報を複合した画像を得ることが可能な画像複合技術を提供することを目的とする。 The present invention is intended to solve such a problem of the prior art, and is an image composite technique capable of obtaining an image in which luminance information of a gray scale image is combined while the color information of the RGB color image is maintained as it is. The purpose is to provide.
上記課題を解決するため,本発明は,RGBカラー画像から輝度情報を抽出し,その輝度情報にグレースケール画像をそれぞれの持つ情報を漏らさないように複合し,複合輝度情報を作成する。この複合輝度情報とRGBカラー画像から抽出した色情報とを用いて複合RGB画像とすることで,もとの各画像の情報をほぼ保持した1つの複合画像を作成する。 In order to solve the above-described problems, the present invention extracts luminance information from an RGB color image and combines the luminance information so as not to leak information having a gray scale image, thereby generating composite luminance information. By using the composite luminance information and the color information extracted from the RGB color image, a composite RGB image is created, thereby creating one composite image substantially holding the information of each original image.
すなわち,本発明は,RGBカラー画像とグレースケール画像とを複合する画像複合装置であって,RGBカラー画像を取得するRGB画像取得手段と,グレースケール画像を取得するグレースケール画像取得手段と,前記取得されたRGBカラー画像を輝度情報と色情報とに分離する輝度情報色情報分離手段と,前記取得されたグレースケール画像と前記分離された輝度情報との複合処理を行う画像複合手段と,前記複合処理の結果得られた輝度情報と前記分離された色情報とを用いて複合RGB画像を作成する輝度情報色情報合成手段とを備えることを特徴とする画像複合装置である。 That is, the present invention is an image composite device that combines an RGB color image and a grayscale image, the RGB image acquisition means for acquiring an RGB color image, the grayscale image acquisition means for acquiring a grayscale image, Luminance information color information separating means for separating the acquired RGB color image into luminance information and color information, image combining means for performing a combined process of the acquired grayscale image and the separated luminance information, and An image composite apparatus comprising: luminance information color information synthesis means for creating a composite RGB image using the luminance information obtained as a result of the composite processing and the separated color information.
また,本発明は,前記の画像複合装置において,前記画像複合手段は,前記取得されたグレースケール画像を高周波成分と低周波成分とに分解する第1の周波数分解手段と,前記分離された輝度情報を高周波成分と低周波成分とに分解する第2の周波数分解手段と,前記第1の周波数分解手段による分解により得られた高周波成分と前記第2の周波数分解手段による分解により得られた高周波成分とを演算して合成する高周波演算手段と,前記第1の周波数分解手段による分解により得られた低周波成分と前記第2の周波数分解手段による分解により得られた低周波成分とを演算して合成する低周波演算手段と,前記高周波演算手段の出力と前記低周波演算手段の出力とを合成する周波数合成手段とを備えることを特徴とする。 Further, according to the present invention, in the image composition device, the image composition means includes first frequency decomposition means for decomposing the acquired gray scale image into a high frequency component and a low frequency component, and the separated luminance. A second frequency decomposing means for decomposing information into a high frequency component and a low frequency component; a high frequency component obtained by decomposing by the first frequency decomposing means; and a high frequency obtained by decomposing by the second frequency decomposing means. A high frequency calculation means for calculating and combining the components, a low frequency component obtained by the decomposition by the first frequency decomposition means, and a low frequency component obtained by the decomposition by the second frequency decomposition means And a low frequency computing means for synthesizing, and a frequency synthesizing means for synthesizing the output of the high frequency computing means and the output of the low frequency computing means.
また,本発明は,前記の画像複合装置において,更に,前記第1の周波数分解手段によってグレースケール画像を高周波成分と低周波成分とに分解する際に用いるフィルタサイズ,もしくは,前記第2の周波数分解手段によって輝度情報を高周波成分と低周波成分とに分解する際に用いるフィルタサイズのいずれか一方,または双方を設定するフィルタサイズ設定手段を備えることを特徴とする。 Further, the present invention provides the image composite apparatus, wherein the filter size used when the gray scale image is further decomposed into a high frequency component and a low frequency component by the first frequency decomposing means, or the second frequency. It is characterized by comprising filter size setting means for setting one or both of the filter sizes used when the luminance information is decomposed into a high frequency component and a low frequency component by the decomposition means.
また,本発明は,前記の画像複合装置において,更に,前記高周波演算手段によって前記第1の周波数分解手段による分解により得られた高周波成分と前記第2の周波数分解手段による分解により得られた高周波成分とを演算する際に用いる重みパラメータ,もしくは,前記低周波演算手段によって前記第1の周波数分解手段による分解により得られた低周波成分と前記第2の周波数分解手段による分解により得られた低周波成分とを演算する際に用いる重みパラメータのいずれか一方,または,双方を設定する重みパラメータ設定手段を備えることを特徴とする。 Further, the present invention provides the image composite apparatus, wherein the high frequency component obtained by the first frequency resolving means and the high frequency obtained by the second frequency resolving means by the high frequency calculating means. The weight parameter used when calculating the component, or the low frequency component obtained by the decomposition by the first frequency resolving means by the low frequency calculating means and the low frequency obtained by the decomposition by the second frequency resolving means. Weighting parameter setting means for setting one or both of the weighting parameters used when calculating the frequency component is provided.
更に,前記周波数合成手段によって前記高周波演算手段の出力と前記低周波演算手段の出力とを合成する際に用いる合成パラメータを設定する合成パラメータ設定部を設けてもよい。 Furthermore, a synthesis parameter setting unit may be provided for setting a synthesis parameter used when the output of the high frequency calculation means and the output of the low frequency calculation means are synthesized by the frequency synthesis means.
また,本発明は,RGBカラー画像とグレースケール画像とを複合する画像複合方法であって,RGBカラー画像を取得するステップと,グレースケール画像を取得するステップと,前記取得されたRGBカラー画像を輝度情報と色情報とに分離するステップと,前記取得されたグレースケール画像と前記分離された輝度情報との複合処理を行うステップと,前記複合処理の結果得られた輝度情報と前記分離された色情報とを用いて複合RGB画像を作成するステップとを有することを特徴とする。 The present invention is also an image composition method for combining an RGB color image and a grayscale image, the step of acquiring an RGB color image, the step of acquiring a grayscale image, and the acquired RGB color image. Separating the luminance information and the color information, performing a combined process of the acquired grayscale image and the separated luminance information, and the luminance information obtained as a result of the combined process and the separated And a step of creating a composite RGB image using the color information.
本発明によれば,RGBカラー画像とグレースケール画像の持つ輝度の情報を漏らさず合成し,さらにRGBカラー画像の持つ色情報を合成することで1つの複合画像上に最大限の情報を持たせることが可能となり,対象物の視認性を向上することができる。 According to the present invention, the luminance information possessed by the RGB color image and the gray scale image is synthesized without leaking, and the color information possessed by the RGB color image is further synthesized, so that the maximum information is provided on one composite image. And the visibility of the object can be improved.
本発明によれば,RGBカラー画像の色情報はそのままに,グレースケール画像の輝度情報を複合した画像が得られる。例えば,薄暗い状況で海難時の救命筏を捜索するような場合に,色情報はそのままに対象物(周囲よりも高温の物体)を背景と比較して高輝度にし,コントラストを高く表示することができるため,画面上でハッキリと視認することが可能となる。 According to the present invention, it is possible to obtain an image in which luminance information of a gray scale image is combined while maintaining the color information of the RGB color image. For example, when searching for a life preserver in case of a marine disaster in a dimly lit situation, the color information remains as it is, and the object (an object that is hotter than the surroundings) is made brighter than the background and displayed with high contrast. This makes it possible to see clearly on the screen.
以下図を用いて,本発明の実施の形態を詳細に説明する。図1は,本発明の原理的構成を示したものである。本発明の画像複合装置1は,グレースケール画像を取得するグレースケール画像取得手段11,RGBカラー画像を取得するRGB画像取得手段12,取得されたRGBカラー画像を輝度情報と色情報とに分離する輝度情報色情報分離手段13,分離された輝度情報とグレースケール画像取得手段11によって取得されたグレースケール画像とに基づいて複合輝度情報を算出する画像複合手段14,算出された複合輝度情報と輝度情報色情報分離手段13によって分離された色情報とを合成して複合RGB画像を作成する輝度情報色情報合成手段15,作成された複合RGB画像を表示する表示手段16を備える。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows the basic configuration of the present invention. The image composite device 1 of the present invention includes a grayscale image acquisition unit 11 that acquires a grayscale image, an RGB
グレースケール画像取得手段11は,例えば赤外線映像センサや赤外線カメラ等であり,RGB画像取得手段12は,例えば可視映像センサや可視カラーカメラ等である。
The gray scale image acquisition unit 11 is, for example, an infrared video sensor or an infrared camera, and the RGB
図2は,画像複合処理フローの一例を示す図である。まず,グレースケール画像取得手段11が,グレースケール画像を取得し(ステップS1),RGB画像取得手段12が,RGBカラー画像を取得する(ステップS2)。
FIG. 2 is a diagram illustrating an example of an image composite processing flow. First, the gray scale image acquisition unit 11 acquires a gray scale image (step S1), and the RGB
RGB画像取得手段12によって取得されたRGBカラー画像を輝度情報色情報分離手段13において輝度情報と色情報とに分離する(ステップS3)。例えば,RGB表色系からHSI表色系に変換して,輝度情報(I)と色情報(H,S)とに分離したり,RGB表色系からYCrCb表色系に変換して,輝度情報(Y)と色情報(Cr,Cb)とに分離する。
The RGB color image acquired by the RGB
このようにして得られた輝度情報とグレースケール画像取得手段11によって取得されたグレースケール画像とについて,画像複合手段14において画像間演算(それぞれの持つ情報を漏らさず合成)を行い複合輝度情報を算出する(ステップS4)。 The luminance information obtained in this way and the grayscale image acquired by the grayscale image acquisition means 11 are subjected to an inter-image calculation (composition without leaking the respective information) in the image combination means 14 to obtain the composite luminance information. Calculate (step S4).
そして,輝度情報色情報合成手段15が,算出された複合輝度情報と上記ステップS3においてRGBカラー画像から分離された色情報とを合成してRGB表色系の複合RGB画像を作成し(ステップS5),表示手段16が,作成された複合RGB画像を表示する(ステップS6)。
Then, the luminance information color
本発明の実施例1の構成例を図3に示す。図3に示す画像複合装置2において,100は可視カラー画像を撮像する可視カラーカメラ,101は可視カラー画像信号を増幅する増幅部,102は増幅された可視カラー画像信号をデジタル画像信号に変換するA/D変換器,103はA/D変換器102の出力をHSI表色系の輝度信号と色信号とに分離するRGB−HSI変換部,104は分離された輝度信号を空間周波数の高周波成分と低周波成分とに分離する周波数分解部である。
FIG. 3 shows a configuration example of the first embodiment of the present invention. In the image composite apparatus 2 shown in FIG. 3, 100 is a visible color camera that captures a visible color image, 101 is an amplifying unit that amplifies the visible color image signal, and 102 converts the amplified visible color image signal into a digital image signal. An A /
また,105は赤外線画像を撮像する赤外線カメラ,106は赤外線画像信号を増幅する増幅部,107は増幅された赤外線画像信号をデジタル画像信号に変換するA/D変換器,108は赤外線画像信号を空間周波数の高周波成分と低周波成分とに分離する周波数分解部である。
また,109は周波数分解部104から出力される輝度信号の高周波成分と周波数分解部108から出力される赤外線画像信号の高周波成分とを合成する高周波演算部,110は周波数分解部104から出力される輝度信号の低周波成分と周波数分解部108から出力される赤外線画像信号の低周波成分とを合成する低周波演算部,111は高周波演算部109の出力(高周波成分)と低周波演算部110の出力(低周波成分)とを周波数合成して複合輝度信号を生成する周波数合成部,112は生成された複合輝度信号とRGB−HSI変換部103において分離された色信号とを合成して複合RGB画像を作成するHSI−RGB変換部,113は作成された複合RGB画像を表示するモニタである。
実施例1においては,可視カラーカメラ100により撮像された可視カラー画像信号を増幅部101により増幅し,A/D変換器102によりデジタル画像信号とし,赤外線カメラ105により撮像された赤外線画像信号についても増幅部106により増幅し,A/D変換器107によりデジタル画像信号とする。
In the first embodiment, the visible color image signal captured by the
A/D変換器102の出力であるR(赤),G(緑),B(青)の可視カラー画像信号については,RGB−HSI変換部103において輝度信号と色信号とに分離され,輝度信号は周波数分解部104へ,色信号はHSI−RGB変換部112へ出力される。周波数分解部104では,輝度信号が空間周波数の高周波成分と低周波成分とに分離され,高周波成分は高周波演算部109へ,低周波成分は低周波演算部110へ出力される。
The visible color image signals of R (red), G (green), and B (blue), which are the outputs of the A /
また,A/D変換器107の出力である赤外線のデジタル画像信号は,周波数分解部108において空間周波数の高周波成分と低周波成分とに分離され,高周波成分は高周波演算部109へ,低周波成分は低周波演算部110へ出力される。
The infrared digital image signal that is the output of the A /
周波数分解部104,108における信号の分離では,例えばn×nの平均値フィルタを用いてフィルタリングした画像を作成し,その画像を低周波成分とし,原画像から低周波成分を引いたものを高周波成分とする処理を行う。
In the signal separation in the
周波数分解部104,108において分離された各高周波成分は,高周波演算部109において,また,各低周波成分は,低周波演算部110において,それぞれ所定の比率で合成することで複合処理される。更に,高周波演算部109の出力(高周波成分)と低周波演算部110の出力(低周波成分)とが周波数合成部111において周波数合成され,複合輝度信号が生成される。
The high frequency components separated by the
周波数合成部111において得られた複合輝度信号とRGB−HSI変換部103において分離された色信号とをHSI−RGB変換部112において合成して複合RGB画像を作成し,モニタ113に出力する。
The composite luminance signal obtained in the
本発明の実施例2の構成例を図4に示す。図4に示す画像複合装置3は,図3の画像複合装置2の構成に加えて,フィルタサイズ設定部114,115,重みパラメータ設定部116,117,合成パラメータ設定部118を備える。
A configuration example of the second embodiment of the present invention is shown in FIG. 4 includes filter
実施例2においては,フィルタサイズ設定部114が,RGB−HSI変換部103によって分離された輝度信号を低周波成分と高周波成分とに分離する際のフィルタサイズを,外部からの入力情報によって設定・変更する。フィルタサイズ設定部114は,入力情報に基づき,平均値フィルタのフィルタサイズを3×3,または5×5,または7×7というように決定し,そのフィルタサイズ設定信号を周波数分解部104に送り,周波数分解部104は,フィルタサイズ設定信号によって,例えば3×3の平均値フィルタ画像,5×5の平均値フィルタ画像,または7×7の平均値フィルタ画像を作成し,作成した画像を空間周波数の低周波成分とする。
In the second embodiment, the filter
同様に,フィルタサイズ設定部115は,赤外線デジタル画像信号を低周波成分と高周波成分とに分離する際のフィルタサイズを設定・変更する。フィルタサイズ設定部114とフィルタサイズ設定部115とを共通化し,一つのフィルタサイズ設定部として構成することもできる。
Similarly, the filter
また,実施例2においては,重みパラメータ設定部116が,外部からの入力情報に基づき,高周波演算部109において周波数分解部104から出力される輝度信号の高周波成分と周波数分解部108から出力される赤外線画像信号の高周波成分とを合成する際の比率を決める重みパラメータを設定する。
In the second embodiment, the weight
同様に,重みパラメータ設定部117が,低周波演算部110において周波数分解部104から出力される輝度信号の低周波成分と周波数分解部108から出力される赤外線画像信号の低周波成分とを合成する際の比率を決める重みパラメータを設定する。
Similarly, the weight
また,実施例2においては,合成パラメータ設定部118が,外部からの入力情報に基づき,周波数合成部111において高周波演算部109の出力(高周波成分)と低周波演算部110の出力(低周波成分)とを周波数合成する際の高周波ゲインと低周波ゲインとを決める合成パラメータを設定する。
Further, in the second embodiment, the synthesis
各画像の持つ高周波成分は,画像内に含まれる物体の詳細なディテール(エッジや微小な点)を示すものであるため,合成パラメータ設定部118によって,周波数合成時に用いる高周波ゲインを高くすることで物体の視認性が向上する。また,各画像の低周波成分は,背景の輝度を示すものであり,これに含まれる情報は少ないため,低周波ゲインを低くすることにより画像の平均輝度を調整し,表示画像の飽和を防ぐ。
Since the high-frequency component of each image indicates detailed details (edges and minute points) of the object included in the image, the synthesis
また,低周波成分と高周波成分とに分離する周波数を,フィルタサイズ設定部114,115によって調整することができる。さらに,可視カラー画像信号から得られる輝度信号が強く現れる画像を表示するか,赤外線画像信号が強く現れる画像を表示するかを,高周波および低周波それぞれの重みパラメータ設定部116,117によって,調整することができる。
Further, the frequency separated into the low frequency component and the high frequency component can be adjusted by the filter
以上から把握できるように,本発明の実施形態の特徴を述べると以下のとおりである。 As can be understood from the above, the features of the embodiment of the present invention are described as follows.
(付記1) カラー画像とグレースケール画像とを複合する画像複合装置であって,
カラー画像を取得するカラー画像取得手段と,
グレースケール画像を取得するグレースケール画像取得手段と,
前記取得されたカラー画像を輝度情報と色情報とに分離する輝度情報色情報分離手段と,
前記取得されたグレースケール画像と前記カラー画像から分離された輝度情報との複合処理を行う画像複合手段と,
前記複合処理の結果得られた輝度情報と前記カラー画像から分離された色情報とを用いて複合カラー画像を作成する輝度情報色情報合成手段とを備える
ことを特徴とする画像複合装置。
(Appendix 1) An image compounding device that combines a color image and a grayscale image,
Color image acquisition means for acquiring a color image;
A grayscale image acquisition means for acquiring a grayscale image;
Luminance information color information separating means for separating the acquired color image into luminance information and color information;
Image combining means for performing a combined process of the acquired grayscale image and luminance information separated from the color image;
An image composite apparatus comprising: luminance information color information synthesis means for creating a composite color image using luminance information obtained as a result of the composite processing and color information separated from the color image.
(付記2) 付記1に記載の画像複合装置において,
前記画像複合手段は,
前記取得されたグレースケール画像を高周波成分と低周波成分とに分解する第1の周波数分解手段と,
前記カラー画像から分離された輝度情報を高周波成分と低周波成分とに分解する第2の周波数分解手段と,
前記第1の周波数分解手段による分解により得られた高周波成分と前記第2の周波数分解手段による分解により得られた高周波成分とを演算して合成する高周波演算手段と,
前記第1の周波数分解手段による分解により得られた低周波成分と前記第2の周波数分解手段による分解により得られた低周波成分とを演算して合成する低周波演算手段と,
前記高周波演算手段の出力と前記低周波演算手段の出力とを合成する周波数合成手段とを備える
ことを特徴とする画像複合装置。
(Appendix 2) In the image composite device described in Appendix 1,
The image combining means includes
First frequency resolving means for decomposing the acquired gray scale image into a high frequency component and a low frequency component;
Second frequency resolving means for decomposing luminance information separated from the color image into a high frequency component and a low frequency component;
High-frequency calculation means for calculating and synthesizing a high-frequency component obtained by decomposition by the first frequency decomposition means and a high-frequency component obtained by decomposition by the second frequency decomposition means;
Low frequency computing means for computing and synthesizing a low frequency component obtained by the decomposition by the first frequency decomposing means and a low frequency component obtained by the decomposition by the second frequency decomposing means;
An image composite apparatus comprising: frequency synthesis means for synthesizing the output of the high frequency computation means and the output of the low frequency computation means.
(付記3) 付記2に記載の画像複合装置において,更に,
前記第1の周波数分解手段によってグレースケール画像を高周波成分と低周波成分とに分解する際に用いるフィルタサイズ,もしくは,前記第2の周波数分解手段によって輝度情報を高周波成分と低周波成分とに分解する際に用いるフィルタサイズのいずれか一方,または双方を設定するフィルタサイズ設定手段を備える
ことを特徴とする画像複合装置。
(Appendix 3) In the image composite device described in Appendix 2,
A filter size used when the gray scale image is decomposed into a high frequency component and a low frequency component by the first frequency decomposition means, or luminance information is decomposed into a high frequency component and a low frequency component by the second frequency decomposition means. An image composite apparatus comprising: filter size setting means for setting one or both of the filter sizes used when performing the processing.
(付記4) 付記2または付記3に記載の画像複合装置において,更に,
前記高周波演算手段によって前記第1の周波数分解手段による分解により得られた高周波成分と前記第2の周波数分解手段による分解により得られた高周波成分とを演算する際に用いる重みパラメータ,もしくは,前記低周波演算手段によって前記第1の周波数分解手段による分解により得られた低周波成分と前記第2の周波数分解手段による分解により得られた低周波成分とを演算する際に用いる重みパラメータのいずれか一方,または,双方を設定する重みパラメータ設定手段を備える
ことを特徴とする画像複合装置。
(Appendix 4) In the image composite device described in Appendix 2 or Appendix 3,
The weight parameter used when the high-frequency component obtained by the decomposition by the first frequency decomposing unit and the high-frequency component obtained by the decomposing by the second frequency decomposing unit are calculated by the high-frequency calculating unit, or the low-frequency component Any one of the weighting parameters used when the low frequency component obtained by the decomposition by the first frequency resolving means and the low frequency component obtained by the decomposition by the second frequency resolving means are calculated by the frequency calculating means. An image composite apparatus comprising weight parameter setting means for setting both of them.
(付記5) 付記2,付記3または付記4に記載の画像複合装置において,更に,
前記周波数合成手段によって前記高周波演算手段の出力と前記低周波演算手段の出力とを合成する際に用いる合成パラメータを設定する合成パラメータ設定部を備える
ことを特徴とする画像複合装置。
(Supplementary Note 5) In the image composite device described in Supplementary Note 2, Supplementary Note 3 or Supplementary Note 4,
An image composite apparatus comprising: a synthesis parameter setting unit configured to set a synthesis parameter used when the output of the high frequency calculation means and the output of the low frequency calculation means are synthesized by the frequency synthesis means.
(付記6) カラー画像とグレースケール画像とを複合する画像複合方法であって,
カラー画像を取得するステップと,
グレースケール画像を取得するステップと,
前記取得されたカラー画像を輝度情報と色情報とに分離するステップと,
前記取得されたグレースケール画像と前記カラー画像から分離された輝度情報との複合処理を行うステップと,
前記複合処理の結果得られた輝度情報と前記カラー画像から分離された色情報とを用いて複合カラー画像を作成するステップとを有する
ことを特徴とする画像複合方法。
(Appendix 6) An image combination method for combining a color image and a grayscale image,
Obtaining a color image;
Acquiring a grayscale image;
Separating the acquired color image into luminance information and color information;
Performing a combined process of the acquired grayscale image and luminance information separated from the color image;
And a step of creating a composite color image using luminance information obtained as a result of the composite processing and color information separated from the color image.
(付記7) 付記6に記載の画像複合方法において,
前記取得されたグレースケール画像と前記カラー画像から分離された輝度情報との複合処理を行うステップは,
前記取得されたグレースケール画像を高周波成分と低周波成分とに分解する第1の周波数分解ステップと,
前記カラー画像から分離された輝度情報を高周波成分と低周波成分とに分解する第2の周波数分解ステップと,
前記第1の周波数分解ステップによる分解により得られた高周波成分と前記第2の周波数分解ステップによる分解により得られた高周波成分とを演算して合成する高周波演算ステップと,
前記第1の周波数分解ステップによる分解により得られた低周波成分と前記第2の周波数分解ステップによる分解により得られた低周波成分とを演算して合成する低周波演算ステップと,
前記高周波演算ステップの出力と前記低周波演算ステップの出力とを合成する周波数合成ステップとを有する
ことを特徴とする画像複合方法。
(Appendix 7) In the image composition method described in Appendix 6,
Performing a combined process of the acquired grayscale image and the luminance information separated from the color image,
A first frequency decomposition step of decomposing the acquired grayscale image into a high frequency component and a low frequency component;
A second frequency decomposition step for decomposing the luminance information separated from the color image into a high frequency component and a low frequency component;
A high-frequency operation step for calculating and synthesizing a high-frequency component obtained by the decomposition by the first frequency decomposition step and a high-frequency component obtained by the decomposition by the second frequency decomposition step;
A low frequency calculation step for calculating and synthesizing a low frequency component obtained by the decomposition by the first frequency decomposition step and a low frequency component obtained by the decomposition by the second frequency decomposition step;
An image composition method comprising: a frequency synthesis step of synthesizing the output of the high frequency computation step and the output of the low frequency computation step.
(付記8) 付記7に記載の画像複合方法において,更に,
前記第1の周波数分解ステップによってグレースケール画像を高周波成分と低周波成分とに分解する際に用いるフィルタサイズ,または,前記第2の周波数分解ステップによって輝度情報を高周波成分と低周波成分とに分解する際に用いるフィルタサイズを設定するステップと,
前記高周波演算ステップによって前記第1の周波数分解ステップによる分解により得られた高周波成分と前記第2の周波数分解ステップによる分解により得られた高周波成分とを演算する際に用いる重みパラメータ,または,前記低周波演算ステップによって前記第1の周波数分解ステップによる分解により得られた低周波成分と前記第2の周波数分解ステップによる分解により得られた低周波成分とを演算する際に用いる重みパラメータを設定するステップと,
前記周波数合成ステップによって前記高周波演算ステップの出力と前記低周波演算ステップの出力とを合成する際に用いる合成パラメータを設定するステップとを有する
ことを特徴とする画像複合方法。
(Supplementary Note 8) In the image composition method described in Supplementary Note 7,
The filter size used when the grayscale image is decomposed into a high frequency component and a low frequency component by the first frequency decomposition step, or the luminance information is decomposed into a high frequency component and a low frequency component by the second frequency decomposition step. Setting a filter size to be used when
A weighting parameter used in calculating the high frequency component obtained by the decomposition in the first frequency decomposition step and the high frequency component obtained by the decomposition in the second frequency decomposition step by the high frequency calculation step, or the low A step of setting a weight parameter used when calculating a low frequency component obtained by the decomposition by the first frequency decomposition step and a low frequency component obtained by the decomposition by the second frequency decomposition step by the frequency calculating step. When,
An image compositing method comprising: setting a synthesis parameter used when synthesizing the output of the high frequency calculation step and the output of the low frequency calculation step by the frequency synthesis step.
1,2,3 画像複合装置
11 グレースケール画像取得手段
12 RGB画像取得手段
13 輝度情報色情報分離手段
14 画像複合手段
15 輝度情報色情報合成手段
16 表示手段
100 可視カラーカメラ
101,106 増幅部
102,107 A/D変換器
103 RGB−HSI変換部
104,108 周波数分解部
105 赤外線カメラ
109 高周波演算部
110 低周波演算部
111 周波数合成部
112 HSI−RGB変換部
113 モニタ
114,115 フィルタサイズ設定部
116,117 重みパラメータ設定部
118 合成パラメータ設定部
1, 2 and 3 Image Composite Device 11 Grayscale
Claims (5)
カラー画像を取得するカラー画像取得手段と,
グレースケール画像を取得するグレースケール画像取得手段と,
前記取得されたカラー画像を輝度情報と色情報とに分離する輝度情報色情報分離手段と,
前記取得されたグレースケール画像と前記カラー画像から分離された輝度情報との複合処理を行う画像複合手段と,
前記複合処理の結果得られた輝度情報と前記カラー画像から分離された色情報とを用いて複合カラー画像を作成する輝度情報色情報合成手段とを備える
ことを特徴とする画像複合装置。 An image compounding device that combines a color image and a grayscale image,
Color image acquisition means for acquiring a color image;
A grayscale image acquisition means for acquiring a grayscale image;
Luminance information color information separating means for separating the acquired color image into luminance information and color information;
Image combining means for performing a combined process of the acquired grayscale image and luminance information separated from the color image;
An image composite apparatus comprising: luminance information color information synthesis means for creating a composite color image using luminance information obtained as a result of the composite processing and color information separated from the color image.
前記画像複合手段は,
前記取得されたグレースケール画像を高周波成分と低周波成分とに分解する第1の周波数分解手段と,
前記カラー画像から分離された輝度情報を高周波成分と低周波成分とに分解する第2の周波数分解手段と,
前記第1の周波数分解手段による分解により得られた高周波成分と前記第2の周波数分解手段による分解により得られた高周波成分とを演算して合成する高周波演算手段と,
前記第1の周波数分解手段による分解により得られた低周波成分と前記第2の周波数分解手段による分解により得られた低周波成分とを演算して合成する低周波演算手段と,
前記高周波演算手段の出力と前記低周波演算手段の出力とを合成する周波数合成手段とを備える
ことを特徴とする画像複合装置。 The image composite device according to claim 1,
The image combining means includes
First frequency resolving means for decomposing the acquired gray scale image into a high frequency component and a low frequency component;
Second frequency resolving means for decomposing luminance information separated from the color image into a high frequency component and a low frequency component;
High-frequency calculation means for calculating and synthesizing a high-frequency component obtained by decomposition by the first frequency decomposition means and a high-frequency component obtained by decomposition by the second frequency decomposition means;
Low frequency computing means for computing and synthesizing a low frequency component obtained by the decomposition by the first frequency decomposing means and a low frequency component obtained by the decomposition by the second frequency decomposing means;
An image composite apparatus comprising: frequency synthesis means for synthesizing the output of the high frequency computation means and the output of the low frequency computation means.
前記第1の周波数分解手段によってグレースケール画像を高周波成分と低周波成分とに分解する際に用いるフィルタサイズ,もしくは,前記第2の周波数分解手段によって輝度情報を高周波成分と低周波成分とに分解する際に用いるフィルタサイズのいずれか一方,または双方を設定するフィルタサイズ設定手段を備える
ことを特徴とする画像複合装置。 The image composite device according to claim 2, further comprising:
A filter size used when the gray scale image is decomposed into a high frequency component and a low frequency component by the first frequency decomposition means, or luminance information is decomposed into a high frequency component and a low frequency component by the second frequency decomposition means. An image composite apparatus comprising: filter size setting means for setting one or both of the filter sizes used when performing the processing.
前記高周波演算手段によって前記第1の周波数分解手段による分解により得られた高周波成分と前記第2の周波数分解手段による分解により得られた高周波成分とを演算する際に用いる重みパラメータ,もしくは,前記低周波演算手段によって前記第1の周波数分解手段による分解により得られた低周波成分と前記第2の周波数分解手段による分解により得られた低周波成分とを演算する際に用いる重みパラメータのいずれか一方,または,双方を設定する重みパラメータ設定手段を備える
ことを特徴とする画像複合装置。 The image composite apparatus according to claim 2 or 3, further comprising:
The weight parameter used when the high-frequency component obtained by the decomposition by the first frequency decomposing unit and the high-frequency component obtained by the decomposing by the second frequency decomposing unit are calculated by the high-frequency calculating unit, or the low-frequency component Any one of the weighting parameters used when the low frequency component obtained by the decomposition by the first frequency resolving means and the low frequency component obtained by the decomposition by the second frequency resolving means are calculated by the frequency calculating means. An image composite apparatus comprising weight parameter setting means for setting both of them.
カラー画像を取得するステップと,
グレースケール画像を取得するステップと,
前記取得されたカラー画像を輝度情報と色情報とに分離するステップと,
前記取得されたグレースケール画像と前記カラー画像から分離された輝度情報との複合処理を行うステップと,
前記複合処理の結果得られた輝度情報と前記カラー画像から分離された色情報とを用いて複合カラー画像を作成するステップとを有する
ことを特徴とする画像複合方法。 An image composition method that combines a color image and a grayscale image,
Obtaining a color image;
Acquiring a grayscale image;
Separating the acquired color image into luminance information and color information;
Performing a combined process of the acquired grayscale image and luminance information separated from the color image;
And a step of creating a composite color image using luminance information obtained as a result of the composite processing and color information separated from the color image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004251185A JP2006072401A (en) | 2004-08-31 | 2004-08-31 | Image compounding device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004251185A JP2006072401A (en) | 2004-08-31 | 2004-08-31 | Image compounding device and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006072401A true JP2006072401A (en) | 2006-03-16 |
Family
ID=36153014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004251185A Pending JP2006072401A (en) | 2004-08-31 | 2004-08-31 | Image compounding device and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006072401A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010166363A (en) * | 2009-01-16 | 2010-07-29 | Toyota Central R&D Labs Inc | Pseudo-gray-image generating device, and program |
JP2011239259A (en) * | 2010-05-12 | 2011-11-24 | Sony Corp | Image processing device, image processing method, and program |
JP2012010141A (en) * | 2010-06-25 | 2012-01-12 | Konica Minolta Opto Inc | Image processing apparatus |
JP2012095342A (en) * | 2011-12-26 | 2012-05-17 | Toyota Central R&D Labs Inc | Pseudo-gray-image generating device, and program |
JP2013183353A (en) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | Image processor |
CN108885788A (en) * | 2016-03-11 | 2018-11-23 | 贝尔坦技术有限公司 | Image processing method |
CN111028188A (en) * | 2016-09-19 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | Image acquisition equipment for light splitting fusion |
JP2021513278A (en) * | 2018-02-09 | 2021-05-20 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Image processing methods and related devices |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03125573A (en) * | 1989-10-11 | 1991-05-28 | Yokogawa Medical Syst Ltd | Imaging device for high temperature object |
JPH03291769A (en) * | 1990-04-10 | 1991-12-20 | Hitachi Medical Corp | Picture processor |
JPH06125557A (en) * | 1991-10-16 | 1994-05-06 | Nippon Avionics Co Ltd | Synthesized image display system and the device |
JPH06273255A (en) * | 1993-03-22 | 1994-09-30 | Mitsubishi Heavy Ind Ltd | Detection of oil leak and device therefor |
JPH1073412A (en) * | 1996-08-30 | 1998-03-17 | Tokimec Inc | Far infrared image pickup device |
JPH10164469A (en) * | 1996-11-29 | 1998-06-19 | Sony Corp | Image enhancing device, image enhancing method and video printer |
JPH1194532A (en) * | 1997-09-22 | 1999-04-09 | Toshiba Corp | X-ray solid surface detector and x-ray diagnostic device |
JPH11306344A (en) * | 1998-04-16 | 1999-11-05 | Fuji Photo Film Co Ltd | Method and device for picture processing |
JPH11346324A (en) * | 1998-06-02 | 1999-12-14 | Canon Inc | Remote image pickup system, remote image pickup method and storage medium |
JP2000076426A (en) * | 1998-06-17 | 2000-03-14 | Sony Corp | Data coupling method, device therefor and program supplying medium supplying data coupling program |
JP2002125115A (en) * | 2000-10-17 | 2002-04-26 | Kowa Co | Display and print for electronic watermark |
WO2002045020A1 (en) * | 2000-11-30 | 2002-06-06 | Canon Kabushiki Kaisha | Image processing device, image processing method, storage medium, and program |
JP2003281536A (en) * | 2002-03-25 | 2003-10-03 | Fuji Photo Film Co Ltd | Image processing method, processor and program |
-
2004
- 2004-08-31 JP JP2004251185A patent/JP2006072401A/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03125573A (en) * | 1989-10-11 | 1991-05-28 | Yokogawa Medical Syst Ltd | Imaging device for high temperature object |
JPH03291769A (en) * | 1990-04-10 | 1991-12-20 | Hitachi Medical Corp | Picture processor |
JPH06125557A (en) * | 1991-10-16 | 1994-05-06 | Nippon Avionics Co Ltd | Synthesized image display system and the device |
JPH06273255A (en) * | 1993-03-22 | 1994-09-30 | Mitsubishi Heavy Ind Ltd | Detection of oil leak and device therefor |
JPH1073412A (en) * | 1996-08-30 | 1998-03-17 | Tokimec Inc | Far infrared image pickup device |
JPH10164469A (en) * | 1996-11-29 | 1998-06-19 | Sony Corp | Image enhancing device, image enhancing method and video printer |
JPH1194532A (en) * | 1997-09-22 | 1999-04-09 | Toshiba Corp | X-ray solid surface detector and x-ray diagnostic device |
JPH11306344A (en) * | 1998-04-16 | 1999-11-05 | Fuji Photo Film Co Ltd | Method and device for picture processing |
JPH11346324A (en) * | 1998-06-02 | 1999-12-14 | Canon Inc | Remote image pickup system, remote image pickup method and storage medium |
JP2000076426A (en) * | 1998-06-17 | 2000-03-14 | Sony Corp | Data coupling method, device therefor and program supplying medium supplying data coupling program |
JP2002125115A (en) * | 2000-10-17 | 2002-04-26 | Kowa Co | Display and print for electronic watermark |
WO2002045020A1 (en) * | 2000-11-30 | 2002-06-06 | Canon Kabushiki Kaisha | Image processing device, image processing method, storage medium, and program |
JP2003281536A (en) * | 2002-03-25 | 2003-10-03 | Fuji Photo Film Co Ltd | Image processing method, processor and program |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010166363A (en) * | 2009-01-16 | 2010-07-29 | Toyota Central R&D Labs Inc | Pseudo-gray-image generating device, and program |
JP2011239259A (en) * | 2010-05-12 | 2011-11-24 | Sony Corp | Image processing device, image processing method, and program |
JP2012010141A (en) * | 2010-06-25 | 2012-01-12 | Konica Minolta Opto Inc | Image processing apparatus |
JP2012095342A (en) * | 2011-12-26 | 2012-05-17 | Toyota Central R&D Labs Inc | Pseudo-gray-image generating device, and program |
JP2013183353A (en) * | 2012-03-02 | 2013-09-12 | Toshiba Corp | Image processor |
CN108885788A (en) * | 2016-03-11 | 2018-11-23 | 贝尔坦技术有限公司 | Image processing method |
JP2019512944A (en) * | 2016-03-11 | 2019-05-16 | ベルタン・テクノロジーズBertin Technologies | Image processing method |
CN108885788B (en) * | 2016-03-11 | 2022-10-25 | 贝尔坦技术有限公司 | Image processing method |
CN111028188A (en) * | 2016-09-19 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | Image acquisition equipment for light splitting fusion |
CN111028188B (en) * | 2016-09-19 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | Light-splitting fusion image acquisition equipment |
JP2021513278A (en) * | 2018-02-09 | 2021-05-20 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Image processing methods and related devices |
US11250550B2 (en) | 2018-02-09 | 2022-02-15 | Huawei Technologies Co., Ltd. | Image processing method and related device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5451782B2 (en) | Image processing apparatus and image processing method | |
JP6460014B2 (en) | Signal processing apparatus, signal processing method, and camera system | |
WO2018131141A1 (en) | Endoscope image processing device and endoscope image processing method | |
JP2007006021A (en) | Imaging apparatus and image processing program | |
JP6665918B2 (en) | Video signal processing device, video signal processing method, and camera device | |
JP2014199532A (en) | Mixed reality image processing apparatus, mixed reality image processing method and program | |
KR20200014691A (en) | Imaging apparatus, control method, recording medium, and information processing apparatus | |
JP4386959B1 (en) | Image processing device | |
JP4985660B2 (en) | Pseudo gray image generating apparatus and program | |
JP4801654B2 (en) | Composite image generator | |
JP2006072401A (en) | Image compounding device and method | |
JP5020792B2 (en) | Composite image generation apparatus and composite image generation method | |
JP6904684B2 (en) | Image processing equipment, image processing methods, and programs | |
JP2007072750A (en) | Composite image generation device and composite image generation method | |
JP2010252015A (en) | Image composition device, image composition method and program | |
JP4633023B2 (en) | User interface device | |
KR101819984B1 (en) | Image synthesis method in real time | |
JP2005182232A (en) | Luminance correcting device and method | |
JP2010213105A (en) | Imaging apparatus | |
JP2006173988A (en) | Vehicle-mounted camera video image presenting apparatus and method of presenting vehicle-mounted camera video image | |
JP2020005084A (en) | Image processing apparatus, image processing method, and program | |
JP2012095342A (en) | Pseudo-gray-image generating device, and program | |
JP2009130436A (en) | Image display system for vehicle | |
JP2006333316A (en) | Image processing apparatus | |
JP2011250260A (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100329 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100329 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100518 |