JP2001292370A - Image processing apparatus and method, and recording medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To sharply pick up an image with high contrast. SOLUTION: A light (video image of an object) is made incident onto a half mirror 42 via a lens 41, 90% of the light passes through the half mirror 42 and is made incident onto a CCD image sensor 43 via an aperture 46, where the light is converted into an electric signal. Furthermore, 10% of the light made incident onto the half mirror 42 is reflected and totally reflected in a mirror 44, made incident onto a CCD image sensor 45, where the light is converted into an electric signal. Pixels sharply picked up are selected from bright image data supplied from the CCD image sensor 43 and dark image data supplied from the CCD image sensor 45 and a sharp image with high contras can be obtained by synthesizing the pixels.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに記録媒体に関し、特に、コントラストの
高い画像を撮像する場合において、不自然に画像データ
全体の明るさが変更されることなく、暗い部分と明るい
部分をともに認識することができ、鮮明な画像データを
得ることができるようにした画像処理装置および方法、
並びに記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, and a recording medium, and more particularly to a method for capturing a high-contrast image without unnaturally changing the brightness of the entire image data. An image processing apparatus and method capable of recognizing both a dark portion and a bright portion and obtaining clear image data;
And a recording medium.

【０００２】[0002]

【従来の技術】デジタルスチルカメラを用いて画像を撮
像する場合、まず、ＣＣＤ（Charge Coupled Devices）
イメージセンサが、レンズを介して光を受光する。ＣＣ
Ｄイメージセンサは、受光した光の強度を電気信号に変
換する。ＣＣＤイメージセンサから信号を取り込むタイ
ミングを調節するために、シャッタが用いられる。2. Description of the Related Art When capturing an image using a digital still camera, first, a CCD (Charge Coupled Device) is used.
An image sensor receives light via the lens. CC
The D image sensor converts the intensity of the received light into an electric signal. A shutter is used to adjust the timing of capturing a signal from the CCD image sensor.

【０００３】シャッタにはメカニカルシャッタと電子シ
ャッタの２種類がある。メカニカルシャッタは、今まで
の銀塩カメラと同様に、普段はＣＣＤイメージセンサに
光を入射させず、シャッタを動作させたときだけＣＣＤ
イメージセンサに光を入射させ、そのときに発生する電
気信号を取り込ませる。それに対し、電子シャッタは、
通常、光をＣＣＤイメージセンサに入射させたままと
し、シャッタを動作させる直前の電荷を基板に捨てさ
せ、それ以降の所定の時間の電気信号を取り込ませると
いう動作をしている。デジタルスチルカメラの中には、
両者を併用したものもある。There are two types of shutters, mechanical shutters and electronic shutters. The mechanical shutter, like the conventional silver halide camera, does not normally allow light to enter the CCD image sensor, but only when the shutter is operated.
Light is incident on the image sensor, and an electric signal generated at that time is captured. In contrast, electronic shutters
Normally, the light is kept incident on the CCD image sensor, the electric charge immediately before the shutter is operated is discarded on the substrate, and the electric signal for a predetermined time thereafter is taken in. Some digital still cameras include
Some use both.

【０００４】デジタルスチルカメラの露出は、ＡＥ（Au
to Exposure：自動露出機構）で決められる。ＡＥは、
撮影する画面各部分の明るさを計測して、その平均が所
定の明るさになるように露出を設定する。また、デジタ
ルスチルカメラには、ユーザが考えている明るさで撮影
するために、その露出を補正する、露出補正機能を有す
るものもある。The exposure of a digital still camera is AE (Au
to Exposure: automatic exposure mechanism). AE is
The brightness of each part of the screen to be photographed is measured, and the exposure is set so that the average is a predetermined brightness. Some digital still cameras have an exposure correction function that corrects the exposure in order to shoot at the brightness that the user thinks.

【０００５】露出（露光量）は、絞り値とシャッタ速度
（露出時間）の積で決まり、通常は、明るさに対する絞
り値とシャッタ速度の組み合わせは決まっていて、同一
の露出に対する組み合わせがいくつか用意され、ユーザ
が、この中から所望の絞り値とシャッタ速度の組み合わ
せを選択する仕組みになっている。一般にこれはプログ
ラムＡＥと称される。これに対して、絞り値を指定し
て、それに対応するシャッタ速度を設定するＡＥは、絞
り優先ＡＥと称される。逆にシャッタ速度を指定して、
それに対応する絞りを設定するＡＥは、シャッタ速度優
先ＡＥと称される。[0005] The exposure (exposure amount) is determined by the product of the aperture value and the shutter speed (exposure time). Usually, the combination of the aperture value and the shutter speed for the brightness is determined, and there are several combinations for the same exposure. The mechanism is prepared so that the user can select a desired combination of the aperture value and the shutter speed from these. This is commonly referred to as program AE. On the other hand, an AE that specifies an aperture value and sets a shutter speed corresponding to the aperture value is called an aperture priority AE. Conversely, specify the shutter speed,
The AE for setting the corresponding aperture is called a shutter speed priority AE.

【０００６】このようにしてＣＣＤイメージセンサによ
り撮像された画像のアナログ画像信号は、信号の増幅や
ノイズ除去等の所定の処理をなされた後、Ａ／Ｄ変換さ
れ、デジタルの画像データとして処理される。The analog image signal of the image captured by the CCD image sensor is subjected to A / D conversion after being subjected to predetermined processing such as signal amplification and noise removal, and is processed as digital image data. You.

【０００７】[0007]

【発明が解決しようとする課題】カメラ等を用いて同時
に観察することのできる最明部と最暗部の明るさの幅
は、「ラチチュード」と称される。ラチチュードは、人
間の眼を１０とすると、銀塩フィルムで５、ＣＣＤイメ
ージセンサは２程度しかない。すなわち、人間の眼は、
強い光の下でも明部と暗部を同時に観察できるが、デジ
タルスチルカメラに用いられているＣＣＤイメージセン
サでは、明部と暗部を同時に観察することが困難であ
る。すなわち、デジタルスチルカメラにより、高いコン
トラストの下で撮像された画像は、暗いところは黒く潰
れたような画像になってしまい、明るいところはその部
分が白っぽくなり、輪郭が認識できない画像になってし
まう。The range of brightness between the brightest part and the darkest part which can be observed simultaneously using a camera or the like is called "latitude". Assuming that the human eye is 10 in latitude, there are only 5 silver halide films and about 2 CCD image sensors. That is, the human eye
Although bright and dark areas can be observed simultaneously under strong light, it is difficult for a CCD image sensor used in a digital still camera to simultaneously observe bright and dark areas. That is, in an image captured by a digital still camera under high contrast, a dark place becomes an image which is crushed black, and a bright place becomes an image in which the portion becomes whitish and the outline cannot be recognized. .

【０００８】なぜならば、デジタルスチルカメラにおい
て行われるＡＥでは、撮影する画面各部分の明るさを計
測して、その平均が所定の明るさを持つように露出が設
定されるため、標準的な（コントラストが低い）場合に
おいては、正しい露出を得ることができるが、特殊な条
件下（コントラストが高い）場合には、正しい露出を得
ることができない。例えば、逆光など強烈に明るい部分
があれば、その明るさを「薄める」ため全体が必要以上
に暗く設定されてしまう。例えば、空一面の白い雲など
画面全体が明るいときや、明るい空を背景に撮影をした
ときにも同様のことが起きる。一方、例えば蒸気機関車
のような黒いものが、画面で大きな面積を占めていると
き、あるいは夜景など背景全体が暗いときには、画像全
体が、不自然に明るくなってしまう。すなわち、コント
ラストの高い被写体を撮像するためには広いラチチュー
ドが要求される。This is because, in the AE performed by a digital still camera, the brightness of each portion of a screen to be photographed is measured, and the exposure is set so that the average thereof has a predetermined brightness. When the contrast is low, the correct exposure can be obtained, but under special conditions (high contrast), the correct exposure cannot be obtained. For example, if there is an intensely bright portion such as backlight, the entire image is set to be darker than necessary to “thin” the brightness. For example, the same occurs when the entire screen is bright, such as white clouds over the sky, or when shooting is performed against a bright sky. On the other hand, when a black object such as a steam locomotive occupies a large area on the screen, or when the entire background is dark such as a night view, the entire image becomes unnaturally bright. That is, a wide latitude is required to image a subject with high contrast.

【０００９】このような、コントラストが高くなる状況
下では、ＡＥ機能を搭載しているデジタルスチルカメラ
においても、撮りたい被写体に合わせた露出補正を行う
必要があり、操作が複雑なものとなってしまう。また、
デジタルスチルカメラに用いられるＣＣＤイメージセン
サのラチチュードが狭いため、露出補正を行った場合に
おいても、一枚の写真に明るいところと暗いところを同
時に鮮明に写すことは困難であった。In such a situation where the contrast is high, even in a digital still camera equipped with an AE function, it is necessary to perform exposure correction according to a subject to be photographed, and the operation becomes complicated. I will. Also,
Since the latitude of a CCD image sensor used in a digital still camera is narrow, it has been difficult to simultaneously capture bright and dark areas in a single photograph even when exposure correction is performed.

【００１０】本発明はこのような状況に鑑みてなされた
ものであり、露出補正を行うことなく、コントラストの
高い画像を撮像することができるようにするものであ
る。The present invention has been made in view of such a situation, and it is an object of the present invention to be able to capture a high-contrast image without performing exposure correction.

【００１１】[0011]

【課題を解決するための手段】本発明の画像処理装置
は、異なる撮像条件により撮像された、少なくとも２種
類の画像信号を取り込む取り込み手段と、取り込み手段
により取り込まれた画像信号を処理する処理手段と、処
理手段により処理された、少なくとも２種類の画像信号
の同一座標の画素を比較する比較手段と、比較手段によ
る比較結果に基づいて、画像信号を合成する合成手段と
を備えることを特徴とする。An image processing apparatus according to the present invention comprises a capturing means for capturing at least two types of image signals captured under different image capturing conditions, and a processing means for processing the image signals captured by the capturing means. And comparing means for comparing pixels at the same coordinates of at least two types of image signals processed by the processing means, and synthesizing means for synthesizing the image signal based on a comparison result by the comparing means. I do.

【００１２】レンズを介して入射された光を所定の異な
る割合の２つの光に分離する分離手段を更に設け、前記
取り込み手段には、分離手段により分離された光により
撮像された２種類の画像信号をそれぞれ取り込ませるよ
うにすることができる。[0012] Separation means for separating the light incident through the lens into two lights having a predetermined different ratio is further provided, and the capturing means has two kinds of images picked up by the lights separated by the separation means. Each of the signals can be taken in.

【００１３】撮像時の露出を制御する露出制御手段を更
に設け、前記露出制御手段には、所定の時間ごとに、少
なくとも２種類の露出を設定させ、前記取り込み手段に
は、少なくとも２種類の異なる露出において撮像された
画像信号を取り込ませるようにすることができる。[0013] Exposure control means for controlling the exposure at the time of imaging is further provided. The exposure control means sets at least two types of exposures at predetermined time intervals, and the capture means sets at least two types of different exposures. An image signal captured at the time of exposure can be captured.

【００１４】被写体に照射する照明光の発生を制御する
発光制御手段を更に設け、前記取り込み手段には、少な
くとも２種類の異なる強さの前記照明光のもとで撮像さ
れた前記画像信号を取り込ませるようにすることができ
る。[0014] Light emission control means for controlling generation of illumination light for irradiating a subject is further provided, and the capture means captures the image signal captured under the illumination light of at least two different intensities. You can make it.

【００１５】本発明の情報処理方法は、異なる撮像条件
により撮像された、少なくとも２種類の画像信号の取り
込みを制御する取り込み制御ステップと、取り込み制御
ステップの処理により取り込まれた画像信号を処理する
処理ステップと、処理ステップにより処理された、少な
くとも２種類の画像信号の同一座標の画素を比較する比
較ステップと、比較ステップの処理による比較結果に基
づいて、画像信号を合成する合成ステップとを含むこと
を特徴とする。According to the information processing method of the present invention, a capture control step for controlling capture of at least two types of image signals captured under different imaging conditions, and a process for processing the image signals captured by the capture control step And a comparing step of comparing pixels at the same coordinates of at least two types of image signals processed by the processing step; and a combining step of combining image signals based on a result of the comparison processing. It is characterized by.

【００１６】本発明の記録媒体に記録されているプログ
ラムは、異なる撮像条件により撮像された、少なくとも
２種類の画像信号の取り込みを制御する取り込み制御ス
テップと、取り込み制御ステップの処理により取り込ま
れた画像信号を処理する処理ステップと、処理ステップ
により処理された、少なくとも２種類の画像信号の同一
座標の画素を比較する比較ステップと、比較ステップの
処理による比較結果に基づいて、画像信号を合成する合
成ステップとを含むことを特徴とする。The program recorded on the recording medium of the present invention includes a capture control step for controlling capture of at least two types of image signals captured under different imaging conditions, and an image captured by the capture control step. A signal processing step, a comparing step of comparing pixels of the same coordinates of at least two types of image signals processed by the processing step, and a synthesizing step of synthesizing the image signal based on a comparison result of the comparing step And a step.

【００１７】本発明の画像処理装置、画像処理方法、お
よび記録媒体に記録されているプログラムにおいては、
異なる撮像条件により撮像された、少なくとも２種類の
画像信号が取り込まれ、取り込まれた画像信号が処理さ
れ、処理された少なくとも２種類の画像信号の同一座標
の画素が比較され、比較結果に基づいて、画像信号が合
成される。In the image processing apparatus, the image processing method, and the program recorded on the recording medium according to the present invention,
At least two types of image signals captured under different imaging conditions are captured, the captured image signals are processed, pixels of the processed at least two types of image signals at the same coordinates are compared, and based on the comparison result, , Image signals are synthesized.

【００１８】[0018]

【発明の実施の形態】以下、図を参照して、本発明の実
施の形態について説明する。Embodiments of the present invention will be described below with reference to the drawings.

【００１９】まず、本発明を適応した画像処理装置の第
１の実施の形態について説明する。図１は、画像処理装
置１の構成を示すブロック図である。First, an image processing apparatus according to a first embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration of the image processing apparatus 1.

【００２０】画像処理装置１の操作部１１は、撮像モー
ドを設定し、被写体の撮像を指令するときユーザにより
操作される。操作部１１は、ユーザの操作を示す信号を
制御部１２に出力し、制御部１２は、操作部１１から入
力された制御信号を基に、撮像モードの設定などを示す
制御信号を生成し、タイミングジェネレータ１３に出力
する。The operation unit 11 of the image processing apparatus 1 is operated by a user when setting an imaging mode and instructing imaging of a subject. The operation unit 11 outputs a signal indicating an operation of the user to the control unit 12, and the control unit 12 generates a control signal indicating a setting of an imaging mode and the like based on the control signal input from the operation unit 11, Output to the timing generator 13.

【００２１】タイミングジェネレータ１３は、例えば、
水晶発振器などよりなる発振部１４から入力される基本
クロックに同期して、水平同期信号および垂直同期信号
を発生する。タイミングジェネレータ１３は、制御部１
２から入力された制御信号、発振部１４から入力された
基本クロック、自分自身で生成した水平同期信号、およ
び垂直同期信号を基に、画像処理装置１の各部に供給す
るタイミング信号を生成する。The timing generator 13 is, for example,
A horizontal synchronizing signal and a vertical synchronizing signal are generated in synchronization with a basic clock input from an oscillating unit 14 such as a crystal oscillator. The timing generator 13 includes the control unit 1
A timing signal to be supplied to each section of the image processing apparatus 1 is generated based on the control signal input from the control unit 2, the basic clock input from the oscillation unit 14, the horizontal synchronization signal generated by itself, and the vertical synchronization signal.

【００２２】タイミングジェネレータ１３は、ユーザが
操作部１１を操作して画像の撮像を指令しない場合にお
いても、モニタするための画像を取り込むために、所定
の周期（例えば、垂直同期信号と同一の周期）でシャッ
タタイミング信号を生成し、撮像部１８に供給する。な
お、画像処理装置１においては、シャッタ速度優先ＡＥ
が行われるものとし、タイミングジェネレータ１３で生
成されるシャッタタイミング信号の発生時間（すなわ
ち、撮像部１８で行われる撮像における露出時間）は一
定である。The timing generator 13 has a predetermined period (for example, the same period as the vertical synchronizing signal) in order to capture an image to be monitored even when the user does not instruct the operation unit 11 to take an image. ) To generate a shutter timing signal and supply it to the imaging unit 18. In the image processing apparatus 1, the shutter speed priority AE
The generation time of the shutter timing signal generated by the timing generator 13 (that is, the exposure time in the imaging performed by the imaging unit 18) is constant.

【００２３】タイミングジェネレータ１３で生成された
ＣＣＤ水平レジスタおよびＣＣＤ垂直レジスタ用のクロ
ック信号は、ＣＣＤドライバ１７に供給される。ＣＣＤ
ドライバ１７は、ＣＣＤ水平レジスタおよびＣＣＤ垂直
レジスタを有する図２を用いて後述するＣＣＤイメージ
センサを駆動させるためのＣＣＤドライブ信号を生成
し、撮像部１８に供給する。The clock signal for the CCD horizontal register and the CCD vertical register generated by the timing generator 13 is supplied to a CCD driver 17. CCD
The driver 17 generates a CCD drive signal for driving a CCD image sensor described later using FIG. 2 having a CCD horizontal register and a CCD vertical register, and supplies the signal to the imaging unit 18.

【００２４】また、タイミングジェネレータ１３は、サ
ンプルホールドパルス信号を生成して、アナログ画像処
理部１９のサンプルホールド部３３に供給し、Ａ／Ｄ変
換用クロック信号を生成して、Ａ／Ｄコンバータ２０に
供給し、画像処理用クロック信号を生成して、デジタル
画像処理部１６の画像信号処理部３４に供給する。更
に、タイミングジェネレータ１３は、制御部１２から、
ユーザが画像の撮像を指示したことを示す信号を入力さ
れた場合、撮像の指令が発生したタイミングと、画像処
理にかかる時間を基に、メモリ読み込みタイミングパル
スを生成して、デジタル画像処理部１６の出力制御部３
５に供給する。The timing generator 13 generates a sample-and-hold pulse signal and supplies it to the sample-and-hold section 33 of the analog image processing section 19 to generate an A / D conversion clock signal. To generate an image processing clock signal, and supply it to the image signal processing unit 34 of the digital image processing unit 16. Further, the timing generator 13 outputs
When a signal indicating that the user has instructed image capturing is input, a memory read timing pulse is generated based on the timing at which the image capturing command is generated and the time required for image processing, and the digital image processing unit 16 Output control unit 3
5

【００２５】デジタルカメラで構成される撮像部１８
は、被写体を撮像し、そのアナログ画像信号をアナログ
画像処理部１９に出力する。アナログ画像処理部１９
は、信号増幅部３１、ローパスフィルタ３２およびサン
プルホールド部３３により構成されている。信号増幅部
３１は、入力された信号を増幅して、ローパスフィルタ
３２に出力する。ローパスフィルタ３２は、入力された
信号の不用帯域およびホワイトノイズを除去し、サンプ
ルホールド部３３に出力する。サンプルホールド部３３
は、タイミングジェネレータ１３から供給されるサンプ
ルホールドパルス信号に従って、入力された画像データ
をサンプルホールドし、Ａ／Ｄコンバータ２０のデータ
読み込みタイミングに合わせてＡ／Ｄコンバータ２０に
出力する。An imaging unit 18 composed of a digital camera
Captures an image of a subject and outputs an analog image signal to the analog image processing unit 19. Analog image processing unit 19
Is composed of a signal amplifier 31, a low-pass filter 32, and a sample-and-hold unit 33. The signal amplifier 31 amplifies the input signal and outputs the amplified signal to the low-pass filter 32. The low-pass filter 32 removes an unnecessary band and white noise of the input signal, and outputs the signal to the sample-and-hold unit 33. Sample hold section 33
Samples and holds the input image data according to the sample and hold pulse signal supplied from the timing generator 13 and outputs the sampled image data to the A / D converter 20 in accordance with the data read timing of the A / D converter 20.

【００２６】Ａ／Ｄコンバータ２０は、タイミングジェ
ネレータ１３より供給されるＡ／Ｄ変換用クロック信号
に基づいて、入力されたアナログ画像信号を所定の階調
のデジタル画像データに変換し、デジタル画像処理部１
６に出力する。The A / D converter 20 converts an input analog image signal into digital image data of a predetermined gradation based on an A / D conversion clock signal supplied from the timing generator 13 and performs digital image processing. Part 1
6 is output.

【００２７】デジタル画像処理部１６は、画像信号処理
部３４、および出力制御部３５で構成されている。画像
信号処理部３４は、入力された２フレームのデジタル画
像データを絞り制御部２４に供給するとともに、タイミ
ングジェネレータ１３より供給される画像処理用クロッ
ク信号に従って、それらのデジタル画像を、後述する所
定の方法で合成し、生成した合成画像データを出力制御
部３５に出力する。出力制御部３５は、その内部に、出
力する画像データを一時保存するための図示しないメモ
リを有し、タイミングジェネレータ１３からメモリ読み
込みタイミングパルスが供給された場合、図示しないメ
モリに保存されている画像データを、新たに入力された
画像データに書き換える。そして、出力制御部３５は、
図示しないメモリに保存されているデータを出力する。The digital image processing section 16 comprises an image signal processing section 34 and an output control section 35. The image signal processing unit 34 supplies the input two-frame digital image data to the aperture control unit 24 and, based on the image processing clock signal supplied from the timing generator 13, converts the digital images into a predetermined format described later. The combined image data is output by the method to the output control unit 35. The output control unit 35 has therein a memory (not shown) for temporarily storing image data to be output, and when a memory read timing pulse is supplied from the timing generator 13, the image stored in the memory (not shown) Rewrite the data with the newly input image data. Then, the output control unit 35
It outputs data stored in a memory (not shown).

【００２８】入出力インターフェース２１は、例えば、
モニタ２２や、図示しない外部出力装置とのインターフ
ェース機能を有し、デジタル画像処理部１６から供給さ
れたデータを、モニタ２２や、図示しない外部出力装置
に出力する。モニタ２２は、供給された画像データを表
示する。The input / output interface 21 is, for example,
It has an interface function with the monitor 22 and an external output device (not shown), and outputs data supplied from the digital image processing unit 16 to the monitor 22 and an external output device (not shown). The monitor 22 displays the supplied image data.

【００２９】絞り制御部２４は、画像信号処理部３４か
ら、図２を用いて後述する撮像部１８のＣＣＤイメージ
センサ４３およびＣＣＤイメージセンサ４５の出力に対
応するデジタル画像データの供給を受け、そのうちの一
方（例えば、ＣＣＤイメージセンサ４５の出力）に対応
するデジタル画像データの明るさから、適した絞り値を
演算し、その値に応じて、図２を用いて後述する絞り４
６および絞り４７の両方を制御するための絞り制御信号
を生成し、撮像部１８に供給する。The aperture control unit 24 receives from the image signal processing unit 34 the supply of digital image data corresponding to the outputs of the CCD image sensor 43 and the CCD image sensor 45 of the imaging unit 18, which will be described later with reference to FIG. An appropriate aperture value is calculated from the brightness of the digital image data corresponding to one of them (for example, the output of the CCD image sensor 45), and the aperture value 4 described later with reference to FIG.
An aperture control signal for controlling both the aperture 6 and the aperture 47 is generated and supplied to the imaging unit 18.

【００３０】また、制御部１２には、ドライブ２３も接
続されており、必要に応じて挿入される磁気ディスク１
３１、光ディスク１３２、光磁気ディスク１３３、およ
び半導体メモリ１３４などとデータの授受を行う。A drive 23 is also connected to the control unit 12, and the magnetic disk 1 inserted as necessary
Data is exchanged with the optical disk 31, the optical disk 132, the magneto-optical disk 133, the semiconductor memory 134, and the like.

【００３１】図２は、撮像部１８の光学系の詳細な構成
を示す図である。光（すなわち、被写体の映像）が、レ
ンズ４１を介してハーフミラー４２に入射される。ハー
フミラー４２は、入射された光の一部を反射し、残りを
透過させる。ここでは、ハーフミラー４２は、入射され
た光のうち９０％を透過し、１０％を反射するようにな
されている。FIG. 2 is a diagram showing a detailed configuration of the optical system of the image pickup section 18. As shown in FIG. Light (that is, an image of a subject) is incident on the half mirror 42 via the lens 41. The half mirror 42 reflects a part of the incident light and transmits the rest. Here, the half mirror 42 is configured to transmit 90% of the incident light and reflect 10% of the incident light.

【００３２】ＣＣＤイメージセンサ４３およびＣＣＤイ
メージセンサ４５は、電子シャッタ機能を有し、タイミ
ングジェネレータ１３から供給されるシャッタタイミン
グ信号に従って信号を取り込むようになされている。ハ
ーフミラー４２に入射され、そこを透過した光は、絞り
４６を介してＣＣＤイメージセンサ４３に入射される。
そして、ハーフミラー４２に入射され、そこで反射され
た光は、ミラー４４に入射され、そこで全反射され、絞
り４７を介してＣＣＤイメージセンサ４５に入射する。The CCD image sensor 43 and the CCD image sensor 45 have an electronic shutter function, and take in a signal in accordance with a shutter timing signal supplied from the timing generator 13. The light that has entered the half mirror 42 and transmitted therethrough enters the CCD image sensor 43 via the aperture 46.
Then, the light that has entered the half mirror 42 and reflected therefrom enters the mirror 44, is totally reflected there, and enters the CCD image sensor 45 via the stop 47.

【００３３】絞り４６および絞り４７は、絞り制御部２
４から供給される絞り制御信号に従って、その絞り値が
同一となるように制御される。すなわち、絞り４７は、
１０％の光が入射されるＣＣＤイメージセンサ４５で撮
像された画像の明るさに基づいて制御されるため、暗い
画像を撮像するのに適した絞り値に制御される。一方、
９０％の光が入射されるＣＣＤイメージセンサ４３に対
応する絞り４６は、１０％の光が入射されるＣＣＤイメ
ージセンサ４５の絞り値と同一の絞り値に制御されるた
め、入射される光量（９０％）に対して露出過多状態と
なり、結果的に、ＣＣＤイメージセンサ４５で撮像され
る画像よりも、明るい画像を撮像するように制御され
る。The diaphragm 46 and the diaphragm 47 are provided by the diaphragm controller 2
In accordance with the aperture control signal supplied from the control unit 4, the aperture value is controlled to be the same. That is, the aperture 47 is
Since the control is performed based on the brightness of the image captured by the CCD image sensor 45 to which 10% of the light is incident, the aperture value is controlled to an aperture value suitable for capturing a dark image. on the other hand,
The aperture 46 corresponding to the CCD image sensor 43 on which 90% of the light is incident is controlled to the same aperture value as the aperture of the CCD image sensor 45 on which 10% of the light is incident. 90%), an overexposure state occurs, and as a result, control is performed so that an image brighter than the image captured by the CCD image sensor 45 is captured.

【００３４】ＣＣＤイメージセンサ４３およびＣＣＤイ
メージセンサ４５の受光素子（図示せず）は、ＣＣＤド
ライバ１７より供給されるＣＣＤドライブ信号により駆
動され、受光した光の強度を電気信号に変換する。そし
て、ＣＣＤイメージセンサ４３およびＣＣＤイメージセ
ンサ４５は、生成した電気信号を、図１のアナログ画像
処理部１９の信号増幅部３１にそれぞれ出力する。The light receiving elements (not shown) of the CCD image sensor 43 and the CCD image sensor 45 are driven by a CCD drive signal supplied from the CCD driver 17, and convert the intensity of the received light into an electric signal. Then, the CCD image sensor 43 and the CCD image sensor 45 output the generated electric signals to the signal amplifier 31 of the analog image processor 19 in FIG. 1, respectively.

【００３５】再び、図1を用いて、撮像部１８において
撮像された画像データの処理について説明する。Referring again to FIG. 1, the processing of the image data picked up by the image pickup unit 18 will be described.

【００３６】図２を用いて説明した撮像部１８のＣＣＤ
イメージセンサ４３およびＣＣＤイメージセンサ４５で
撮像された２つのアナログ画像信号は、アナログ画像処
理部１９の信号増幅部３１でそれぞれ増幅され、ローパ
スフィルタ３２で不用帯域およびホワイトノイズが除去
され、サンプルホールド部３３に入力される。サンプル
ホールド部３３は、タイミングジェネレータ１３から供
給されるサンプルホールドパルス信号に従って、入力さ
れた画像データをサンプルホールドし、Ａ／Ｄコンバー
タ２０のデータ読み込みタイミングに合わせてＡ／Ｄコ
ンバータ２０に出力する。Ａ／Ｄコンバータ２０は、タ
イミングジェネレータ１３より供給されるＡ／Ｄ変換用
クロック信号に基づいて、入力された２つのアナログ画
像信号を所定の階調のデジタル画像データにそれぞれ変
換し、変換された２つのデジタル画像データをデジタル
画像処理部１６の画像信号処理部３４に出力する。The CCD of the imaging unit 18 described with reference to FIG.
The two analog image signals picked up by the image sensor 43 and the CCD image sensor 45 are respectively amplified by the signal amplifying unit 31 of the analog image processing unit 19, the unnecessary band and the white noise are removed by the low-pass filter 32, and the sample-and-hold unit 33 is input. The sample hold unit 33 samples and holds the input image data according to the sample hold pulse signal supplied from the timing generator 13 and outputs the image data to the A / D converter 20 in accordance with the data read timing of the A / D converter 20. The A / D converter 20 converts the two input analog image signals into digital image data of a predetermined gradation based on the A / D conversion clock signal supplied from the timing generator 13, and converts the analog image signals into digital image data of a predetermined gradation. The two digital image data are output to the image signal processing unit 34 of the digital image processing unit 16.

【００３７】ここで、明るい部分と暗い部分が混在して
いるような画像を１枚の画像として撮像する場合につい
て考える。例えば、図３（Ａ）に示されるように、点灯
している電球と、仕切りをはさんで存在するりんごが含
まれた被写体を１枚の画像として撮像するものとする。
人間の目では、図３（Ａ）のように、明るい部分と暗い
部分の両方をはっきり認識することが可能であるが、Ｃ
ＣＤイメージセンサを用いてこのような画像を撮像しよ
うとすると、その露出の値によって、主に電球（被写体
のより明るい部分）に強く影響されて露出が合わされた
場合、図３（Ｂ）のように、点灯している電球（明るい
部分）は識別できるが、りんご（暗い部分）は識別でき
ない画像が撮像され、主にりんご（暗い部分）に強く影
響されて露出が合わされた場合、図３（Ｃ）のように、
りんご（暗い部分）は識別ができるが、点灯している電
球（明るい部分）は、明るすぎて画像が白っぽくなり、
輪郭が飛んでしまって、明確に識別できないような画像
が撮像されてしまう。Here, consider a case where an image in which a bright portion and a dark portion are mixed is captured as one image. For example, as shown in FIG. 3A, it is assumed that a lit subject and an object including an apple that is present across a partition are captured as one image.
The human eye can clearly recognize both the bright part and the dark part as shown in FIG.
If an attempt is made to capture such an image using a CD image sensor, the exposure value is strongly influenced mainly by a light bulb (a brighter portion of the subject) and the exposure is adjusted, as shown in FIG. In the case where a lighted bulb (bright part) can be identified but an apple (dark part) cannot be identified, an image is taken, and the exposure is adjusted mainly by the apple (dark part). As in C),
Apples (dark parts) can be identified, but lit bulbs (bright parts) are too bright to make the image whitish,
An outline is skipped, and an image that cannot be clearly identified is captured.

【００３８】すなわち、画像処理装置１を用いて、図３
（Ａ）に示される画像を撮像した場合、絞り４６が、絞
り４７と同じ絞り値に制御されるため、９０％の光が入
射されるＣＣＤイメージセンサ４３は露出過多となり、
図３（Ｃ）に示されるような、暗い部分が鮮明な画像を
撮像し、１０％の光が入射されるＣＣＤイメージセンサ
４５は、絞り４７が、ＣＣＤイメージセンサ４５の図示
しない受光素子が受ける光量が十分であるように制御さ
れるので、図３（Ｂ）に示される明るい部分が鮮明な画
像を撮像する。That is, using the image processing apparatus 1, FIG.
When the image shown in (A) is captured, the aperture 46 is controlled to the same aperture value as the aperture 47, so that the CCD image sensor 43 on which 90% of the light is incident becomes overexposed,
As shown in FIG. 3C, in the CCD image sensor 45 in which a dark portion is captured clearly and 10% light is incident, the aperture 47 is received by a light receiving element (not shown) of the CCD image sensor 45. Since the light amount is controlled to be sufficient, a bright portion shown in FIG. 3B captures a clear image.

【００３９】そして、これらの画像データが、Ａ／Ｄコ
ンバータ２０において、所定の階調にデジタル化され、
変換された２つのデジタル画像データが、画像信号処理
部３４に供給される。そして、画像信号処理部３４は、
入力される２つのデジタル画像データの同一座標の画素
の明るさを比較する。ＣＣＤイメージセンサ４３とＣＣ
Ｄイメージセンサ４５で撮像される画像の、図４（Ａ）
に示されるラインＬにおける各画素の明るさ（輝度値）
は、それぞれ図４（Ｂ）に示されるようになる。Then, these image data are digitized to a predetermined gradation in the A / D converter 20.
The two converted digital image data are supplied to the image signal processing unit 34. Then, the image signal processing unit 34
The brightness of pixels at the same coordinates of two input digital image data is compared. CCD image sensor 43 and CC
FIG. 4A of an image captured by the D image sensor 45
(Brightness value) of each pixel on the line L shown in FIG.
Are as shown in FIG. 4 (B).

【００４０】ここで、図４（Ｂ）に示されるＣＣＤイメ
ージセンサ４３およびＣＣＤイメージセンサ４５で撮像
された画像データのそれぞれの画素の輝度値Ｙの大きさ
を比較すると、ＣＣＤイメージセンサ４３で撮像された
画像の画素の輝度値Ｙ４３は、りんごの付近では認識し
やすい明るさだが、電球の付近では明るすぎて認識でき
ないものとなる。それに対して、ＣＣＤイメージセンサ
４５で撮像された画像の画素の輝度値４５は、りんごの
付近では暗すぎて認識できないが、電球の付近では認識
しやすい明るさになる。すなわち、２つのデジタル画像
の同一座標の画素を比較した場合、中央値（輝度値の最
高値と最低値の平均値）に近い明るさを有する画素が、
認識しやすい画素であることがわかる。Here, comparing the magnitude of the luminance value Y of each pixel of the image data picked up by the CCD image sensor 43 and the CCD image sensor 45 shown in FIG. The brightness value Y43 of the pixel of the image thus obtained is bright enough to be recognized near an apple, but too bright near a light bulb to be unrecognizable. On the other hand, the brightness value 45 of the pixel of the image picked up by the CCD image sensor 45 is too dark near the apple and cannot be recognized, but has a brightness that is easily recognized near the bulb. That is, when comparing pixels at the same coordinates of two digital images, a pixel having a brightness close to the median value (the average value of the highest and lowest brightness values)
It can be seen that the pixel is easy to recognize.

【００４１】したがって、画像信号処理部３４は、入力
された２つの画像データの同一の座標の画素を比較し、
中央値に近い輝度値の画素を選択して合成することによ
り、認識しやすい画像データを生成することができる。Therefore, the image signal processing section 34 compares the pixels of the same coordinates of the two input image data,
By selecting and combining pixels having a luminance value close to the median value, it is possible to generate easily recognizable image data.

【００４２】勿論、２つの画素それぞれを、その輝度値
と中央値との差に対応したαとα−１の係数で重み付け
し、その後加算することによって合成するようにしても
よい。Of course, the two pixels may be combined by weighting them with α and α−1 coefficients corresponding to the difference between the luminance value and the median value, and then adding them.

【００４３】そして、画像信号処理部３４で合成された
画像データは、出力制御部３５に供給される。出力制御
部３５は、タイミングジェネレータ１３から供給される
メモリ読み込みタイミングパルスに基づいて、入力され
た画像データを図示しないメモリに読み込み、入出力イ
ンターフェース２１を介してモニタ２２に出力し、表示
させる。The image data synthesized by the image signal processing unit 34 is supplied to an output control unit 35. The output control unit 35 reads the input image data into a memory (not shown) based on the memory read timing pulse supplied from the timing generator 13, and outputs the image data to the monitor 22 via the input / output interface 21 for display.

【００４４】以上のように、画像処理装置１において
は、ハーフミラー４２によって分離された、異なる強度
の光を撮像し、その２つの画像データの鮮明な部分を合
成することにより、撮像したい画像のコントラストが高
いような場合においても、画面全体が不自然に明るくな
ったり、暗くなったり、また、暗い部分が潰れて認識で
きなくなったり、明るい部分が白っぽくなり、輪郭が飛
んでしまって、明確に認識できなくなるようなことのな
い画像（明るさの差が大きい被写体のいずれをも認識す
ることが可能な画像）を得ることができる。As described above, the image processing apparatus 1 captures light of different intensities separated by the half mirror 42 and synthesizes clear portions of the two image data, thereby obtaining an image to be captured. Even when the contrast is high, the whole screen becomes unnaturally bright or dark, or the dark part is crushed and unrecognizable, the bright part becomes whitish, the outline jumps, and it becomes clear. An image that does not become unrecognizable (an image that can recognize any subject having a large difference in brightness) can be obtained.

【００４５】このようにして得られる画像は、被写体の
明るさに正確に対応した画像にはならない。しかしなが
ら、例えば医療用、工業用などの画像としては、明るさ
に対するリニア性よりも、被写体の形状が明確に認識可
能であることが求められる場合がある。このようにして
得られる画像は、このような場合に利用される。The image obtained in this way does not become an image exactly corresponding to the brightness of the subject. However, in some cases, for example, for medical or industrial images, it is required that the shape of the subject can be clearly recognized rather than the linearity with respect to brightness. The image thus obtained is used in such a case.

【００４６】なお、画像処理装置１においては、メモリ
読み込みタイミングパルスを連続して発生させることに
より、動画の撮影および表示を行うことができる。Note that the image processing apparatus 1 can shoot and display a moving image by continuously generating a memory read timing pulse.

【００４７】また、例えば、絞り４７を絞り４６の１／
９の光を通過させるように、常に制御するようにすれ
ば、ハーフミラー４２として、透過率と反射率がそれぞ
れ５０％のものを用いることが可能である。Also, for example, the diaphragm 47 is set to 1 / of the diaphragm 46.
If the half mirror 42 is constantly controlled so as to allow the passage of 9 light beams, it is possible to use a half mirror 42 having a transmittance and a reflectance of 50%, respectively.

【００４８】この第１の実施の形態は、後述する第２の
実施の形態および第３の実施の形態に比べて、より高い
フレームレートで撮像を行うことが可能である。In the first embodiment, it is possible to perform imaging at a higher frame rate than in the second and third embodiments described later.

【００４９】次に、本発明を適応した画像処理装置の第
２の実施の形態について説明する。図５は、画像処理装
置５１の構成を示すブロック図である。画像処理装置５
１は、比較的近距離の被写体に対して照明（図６を用い
て後述するストロボ８１から発光される光）を当て、そ
の反射光をＣＣＤイメージセンサ８５（図６）にて撮像
するようになされており、例えば、金属表面の傷や、溶
接部分などの観察、回路基板の実装状態の検査、あるい
は、ＩＣの検査等に用いるのに好適な構造をなしてい
る。Next, an image processing apparatus according to a second embodiment of the present invention will be described. FIG. 5 is a block diagram illustrating a configuration of the image processing device 51. Image processing device 5
1 illuminates an object (light emitted from a strobe light 81 described later with reference to FIG. 6) to an object at a relatively short distance, and captures the reflected light with a CCD image sensor 85 (FIG. 6). The structure is suitable for use in, for example, observing a scratch on a metal surface or a welded portion, inspecting a mounted state of a circuit board, or inspecting an IC.

【００５０】なお、図１における場合と対応する部分に
は、同一の符号を付してあり、その説明は適宜省略す
る。すなわち、この画像処理装置５１は、図１のタイミ
ングジェネレータ１３、デジタル画像処理部１６、撮像
部１８、アナログ画像処理部１９、Ａ／Ｄコンバータ２
０、および絞り制御部２４の代わりに、タイミングジェ
ネレータ６１、デジタル画像処理部６５、撮像部６２、
アナログ画像処理部６３、Ａ／Ｄコンバータ６４、およ
び絞り制御部６６が設けられているほかは、基本的に図
１における場合と同様に構成されている。Parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the image processing device 51 includes the timing generator 13, the digital image processing unit 16, the imaging unit 18, the analog image processing unit 19, and the A / D converter 2 in FIG.
0, and the timing generator 61, the digital image processing unit 65, the imaging unit 62,
The configuration is basically the same as that in FIG. 1 except that an analog image processing section 63, an A / D converter 64, and an aperture control section 66 are provided.

【００５１】すなわち、タイミングジェネレータ６１
は、図１を用いて説明したタイミングジェネレータ１３
の機能に加えて、ストロボ点灯タイミング信号および絞
り値固定信号を生成する機能を備えている。タイミング
ジェネレータ６１は、ストロボ点灯タイミング信号を、
図７もしくは図８を用いて後述するタイミングで発生
し、図６を用いて後述するストロボ８１に供給する。ま
た、タイミングジェネレータ６１は、制御部１２からユ
ーザが撮像を指令したことを示す制御信号の入力を受け
た場合、絞り値固定信号を生成し、絞り制御部６６に供
給する。絞り制御部６６は、絞り値固定信号を受け、２
フレーム分の画像を撮像する間、現在の絞り値を固定さ
せることを指示する絞り値制御信号を生成し、撮像部６
２の絞り８６（図６）に出力する。That is, the timing generator 61
Is the timing generator 13 described with reference to FIG.
In addition to the function described above, a function for generating a strobe lighting timing signal and an aperture value fixing signal is provided. The timing generator 61 outputs a strobe lighting timing signal,
It is generated at a timing described later with reference to FIG. 7 or FIG. 8, and is supplied to a strobe 81 described later with reference to FIG. When receiving a control signal from the control unit 12 indicating that the user has commanded imaging, the timing generator 61 generates an aperture value fixed signal and supplies the signal to the aperture control unit 66. The aperture control unit 66 receives the aperture value fixed signal,
While capturing an image for a frame, an aperture value control signal for instructing to fix the current aperture value is generated, and the imaging unit 6
It is output to the second aperture 86 (FIG. 6).

【００５２】撮像部６２の詳細は、図６を用いて後述す
る。また、アナログ画像処理部６３の信号増幅部７１、
ローパスフィルタ７２、サンプルホールド部７３、およ
びＡ／Ｄコンバータ６４は、その入出力が１系統のみで
あり、実行する処理は、図１における場合とそれぞれ同
じである。そして、デジタル画像処理部６５の画像信号
処理部７４は、Ａ／Ｄコンバータ６４から入力されるデ
ジタル画像データを、図示しない内部のメモリに一時保
存し、次に入力される画像データと合成し、出力する。
合成の詳細については後述する。The details of the image pickup section 62 will be described later with reference to FIG. Further, the signal amplifying unit 71 of the analog image processing unit 63,
The low-pass filter 72, the sample-and-hold unit 73, and the A / D converter 64 have only one input / output, and the processing to be executed is the same as that in FIG. Then, the image signal processing unit 74 of the digital image processing unit 65 temporarily stores the digital image data input from the A / D converter 64 in an internal memory (not shown), and combines the digital image data with the next input image data. Output.
Details of the combination will be described later.

【００５３】絞り制御部６６は、タイミングジェネレー
タ６１から絞り値固定信号の入力を受けていない場合、
図１を用いて説明した絞り制御部２４と同様に、画像信
号処理部７４から入力される画像データの明るさに基づ
いて絞り値を演算して絞り制御信号を生成し、撮像部６
２の絞り８６に出力する（すなわち、シャッタ速度を一
定とし、絞り値が変更される、シャッタ速度優先ＡＥが
行われる）が、タイミングジェネレータ６１から絞り値
固定信号の入力を受けた場合、絞り８６の絞り値を、２
フレームの撮像の間、現在の値で固定させるための絞り
制御信号を生成し、撮像部６２に供給する。そして、そ
の後２フレームの間は、ストロボの発光を制御すること
により得られる画像の明るさが調整されるか、もしくは
シャッタ速度の変更によって露出が制御される。When the aperture control unit 66 does not receive the input of the aperture value fixed signal from the timing generator 61,
Similar to the aperture control unit 24 described with reference to FIG. 1, an aperture value is calculated based on the brightness of the image data input from the image signal processing unit 74 to generate an aperture control signal, and the imaging unit 6
2 (that is, the shutter speed is kept constant, the aperture value is changed, shutter speed priority AE is performed), but when the aperture value fixed signal is input from the timing generator 61, the aperture 86 is output. Aperture value of 2
During the imaging of the frame, an aperture control signal for fixing at the current value is generated and supplied to the imaging unit 62. Then, during the next two frames, the brightness of the image obtained by controlling the flash emission is adjusted, or the exposure is controlled by changing the shutter speed.

【００５４】図６は、撮像部６２の光学系の詳細な構成
を示す図である。ストロボ８１は、例えば、白色ＬＥＤ
からなり、タイミングジェネレータ６１より供給される
ストロボ点灯タイミング信号に従って点灯および消灯を
行う。ハーフミラー８３は、入射された光の一部を反射
し、残りを透過させる。ここでは、ハーフミラー８３
は、入射光の半分を反射し、半分を透過させるものとす
る。ストロボ８１の光はレンズ８２を介してハーフミラ
ー８３に入射され、そこで反射され、レンズ８４を介し
て、被写体９１に照射される。被写体９１にあたって反
射された反射光は、レンズ８４を介してハーフミラー８
３に入射され、その光の半分がハーフミラー８３を透過
し、絞り８６を介してＣＣＤイメージセンサ８５に入射
する。絞り８６は、絞り制御部６６から供給される絞り
制御信号に従って、ＣＣＤイメージセンサ８５の受光量
を制御する。FIG. 6 is a diagram showing a detailed configuration of the optical system of the imaging section 62. The strobe light 81 is, for example, a white LED
The light is turned on and off according to a strobe lighting timing signal supplied from the timing generator 61. The half mirror 83 reflects a part of the incident light and transmits the rest. Here, the half mirror 83
Shall reflect half of the incident light and transmit half. The light of the strobe light 81 enters the half mirror 83 via the lens 82, is reflected there, and irradiates the subject 91 via the lens 84. The reflected light reflected by the subject 91 is transmitted through the lens 84 to the half mirror 8.
3, half of the light passes through the half mirror 83, and enters the CCD image sensor 85 via the stop 86. The aperture 86 controls the amount of light received by the CCD image sensor 85 according to an aperture control signal supplied from the aperture control unit 66.

【００５５】ＣＣＤイメージセンサ８５は、電子シャッ
タ機能を有し、タイミングジェネレータ６１から供給さ
れるシャッタタイミング信号に従って信号を取り込むよ
うになされている。ＣＣＤイメージセンサ８５の受光素
子（図示せず）は、ＣＣＤドライバ１７より供給される
ＣＣＤドライブ信号により駆動され、受光した光の強度
を電気信号に変換し、図５のアナログ画像処理部６３の
信号増幅部７１に出力する。The CCD image sensor 85 has an electronic shutter function, and takes in a signal in accordance with a shutter timing signal supplied from the timing generator 61. The light receiving element (not shown) of the CCD image sensor 85 is driven by a CCD drive signal supplied from the CCD driver 17, converts the intensity of the received light into an electric signal, and outputs a signal of the analog image processing unit 63 in FIG. The signal is output to the amplifier 71.

【００５６】図７は、ユーザが撮像を指令した場合の、
垂直同期信号、ストロボ点灯タイミング信号、およびシ
ャッタタイミング信号の関係を示すタイミングチャート
である。前述したように、ユーザが撮像を指令した場
合、その後２フレーム分の撮像中は、絞り値が変更され
ない（絞り値固定信号により、ユーザが撮像を指令した
タイミングの１つ前のフレームにおいて絞り制御部６６
が演算し、設定した絞り値に固定される）。FIG. 7 shows a case where the user instructs imaging.
5 is a timing chart showing a relationship among a vertical synchronization signal, a strobe lighting timing signal, and a shutter timing signal. As described above, when the user instructs imaging, the aperture value is not changed during imaging for two frames thereafter (the aperture control is performed by the aperture value fixing signal in the frame immediately before the timing at which the user instructs imaging). Part 66
Is calculated and fixed at the set aperture value).

【００５７】画像処理装置５１においては、１つの画像
を得るために、２回の撮像が行われる。まず、１回目の
撮像においては、ストロボ８１が点灯された状態で撮像
が行われる。すなわち、強い照明光のもとで撮像される
ので、撮像される画像の暗い部分が、鮮明に撮像でき
る。そして、２回目の撮像においては、ストロボ８１が
点灯されない状態で、１回目と同一のシャッタ速度で撮
像が行われる。すなわち、１回目の撮像と比較して、弱
い光のもとで同一の露出時間で撮像が行われているた
め、１回目の撮像のときに、明るすぎて、白っぽくな
り、輪郭が飛んでしまって認識できなかった明るい部分
が、鮮明に撮像できる。In the image processing device 51, two images are taken in order to obtain one image. First, in the first imaging, imaging is performed with the strobe light 81 turned on. That is, since the image is captured under strong illumination light, a dark portion of the captured image can be clearly captured. Then, in the second imaging, imaging is performed at the same shutter speed as in the first imaging, with the strobe 81 not turned on. That is, compared to the first imaging, the imaging is performed under the same exposure time under the weak light, so that at the first imaging, the image becomes too bright, whitish, and the outline is skipped. Bright portions that could not be recognized can be clearly imaged.

【００５８】例えば、撮像が行われる環境が、暗い室内
であったり、夜の野外のような、外部の光がほとんどな
いようなとき、図７を用いて説明したように、ストロボ
８１をまったく点灯させない２回目の撮像においては、
たとえシャッタ速度を遅くしても、光量不足のため、撮
像ができない場合が考えられる。このような場合、図８
の、垂直同期信号、ストロボ点灯タイミング信号、およ
びシャッタタイミング信号の関係を示すタイミングチャ
ートに基づいた処理を行うようにしてもよい。すなわ
ち、１回目の撮像において、ストロボ８１が点灯された
状態で、比較的遅いシャッタ速度で撮像が行われる。す
なわち、露光量が多い状態で画像が撮像されるので、撮
像される画像の中の暗い部分が、鮮明に撮像できる。そ
して、２回目の撮像においては、ストロボ８１が点灯さ
れた状態で、１回目より速いシャッタ速度で撮像が行わ
れる。すなわち、１回目の撮像と比較して、同一の強度
の照明光のもとで、シャッタ速度が速いため、露光量が
少なくなり、１回目の撮像により得られた画像より暗い
画像が撮像されるので、１回目の撮像のときに、明るす
ぎて、白っぽくなり、輪郭が飛んでしまって認識できな
かった部分が、鮮明に撮像できる。For example, when the environment in which the image is captured is a dark room or when there is almost no external light such as outdoors at night, the strobe 81 is turned on at all, as described with reference to FIG. In the second imaging that is not performed,
Even if the shutter speed is reduced, there may be a case where imaging cannot be performed due to insufficient light quantity. In such a case, FIG.
The processing may be performed based on a timing chart showing the relationship among the vertical synchronization signal, the strobe lighting timing signal, and the shutter timing signal. That is, in the first imaging, imaging is performed at a relatively slow shutter speed with the strobe 81 lit. That is, since an image is captured with a large amount of exposure, a dark portion in the captured image can be clearly captured. Then, in the second imaging, the imaging is performed at a shutter speed faster than the first one in a state where the strobe light 81 is turned on. That is, since the shutter speed is high under the same intensity of illumination light as compared with the first imaging, the exposure amount is reduced, and an image darker than the image obtained by the first imaging is captured. Therefore, at the time of the first imaging, a portion that is too bright and becomes whitish and the outline has been skipped and cannot be recognized can be clearly imaged.

【００５９】図７もしくは図８を用いて説明した処理に
よって、撮像部６２で撮像された異なる２種類のアナロ
グ画像信号は、アナログ画像処理部６３に順次入力さ
れ、信号増幅部７１で増幅され、ローパスフィルタ７２
で不用帯域およびホワイトノイズが除去され、サンプル
ホールド部７３に入力される。サンプルホールド部７３
は、タイミングジェネレータ６１から供給されるサンプ
ルホールドパルス信号に従って、入力された画像データ
をサンプルホールドし、Ａ／Ｄコンバータ６４のデータ
読み込みタイミングに合わせてＡ／Ｄコンバータ６４に
出力する。Ａ／Ｄコンバータ６４は、タイミングジェネ
レータ６１より供給されるＡ／Ｄ変換用クロック信号に
基づいて、入力されたアナログ画像信号を所定の階調の
デジタル画像データに変換し、デジタル画像処理部６５
の画像信号処理部７４に出力する。By the processing described with reference to FIG. 7 or FIG. 8, two different types of analog image signals picked up by the image pickup section 62 are sequentially input to the analog image processing section 63, amplified by the signal amplifying section 71, and Low-pass filter 72
Then, the unnecessary band and the white noise are removed, and are input to the sample and hold unit 73. Sample hold unit 73
Samples and holds the input image data according to the sample and hold pulse signal supplied from the timing generator 61 and outputs the sampled image data to the A / D converter 64 in accordance with the data read timing of the A / D converter 64. The A / D converter 64 converts the input analog image signal into digital image data of a predetermined gradation based on the A / D conversion clock signal supplied from the timing generator 61, and
Is output to the image signal processing unit 74.

【００６０】画像信号処理部７４は、始めに入力された
画像データを図示しないメモリに保存し、次の画像デー
タが入力されたときに、この２つの画像データの同一の
座標の画素の明るさを比較し、図４を用いて説明した場
合と同様に、明るさの中央値に近い画素を選択して合成
し、出力制御部７５に供給する。The image signal processing section 74 stores the image data input first in a memory (not shown), and when the next image data is input, the brightness of the pixel at the same coordinates of the two image data Are compared with each other, and a pixel close to the median brightness is selected and synthesized as in the case described with reference to FIG.

【００６１】出力制御部７５は、タイミングジェネレー
タ６１から供給されるメモリ読み込みタイミングパルス
に基づいて、入力された画像データを図示しないメモリ
に読み込み、入出力インターフェース２１を介してモニ
タ２２に出力し、表示させる。The output control unit 75 reads the input image data into a memory (not shown) based on the memory read timing pulse supplied from the timing generator 61, outputs the read image data to the monitor 22 via the input / output interface 21, and displays the image data. Let it.

【００６２】以上のように、画像処理装置５１において
は、１つのＣＣＤイメージセンサ８５を用いて、時分割
で異なる２種類の撮像条件の撮像を実行し、その２つの
画像データの鮮明な部分を合成することにより、撮像し
たい画像のコントラストが高いような場合においても、
画面全体が不自然に明るくなったり、暗くなったり、ま
た、暗い部分の画像が潰れて認識できなくなったり、明
るい部分が白っぽくなり、輪郭が飛んでしまって認識で
きなくなるようなことのない画像を得ることが可能にな
る。As described above, in the image processing device 51, two CCDs of different imaging conditions are imaged in a time-division manner using one CCD image sensor 85, and a clear portion of the two image data is obtained. By combining, even when the contrast of the image to be captured is high,
An image that does not unnaturally brighten or darken the entire screen, or the image in the dark part is crushed and unrecognizable, or the bright part becomes whitish and the outline jumps out and cannot be recognized. It is possible to obtain.

【００６３】なお、ここでは、２種類の撮像条件のもと
で撮像を行い、それによって得られた２種類の画像デー
タを用いて画像の合成を行ったが、例えば、３種類以上
の異なる撮像条件のもとで撮像を行い、それによって得
られた３種類以上の画像データを用いて、画像の合成を
行うようにしてもよい。In this case, imaging is performed under two types of imaging conditions, and images are synthesized using two types of image data obtained by the imaging. For example, three or more types of different imaging conditions are used. Imaging may be performed under conditions, and images may be synthesized using three or more types of image data obtained thereby.

【００６４】次に、本発明を適応した画像処理装置の第
３の実施の形態について説明する。図９は、画像処理装
置１０１の構成を示すブロック図である。画像処理装置
１０１は、画像処理装置５１と同様に、比較的近距離の
被写体に対して照明（図１０を用いて後述するストロボ
１２１から発光される光）を当て、その反射光をＣＣＤ
イメージセンサ１２３（図１０（Ａ））にて撮像するよ
うになされている。Next, a description will be given of a third embodiment of the image processing apparatus according to the present invention. FIG. 9 is a block diagram illustrating a configuration of the image processing apparatus 101. Similar to the image processing device 51, the image processing device 101 illuminates a relatively short-distance subject (light emitted from a strobe 121, which will be described later with reference to FIG.
An image is taken by the image sensor 123 (FIG. 10A).

【００６５】なお、図５における場合と対応する部分に
は、同一の符号を付してあり、その説明は適宜省略す
る。すなわち、この画像処理装置１０１は、制御部１
２、および撮像部６２の代わりに、制御部１１１、およ
び撮像部１１２が設けられているほかは、基本的に図５
における場合と同様に構成されている。Parts corresponding to those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the image processing apparatus 101 includes the control unit 1
5 except that a control unit 111 and an imaging unit 112 are provided instead of the imaging unit 62 and the imaging unit 62.
Are configured in the same manner as in the above.

【００６６】すなわち、制御部１１１は、図５を用いて
説明した制御部１２の機能に加えて、更に、図１１を用
いて後述するタイミングで発生されるストロボ発光量制
御信号を生成する機能を備え、撮像部１１２に、ストロ
ボ発光量制御信号を供給する。また、撮像部１１２につ
いては、図１０を用いて後述する。That is, the control unit 111 has a function of generating a strobe light emission amount control signal generated at a timing described later with reference to FIG. 11 in addition to the function of the control unit 12 described with reference to FIG. And supplies a strobe light emission amount control signal to the imaging unit 112. The imaging unit 112 will be described later with reference to FIG.

【００６７】ここでも、ユーザが撮像を指令したことを
示す制御信号が入力されるまでは、露出を制御するため
に、シャッタ速度を一定とし、絞り値が変更される、シ
ャッタ速度優先ＡＥが行われるものとする。すなわち、
第２の実施の形態と同様に、ユーザが撮像を指令したこ
とを示す制御信号が入力されるまでは、絞り制御部６６
は、画像信号処理部７４から供給される画像データに基
づいて、絞り１２５（図１０）を制御するための絞り制
御信号を生成し出力する。そして、ユーザが撮像を指令
したことを示す制御信号が入力された場合、タイミング
ジェネレータ６１は、絞り値固定信号を生成して、絞り
制御部６６に出力する。絞り制御部６６は、２フレーム
の間、絞り値を固定させるように絞り１２５を制御す
る。そして、その後２フレームの間は、ストロボの発光
量が制御されることにより、得られる画像の明るさが制
御される。Also in this case, until the control signal indicating that the user has commanded the imaging is input, the shutter speed is kept constant and the aperture value is changed in order to control the exposure. Shall be That is,
As in the second embodiment, the aperture control unit 66 is operated until a control signal indicating that the user has commanded imaging is input.
Generates and outputs an aperture control signal for controlling the aperture 125 (FIG. 10) based on the image data supplied from the image signal processing unit 74. Then, when a control signal indicating that the user has commanded imaging is input, the timing generator 61 generates an aperture value fixed signal and outputs the signal to the aperture control unit 66. The aperture control unit 66 controls the aperture 125 to fix the aperture value for two frames. Then, during two frames thereafter, the brightness of the obtained image is controlled by controlling the light emission amount of the strobe.

【００６８】図１０は、撮像部１１２の光学系の詳細な
構成を示す図である。図１０（Ａ）は、撮像部１１２の
光学系の断面の模式図であり、図１０（Ｂ）は、ストロ
ボ１２１の下面図である。FIG. 10 is a diagram showing a detailed configuration of the optical system of the image pickup section 112. FIG. 10A is a schematic diagram of a cross section of the optical system of the imaging unit 112, and FIG. 10B is a bottom view of the strobe 121.

【００６９】この例においては、ストロボ１２１は、レ
ンズ１２２の外周を取り巻くようにして配置されている
複数のＬＥＤ１２４からなり、ＬＥＤ１２４には、例え
ば、白色ＬＥＤが用いられる。In this example, the strobe light 121 is composed of a plurality of LEDs 124 arranged so as to surround the lens 122, and a white LED is used as the LED 124, for example.

【００７０】制御部１１１からストロボ１２１に供給さ
れるストロボ発光量制御信号は、ストロボ１２１が被写
体９１に照射する光量を制御する信号であり、例えば、
ストロボ発光量制御信号がＨＩの場合、ＬＥＤ１２４は
全て点灯され、ストロボ発光量制御信号がＬＯＷの場
合、ＬＥＤ１２４は半分だけ点灯される。The strobe light emission amount control signal supplied from the control unit 111 to the strobe light 121 is a signal for controlling the amount of light emitted from the strobe light 121 to the subject 91.
When the strobe light emission amount control signal is HI, all the LEDs 124 are turned on, and when the strobe light emission amount control signal is LOW, the LED 124 is turned on only half.

【００７１】ストロボ１２１の光が被写体９１にあたっ
て反射した反射光は、レンズ１２２および絞り１２５を
介してＣＣＤイメージセンサ１２３に入射される。ＣＣ
Ｄイメージセンサ１２３は、電子シャッタの動作タイミ
ングに従って、受光した反射光の強度を電気信号に変換
し、図９の信号増幅部７１に供給する。The reflected light of the light of the strobe 121 hitting the subject 91 is incident on the CCD image sensor 123 via the lens 122 and the aperture 125. CC
The D image sensor 123 converts the intensity of the received reflected light into an electric signal according to the operation timing of the electronic shutter, and supplies the electric signal to the signal amplifier 71 in FIG.

【００７２】図１１は、垂直同期信号、ストロボ点灯タ
イミング信号、ストロボ発光量制御信号、およびシャッ
タタイミング信号の関係を示すタイミングチャートであ
る。前述したように、ユーザが撮像を指令した場合、２
フレーム分の撮像中は、絞り値が変更されない。FIG. 11 is a timing chart showing the relationship among a vertical synchronizing signal, a strobe lighting timing signal, a strobe light emission amount control signal, and a shutter timing signal. As described above, when the user instructs imaging, 2
During imaging of a frame, the aperture value is not changed.

【００７３】画像処理装置１０１においても、画像処理
装置５１と同様に、１つの画像を得るために、２回の撮
像が行われる。まず、１回目の撮像においては、ストロ
ボ１２１のＬＥＤ１２４が全て点灯された状態で撮像が
行われる。すなわち、強い照明光のもとで、明るい画像
が撮像されるので、撮像される画像の暗い部分が、鮮明
に撮像できる。そして、２回目の撮像においては、スト
ロボ１２１が１回目の撮像の半分だけ点灯された状態
で、１回目と同一のシャッタ速度で撮像が行われる。す
なわち、１回目の撮像と比較して弱い照明光のもとで、
同一の露出時間で撮像したため、１回目の撮像のときに
は、明るすぎて白っぽくなり、輪郭が飛んでしまって認
識できなかった部分が、鮮明に撮像できる。In the image processing apparatus 101, as in the case of the image processing apparatus 51, two images are taken in order to obtain one image. First, in the first imaging, imaging is performed in a state where all the LEDs 124 of the strobe 121 are turned on. That is, since a bright image is captured under strong illumination light, a dark portion of the captured image can be clearly captured. Then, in the second imaging, imaging is performed at the same shutter speed as in the first imaging, with the strobe 121 turned on for half of the first imaging. That is, under weak illumination light compared to the first imaging,
Since the images were captured with the same exposure time, at the time of the first image capturing, the portion that was too bright and whitish, and the outline was skipped and could not be recognized could be clearly captured.

【００７４】このように、撮像部１１２で撮像された２
種類のアナログ画像信号は、アナログ画像処理部６３の
信号増幅部７１で増幅され、ローパスフィルタ７２で不
用帯域およびホワイトノイズが除去され、サンプルホー
ルド部７３に入力される。サンプルホールド部７３は、
タイミングジェネレータ６１から供給されるサンプルホ
ールドパルス信号に従って、入力された画像データをサ
ンプルホールドし、Ａ／Ｄコンバータ６４のデータ読み
込みタイミングに合わせてＡ／Ｄコンバータ６４に出力
する。Ａ／Ｄコンバータ６４は、タイミングジェネレー
タ６１より供給されるＡ／Ｄ変換用クロック信号に基づ
いて、入力されたアナログ画像信号を所定の階調のデジ
タル画像データに変換し、デジタル画像処理部６５の画
像信号処理部７４に出力する。As described above, the 2
The types of analog image signals are amplified by the signal amplifier 71 of the analog image processor 63, the unnecessary band and the white noise are removed by the low-pass filter 72, and are input to the sample and hold unit 73. The sample hold unit 73
The input image data is sampled and held according to the sample and hold pulse signal supplied from the timing generator 61, and is output to the A / D converter 64 in accordance with the data reading timing of the A / D converter 64. The A / D converter 64 converts the input analog image signal into digital image data having a predetermined gradation based on the A / D conversion clock signal supplied from the timing generator 61. Output to the image signal processing unit 74.

【００７５】画像信号処理部７４は、始めに入力された
画像データを図示しないメモリに保存し、次の画像デー
タが入力されたときに、この２つの画像データの同一の
座標の画素の明るさを比較し、図４を用いて説明した場
合と同様に、明るさの中央値に近い画素を選択して合成
し、出力制御部７５に供給する。The image signal processing section 74 stores the image data input first in a memory (not shown), and when the next image data is input, the brightness of the pixel at the same coordinates of the two image data Are compared with each other, and a pixel close to the median brightness is selected and synthesized as in the case described with reference to FIG.

【００７６】出力制御部７５は、タイミングジェネレー
タ６１から供給されるメモリ読み込みタイミングパルス
に基づいて、入力された画像データを図示しないメモリ
に読み込み、入出力インターフェース２１を介してモニ
タ２２に出力し、表示させる。The output control unit 75 reads the input image data into a memory (not shown) based on the memory read timing pulse supplied from the timing generator 61, outputs the read image data to the monitor 22 via the input / output interface 21, and displays the image data. Let it.

【００７７】以上のように、画像処理装置１０１におい
ても、画像処理装置５１と同様に、１つのＣＣＤイメー
ジセンサ１２３を用いて、時分割で、異なる２種類の撮
像条件の撮像を実行し、その２つの画像データの鮮明な
部分を合成することにより、撮像したい画像のコントラ
ストが高いような場合においても、全体が鮮明な画像を
得ることが可能になる。As described above, also in the image processing apparatus 101, similarly to the image processing apparatus 51, the imaging under two different imaging conditions is executed in a time-division manner using one CCD image sensor 123. By combining the clear portions of the two image data, it is possible to obtain a clear image as a whole even when the contrast of the image to be captured is high.

【００７８】ここでも、第２の実施の形態における場合
と同様に、３種類以上の異なる撮像条件のもとで撮像を
実行し、それによって得られた画像データを合成するよ
うにしてもよい。Here, as in the case of the second embodiment, the imaging may be performed under three or more different imaging conditions, and the image data obtained thereby may be synthesized.

【００７９】なお、第２の実施の形態と第３の実施の形
態における撮像の順序は逆にしてもよい（露光量が少な
い場合の撮像を先に行うようにしてもよい）。Note that the order of imaging in the second embodiment and the third embodiment may be reversed (the imaging in the case of a small exposure amount may be performed first).

【００８０】上述した一連の処理は、ソフトウェアによ
り実行することもできる。そのソフトウェアは、そのソ
フトウェアを構成するプログラムが、専用のハードウェ
アに組み込まれているコンピュータ、または、各種のプ
ログラムをインストールすることで、各種の機能を実行
することが可能な、例えば汎用のパーソナルコンピュー
タなどに、記録媒体からインストールされる。The above-described series of processing can be executed by software. The software is a computer in which a program constituting the software is built in dedicated hardware, or a general-purpose personal computer that can execute various functions by installing various programs. For example, it is installed from a recording medium.

【００８１】この記録媒体は、図１、図５、もしくは図
９に示すように、コンピュータとは別に、ユーザにプロ
グラムを提供するために配布される、プログラムが記録
されている磁気ディスク１３１（フロッピー（登録商
標）ディスクを含む）、光ディスク１３２（CD-ROM（Co
mpact Disk-Read Only Memory），DVD（Digital Versat
ile Disk）を含む）、光磁気ディスク１３３（ＭＤ(Min
i-Disk)を含む）、もしくは半導体メモリ１３４などよ
りなるパッケージメディアなどにより構成される。As shown in FIG. 1, FIG. 5, or FIG. 9, this recording medium is a magnetic disk 131 (floppy disk) on which the program is recorded, which is distributed separately from the computer to provide the program to the user. (Including registered trademark) disks), optical disks 132 (CD-ROM (Co
mpact Disk-Read Only Memory), DVD (Digital Versat)
ile Disk), magneto-optical disk 133 (MD (Min
i-Disk), or a package medium such as a semiconductor memory 134.

【００８２】また、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。In this specification, the step of describing a program recorded on a recording medium may be performed in a chronological order according to the described order. This also includes processing executed in parallel or individually.

【００８３】[0083]

【発明の効果】本発明の画像処理装置、画像処理方法、
および記録媒体に記録されているプログラムによれば、
異なる撮像条件により撮像された少なくとも２種類の画
像信号の同一座標の画素を比較し、比較結果に基づいて
合成するようにしたので、コントラストの高い画像を撮
像する場合において、不自然に画像データ全体の明るさ
が変更されることなく、暗い部分と明るい部分をともに
認識することが可能な、鮮明な画像データを得ることが
できる。According to the present invention, an image processing apparatus, an image processing method,
And according to the program recorded on the recording medium,
Pixels at the same coordinates of at least two types of image signals captured under different imaging conditions are compared and synthesized based on the comparison result. Therefore, when capturing a high-contrast image, the entire image data is unnaturally captured. , It is possible to obtain clear image data capable of recognizing both a dark portion and a bright portion without changing the brightness of the image.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明を適応した画像処理装置の第１の実施の
形態を示すブロック図である。FIG. 1 is a block diagram illustrating a first embodiment of an image processing apparatus to which the present invention has been applied.

【図２】図１の撮像部の光学系の詳細な構成を示す図で
ある。FIG. 2 is a diagram illustrating a detailed configuration of an optical system of the imaging unit in FIG. 1;

【図３】図１の画像処理装置において撮像される画像を
説明するための図である。FIG. 3 is a diagram for explaining an image captured by the image processing apparatus of FIG. 1;

【図４】図２のＣＣＤイメージセンサで撮像されたデジ
タル画像データを説明するための図である。FIG. 4 is a diagram for explaining digital image data captured by the CCD image sensor of FIG. 2;

【図５】本発明を適応した画像処理装置の第２の実施の
形態を示すブロック図である。FIG. 5 is a block diagram showing a second embodiment of the image processing apparatus to which the present invention is applied.

【図６】図５の撮像部の光学系の詳細な構成を示す図で
ある。FIG. 6 is a diagram illustrating a detailed configuration of an optical system of the imaging unit in FIG. 5;

【図７】図５の画像処理装置の動作を説明するためのタ
イミングチャートである。FIG. 7 is a timing chart for explaining the operation of the image processing apparatus of FIG. 5;

【図８】図５の画像処理装置の動作を説明するためのタ
イミングチャートである。FIG. 8 is a timing chart for explaining the operation of the image processing apparatus of FIG. 5;

【図９】本発明を適応した画像処理装置の第３の実施の
形態を示すブロック図である。FIG. 9 is a block diagram illustrating a third embodiment of an image processing apparatus to which the present invention has been applied.

【図１０】図９の撮像部の光学系の詳細な構成を示す図
である。FIG. 10 is a diagram illustrating a detailed configuration of an optical system of the imaging unit in FIG. 9;

【図１１】図９の画像処理装置の動作を説明するための
タイミングチャートである。FIG. 11 is a timing chart for explaining the operation of the image processing apparatus of FIG. 9;

【符号の説明】[Explanation of symbols]

１ 画像処理装置， １２ 制御部， １３ タイミン
グジェネレータ， １６ デジタル画像処理部， １８
撮像部， １９ アナログ画像処理部， ２４ 絞り
制御部， ４２ ハーフミラー， ４３，４５ ＣＣＤ
イメージセンサ， ４６，４７ 絞り， ５１ 画像処
理装置， ６１ タイミングジェネレータ， ６２ 撮
像部， ６３ アナログ画像処理部， ６５ デジタル
画像処理部， ６６ 絞り制御部， ８１ ストロボ，
８５ ＣＣＤイメージセンサ，８６ 絞り， １０１
画像処理装置， １１１ 制御部， １１２ 撮像
部， １２１ ストロボ， １２３ ＣＣＤイメージセ
ンサ， １２４ ＬＥＤ，１２５ 絞りReference Signs List 1 image processing device, 12 control unit, 13 timing generator, 16 digital image processing unit, 18
Imaging unit, 19 analog image processing unit, 24 aperture control unit, 42 half mirror, 43, 45 CCD
Image sensor, 46, 47 aperture, 51 image processing device, 61 timing generator, 62 imaging unit, 63 analog image processing unit, 65 digital image processing unit, 66 aperture control unit, 81 strobe,
85 CCD image sensor, 86 aperture, 101
Image processing device, 111 control unit, 112 imaging unit, 121 strobe, 123 CCD image sensor, 124 LED, 125 aperture

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｈ ５Ｃ０２２ Ｚ ５Ｃ０２４ 15/02 15/02 Ｆ 15/03 15/03 Ｚ 15/05 15/05 19/06 19/06 19/12 19/12 Ｇ０６Ｔ 1/00 ２８０ Ｇ０６Ｔ 1/00 ２８０ ４２０ ４２０Ｃ ４３０ ４３０Ｆ 5/00 １００ 5/00 １００ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｄ 5/335 5/335 Ｑ Ｖ // Ｈ０４Ｎ 101:00 101:00 Ｆターム(参考） 2H002 AB04 CC00 DB02 DB08 DB19 DB24 EB09 GA05 GA35 JA07 JA09 JA11 2H053 AB03 AD00 CA02 CA15 CA41 CA45 DA03 2H054 AA01 BB04 BB07 BB11 5B047 BB01 BC06 BC09 CA17 CB21 DB01 5B057 AA20 BA02 BA15 BA29 CE06 CE08 CE11 DC22 5C022 AA01 AA13 AB12 AB13 AB15 AB20 AB53 AC01 AC31 AC42 AC52 AC54 5C024 AX02 BX01 CX01 CX46 CX54 DX04 EX17 EX41 GY01 HX21──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. ⁷ Identification symbol FI Theme coat ゛ (Reference) G03B 15/00 G03B 15/00 H 5C022 Z 5C024 15/02 15/02 F 15/03 15/03 Z 15 / 05 15/05 19/06 19/06 19/12 19/12 G06T 1/00 280 G06T 1/00 280 420 420 420 C 430 430F 5/00 100 5/00 100 H04N 5/225 H04N 5/225 D 5 / 335 5/335 QV // H04N 101: 00 101: 00 F term (reference) 2H002 AB04 CC00 DB02 DB08 DB19 DB24 EB09 GA05 GA35 JA07 JA09 JA11 2H053 AB03 AD00 CA02 CA15 CA41 CA45 DA03 2H054 AA01 BB04 BB07 BB11 5B047 BB01 BC06 BC09 CA17 CB21 DB01 5B057 AA20 BA02 BA15 BA29 CE06 CE08 CE11 DC22 5C022 AA01 AA13 AB12 AB13 AB15 AB20 AB53 AC01 AC31 AC42 AC52 AC54 5C024 AX02 BX01 CX01 CX46 CX54 DX04 EX17 EX41 GY01 HX21

Claims (6)

【特許請求の範囲】[Claims] 【請求項１】 被写体を撮像する画像処理装置におい
て、 異なる撮像条件により撮像された、少なくとも２種類の
画像信号を取り込む取り込み手段と、 前記取り込み手段により取り込まれた前記画像信号を処
理する処理手段と、 前記処理手段により処理された、少なくとも２種類の前
記画像信号の同一座標の画素を比較する比較手段と、 前記比較手段による比較結果に基づいて、前記画像信号
を合成する合成手段とを備えることを特徴とする画像処
理装置。An image processing apparatus for capturing an image of a subject, capturing means for capturing at least two types of image signals captured under different image capturing conditions, and processing means for processing the image signals captured by the capturing means. A comparing unit that compares at least two types of pixels of the same coordinates of the image signal processed by the processing unit; and a combining unit that combines the image signals based on a comparison result by the comparing unit. An image processing apparatus characterized by the above-mentioned. 【請求項２】 レンズを介して入射された光を所定の異
なる割合の２つの光に分離する分離手段を更に備え、 前記取り込み手段は、前記分離手段により分離された光
により撮像された２種類の画像信号をそれぞれ取り込む
ことを特徴とする請求項１に記載の情報処理装置。2. The image forming apparatus according to claim 1, further comprising: a separating unit configured to separate the light incident through the lens into two lights having predetermined different ratios, wherein the capturing unit includes two types of images captured by the lights separated by the separating unit. The information processing apparatus according to claim 1, wherein each of the image signals is taken in. 【請求項３】 撮像時の露出を制御する露出制御手段を
更に備え、 前記露出制御手段は、所定の時間ごとに、少なくとも２
種類の前記露出を設定し、 前記取り込み手段は、少なくとも２種類の異なる前記露
出において撮像された前記画像信号を取り込むことを特
徴とする請求項１に記載の情報処理装置。3. An exposure control means for controlling an exposure at the time of imaging, wherein the exposure control means is provided with at least two exposures every predetermined time.
2. The information processing apparatus according to claim 1, wherein the type of exposure is set, and the capturing unit captures the image signals captured at at least two different types of exposure. 3. 【請求項４】 前記被写体に照射する照明光の発生を制
御する発光制御手段を更に備え、 前記取り込み手段は、少なくとも２種類の異なる強さの
前記照明光のもとで撮像された前記画像信号を取り込む
ことを特徴とする請求項１に記載の情報処理装置。4. The image processing apparatus according to claim 1, further comprising: a light emission control unit configured to control generation of illumination light for irradiating the subject, wherein the capturing unit includes the image signal captured under the illumination light having at least two different intensities. The information processing apparatus according to claim 1, wherein the information processing apparatus captures the information. 【請求項５】 被写体を撮像する画像処理装置の画像処
理方法において、 異なる撮像条件により撮像された、少なくとも２種類の
画像信号の取り込みを制御する取り込み制御ステップ
と、 前記取り込み制御ステップの処理により取り込まれた前
記画像信号を処理する処理ステップと、 前記処理ステップにより処理された、少なくとも２種類
の前記画像信号の同一座標の画素を比較する比較ステッ
プと、 前記比較ステップの処理による比較結果に基づいて、前
記画像信号を合成する合成ステップとを含むことを特徴
とする画像処理方法。5. An image processing method of an image processing apparatus for capturing an image of a subject, comprising: a capturing control step for controlling capture of at least two types of image signals captured under different imaging conditions; A processing step of processing the obtained image signal; a comparison step of comparing at least two types of pixels of the same coordinates of the image signal processed by the processing step; and a comparison result of the processing of the comparison step. And a combining step of combining the image signals. 【請求項６】 被写体を撮像する画像処理装置用のプロ
グラムであって、 異なる撮像条件により撮像された、少なくとも２種類の
画像信号の取り込みを制御する取り込み制御ステップ
と、 前記取り込み制御ステップの処理により取り込まれた前
記画像信号を処理する処理ステップと、 前記処理ステップにより処理された、少なくとも２種類
の前記画像信号の同一座標の画素を比較する比較ステッ
プと、 前記比較ステップの処理による比較結果に基づいて、前
記画像信号を合成する合成ステップとを含むことを特徴
とするコンピュータが読み取り可能なプログラムが記録
されている記録媒体。6. A program for an image processing apparatus for capturing an image of a subject, comprising: a capture control step for controlling capture of at least two types of image signals captured under different imaging conditions; A processing step of processing the captured image signal; a comparing step of comparing at least two types of pixels of the same coordinates of the image signal processed by the processing step; and a comparison result obtained by the processing of the comparing step. And a synthesizing step for synthesizing the image signal.