JP6361204B2

JP6361204B2 - Image processing apparatus, image processing method, and program

Info

Publication number: JP6361204B2
Application number: JP2014058969A
Authority: JP
Inventors: 加藤　芳幸; 芳幸加藤
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2018-07-25
Anticipated expiration: 2034-03-20
Also published as: JP2015185935A

Description

本発明は、画質の調整を行う画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program for adjusting image quality.

従来、撮影対象に対してズーム倍率を変更することにより相異なる範囲の複数の画像データを記録させる技術が知られている。 2. Description of the Related Art Conventionally, a technique for recording a plurality of image data in different ranges by changing a zoom magnification with respect to an imaging target is known.

特開２００７−１７３８８８号公報JP 2007-173888 A

しかしながら、特許文献１に記載された技術においては、当該相異なる範囲の画像データの画質については何ら考慮されていなかった。 However, in the technique described in Patent Document 1, no consideration is given to the image quality of the image data in the different ranges.

本発明は、このような状況に鑑みてなされたものであり、撮像された画像中の相異なる範囲の画像の画質を向上させることを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to improve the image quality of images in different ranges in a captured image.

上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得手段と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得手段と、
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価手段と、
前記状態評価手段における前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による前記第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による前記第２の画質調整を行う調整手段と、
前記調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする。 In order to achieve the above object, an image processing apparatus according to an aspect of the present invention includes:
First image acquisition means for acquiring an image in the first area from an image captured by the imaging means;
Second image acquisition means for acquiring an image in a second area different from the first area from an image captured by the imaging means;
State evaluation means for evaluating luminance values of the image in the first region and the image in the second region, respectively.
For the image with the larger evaluation result of the luminance value in the state evaluation unit, the first image quality adjustment is performed by exposure control according to either the aperture or the electronic shutter speed in the imaging unit, and the luminance value is evaluated. An adjustment means for performing the second image quality adjustment by adjusting the ISO sensitivity for an image having a smaller result ;
Recording control means for causing the recording means to record the image in the first area and the image in the second area, the image quality of which has been adjusted by the adjusting means;
It is characterized by providing.

本発明によれば、撮像された画像中の相異なる範囲の画像の画質を向上させることができる。 According to the present invention, it is possible to improve the image quality of images in different ranges in a captured image.

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。It is a block diagram which shows the structure of the hardware of the imaging device which concerns on one Embodiment of this invention. 図１の撮像装置の機能的構成のうち、記録制御処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing a recording control process among the functional structures of the imaging device of FIG. 第１動画像領域及び第２動画像領域の概念を示す模式図である。It is a schematic diagram which shows the concept of a 1st moving image area | region and a 2nd moving image area | region. 図２の機能的構成を有する図１の撮像装置が実行する記録制御処理の流れを説明するフローチャートである。3 is a flowchart for explaining a flow of recording control processing executed by the imaging apparatus of FIG. 1 having the functional configuration of FIG. 2.

以下、本発明の実施形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、本発明に係る画像処理装置の一実施形態であり、例えばデジタルカメラとして構成される。 FIG. 1 is a block diagram showing a hardware configuration of an imaging apparatus 1 according to an embodiment of the present invention.
The imaging device 1 is an embodiment of an image processing device according to the present invention, and is configured as a digital camera, for example.

撮像装置１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。 The imaging apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an imaging unit 16, and an input unit 17. An output unit 18, a storage unit 19, a communication unit 20, and a drive 21.

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。例えば、ＣＰＵ１１は、後述する記録制御処理のためのプログラムに従って記録制御処理を実行する。 The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13. For example, the CPU 11 executes the recording control process according to a program for the recording control process described later.

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。 The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。 The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a communication unit 20, and a drive 21 are connected to the input / output interface 15.

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。 Although not shown, the imaging unit 16 includes an optical lens unit and an image sensor.

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。 The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサは、光電変換素子や、ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１に適宜供給される。 The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the imaging unit 16.
Hereinafter, the output signal of the imaging unit 16 is referred to as “captured image data”. The captured image data is appropriately supplied to the CPU 11.

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。 The input unit 17 includes various buttons and the like, and inputs various types of information according to user instruction operations.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.
The storage unit 19 is composed of a hard disk or a DRAM (Dynamic Random Access Memory) or the like, and stores various image data.
The communication unit 20 controls communication performed with other devices (not shown) via a network including the Internet.

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。 A removable medium 31 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 21. The program read from the removable medium 31 by the drive 21 is installed in the storage unit 19 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

図２は、このような撮像装置１の機能的構成のうち、記録制御処理を実行するための機能的構成を示す機能ブロック図である。
記録制御処理とは、撮像部１６によって撮像された動画像において異なる範囲の領域をそれぞれ切り出し、切り出されたそれぞれの領域に対し、撮像装置１の機構的な絞りや電子シャッター速度の調整及びＩＳＯ感度を増減する調整を行うことにより、それぞれの領域の画像における明るさを調整して、撮像範囲の異なる２つの動画像を生成する一連の処理をいう。 FIG. 2 is a functional block diagram illustrating a functional configuration for executing the recording control process among the functional configurations of the imaging apparatus 1 as described above.
In the recording control process, regions in different ranges are cut out in the moving image picked up by the image pickup unit 16, and the mechanical aperture of the image pickup device 1, adjustment of the electronic shutter speed, and ISO sensitivity are cut out for each of the cut out regions. Is a series of processes for generating two moving images having different imaging ranges by adjusting the brightness in the images of the respective areas by performing adjustment to increase or decrease.

記録制御処理を実行する場合には、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、第１動画像切出部５２と、第２動画像切出部５３と、第１輝度測定部５４と、第２輝度測定部５５と、輝度評価部５６と、露出制御部５７と、利得調整部５８と、が機能する。
また、記憶部１９の一領域には、第１動画像記憶部７１と、第２動画像記憶部７２と、が設定される。
第１動画像記憶部７１には、第１動画像切出部５２によって切り出された動画像（後述する第１動画像領域における動画像）のデータが記憶される。
第２動画像記憶部７２には、第２動画像切出部５３によって切り出された動画像（後述する第２動画像領域における動画像）のデータが記憶される。 When executing the recording control process, as shown in FIG. 2, in the CPU 11, the imaging control unit 51, the first moving image cutting unit 52, the second moving image cutting unit 53, and the first luminance measurement are performed. The unit 54, the second luminance measurement unit 55, the luminance evaluation unit 56, the exposure control unit 57, and the gain adjustment unit 58 function.
A first moving image storage unit 71 and a second moving image storage unit 72 are set in one area of the storage unit 19.
The first moving image storage unit 71 stores data of a moving image cut out by the first moving image cutout unit 52 (moving image in a first moving image region described later).
The second moving image storage unit 72 stores data of moving images cut out by the second moving image cutout unit 53 (moving images in a second moving image region described later).

撮像制御部５１は、入力部１７からの撮像開始操作を受けて撮像を開始するように撮像部１６を制御する。 The imaging control unit 51 controls the imaging unit 16 to start imaging upon receiving an imaging start operation from the input unit 17.

第１動画像切出部５２は、撮像部１６から出力される動画像において、ユーザによって指定される２つの領域のうちの一方（以下、「第１動画像領域」と呼ぶ。）の動画像を切り出す。第１動画像切出部５２は、切り出した第１動画像領域の動画を第１動画像記憶部７１に記憶させる。また、第１動画像切出部５２は、切り出した第１動画像領域の動画を第１輝度測定部５４に出力する。
第２動画像切出部５３は、撮像部１６から出力される動画像において、ユーザによって指定される２つの領域のうちの他方（以下、「第２動画像領域」と呼ぶ。）の動画像を切り出す。第２動画像切出部５３は、切り出した第２動画像領域の動画を第２動画像記憶部７２に記憶させる。また、第２動画像切出部５３は、切り出した第２動画像領域の動画を第２輝度測定部５５に出力する。 The first moving image cutout unit 52 is a moving image of one of two regions designated by the user (hereinafter referred to as “first moving image region”) in the moving image output from the imaging unit 16. Cut out. The first moving image cutout unit 52 stores the cut out moving image of the first moving image area in the first moving image storage unit 71. Further, the first moving image cutout unit 52 outputs the cut out moving image of the first moving image region to the first luminance measurement unit 54.
The second moving image cutout unit 53 in the moving image output from the imaging unit 16 is the moving image of the other of the two regions specified by the user (hereinafter referred to as “second moving image region”). Cut out. The second moving image cutout unit 53 stores the cut out moving image of the second moving image region in the second moving image storage unit 72. In addition, the second moving image cutout unit 53 outputs the cut out moving image of the second moving image region to the second luminance measurement unit 55.

図３は、第１動画像領域及び第２動画像領域の概念を示す模式図である。
図３において、第１動画像領域及び第２動画像領域は、それぞれユーザによって指定され、図３の例では、第１動画像領域が撮像範囲全体に設定され、第２動画像領域が第１動画像領域の内部に設定されている。
例えば、第１動画像領域として背景を含む撮像範囲全体を設定し、第２動画像領域として当該撮像範囲全体から主要な被写体である人物の顔を検出し、当該検出された顔を中心とした領域を設定すること等が可能である。即ち、第１動画像切出部５２及び第２動画像切出部５３は、主要な被写体（例えば、人物の顔等）のモデルデータ等を用いて、主要な被写体を検出する機能を有し、ユーザは、検出された主要な被写体を中心とした領域を指定することが可能となっている。
ただし、第１動画像領域と第２動画像領域とを分離された小領域に設定すること等も可能である。 FIG. 3 is a schematic diagram showing the concept of the first moving image area and the second moving image area.
In FIG. 3, the first moving image region and the second moving image region are designated by the user, respectively. In the example of FIG. 3, the first moving image region is set to the entire imaging range, and the second moving image region is the first moving image region. It is set inside the moving image area.
For example, the entire imaging range including the background is set as the first moving image area, the face of the person who is the main subject is detected from the entire imaging range as the second moving image area, and the detected face is the center. An area can be set. That is, the first moving image cutout unit 52 and the second moving image cutout unit 53 have a function of detecting a main subject using model data of a main subject (for example, a human face). The user can designate an area centered on the detected main subject.
However, it is also possible to set the first moving image region and the second moving image region as separated small regions.

図２に戻り、第１輝度測定部５４は、第１動画像領域の動画におけるフレームの画素の平均輝度（以下、「第１平均輝度」と呼ぶ。）を算出する。
第２輝度測定部５５は、第２動画像領域の動画におけるフレームの画素の平均輝度（以下、「第２平均輝度」と呼ぶ。）を算出する。 Returning to FIG. 2, the first luminance measurement unit 54 calculates the average luminance of the pixels of the frame in the moving image of the first moving image area (hereinafter referred to as “first average luminance”).
The second luminance measuring unit 55 calculates the average luminance of the pixels of the frame in the moving image in the second moving image area (hereinafter referred to as “second average luminance”).

輝度評価部５６は、第１輝度測定部５４によって算出された第１動画像領域の平均輝度（第１平均輝度）及び第２輝度測定部５５によって算出された第２動画像領域の平均輝度（第２平均輝度）を評価する。
具体的には、輝度評価部５６は、第１平均輝度と第２平均輝度の大きさを比較し、平均輝度が大きい方の領域の動画像をメイン動画像、平均輝度が小さい方の領域の動画像をサブ動画像に設定する。
また、輝度評価部５６は、画像の明るさを表す第１平均輝度及び第２平均輝度が適正範囲内にあるか否かを判定し、判定結果を露出制御部５７及び利得調整部５８に出力する。ここで、輝度評価部５６によって、メイン動画像の平均輝度及びサブ動画像の平均輝度が適正範囲内にあるか否かを判定する際の基準値は同一とすることや、メイン動画像及びサブ動画像それぞれに応じて異なるものとすることができる。
適正範囲の基準値を同一とする場合、初期の露出制御に対して、例えば、メイン動画像の平均輝度を適正範囲まで抑制するように機構的な絞りや電子シャッター速度を調整する一方で、サブ動画像の平均輝度を適正範囲まで上げるようにＩＳＯ感度を増加させる調整をすることが考えられる。
また、適正範囲の基準値を異ならせる場合、例えば、メイン動画像及びサブ動画像それぞれについてシーンを判定し、シーンに応じた基準値を用いること等ができる。 The luminance evaluation unit 56 calculates the average luminance (first average luminance) of the first moving image area calculated by the first luminance measuring unit 54 and the average luminance of the second moving image area calculated by the second luminance measuring unit 55 (first luminance). 2nd average brightness) is evaluated.
Specifically, the luminance evaluation unit 56 compares the magnitudes of the first average luminance and the second average luminance, the moving image in the region with the higher average luminance is the main moving image, and the region with the lower average luminance is in the region. Set a moving image as a sub moving image.
Further, the luminance evaluation unit 56 determines whether or not the first average luminance and the second average luminance representing the brightness of the image are within an appropriate range, and outputs the determination result to the exposure control unit 57 and the gain adjustment unit 58. To do. Here, the luminance evaluation unit 56 uses the same reference value when determining whether or not the average luminance of the main moving image and the average luminance of the sub moving image are within the appropriate range. It may be different depending on each moving image.
When the reference value of the appropriate range is the same, for example, the mechanical aperture and electronic shutter speed are adjusted so as to suppress the average luminance of the main moving image to the appropriate range for the initial exposure control. It can be considered to adjust the ISO sensitivity so that the average luminance of the moving image is increased to an appropriate range.
When the reference value of the appropriate range is made different, for example, a scene can be determined for each of the main moving image and the sub moving image, and a reference value corresponding to the scene can be used.

露出制御部５７は、輝度評価部５６から入力される第１平均輝度及び第２平均輝度の判定結果に基づいて、撮像部１６における露出を制御する。このとき、露出制御部５７は、機構的な絞り及び電子シャッター速度を制御することにより、撮像部１６における露光を調整する。
具体的には、露出制御部５７は、メイン動画像に設定された領域の動画像を対象として、当該メイン動画像の平均輝度が適正範囲内となるよう制御する。 The exposure control unit 57 controls the exposure in the imaging unit 16 based on the determination result of the first average luminance and the second average luminance input from the luminance evaluation unit 56. At this time, the exposure control unit 57 adjusts the exposure in the imaging unit 16 by controlling the mechanical aperture and the electronic shutter speed.
Specifically, the exposure control unit 57 controls the moving image in the region set in the main moving image as a target so that the average luminance of the main moving image falls within an appropriate range.

利得調整部５８は、輝度評価部５６から入力される第１平均輝度及び第２平均輝度の判定結果に基づいて、サブ動画像のＩＳＯ感度を調整することにより当該サブ動画像の明るさを制御する。
具体的には、利得調整部５８は、サブ動画像のデジタル信号またはアナログ信号の増幅の利得を調整することにより、サブ動画像の平均輝度が適正範囲内となるよう制御する。 The gain adjusting unit 58 controls the brightness of the sub moving image by adjusting the ISO sensitivity of the sub moving image based on the determination result of the first average luminance and the second average luminance input from the luminance evaluating unit 56. To do.
Specifically, the gain adjusting unit 58 controls the average luminance of the sub moving image to be within an appropriate range by adjusting the gain of amplification of the digital signal or analog signal of the sub moving image.

次に、動作を説明する。
図４は、図２の機能的構成を有する図１の撮像装置１が実行する記録制御処理の流れを説明するフローチャートである。
記録制御処理は、入力部１７を介して、記録制御処理の開始を指示する操作が行われることに対応して開始される。 Next, the operation will be described.
FIG. 4 is a flowchart for explaining the flow of recording control processing executed by the imaging apparatus 1 of FIG. 1 having the functional configuration of FIG.
The recording control process is started in response to an operation for instructing the start of the recording control process being performed via the input unit 17.

ステップＳ１１において、第１輝度測定部５４は、第１動画像記憶部７１に記憶された第１動画像領域の動画におけるフレームの画素の平均輝度（第１平均輝度）を算出する。 In step S <b> 11, the first luminance measurement unit 54 calculates the average luminance (first average luminance) of the pixels of the frame in the moving image of the first moving image area stored in the first moving image storage unit 71.

ステップＳ１２において、第２輝度測定部５５は、第２動画像記憶部７２に記憶された第２動画像領域の動画におけるフレームの画素の平均輝度（第２平均輝度）を算出する。 In step S <b> 12, the second luminance measuring unit 55 calculates the average luminance (second average luminance) of the pixels of the frame in the moving image of the second moving image area stored in the second moving image storage unit 72.

ステップＳ１３において、輝度評価部５６は、第１平均輝度が第２平均輝度より大きいか否かの判定を行う。
第１平均輝度が第２平均輝度より大きい場合、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
第１平均輝度が第２平均輝度より大きくない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１５に進む。 In step S13, the luminance evaluation unit 56 determines whether or not the first average luminance is greater than the second average luminance.
When the first average luminance is higher than the second average luminance, it is determined as YES in Step S13, and the process proceeds to Step S14.
If the first average brightness is not greater than the second average brightness, NO is determined in step S13, and the process proceeds to step S15.

ステップＳ１４において、輝度評価部５６は、第１動画像領域の動画像をメイン動画像、第２動画像領域の動画像をサブ動画像に設定する。
ステップＳ１５において、輝度評価部５６は、第２動画像領域の動画像をメイン動画像、第１動画像領域の動画像をサブ動画像に設定する。 In step S14, the luminance evaluation unit 56 sets the moving image in the first moving image area as the main moving image and the moving image in the second moving image area as the sub moving image.
In step S15, the luminance evaluation unit 56 sets the moving image in the second moving image area as the main moving image and the moving image in the first moving image area as the sub moving image.

ステップＳ１６において、輝度評価部５６は、適正範囲に対するメイン動画像の平均輝度の評価を行う。
ステップＳ１７において、露出制御部５７は、メイン動画像の平均輝度に基づいて、機構的な絞り及び電子シャッター速度の調整を行う。
ステップＳ１８において、露出制御部５７は、メイン動画像を記憶部１９（第１動画像記憶部７１あるいは第２動画像記憶部７２）に記憶する。 In step S16, the luminance evaluation unit 56 evaluates the average luminance of the main moving image with respect to the appropriate range.
In step S17, the exposure control unit 57 adjusts the mechanical aperture and the electronic shutter speed based on the average luminance of the main moving image.
In step S18, the exposure control unit 57 stores the main moving image in the storage unit 19 (the first moving image storage unit 71 or the second moving image storage unit 72).

ステップＳ１９において、輝度評価部５６は、適正範囲に対するサブ動画像の平均輝度の評価を行う。
ステップＳ２０において、利得調整部５８は、サブ動画像の平均輝度に基づいて、ＩＳＯ感度の調整を行う。 In step S19, the luminance evaluation unit 56 evaluates the average luminance of the sub moving image with respect to the appropriate range.
In step S20, the gain adjustment unit 58 adjusts the ISO sensitivity based on the average luminance of the sub moving image.

ステップＳ２１において、利得調整部５８は、サブ動画像を記憶部１９（第１動画像記憶部７１あるいは第２動画像記憶部７２）に記憶する。 In step S21, the gain adjusting unit 58 stores the sub moving image in the storage unit 19 (the first moving image storage unit 71 or the second moving image storage unit 72).

以上のように構成される撮像装置１は、第１動画像切出部５２と、第２動画像切出部５３と、露出制御部５７と、利得調整部５８と、を備える。
第１動画像切出部５２は、撮像手段によって撮像された画像から、第１の領域中の画像を取得する。
撮像手段によって撮像された画像から、第１の領域とは異なる第２の領域中の画像を取得する。
露出制御部５７及び利得調整部５８は、第１の領域中の画像と第２の領域中の画像の各々の画質を調整する。
露出制御部５７及び利得調整部５８は、画質が調整された第１の領域中の画像及び第２の領域中の画像をリムーバブルメディア３１等の記録手段に記録させる。
これにより、撮像装置１においては、１つの撮像画像から取得される異なる画像それぞれの画質を調整することができる。
したがって、１つの撮像画像から異なる画像を取得する場合の画質を向上させることができる。 The imaging apparatus 1 configured as described above includes a first moving image cutout unit 52, a second moving image cutout unit 53, an exposure control unit 57, and a gain adjustment unit 58.
The first moving image cutout unit 52 acquires an image in the first region from the image captured by the imaging unit.
An image in a second area different from the first area is acquired from the image captured by the imaging means.
The exposure control unit 57 and the gain adjustment unit 58 adjust the image quality of the image in the first area and the image in the second area.
The exposure control unit 57 and the gain adjustment unit 58 cause the recording unit such as the removable medium 31 to record the image in the first area and the image in the second area whose image quality has been adjusted.
Thereby, in the imaging device 1, the image quality of each different image acquired from one captured image can be adjusted.
Therefore, it is possible to improve the image quality when different images are acquired from one captured image.

また、露出制御部５７及び利得調整部５８は、第１の領域中の画像及び第２の領域中の画像の何れかの露出を制御する。
これにより、第１の領域中の画像及び第２の領域中の画像の明るさを適切に調整できる。 Further, the exposure control unit 57 and the gain adjustment unit 58 control the exposure of either the image in the first area or the image in the second area.
Thereby, the brightness of the image in a 1st area | region and the image in a 2nd area | region can be adjusted appropriately.

また、露出制御部５７及び利得調整部５８は、第１の領域中の画像及び第２の領域中の画像の何れか一方に撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行う。
これにより、第１の領域中の画像及び第２の領域中の画像の一方を基準として、露出制御を行うことができる。 In addition, the exposure control unit 57 and the gain adjustment unit 58 perform exposure control on either one of the image in the first area and the image in the second area by using either the aperture or the electronic shutter speed in the imaging unit.
Thereby, exposure control can be performed on the basis of one of the image in the first region and the image in the second region.

また、露出制御部５７及び利得調整部５８は、第１の領域中の画像及び第２の領域中の画像の何れか一方にＩＳＯ感度の調整を行う。
これにより、第１の領域中の画像及び第２の領域中の画像の一方に対して、増幅による輝度の調整を行うことができる。 The exposure control unit 57 and the gain adjustment unit 58 adjust the ISO sensitivity for one of the image in the first region and the image in the second region.
Thereby, the brightness can be adjusted by amplification for one of the image in the first area and the image in the second area.

また、第１の領域中の画像及び第２の領域中の画像の一方については露出の制御し、第１の領域中の画像及び第２の領域中の画像の他方についてはＩＳＯ感度を調整する。
これにより、第１の領域中の画像及び第２の領域中の画像の一方を基準として、露出制御を行い、第１の領域中の画像及び第２の領域中の画像の他方は増幅による輝度の調整によって画質を調整することができる。 Further, exposure control is performed for one of the image in the first region and the image in the second region, and the ISO sensitivity is adjusted for the other of the image in the first region and the image in the second region. .
Thus, exposure control is performed with one of the image in the first area and the image in the second area as a reference, and the other of the image in the first area and the image in the second area is a luminance due to amplification. The image quality can be adjusted by adjusting.

また、撮像装置１は、輝度評価部５６を備える。
輝度評価部５６は、第１の領域中の画像及び第２の領域中の画像の状態を評価する。
露出制御部５７及び利得調整部５８は、輝度評価部５６における評価結果に基づいて、第１の領域中の画像及び第２の領域中の画像の各々の画質を適切に調整する。
これにより、第１の領域中の画像及び第２の領域中の画像の評価結果に応じて、各々の画質を適切に調整することができる。 In addition, the imaging apparatus 1 includes a luminance evaluation unit 56.
The luminance evaluation unit 56 evaluates the state of the image in the first area and the image in the second area.
The exposure control unit 57 and the gain adjustment unit 58 appropriately adjust the image quality of each of the image in the first region and the image in the second region based on the evaluation result in the luminance evaluation unit 56.
Thereby, according to the evaluation result of the image in a 1st area | region and the image in a 2nd area | region, each image quality can be adjusted appropriately.

また、輝度評価部５６は、第１輝度測定部５４及び第２輝度測定部５５を備える。
第１輝度測定部５４及び第２輝度測定部５５は、第１の領域中の画像及び第２の領域中の画像の輝度値を算出する。
輝度評価部５６は、第１輝度測定部５４及び第２輝度測定部５５により算出された第１の領域中の画像及び第２の領域中の画像の輝度値の大きさを比較する。
露出制御部５７及び利得調整部５８は、輝度値が大きい方の画像を対象として、撮像手段における機構的な絞り及び電子シャッター速度の少なくとも何れかによる露出制御を行い、輝度値が小さい方の画像を対象として、ＩＳＯ感度の調整を行う。
これにより、輝度値が大きい画像を基準として露出制御を行い、輝度値が小さい画像を増幅によって輝度値を調整することができるため、各画像の輝度を適切に調整することができる。 In addition, the luminance evaluation unit 56 includes a first luminance measurement unit 54 and a second luminance measurement unit 55.
The first luminance measuring unit 54 and the second luminance measuring unit 55 calculate luminance values of the image in the first area and the image in the second area.
The luminance evaluation unit 56 compares the luminance values of the image in the first area and the image in the second area calculated by the first luminance measurement unit 54 and the second luminance measurement unit 55.
The exposure control unit 57 and the gain adjustment unit 58 perform exposure control on at least one of a mechanical aperture and an electronic shutter speed in the imaging unit for an image with a larger luminance value, and an image with a smaller luminance value. The ISO sensitivity is adjusted for the target.
Thus, exposure control is performed with reference to an image having a large luminance value, and the luminance value can be adjusted by amplifying an image having a small luminance value, so that the luminance of each image can be adjusted appropriately.

また、第１の領域及び第２の領域の何れかは、予め設定された特定の被写体が含まれる画像の領域である。
これにより、特定の被写体が含まれる領域を確実に適切な画質とすることができる。 One of the first area and the second area is an area of an image including a predetermined specific subject.
As a result, it is possible to ensure that the area including the specific subject has an appropriate image quality.

第１輝度測定部５４及び第２輝度測定部５５は、第１の領域及び第２の領域の少なくとも一方に撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行った後、ＩＳＯ感度の調整を行う。
これにより、露出制御と併せてＩＳＯ感度の調整を行うことができるため、より適切に画質を調整することができる。 The first luminance measuring section 54 and the second luminance measuring section 55 perform exposure control on at least one of the first area and the second area by either the diaphragm or the electronic shutter speed in the imaging unit, and then adjust the ISO sensitivity. Make adjustments.
Thereby, since ISO sensitivity can be adjusted together with exposure control, image quality can be adjusted more appropriately.

また、第１の領域及び第２の領域の一方が、他方を包含する。
これにより、第１の領域あるいは第２の領域及びその一部の領域を共に適切な画質とすることができる。 One of the first region and the second region includes the other.
As a result, both the first region or the second region and a part of the region can have appropriate image quality.

また、第１の領域中の画像及び第２の領域中の画像は、静止画像である。
これにより、静止画像を対象として、１つの撮像画像から取得される異なる画像それぞれに、画像状態についての異なる調整を行うことができる。
したがって、１つの撮像画像から異なる静止画像を取得する場合の画質を向上させることができる。 The image in the first area and the image in the second area are still images.
Thereby, it is possible to perform different adjustments on the image state for each different image acquired from one captured image, with the still image as a target.
Therefore, it is possible to improve the image quality when different still images are acquired from one captured image.

また、第１の領域中の画像及び前記第２の領域中の画像は、動画像である。
これにより、動画像を対象として、１つの撮像画像から取得される異なる画像それぞれに、画像状態についての異なる調整を行うことができる。
したがって、１つの撮像画像から異なる動画像を取得する場合の画質を向上させることができる。 The image in the first area and the image in the second area are moving images.
Thereby, it is possible to perform different adjustments on the image state for each of the different images acquired from one captured image for the moving image.
Therefore, it is possible to improve the image quality when different moving images are acquired from one captured image.

また、露出制御部５７及び利得調整部５８は、画質として、色味、ホワイトバランス及び周辺減光の少なくとも何れかの調整を行う。
これにより、画質を決定する種々のパラメータを調整することが可能となる。 Further, the exposure control unit 57 and the gain adjustment unit 58 adjust at least one of color, white balance, and peripheral light reduction as the image quality.
This makes it possible to adjust various parameters that determine the image quality.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.

上述の実施形態では、露出制御部５７が機構的な絞り及び電子シャッター速度を制御することにより、メイン動画像の露出制御を行うこととして説明したが、これに限られない。
例えば、機構的な絞り及び電子シャッター速度によるメイン動画像及びサブ動画像の露出制御を適正範囲より一定量だけ露出アンダーの状態とし、メイン動画像及びサブ動画像に対してＩＳＯ感度の調整をすることで、メイン動画像及びサブ動画像の平均輝度を適正範囲に制御することとしてもよい。 In the embodiment described above, the exposure control unit 57 controls the exposure of the main moving image by controlling the mechanical aperture and the electronic shutter speed. However, the present invention is not limited to this.
For example, the exposure control of the main moving image and the sub moving image with the mechanical aperture and the electronic shutter speed is underexposed by a certain amount from the appropriate range, and the ISO sensitivity is adjusted for the main moving image and the sub moving image. Thus, the average luminance of the main moving image and the sub moving image may be controlled within an appropriate range.

また、上述の実施形態では、メイン動画像及びサブ動画像において調整対象とする画質として、画像の明るさを例に挙げて説明したが、これに限られない。
例えば、色味（ＲＧＢバランスあるいは肌色調整等）、ホワイトバランス、あるいは周辺減光等の各種パラメータをそれぞれ調整することが可能である。
また、上述の実施形態では、メイン動画像及びサブ動画像が動画像である場合を例に挙げて説明したが、これに限られない。即ち、単写あるいは高速連写等において静止画像を撮像する際に、メインの静止画像及びサブの静止画像を切り出し、それぞれの画質を調整することが可能である。 In the above-described embodiment, the brightness of the image has been described as an example of the image quality to be adjusted in the main moving image and the sub moving image, but is not limited thereto.
For example, it is possible to adjust various parameters such as color (RGB balance or skin color adjustment), white balance, or peripheral light reduction.
In the above-described embodiment, the case where the main moving image and the sub moving image are moving images has been described as an example, but the present invention is not limited thereto. That is, when capturing a still image in single shooting or high-speed continuous shooting, it is possible to cut out the main still image and the sub still image and adjust the image quality of each.

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、記録制御機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。 In the above-described embodiment, the imaging apparatus 1 to which the present invention is applied has been described using a digital camera as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having a recording control function. Specifically, for example, the present invention can be applied to a notebook personal computer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。 The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the imaging apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function is not particularly limited to the example of FIG.
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。 The recording medium including such a program is not only constituted by the removable medium 31 of FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but also in a state of being incorporated in the apparatus main body in advance. It is comprised with the recording medium etc. which are provided in this. The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disc is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray (registered trademark) Disc (Blu-ray Disc), and the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preliminarily incorporated in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which a program is recorded, the hard disk included in the storage unit 19 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得手段と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得手段と、
前記第１の領域中の画像及び前記第２の領域中の画像の各々の画質を調整する状態調整手段と、
前記状態調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の何れかの露出を制御することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の何れか一方に前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行うことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の何れか一方にＩＳＯ感度の調整を行うことを特徴とする付記１から３の何れか１つに記載の画像処理装置。
［付記５］
前記状態調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の一方については露出の制御を行い、前記第１の領域中の画像及び前記第２の領域中の画像の他方についてはＩＳＯ感度を調整することを特徴とする付記１から４の何れか１つに記載の画像処理装置。
［付記６］
前記第１の領域中の画像及び前記第２の領域中の画像の状態を評価する状態評価手段を更に備え、
前記状態調整手段は、前記状態評価手段における評価結果に基づいて、前記第１の領域中の画像及び前記第２の領域中の画像の各々の画質を適切に調整することを特徴とする付記１から５の何れか１つに記載の画像処理装置。
［付記７］
前記状態評価手段は、
前記画像の状態として前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を算出する算出手段と、
前記算出手段により算出された前記第１の領域中の画像及び前記第２の領域中の画像の輝度値の大きさを比較する比較手段とを有し、
前記状態調整手段は、前記輝度値が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行い、前記輝度値が小さい方の画像を対象として、ＩＳＯ感度の調整を行うことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記第１の領域及び前記第２の領域の何れかは、予め設定された特定の被写体が含まれる画像の領域であることを特徴とする付記１から７の何れか１つに記載の画像処理装置。
［付記９］
前記状態調整手段は、前記第１の領域及び前記第２の領域の少なくとも一方に撮像手段における絞り及び電子シャッター速度の何れかによる露出制御を行った後、ＩＳＯ感度の調整を行うことを特徴とする付記１に記載の画像処理装置。
［付記１０］
前記第１の領域及び前記第２の領域の一方が、他方を包含することを特徴とする付記１から９の何れか１つに記載の画像処理装置。
［付記１１］
前記第１の領域中の画像及び前記第２の領域中の画像は、静止画像であることを特徴とする付記１から１０の何れか１つに記載の画像処理装置。
［付記１２］
前記第１の領域中の画像及び前記第２の領域中の画像は、動画像であることを特徴とする付記１から１１の何れか１つに記載の画像処理装置。
［付記１３］
前記状態調整手段は、前記画質として、色味、ホワイトバランス及び周辺減光の少なくとも何れかの調整を行うことを特徴とする付記１，１０，１１，１２の何れか１つに記載の画像処理装置。
［付記１４］
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得ステップと、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得ステップと、
前記第１の領域中の画像及び前記第２の領域中の画像の各々の画質を調整する状態調整ステップと、
前記状態調整ステップにより画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御ステップと、
を含むことを特徴とする画像処理方法。
［付記１５］
コンピュータに、
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得機能と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得機能と、
前記第１の領域中の画像と前記第２の領域中の画像の各々の画質を調整する状態調整機能と、
前記状態調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を実現させることを特徴とするプログラム。 The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
First image acquisition means for acquiring an image in the first area from an image captured by the imaging means;
Second image acquisition means for acquiring an image in a second area different from the first area from an image captured by the imaging means;
State adjusting means for adjusting the image quality of each of the image in the first region and the image in the second region;
Recording control means for causing the recording means to record the image in the first area and the image in the second area, the image quality of which has been adjusted by the state adjusting means;
An image processing apparatus comprising:
[Appendix 2]
The image processing apparatus according to appendix 1, wherein the state adjustment unit controls exposure of an image in the first area and an image in the second area.
[Appendix 3]
The state adjusting means performs exposure control on either one of the image in the first area and the image in the second area by either the aperture or the electronic shutter speed in the imaging means. The image processing apparatus according to appendix 1 or 2.
[Appendix 4]
The state adjustment means adjusts the ISO sensitivity to any one of the image in the first area and the image in the second area. Image processing apparatus.
[Appendix 5]
The state adjusting means controls exposure of one of the image in the first area and the image in the second area, and the image in the first area and the image in the second area. The image processing apparatus according to any one of appendices 1 to 4, wherein the ISO sensitivity is adjusted for the other of the above.
[Appendix 6]
A state evaluation means for evaluating the state of the image in the first region and the image in the second region;
The state adjustment unit appropriately adjusts the image quality of each of the image in the first region and the image in the second region based on the evaluation result in the state evaluation unit. The image processing device according to any one of 1 to 5.
[Appendix 7]
The state evaluation means includes
Calculating means for calculating luminance values of the image in the first area and the image in the second area as the state of the image;
Comparing means for comparing the magnitudes of the luminance values of the image in the first area and the image in the second area calculated by the calculating means;
The state adjusting unit performs exposure control by using either the aperture or the electronic shutter speed in the imaging unit for an image having a larger luminance value, and ISO sensitivity for an image having a smaller luminance value. The image processing apparatus according to appendix 6, wherein the adjustment is performed.
[Appendix 8]
Any one of the first area and the second area is an image area including a preset specific subject, The image processing according to any one of appendices 1 to 7, apparatus.
[Appendix 9]
The state adjustment means adjusts the ISO sensitivity after performing exposure control on at least one of the first area and the second area by either an aperture or an electronic shutter speed in the imaging means. The image processing apparatus according to appendix 1.
[Appendix 10]
The image processing apparatus according to any one of appendices 1 to 9, wherein one of the first area and the second area includes the other.
[Appendix 11]
The image processing apparatus according to any one of appendices 1 to 10, wherein the image in the first area and the image in the second area are still images.
[Appendix 12]
The image processing apparatus according to any one of appendices 1 to 11, wherein the image in the first area and the image in the second area are moving images.
[Appendix 13]
The image processing according to any one of appendices 1, 10, 11, and 12, wherein the state adjustment unit adjusts at least one of color, white balance, and peripheral dimming as the image quality. apparatus.
[Appendix 14]
A first image acquisition step of acquiring an image in the first region from an image captured by the imaging means;
A second image acquisition step of acquiring an image in a second area different from the first area from the image captured by the imaging means;
A state adjustment step of adjusting the image quality of each of the image in the first region and the image in the second region;
A recording control step for causing the recording means to record the image in the first area and the image in the second area, the image quality of which has been adjusted by the state adjustment step;
An image processing method comprising:
[Appendix 15]
On the computer,
A first image acquisition function for acquiring an image in the first area from an image captured by the imaging means;
A second image acquisition function for acquiring an image in a second area different from the first area from an image captured by the imaging means;
A state adjustment function for adjusting the image quality of each of the image in the first region and the image in the second region;
Recording control means for causing the recording means to record the image in the first area and the image in the second area, the image quality of which has been adjusted by the state adjusting means;
A program characterized by realizing.

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・第１動画像切出部，５３・・・第２動画像切出部，５４・・・第１輝度測定部，５５・・・第２輝度測定部，５６・・・輝度評価部，５７・・・露出制御部，５８・・・利得調整部，７１・・・第１動画像記憶部，７２・・・第２動画像記憶部 DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input-output interface, 16 ... Imaging part, 17 ... Input unit 18 ... Output unit 19 ... Storage unit 20 ... Communication unit 21 ... Drive 31 ... Removable media 51 ... Imaging control unit 52 ... No. 1 moving image cutout unit, 53... Second moving image cutout unit, 54... First luminance measuring unit, 55... Second luminance measuring unit, 56. Exposure control unit, 58 ... gain adjustment unit, 71 ... first moving image storage unit, 72 ... second moving image storage unit

Claims

撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得手段と、
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得手段と、
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価手段と、
前記状態評価手段における前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による第２の画質調整を行う調整手段と、
前記調整手段により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御手段と、
を備えることを特徴とする画像処理装置。 First image acquisition means for acquiring an image in the first area from an image captured by the imaging means;
Second image acquisition means for acquiring an image in a second area different from the first area from an image captured by the imaging means;
State evaluation means for evaluating luminance values of the image in the first region and the image in the second region, respectively.
For the image with the larger evaluation result of the luminance value in the state evaluation unit, the first image quality adjustment is performed by exposure control by either the aperture or the electronic shutter speed in the imaging unit, and the evaluation result of the luminance value An adjustment means for performing second image quality adjustment by adjusting ISO sensitivity for an image having a smaller image quality ;
Recording control means for causing the recording means to record the image in the first area and the image in the second area, the image quality of which has been adjusted by the adjusting means;
An image processing apparatus comprising:

前記調整手段は、前記第１の領域中の画像及び前記第２の領域中の画像の露出制御を適正値より所定値低くすることを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the adjustment unit lowers exposure control of the image in the first area and the image in the second area by a predetermined value from an appropriate value.

前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を算出する算出手段を有し、Calculating means for calculating luminance values of the image in the first region and the image in the second region;
前記調整手段は、前記算出手段により算出された輝度値の平均輝度に基づいて露出制御を行うことを特徴とする請求項１または２に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the adjusting unit performs exposure control based on an average luminance of the luminance value calculated by the calculating unit.

前記第１の領域及び前記第２の領域の何れかは、予め設定された特定の被写体が含まれる画像の領域であることを特徴とする請求項１から３の何れか１項に記載の画像処理装置。4. The image according to claim 1, wherein one of the first area and the second area is an area of an image including a predetermined specific subject. 5. Processing equipment.

前記第１の領域及び前記第２の領域の何れかは、他方を包含することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。5. The image processing apparatus according to claim 1, wherein one of the first region and the second region includes the other. 6.

前記第１の領域中の画像及び前記第２の領域中の画像は、静止画像を含むことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the image in the first area and the image in the second area include a still image.

前記第１の領域中の画像及び前記第２の領域中の画像は、動画像を含むことを特徴とする請求項１から５の何れか１項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the image in the first area and the image in the second area include a moving image.

撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得ステップと、A first image acquisition step of acquiring an image in the first region from an image captured by the imaging means;
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得ステップと、A second image acquisition step of acquiring an image in a second area different from the first area from the image captured by the imaging means;
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価ステップと、A state evaluation step for evaluating the luminance values of the image in the first region and the image in the second region, respectively;
前記状態評価ステップにおける前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による第２の画質調整を行う調整ステップと、For the image with the larger evaluation result of the luminance value in the state evaluation step, the first image quality adjustment is performed by exposure control by either the aperture or the electronic shutter speed in the imaging unit, and the evaluation result of the luminance value An adjustment step for performing a second image quality adjustment by adjusting the ISO sensitivity for an image having a smaller image quality;
前記調整ステップにより画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御ステップと、A recording control step for causing the recording means to record the image in the first area and the image in the second area, the image quality of which has been adjusted by the adjustment step;
を含むことを特徴とする画像処理方法。An image processing method comprising:

コンピュータに、On the computer,
撮像手段によって撮像された画像から、第１の領域中の画像を取得する第１画像取得機能と、A first image acquisition function for acquiring an image in the first area from an image captured by the imaging means;
前記撮像手段によって撮像された画像から、前記第１の領域とは異なる第２の領域中の画像を取得する第２画像取得機能と、A second image acquisition function for acquiring an image in a second area different from the first area from an image captured by the imaging means;
前記第１の領域中の画像及び前記第２の領域中の画像の輝度値を各々評価する状態評価機能と、A state evaluation function for evaluating the luminance values of the image in the first region and the image in the second region;
前記状態評価機能における前記輝度値の評価結果が大きい方の画像を対象として、前記撮像手段における絞り及び電子シャッター速度の何れかによる露出制御による第１の画質調整を行い、前記輝度値の評価結果が小さい方の画像を対象として、ＩＳＯ感度の調整による第２の画質調整を行う調整機能と、For the image with the larger evaluation result of the luminance value in the state evaluation function, the first image quality adjustment is performed by exposure control by either the aperture or the electronic shutter speed in the imaging unit, and the evaluation result of the luminance value An adjustment function for performing second image quality adjustment by adjusting ISO sensitivity for an image having a smaller image quality;
前記調整機能により画質が調整された前記第１の領域中の画像及び前記第２の領域中の画像を記録手段に記録させる記録制御機能と、A recording control function for causing the recording means to record an image in the first area and an image in the second area, the image quality of which has been adjusted by the adjustment function;
を実現させることを特徴とするプログラム。A program characterized by realizing.