JP5949519B2 - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP5949519B2 JP5949519B2 JP2012274264A JP2012274264A JP5949519B2 JP 5949519 B2 JP5949519 B2 JP 5949519B2 JP 2012274264 A JP2012274264 A JP 2012274264A JP 2012274264 A JP2012274264 A JP 2012274264A JP 5949519 B2 JP5949519 B2 JP 5949519B2
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- area
- image data
- setting unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims 2
- 238000006243 chemical reaction Methods 0.000 claims description 112
- 238000012545 processing Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 65
- 230000009466 transformation Effects 0.000 claims description 19
- 235000019557 luminance Nutrition 0.000 description 79
- 238000010586 diagram Methods 0.000 description 38
- 238000012937 correction Methods 0.000 description 26
- 238000011156 evaluation Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、撮像部により取得された画像データに対して画像処理を行う技術に関するものである。 The present invention relates to a technique for performing image processing on image data acquired by an imaging unit.
撮像装置においては種々の要因により被写体が歪んで撮像されることがあるため、この歪みを補正する歪み補正処理が行われている。また、撮像装置においては、歪み補正処理以外にも撮像した画像データから被写体の輝度を算出し、露光時間や絞りを制御するAE処理も行われている。 In an imaging apparatus, a subject may be distorted and imaged due to various factors, and therefore distortion correction processing for correcting this distortion is performed. In addition to the distortion correction processing, the imaging device also performs AE processing for calculating the luminance of a subject from captured image data and controlling the exposure time and aperture.
ここで、歪み補正処理をAE処理の前に行うと最終的に出力される画像データの色再現性が低下することがある。そこで、歪み補正処理をAE処理の後で実行する撮像装置が提案されている。 Here, when the distortion correction process is performed before the AE process, the color reproducibility of the finally output image data may be deteriorated. In view of this, an imaging apparatus that executes the distortion correction processing after the AE processing has been proposed.
特許文献1には、レンズの光軸方向に沿って移動する被写体の被写体像の像面移動量から像倍率変化比率を算出し、像倍率変化比率に基づいて被写体の幾何学的な歪みを補正する撮像装置が開示されている。 In Patent Document 1, the image magnification change ratio is calculated from the image plane movement amount of the subject image of the subject moving along the optical axis direction of the lens, and the geometric distortion of the subject is corrected based on the image magnification change ratio. An imaging apparatus is disclosed.
また、特許文献2には、撮像素子により撮像された映像信号に制御処理を施して被写体映像信号を生成し、生成した被写体映像信号に歪み補正処理を行う撮像装置が開示されている。 Patent Document 2 discloses an imaging apparatus that generates a subject video signal by performing control processing on a video signal captured by an imaging device, and performs distortion correction processing on the generated subject video signal.
しかしながら、特許文献1、2のいずれにも歪んだ画像データから被写体の平均輝度を算出するに際し、処理負担やメモリ消費量の抑制を目的として平均輝度の算出領域を最適化することが全く開示されていない。したがって、特許文献1、2の手法では、歪んだ画像データから被写体の平均輝度を算出するに際し、処理負担及びメモリ消費量が増大するという問題がある。 However, both Patent Documents 1 and 2 completely disclose that the average luminance calculation area is optimized for the purpose of reducing the processing load and memory consumption when calculating the average luminance of the subject from the distorted image data. Not. Therefore, the methods of Patent Documents 1 and 2 have a problem that the processing load and the memory consumption increase when calculating the average luminance of the subject from the distorted image data.
本発明の目的は、幾何変換処理を行う前に幾何変換処理の対象となる対象領域の輝度の代表値を算出する撮像装置において、輝度の代表値を算出する際の処理負担及びメモリ消費量を低下させることができる技術を提供することである。 An object of the present invention is to reduce the processing load and memory consumption when calculating a representative value of luminance in an imaging apparatus that calculates a representative value of luminance of a target area to be subjected to a geometric conversion process before performing the geometric conversion process. It is to provide a technique that can be reduced.
本発明の一態様による撮像装置は、画像データを取得する撮像部と、所定の幾何変換処理が行われる前の前記画像データである変換前画像データから前記幾何変換処理の対象となる対象領域を設定する対象領域設定部と、前記対象領域設定部により設定された前記対象領域の少なくとも一部を含む矩形状の領域を計算領域として前記変換前画像データに設定する計算領域設定部と、前記計算領域設定部により設定された前記計算領域における輝度の代表値を算出する輝度算出部と、前記変換前画像データに対して前記幾何変換処理を行う変換処理部とを含み、前記計算領域は前記対象領域の外接矩形である。 An imaging apparatus according to an aspect of the present invention includes an imaging unit that acquires image data, and a target region that is a target of the geometric transformation process from pre-conversion image data that is the image data before a predetermined geometric transformation process is performed. A target region setting unit to be set, a calculation region setting unit that sets a rectangular region including at least a part of the target region set by the target region setting unit as a calculation region in the pre-conversion image data, and the calculation seen containing a luminance calculation unit for calculating a representative value of the brightness in the calculated area set by the area setting unit, and a conversion processing unit for performing the geometric transformation processing on the pre-conversion image data, the computational domain is the A circumscribed rectangle of the target area .
この構成によれば、幾何変換処理が行われる前の変換前画像データから対象領域が設定され、その対象領域の少なくとも一部を含む矩形状の領域が計算領域として設定される。つまり、幾何変換処理が行われる前の複雑な形状を持つ対象領域がそのまま計算領域として設定されるのではなく、矩形状に簡略化された領域が計算領域として設定される。そのため、計算領域の形状が単純化され、計算領域における輝度の代表値を算出する際の処理負担を低下させることができる。また、計算領域が矩形状であるため、4つの頂点の座標データが分かれば計算領域を特定でき、計算領域を保持するためのメモリの消費量を低下させることができる。 According to this configuration, the target area is set from the pre-conversion image data before the geometric conversion process is performed, and a rectangular area including at least a part of the target area is set as the calculation area. That is, a target area having a complicated shape before the geometric transformation process is not set as a calculation area as it is, but an area simplified in a rectangular shape is set as a calculation area. Therefore, the shape of the calculation area is simplified, and the processing burden when calculating the representative value of luminance in the calculation area can be reduced. Since the calculation area is rectangular, the calculation area can be specified if the coordinate data of the four vertices is known, and the amount of memory consumed to hold the calculation area can be reduced.
この構成によれば、対象領域の外接矩形が計算領域として設定されるため、比較的少ない処理量で変換前画像データに計算領域を設定することができる。 According to this configuration, since the circumscribed rectangle of the target area is set as the calculation area, the calculation area can be set in the pre-conversion image data with a relatively small processing amount.
前記計算領域設定部は、前記対象領域に対して更に内接矩形を設定し、前記外接矩形と前記内接矩形との面積の差が規定値以下の場合、前記内接矩形を前記計算領域として設定することが好ましい。 Before SL calculating region setting unit further sets the inscribed rectangle, wherein when the difference between the area of the circumscribed rectangle and the inscribed rectangle is equal to or smaller than a specified value, the inscribed rectangle the calculation region relative to said target area It is preferable to set as
この構成によれば、対象領域の内接矩形と外接矩形との面積の差が小さい場合、内接矩形には対象領域の多くの領域が含まれることになるため、内接矩形が計算領域として設定される。これにより、計算領域の面積が減少し、輝度の代表値を算出する際の処理負担を低下させることができる。一方、内接矩形と外接矩形との面積の差が大きく、対象領域の多くの領域が内接矩形からはみ出してしまう場合、外接矩形が計算領域として設定される。そのため、対象領域の輝度を精度良く示す代表値を求めることができる。 According to this configuration, when the area difference between the inscribed rectangle and the circumscribed rectangle of the target area is small, the inscribed rectangle includes many areas of the target area. Is set. As a result, the area of the calculation area is reduced, and the processing burden when calculating the representative value of luminance can be reduced. On the other hand, when there is a large area difference between the inscribed rectangle and the circumscribed rectangle and many areas of the target area protrude from the inscribed rectangle, the circumscribed rectangle is set as the calculation area. Therefore, a representative value that accurately indicates the luminance of the target region can be obtained.
前記計算領域設定部は、前記対象領域の下辺が中心に向かうにつれて前記対象領域の上辺側に向かう形状を持つ場合、前記内接矩形を前記計算領域として設定することが好ましい。 Before SL calculation area setting unit, when the lower side of the target area has a shape toward the upper side of the target region toward the center, it is preferable to set the inscribed rectangle as the computational domain.
この構成によれば、対象領域が円筒型や三面鏡型を持つ場合において、内接矩形が計算領域として設定される。そのため、計算領域の面積が減少し、輝度の代表値を算出する際の処理負担を低下させることができる。 According to this configuration, when the target region has a cylindrical shape or a three-sided mirror shape, the inscribed rectangle is set as the calculation region. Therefore, the area of the calculation region is reduced, and the processing burden when calculating the representative value of luminance can be reduced.
前記計算領域設定部は、前記外接矩形の中央部の輝度と前記外接矩形の端部の輝度とに基づき、前記端部にスポット光が照射されているか否かを判定し、前記端部にスポット光が照射されていると判定した場合、前記内接矩形を前記計算領域として設定することが好ましい。 Before SL calculation area setting unit, based on the brightness of the end portion of the luminance and the circumscribed rectangle of the central portion of the circumscribed rectangle, and determines whether the end spot light is irradiated, the end portion When it is determined that spot light is irradiated, the inscribed rectangle is preferably set as the calculation area.
この構成によれば、外接矩形の端部において、高輝度のスポット光が照射されている場合、内接矩形が計算領域として設定される。そのため、対象領域の輝度を正確に表す代表値を求めことができる。 According to this configuration, the inscribed rectangle is set as the calculation area when high-intensity spot light is irradiated at the end of the circumscribed rectangle. Therefore, a representative value that accurately represents the luminance of the target area can be obtained.
前記計算領域設定部は、前記対象領域設定部により2つの前記対象領域が設定された場合、各対象領域に外接矩形を設定し、設定した2つの外接矩形に基づいて前記計算領域を設定することが好ましい。 Before SL calculation area setting unit, when two of the target area by the target region setting unit is configured to set the circumscribed rectangle on each target region, sets the calculated area based on two enclosing rectangles set It is preferable.
この構成によれば、2つの対象領域が設定された場合において、計算領域を容易に特定することができる。 According to this configuration, when two target areas are set, the calculation area can be easily specified.
前記撮像部は、所定のフレームレートで前記画像データを取得し、前記計算領域設定部は、2つの前記外接矩形を所定フレーム毎に交互に切り替えて前記計算領域を設定することが好ましい。 Before SL imaging unit obtains the image data at a predetermined frame rate, the calculating region setting section preferably two of the circumscribed rectangle is switched alternately every predetermined frame sets the calculated area.
変換前画像データに2つの対象領域が含まれている場合、必ずしも2つの領域の輝度代表値を個別に算出する必要はなく、いずれか一方の代表値を求めれば十分の場合もある。この場合において、本構成によれば、1つの対象領域の外接矩形のみが計算領域として設定されるため、処理負担を低下させることができる。 When two target areas are included in the pre-conversion image data, it is not always necessary to individually calculate the representative luminance values of the two areas, and it may be sufficient to obtain one of the representative values. In this case, according to this configuration, only the circumscribed rectangle of one target area is set as the calculation area, so that the processing load can be reduced.
一方、2つの対象領域のうち、1方の対象領域の外接矩形のみを計算領域として設定してしまうと、他方の対象領域の方が重要である場合、重要な方の対象領域の輝度の代表値を求めることができなくなる。本構成によれば、2つの外接矩形が所定フレーム毎に切り替えられているため、両対象領域の輝度の代表値をバランスよく求めることができる。また、2つの外接矩形の切り替えが所定フレーム毎に自動的に行われているため、処理負担の更なる低下を図ることができる。 On the other hand, if only the circumscribed rectangle of one of the two target areas is set as the calculation area, if the other target area is more important, the representative of the brightness of the important target area The value cannot be determined. According to this configuration, since the two circumscribed rectangles are switched for each predetermined frame, the representative values of the luminance values of both target regions can be obtained with a good balance. In addition, since the two circumscribed rectangles are automatically switched every predetermined frame, the processing load can be further reduced.
前記計算領域設定部は、2つの前記外接矩形において、一部の領域の輝度に基づき、いずれか一方の前記外接矩形にスポット光が照射されているか否かを判定し、前記一方の前記外接矩形にスポット光が照射されていると判定した場合、他方の前記外接矩形を前記計算領域として設定することが好ましい。 Before SL calculating region setting section, in two of the circumscribed rectangle, based on the brightness of the partial region, to determine one of said circumscribing rectangle spotlight whether it is illuminated, the circumscribing of the one When it is determined that spot light is irradiated to a rectangle, the other circumscribed rectangle is preferably set as the calculation region.
この構成によれば、2つの外接矩形のうちスポット光が照射されていない外接矩形が計算領域として設定されるため、対象領域の輝度の代表値を正確に求めることができる。 According to this configuration, the circumscribed rectangle that is not irradiated with the spot light is set as the calculation region among the two circumscribed rectangles, and thus the representative value of the luminance of the target region can be accurately obtained.
前記輝度算出部は、前記撮像部から前記変換前画像データを構成する画素データが1画素単位で入力され、前記計算領域を指定する領域情報を保持するレジスタと、前記変換前画像データの入力の開始タイミング及び終了タイミングを示すタイミング信号を生成するタイミングジェネレータとを更に含み、前記計算領域設定部は、前記レジスタに保持された領域情報及び前記タイミング信号に基づき、前記計算領域の画素データが前記輝度算出部に入力されている入力期間を決定し、前記入力期間中、前記タイミング信号をイネーブル状態に設定し、輝度算出部に出力し、前記輝度算出部は、イネーブル状態のタイミング信号が入力されている期間に入力される画素データを用いて前記代表値を算出することが好ましい。 Before SL luminance calculation unit, pixel data constituting the pre-conversion image data from the imaging unit is inputted in units of one pixel, a register for holding the area information specifying the calculation region, the transformed input before the image data A timing generator that generates a timing signal indicating a start timing and an end timing of the calculation area, and the calculation area setting unit is configured to generate pixel data of the calculation area based on the area information and the timing signal held in the register. An input period input to the luminance calculation unit is determined, and during the input period, the timing signal is set to an enabled state and output to the luminance calculation unit, and the luminance calculation unit receives an enabled timing signal. It is preferable to calculate the representative value using pixel data input during a certain period.
この構成によれば、変換前画像データを構成する画素データが1画素ずつ輝度算出部に入力される。そして、計算領域の入力タイミングになると計算領域設定部からイネーブル状態のタイミング信号が輝度算出部に入力される。したがって、輝度算出部はイネーブル状態のタイミング信号が入力されている期間に入力される画素データを、計算領域を構成する画素データとして判定することができる。そのため、輝度算出部は、容易且つ正確に計算領域を特定し、対象領域の輝度の代表値を算出することができる。 According to this configuration, pixel data constituting the pre-conversion image data is input to the luminance calculation unit pixel by pixel. When the input timing of the calculation area comes, an enable timing signal is input from the calculation area setting unit to the luminance calculation unit. Therefore, the luminance calculation unit can determine pixel data input during a period in which the timing signal in the enabled state is input as pixel data constituting the calculation region. Therefore, the luminance calculation unit can easily and accurately specify the calculation area and calculate the representative value of the luminance of the target area.
本発明によれば、幾何変換処理を行う前に幾何変換処理対象となる対象領域の輝度の代表値を算出する撮像装置において、輝度の代表値を算出する際の処理負担及びメモリ消費量を低下させることができる。 According to the present invention, in the imaging device that calculates the representative value of the luminance of the target area to be subjected to the geometric transformation process before performing the geometric transformation process, the processing load and the memory consumption when calculating the representative value of the luminance are reduced. Can be made.
(本発明に至った経緯)
図18は、歪み補正処理の様子を示す模式図である。図18において、左側の図は歪み補正処理が行われる前の変換前画像データP20であり、右側の図は歪み補正処理が行われた後の変換後画像データP30である。歪み補正処理では、変換前画像データP20から歪み補正処理の対象となる対象領域D20が設定され、設定された対象領域が矩形状に引き延ばされ、歪みが除去された変換後画像データP30が生成される。
(Background to the present invention)
FIG. 18 is a schematic diagram showing the state of the distortion correction process. In FIG. 18, the left figure is the pre-conversion image data P20 before the distortion correction process is performed, and the right figure is the post-conversion image data P30 after the distortion correction process is performed. In the distortion correction process, the target area D20 that is the target of the distortion correction process is set from the pre-conversion image data P20, the set target area is extended into a rectangular shape, and the post-conversion image data P30 from which the distortion is removed is obtained. Generated.
図20は、カラーチャートに対して歪み補正処理を行った場合の模式図である。このカラーチャートは、4行×6列で複数の色ブロックが配列されている。図20において、左側の図は歪み補正処理が行われる前の変換前画像データP20であり、右側の図は歪み補正処理が行われた後の変換後画像データP30である。図20ではカラーチャートが中心に向かうにつれて面積が大きく、端に向かうにつれて面積が小さくなるように楕円状に歪んで撮像されている。 FIG. 20 is a schematic diagram when distortion correction processing is performed on a color chart. In this color chart, a plurality of color blocks are arranged in 4 rows × 6 columns. In FIG. 20, the left figure is the pre-conversion image data P20 before the distortion correction process is performed, and the right figure is the post-conversion image data P30 after the distortion correction process is performed. In FIG. 20, the color chart is imaged in an elliptical shape so that the area increases toward the center and decreases as it approaches the end.
変換前画像データP20に対して歪み補正処理を行うと変換後画像データP30が得られる。変換後画像データP30では、カラーチャートが矩形状に変形され、歪みが除去されていることが分かる。 When distortion correction processing is performed on the pre-conversion image data P20, post-conversion image data P30 is obtained. In the converted image data P30, it can be seen that the color chart is deformed into a rectangular shape and the distortion is removed.
撮像装置では、画像データに含まれる対象領域D20の輝度の代表値(例えば、輝度の平均値)が算出され、その代表値から対象領域D20の明るさが評価され、露光時間や絞りを調整するAE処理が行われる。変換前画像データP20には対象領域D20が歪んで現れているため、対象領域D20を構成する全画素データを用いて対象領域D20の輝度を算出するのは手間がかかる。 In the imaging apparatus, a representative value (for example, an average value of luminance) of the target area D20 included in the image data is calculated, and the brightness of the target area D20 is evaluated from the representative value, and the exposure time and aperture are adjusted. AE processing is performed. Since the target area D20 appears distorted in the pre-conversion image data P20, it is troublesome to calculate the luminance of the target area D20 using all pixel data constituting the target area D20.
そこで、まず、変換前画像データP20に対して歪み補正処理を行って、対象領域D20を矩形状に変形させた後、対象領域D20の輝度を算出する手法が提案されている。 In view of this, first, a technique has been proposed in which the distortion correction processing is performed on the pre-conversion image data P20 to deform the target area D20 into a rectangular shape, and then the luminance of the target area D20 is calculated.
しかしながら、この手法では、変換前画像データP20が例えばRGBベイヤー配列の画像データである場合、色再現性が低下するという課題があった。そこで、歪み補正処理を行う前に対象領域D20を設定して対象領域D20の輝度の代表値を算出し、AE処理を行う手法が提案されている。 However, this method has a problem that the color reproducibility is deteriorated when the pre-conversion image data P20 is, for example, image data of an RGB Bayer array. Therefore, a method has been proposed in which the target area D20 is set before the distortion correction process is performed, the representative value of the luminance of the target area D20 is calculated, and the AE process is performed.
図19は、歪み補正処理を行う前にAE処理を行う手法を採用した場合において、対象領域D20の輝度の代表値を算出する様子を示す模式図である。この手法を採用した場合、対象領域D20の全域から輝度の代表値を算出すると処理負担が増大する。そこで、従来では、図19に示すように、変換前画像データP20を例えば2行×3列程度の複数の矩形状のブロックに分割し、対象領域D20を多く含む1つのブロックを抽出し、抽出したブロックの輝度の代表値が算出されていた。 FIG. 19 is a schematic diagram illustrating a state in which a representative value of the luminance of the target region D20 is calculated when a method of performing AE processing before performing distortion correction processing is employed. When this method is employed, the processing load increases when the representative luminance value is calculated from the entire target region D20. Therefore, conventionally, as shown in FIG. 19, the pre-conversion image data P20 is divided into a plurality of rectangular blocks of about 2 rows × 3 columns, for example, and one block including many target regions D20 is extracted and extracted. The representative value of the luminance of the block was calculated.
図21及び図22は、歪み補正処理を行う前にAE処理を行う手法を採用した場合の課題を説明する図である。変換前画像データP20に含まれる対象領域D20の形状としては、撮像装置の使用態様や光学系の歪みや被写体の形状等に応じて種々の形状が存在する。 FIG. 21 and FIG. 22 are diagrams for explaining a problem in a case where a method of performing AE processing before performing distortion correction processing. As the shape of the target region D20 included in the pre-conversion image data P20, there are various shapes depending on the usage mode of the imaging device, distortion of the optical system, the shape of the subject, and the like.
例えば、撮像装置を自動車のフロントガラスに搭載し、前方の自動車を撮像する場合、図21に示すように、変換前画像データP20には前方の自動車が扇状に歪んで現れることがある。また、撮像装置を広角カメラで構成して自動車の先頭に取り付け、自動車の進行方向と直行する方向に位置する自動車を撮像する場合、図22に示すように、変換前画像データP20には、2つの台形の対象領域D20が設定されることがある。 For example, when an imaging device is mounted on a windshield of an automobile and a front automobile is imaged, as shown in FIG. 21, the front automobile may appear distorted in a fan shape in the pre-conversion image data P20. Further, when the imaging apparatus is configured with a wide-angle camera and attached to the head of the automobile and the automobile located in the direction orthogonal to the traveling direction of the automobile is imaged, as shown in FIG. Two trapezoidal target areas D20 may be set.
これらに示すように、対象領域D20が矩形のような単純な形状ではなく、歪んだ形状を持つ場合、変換前画像データP20において、対象領域D20が複数のブロックに跨ってしまう。この場合、変換前画像データP20からある1つのブロックを抽出し、対象領域D20の輝度の代表値を算出したとしても、そのブロックには対象領域D20の一部の領域しか含まれていないことに加えて、対象領域D20の背景部分が多く含まれるため、対象領域D20の輝度の代表値を正確に算出できないという課題がある。 As shown in these figures, when the target area D20 is not a simple shape such as a rectangle but has a distorted shape, the target area D20 straddles a plurality of blocks in the pre-conversion image data P20. In this case, even if one block is extracted from the pre-conversion image data P20 and the representative luminance value of the target area D20 is calculated, only a part of the target area D20 is included in the block. In addition, since many background portions of the target area D20 are included, there is a problem that the representative value of the luminance of the target area D20 cannot be accurately calculated.
そこで、図23、図24に示す手法も提案されている。図23は、細かな矩形状のブロックが設定された変換前画像データP20を示した図である。図24は、細かな矩形状のブロックに基づいて計算領域R240が設定された変換前画像データP20を示した図である。 Therefore, methods shown in FIGS. 23 and 24 have also been proposed. FIG. 23 is a diagram showing pre-conversion image data P20 in which fine rectangular blocks are set. FIG. 24 is a diagram showing pre-conversion image data P20 in which a calculation region R240 is set based on a fine rectangular block.
この手法では、まず、図23に示すように、変換前画像データP20が細かな矩形状のブロックに区画される。次に、図24に示すように、対象領域D20が存在するブロックが抽出され、抽出された複数のブロックが計算領域R240として設定される。 In this method, first, as shown in FIG. 23, the pre-conversion image data P20 is partitioned into fine rectangular blocks. Next, as illustrated in FIG. 24, a block in which the target region D20 exists is extracted, and the plurality of extracted blocks are set as the calculation region R240.
図24に示すように計算領域R240は、対象領域D20に比べて単純化されているが、矩形まで単純化されていないため、この形状を保存するには、各頂点の座標データを記憶するための多量のレジスタが必要となる。その結果、撮像装置の回路規模が増大するという課題がある。 As shown in FIG. 24, the calculation area R240 is simplified as compared with the target area D20, but since it is not simplified to a rectangle, in order to store this shape, the coordinate data of each vertex is stored. A large amount of registers are required. As a result, there is a problem that the circuit scale of the imaging device increases.
そこで、本実施の形態の撮像装置では、幾何変換処理を行う前に幾何変換処理の対象となる対象領域D20の輝度の代表値を算出する撮像装置において、輝度の代表値を算出する際の処理負担及びメモリ消費量を低下させることを目的とする。 Therefore, in the imaging apparatus according to the present embodiment, the process for calculating the representative value of luminance in the imaging apparatus that calculates the representative value of the luminance of the target region D20 that is the target of the geometric transformation process before performing the geometric transformation process. The purpose is to reduce the burden and memory consumption.
(実施の形態)
図1は、本発明の実施の形態による撮像装置のブロック図である。なお、図1において、太線は画像データの流れを示し、細線は制御信号の流れを示す。この撮像装置は例えば移動体等に車載センサとして搭載される。但し、これは一例であり、携帯端末に搭載されてもよいし、デジタルスチルカメラに搭載されてもよいし、デジタルムービーカメラに搭載されてもよい。撮像装置は、撮像部100、対象領域設定部200、前処理部300、タイミングジェネレータ(TG)400、変換処理部500、及び出力部600を含む。撮像部100は、イメージセンサと、被写体からの光をイメージセンサに導く光学系と、イメージセンサに入射する光量を調整する絞りと、絞り及びイメージセンサを制御する撮像制御部等を含む。イメージセンサとしては、例えば、所定行×所定列で複数の画素が配列されたCMOSやCCDのイメージセンサが採用される。また、イメージセンサは、例えば、R、G、Bの色フィルタがベイヤー配列で配列されたカラー画像を撮像するイメージセンサであってもよいし、モノクロの画像データを撮像するイメージセンサであってもよい。本実施の形態では、撮像部100は、所定のフレームレートで動画を撮像する。また、本実施の形態では、撮像部100は、ローリングシャッタ方式で被写体を撮像する。
(Embodiment)
FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention. In FIG. 1, thick lines indicate the flow of image data, and thin lines indicate the flow of control signals. This imaging device is mounted as a vehicle-mounted sensor on a moving body, for example. However, this is an example, and it may be mounted on a portable terminal, a digital still camera, or a digital movie camera. The imaging apparatus includes an imaging unit 100, a target area setting unit 200, a preprocessing unit 300, a timing generator (TG) 400, a conversion processing unit 500, and an output unit 600. The imaging unit 100 includes an image sensor, an optical system that guides light from a subject to the image sensor, an aperture that adjusts the amount of light incident on the image sensor, an imaging control unit that controls the aperture and the image sensor, and the like. As the image sensor, for example, a CMOS or CCD image sensor in which a plurality of pixels are arranged in a predetermined row × predetermined column is employed. The image sensor may be, for example, an image sensor that captures a color image in which R, G, and B color filters are arranged in a Bayer array, or may be an image sensor that captures monochrome image data. Good. In the present embodiment, the imaging unit 100 captures a moving image at a predetermined frame rate. In the present embodiment, the imaging unit 100 captures an image of a subject using a rolling shutter method.
対象領域設定部200は、撮像部100で撮像された画像データであって、変換処理部500により幾何変換処理が行われる前の画像データである変換前画像データから幾何変換処理の対象となる対象領域を設定する。ここで、対象領域としては、所定の被写体が現れた領域を採用することができる。所定の被写体としては、種々の物体が採用されるが、本撮像装置が自動車に搭載されるのであれば、例えば自動車や人物を採用することができる。 The target area setting unit 200 is image data captured by the imaging unit 100 and is a target to be subjected to geometric conversion processing from pre-conversion image data that is image data before the geometric conversion processing is performed by the conversion processing unit 500. Set the area. Here, an area where a predetermined subject appears can be used as the target area. As the predetermined subject, various objects are adopted. If the imaging apparatus is mounted on a car, for example, a car or a person can be adopted.
対象領域設定部200が被写体の現れた領域を対象領域として設定する手法としては、特に限定はされないが、例えば、以下の手法を採用すればよい。対象領域設定部200は、変換前画像データからエッジ抽出処理を行い、抽出したエッジに取り囲まれた領域であって、予め定められた形状を持つ領域を対象領域として設定すればよい。或いは、対象領域設定部200は、設定対象となる被写体の画像をテンプレートとして予め保持しておき、このテンプレートと変換前画像データとを比較し、テンプレートマッチングを実行することにより対象領域を設定してもよい。なお、対象領域設定部200が設定する対象領域は歪んだ形状を持つため、テンプレートマッチングを行う場合、対象領域設定部200は、この歪みが考慮されたテンプレートを保持しておけばよい。 The method of setting the region where the subject appears by the target region setting unit 200 as the target region is not particularly limited. For example, the following method may be employed. The target area setting unit 200 may perform edge extraction processing from the pre-conversion image data and set an area surrounded by the extracted edges and having a predetermined shape as the target area. Alternatively, the target area setting unit 200 stores an image of a subject to be set as a template in advance, compares this template with pre-conversion image data, and sets the target area by executing template matching. Also good. Since the target area set by the target area setting unit 200 has a distorted shape, when performing template matching, the target area setting unit 200 may hold a template in which this distortion is taken into consideration.
なお、対象領域設定部200は、変換前画像データをディスプレイ(出力部600)に表示させ、操作部(図略)を用いてユーザに任意の領域を指定させ、その領域を対象領域として設定してもよい。この場合、対象領域設定部200は、例えば、対象領域の頂点の座標をマウス等を使ってユーザに入力させ、入力された頂点を直線又は曲線で繋ぐことで対象領域を設定すればよい。 The target area setting unit 200 displays the pre-conversion image data on the display (output unit 600), causes the user to specify an arbitrary area using the operation unit (not shown), and sets the area as the target area. May be. In this case, for example, the target area setting unit 200 may set the target area by causing the user to input the coordinates of the vertices of the target area using a mouse or the like and connecting the input vertices with a straight line or a curve.
前処理部300は、変換処理部500による幾何変換処理に先だって変換前画像データに対して画像処理を行う。前処理部300は、AE(Automatic Exposure)処理部310及びDRC(dynamic range compression)処理部320を含む。AE処理部310は、撮像部100が露光時間や絞りを決定するための評価値を算出し、撮像部100に供給する。また、AE処理部310は、計算領域設定部311、輝度算出部312、及びレジスタ313を含む。 The pre-processing unit 300 performs image processing on the pre-conversion image data prior to the geometric conversion processing by the conversion processing unit 500. The preprocessing unit 300 includes an AE (Automatic Exposure) processing unit 310 and a DRC (dynamic range compression) processing unit 320. The AE processing unit 310 calculates an evaluation value for the imaging unit 100 to determine the exposure time and the aperture, and supplies the evaluation value to the imaging unit 100. The AE processing unit 310 includes a calculation area setting unit 311, a luminance calculation unit 312, and a register 313.
計算領域設定部311は、対象領域設定部200により設定された対象領域の少なくとも一部を含む矩形状の領域を計算領域として変換前画像データに設定する。本実施の形態では、計算領域設定部311は、変換前画像データに設定した計算領域を示す領域情報をレジスタ313に書き込む。なお、領域情報としては、計算領域の4つの頂点の座標データを採用することができる。 The calculation area setting unit 311 sets a rectangular area including at least a part of the target area set by the target area setting unit 200 as the calculation area in the pre-conversion image data. In the present embodiment, the calculation area setting unit 311 writes area information indicating the calculation area set in the pre-conversion image data in the register 313. As the area information, coordinate data of four vertices of the calculation area can be adopted.
輝度算出部312は、計算領域設定部311により設定された計算領域における輝度の代表値を算出する。輝度の代表値としては、計算領域における輝度の平均値が採用されてもよいし、計算領域における輝度の中央値が採用されてもよい。いずれにせよ、輝度の代表値としては対象領域の明るさを示す値であればどのような値を採用してもよい。また、輝度の代表値が上記の評価値となる。 The luminance calculation unit 312 calculates a representative value of luminance in the calculation area set by the calculation area setting unit 311. As the representative value of luminance, an average value of luminance in the calculation region may be adopted, or a median value of luminance in the calculation region may be adopted. In any case, any value may be adopted as the representative value of luminance as long as it is a value indicating the brightness of the target region. Further, the representative value of luminance is the above evaluation value.
DRC処理部320は、変換前画像データのダイナミックレンジを圧縮する。具体的には、DRC処理部320は以下のようにしてダイナミックレンジを圧縮する。まず、DRC処理部320は、変換前画像データから照明成分を抽出すると共に、変換前画像データから反射率成分を抽出する。次に、DRC処理部320は、照明成分を所定の圧縮特性を用いて圧縮する。次に、DRC処理部320は、圧縮した照明成分と、反射率成分とを合成する。これにより、照明成分が除去され、被写体が高ダイナミックレンジで表された画像データが得られる。 The DRC processing unit 320 compresses the dynamic range of the pre-conversion image data. Specifically, the DRC processing unit 320 compresses the dynamic range as follows. First, the DRC processing unit 320 extracts an illumination component from the pre-conversion image data and extracts a reflectance component from the pre-conversion image data. Next, the DRC processing unit 320 compresses the illumination component using a predetermined compression characteristic. Next, the DRC processing unit 320 combines the compressed illumination component and the reflectance component. Thereby, the illumination component is removed, and image data in which the subject is expressed in a high dynamic range is obtained.
タイミングジェネレータ(以下、「TG」と記述する。)400は、1枚の変換画像データの入力の開始タイミングと入力の終了タイミングとを示すタイミング信号SG1を生成し、計算領域設定部311に出力する。また、TG400は撮像装置を構成する各ブロックの動作を同期させるための信号を生成し、各ブロックに供給する。なお、TG400は、開始タイミングから終了タイミングまでの期間、タイミング信号をイネーブル状態にすることで、開始タイミング及び終了タイミングに関する情報をタイミング信号に含ませる。イネーブル状態は、例えばタイミング信号のレベルをハイレベルにすることで実現され、非イネーブル状態は、例えばタイミング信号のレベルをローレベルにすることで実現される。但し、このイネーブル状態の関係は逆であってもよい。 A timing generator (hereinafter referred to as “TG”) 400 generates a timing signal SG1 indicating the input start timing and input end timing of one piece of converted image data, and outputs the timing signal SG1 to the calculation region setting unit 311. . Further, the TG 400 generates a signal for synchronizing the operation of each block constituting the imaging apparatus, and supplies the signal to each block. Note that the TG 400 includes the information regarding the start timing and the end timing in the timing signal by enabling the timing signal during the period from the start timing to the end timing. The enable state is realized, for example, by setting the level of the timing signal to a high level, and the non-enable state is realized, for example, by setting the level of the timing signal to a low level. However, the relationship between the enable states may be reversed.
変換処理部500は、変換前画像データに対して幾何変換処理を行う。幾何変換処理としては、例えば、歪み補正処理が採用される。但し、これは一例であり、例えばテクスチャマッピングを行う際に行われるアフィン変換を幾何変換処理として採用してもよい。具体的には、変換処理部500は、幾何変換処理前の各画素の座標データと幾何変換処理後の各画素の座標データとの関係が予め対応付けられたLUTや関数を保持しておき、このLUTや関数を用いて幾何変換処理を行えばよい。 The conversion processing unit 500 performs a geometric conversion process on the pre-conversion image data. For example, distortion correction processing is employed as the geometric conversion processing. However, this is only an example, and for example, affine transformation performed when texture mapping is performed may be employed as the geometric transformation processing. Specifically, the conversion processing unit 500 holds an LUT or a function in which the relationship between the coordinate data of each pixel before the geometric conversion process and the coordinate data of each pixel after the geometric conversion process is associated in advance, The geometric transformation process may be performed using this LUT or function.
また、変換処理部500は、特許文献1に記載されているように、1フレーム期間における被写体の移動速度である像面移動速度に基づいて、歪み補正処理を行ってもよい。或いは、変換処理部500は像面移動速度に基づいてLUTを補正し、補正後のLUTを用いて歪み補正処理を行ってもよい。 Further, as described in Patent Document 1, the conversion processing unit 500 may perform distortion correction processing based on the image plane moving speed that is the moving speed of the subject in one frame period. Alternatively, the conversion processing unit 500 may correct the LUT based on the image plane moving speed, and perform the distortion correction process using the corrected LUT.
出力部600は、例えば、液晶パネル等の表示装置により構成され、変換処理部500により幾何変換処理が行われた画像データである変換後画像データを表示する。なお、出力部600は、変換後画像データを外部の装置に送信する通信装置で構成してもよいし、変換後画像データを画像メモリに書き込む書き込み装置であってもよい。 The output unit 600 includes a display device such as a liquid crystal panel, for example, and displays post-conversion image data that is image data that has undergone geometric transformation processing by the transformation processing unit 500. The output unit 600 may be configured by a communication device that transmits the converted image data to an external device, or may be a writing device that writes the converted image data to the image memory.
図2は、対象領域設定部200に入力される変換前画像データP20の模式図である。変換前画像データP20には対象領域D20が設定されている。図2において、変換前画像データP20は、左下の頂点に原点が設定され、垂直方向にY軸が設定され、水平方向にX軸が設定され、各位置が(X、Y)で表される2次元の画像データである。なお、本明細書において示される画像データは全て図2と同じ座標系で表されるものとする。 FIG. 2 is a schematic diagram of the pre-conversion image data P20 input to the target area setting unit 200. A target area D20 is set in the pre-conversion image data P20. In FIG. 2, in the pre-conversion image data P20, the origin is set at the lower left vertex, the Y axis is set in the vertical direction, the X axis is set in the horizontal direction, and each position is represented by (X, Y). Two-dimensional image data. Note that all the image data shown in this specification is represented in the same coordinate system as that in FIG.
対象領域D20は、下側に向けて拡がった扇状の形状を持っており、被写体が歪んで撮像されていることが分かる。ここで、被写体が歪んで撮像される要因としては、例えば、撮像部100がローリングシャッタ方式で被写体を撮像することや、撮像部100を構成する光学系の歪み等が挙げられる。ローリングシャッタ方式では、例えば、上側の行から下側の行に向かうにつれて、順次、露光期間がずらされて被写体が撮像される。そのため、被写体が撮像部100に急速に近づいたような場合、図2に示すように被写体は下側に向けて拡がって撮像される。なお、図2の例で扇状になっているのは光学系の歪みの影響による。 The target area D20 has a fan-like shape that expands downward, and it can be seen that the subject is imaged with distortion. Here, factors that cause the subject to be distorted and imaged include, for example, that the imaging unit 100 captures an image of the subject using a rolling shutter method, distortion of an optical system that constitutes the imaging unit 100, and the like. In the rolling shutter method, for example, the subject is imaged with the exposure period being sequentially shifted from the upper row to the lower row. Therefore, when the subject rapidly approaches the imaging unit 100, the subject is imaged while expanding downward as shown in FIG. Note that the fan shape in the example of FIG. 2 is due to the influence of the distortion of the optical system.
図3は、計算領域設定部311が外接矩形R30を計算領域として設定する際の模式図である。図3に示すように、計算領域設定部311は、対象領域D20の外接矩形R30を計算領域として設定する。ここで、計算領域設定部311は、対象領域D20の上辺K1のY座標の最大値(K1_Ymax)を探索する。次に、計算領域設定部311は、最大値(K1_Ymax)をY座標の値として持つX軸と平行な直線L1を設定する。次に、計算領域設定部311は、対象領域D20の左辺K2のX座標の最小値(K2_Xmin)を探索する。次に、計算領域設定部311は、最小値(K2_Xmin)をX座標の値として持つY軸と平行な直線L2を設定する。 FIG. 3 is a schematic diagram when the calculation area setting unit 311 sets the circumscribed rectangle R30 as the calculation area. As illustrated in FIG. 3, the calculation area setting unit 311 sets a circumscribed rectangle R30 of the target area D20 as a calculation area. Here, the calculation area setting unit 311 searches for the maximum value (K1_Ymax) of the Y coordinate of the upper side K1 of the target area D20. Next, the calculation area setting unit 311 sets a straight line L1 parallel to the X axis having the maximum value (K1_Ymax) as the Y coordinate value. Next, the calculation area setting unit 311 searches for the minimum value (K2_Xmin) of the X coordinate of the left side K2 of the target area D20. Next, the calculation area setting unit 311 sets a straight line L2 parallel to the Y axis having the minimum value (K2_Xmin) as an X coordinate value.
次に、計算領域設定部311は、対象領域D20の右辺K3のX座標の最大値(K3_Xmax)を探索する。次に、計算領域設定部311は、最大値(K3_Xmax)をX座標の値として持つY軸と平行な直線L3を設定する。次に、計算領域設定部311は、対象領域D20の下辺K4のY座標の最小値(K4_Ymin)を探索する。次に、計算領域設定部311は、最小値(K4_Ymin)をY座標の値として持つX軸と平行な直線L4を設定する。そして、計算領域設定部311は、直線L1〜L4の4本の直線で取り囲まれる領域を外接矩形R30として設定する。 Next, the calculation area setting unit 311 searches for the maximum value (K3_Xmax) of the X coordinate of the right side K3 of the target area D20. Next, the calculation area setting unit 311 sets a straight line L3 parallel to the Y axis having the maximum value (K3_Xmax) as an X coordinate value. Next, the calculation area setting unit 311 searches for the minimum value (K4_Ymin) of the Y coordinate of the lower side K4 of the target area D20. Next, the calculation area setting unit 311 sets a straight line L4 parallel to the X axis having the minimum value (K4_Ymin) as the Y coordinate value. Then, the calculation area setting unit 311 sets an area surrounded by four straight lines L1 to L4 as a circumscribed rectangle R30.
また、計算領域設定部311は、対象領域D20の内接矩形を計算領域として設定してもよい。図4は、計算領域設定部311が内接矩形R40を計算領域として設定する際の模式図である。この場合、計算領域設定部311は、まず、対象領域D20の上辺K1のY座標の最小値(K1_Ymin)を探索する。次に、計算領域設定部311は、対象領域D20の左辺K2においてY=K1_Yminとなる点を探索し、その点のX座標の値(X=K2_X1)を求める。これにより、頂点a(K2_X1、K1_Ymin)が求まる。次に、計算領域設定部311は、対象領域D20の右辺K3においてY=K1_Yminとなる点を探索し、その点のX座標の値(X=K3_X1)を求める。これにより、頂点b(K3_X1、K1_Ymin)が求まる。 The calculation area setting unit 311 may set the inscribed rectangle of the target area D20 as the calculation area. FIG. 4 is a schematic diagram when the calculation area setting unit 311 sets the inscribed rectangle R40 as a calculation area. In this case, the calculation area setting unit 311 first searches for the minimum value (K1_Ymin) of the Y coordinate of the upper side K1 of the target area D20. Next, the calculation area setting unit 311 searches for a point where Y = K1_Ymin in the left side K2 of the target area D20, and obtains an X coordinate value (X = K2_X1) of the point. Thereby, the vertex a (K2_X1, K1_Ymin) is obtained. Next, the calculation area setting unit 311 searches for a point where Y = K1_Ymin in the right side K3 of the target area D20, and obtains an X coordinate value (X = K3_X1) of the point. Thereby, the vertex b (K3_X1, K1_Ymin) is obtained.
次に、計算領域設定部311は、対象領域D20の下辺K4において、頂点aのX座標の値(X=K2_X1)を持つ点を探索し、その点のY座標の値(Y=K4_Y1)を求める。これにより、頂点c(K2_X1、K4_Y1)が求まる。次に、計算領域設定部311は、下辺K4において、頂点bのX座標の値(X=K3_X1)を持つ点を探索し、その点のY座標の値(Y=K4_Y1)を求める。これにより、頂点d(K3_X1、K4_Y1)が求まる。次に、計算領域設定部311は、頂点a、b、c、dを頂点とする四角形を対象領域D20の内接矩形R40として設定する。 Next, the calculation area setting unit 311 searches for a point having the X coordinate value (X = K2_X1) of the vertex a in the lower side K4 of the target area D20, and calculates the Y coordinate value (Y = K4_Y1) of the point. Ask. Thereby, the vertex c (K2_X1, K4_Y1) is obtained. Next, the calculation area setting unit 311 searches for a point having the X coordinate value (X = K3_X1) of the vertex b on the lower side K4, and obtains the Y coordinate value (Y = K4_Y1) of the point. Thereby, the vertex d (K3_X1, K4_Y1) is obtained. Next, the calculation area setting unit 311 sets a quadrangle having vertices a, b, c, and d as vertices as an inscribed rectangle R40 of the target area D20.
図5は、計算領域設定部311による計算領域の設定手法の一例を示す模式図である。内接矩形R40を計算領域として設定した場合、外接矩形R30と内接矩形R40との面積の差が増大するにつれて、対象領域D20において計算領域に含まれない領域が増大する。この場合、対象領域D20において計算領域が占める割合が低下し、対象領域D20の輝度を正確に特定できない可能性がある。 FIG. 5 is a schematic diagram illustrating an example of a calculation region setting method performed by the calculation region setting unit 311. When the inscribed rectangle R40 is set as the calculation area, the area not included in the calculation area in the target area D20 increases as the area difference between the circumscribed rectangle R30 and the inscribed rectangle R40 increases. In this case, the ratio of the calculation area in the target area D20 may be reduced, and the luminance of the target area D20 may not be accurately specified.
そこで、計算領域設定部311は、外接矩形R30と内接矩形R40との面積の差が規定値より大きい場合、外接矩形R30を計算領域として設定してもよい。 Therefore, the calculation area setting unit 311 may set the circumscribed rectangle R30 as the calculation area when the difference in area between the circumscribed rectangle R30 and the inscribed rectangle R40 is larger than the specified value.
但し、外接矩形R30を計算領域として設定した場合において内接矩形R40を取り除いた余剰領域R50に極端に明るい光源からのスポット光が照射されている場合、このスポット光の影響を受けて対象領域D20の輝度を正確に特定することができない。 However, in the case where the circumscribed rectangle R30 is set as the calculation area, if the excessive area R50 from which the inscribed rectangle R40 is removed is irradiated with spot light from an extremely bright light source, the target area D20 is affected by the spot light. It is not possible to accurately specify the brightness.
そこで、計算領域設定部311は、外接矩形R30と内接矩形R40との面積の差が規定値よりも大きい場合、更に余剰領域R50にスポット光が照射されているか否かを判定し、スポット光が照射されていると判定した場合、内接矩形R40を計算領域として設定すればよい。規定値としては、例えば、外接矩形R30の例えば、1/2や、1/3といった値が採用される。 Accordingly, when the difference in area between the circumscribed rectangle R30 and the inscribed rectangle R40 is larger than the specified value, the calculation region setting unit 311 further determines whether or not the surplus region R50 is irradiated with the spot light, and the spot light When it is determined that the inscribed rectangle R40 is irradiated, the inscribed rectangle R40 may be set as the calculation region. As the specified value, for example, a value such as 1/2 or 1/3 of the circumscribed rectangle R30 is employed.
図10は、計算領域設定部311が余剰領域R50にスポット光が照射されているか否かを判定する際の処理を示す模式図である。まず、計算領域設定部311は、外接矩形R30の4隅に一定の面積を持つ領域C131を設定すると共に、外接矩形R30の中心に一定の面積を持つ領域C132を設定する。ここで、領域C131の面積としては、余剰領域50内に収まる程度の値が採用される。また、領域C132の面積としては、内接矩形R40よりも大幅に小さな値が採用され、例えば、内接矩形R4の1/10、1/20、・・・、1/50、・・・、1/100程度の値が採用される。 FIG. 10 is a schematic diagram illustrating processing when the calculation region setting unit 311 determines whether or not the surplus region R50 is irradiated with spot light. First, the calculation region setting unit 311 sets a region C131 having a constant area at the four corners of the circumscribed rectangle R30, and sets a region C132 having a constant area at the center of the circumscribed rectangle R30. Here, as the area of the region C131, a value that is within the surplus region 50 is employed. In addition, as the area of the region C132, a value significantly smaller than the inscribed rectangle R40 is adopted, and for example, 1/10, 1/20,..., 1/50,. A value of about 1/100 is adopted.
次に、計算領域設定部311は、4つの領域C131の輝度の平均値を求めると共に、領域C132の輝度の平均値を求める。次に、計算領域設定部311は、領域C131の輝度の平均値から領域C132の輝度の平均値を差し引いた値が所定の閾値より大きければ、余剰領域R50にスポット光が照射されていると判定する。そして、計算領域設定部311は、余剰領域R50にスポット光が照射されていると判定した場合、内接矩形R40を計算領域として設定する。なお、計算領域設定部311は、余剰領域R50にスポット光が照射されているか否かを判定するにあたり、4つの領域C131を用いたが、これは一例にすぎず、4つの領域C131のうち、1つ、2つ、又は3つの領域を用いてスポット光の有無を判定してもよい。 Next, the calculation area setting unit 311 calculates the average value of the luminance values of the four areas C131 and the average value of the luminance values of the area C132. Next, if the value obtained by subtracting the average brightness value of the area C132 from the average brightness value of the area C131 is larger than a predetermined threshold, the calculation area setting unit 311 determines that the surplus area R50 is irradiated with the spot light. To do. When the calculation area setting unit 311 determines that the spot area is irradiated with the surplus area R50, the calculation area setting section 311 sets the inscribed rectangle R40 as the calculation area. The calculation region setting unit 311 uses four regions C131 in determining whether or not the surplus region R50 is irradiated with spot light. However, this is merely an example, and among the four regions C131, The presence or absence of spot light may be determined using one, two, or three regions.
上述した計算領域設定部311の処理を纏めると以下のようになる。図9は、計算領域設定部311が計算領域を設定する際の処理を示すフローチャートである。まず、計算領域設定部311は、外接矩形R30の面積から内接矩形R40の面積を差し引いた差分値を求め、その差分値が規定値より大きいか否かを判定する(S601)。差分値が規定値より大きい場合(S601でYES)、計算領域設定部311は、余剰領域R50にスポット光が照射されているか否かを判定する(S602)。余剰領域R50にスポット光が照射されていないと判定した場合(S602でNO)、計算領域設定部311は、外接矩形R30を計算領域として設定する(S603)。 The processing of the calculation area setting unit 311 described above is summarized as follows. FIG. 9 is a flowchart showing processing when the calculation area setting unit 311 sets a calculation area. First, the calculation area setting unit 311 obtains a difference value obtained by subtracting the area of the inscribed rectangle R40 from the area of the circumscribed rectangle R30, and determines whether the difference value is larger than a specified value (S601). When the difference value is larger than the specified value (YES in S601), the calculation area setting unit 311 determines whether or not the surplus area R50 is irradiated with the spot light (S602). When it is determined that the spot region is not irradiated with the surplus region R50 (NO in S602), the calculation region setting unit 311 sets the circumscribed rectangle R30 as the calculation region (S603).
一方、差分値が規定値以下の場合(S601でNO)、計算領域設定部311は、内接矩形R40を計算領域として設定する(S604)。また、余剰領域R50にスポット光が照射されていると判定した場合(S602でYES)、計算領域設定部311は、内接矩形R40を計算領域として設定する(S604)。 On the other hand, when the difference value is equal to or less than the specified value (NO in S601), the calculation area setting unit 311 sets the inscribed rectangle R40 as the calculation area (S604). If it is determined that the surplus area R50 is irradiated with spot light (YES in S602), the calculation area setting unit 311 sets the inscribed rectangle R40 as the calculation area (S604).
次に、対象領域設定部200が設定する対象領域の形状の他の例について説明する。図6は、対象領域D20が円筒型の場合の変換前画像データP20を示した図である。図7は、対象領域D20が三面鏡型の場合の変換前画像データP20を示した図である。図8は、対象領域D20が椀型の場合の変換前画像データP20を示した図である。円筒型、三面鏡型、及び椀型とも、線対称な形状を持つ。 Next, another example of the shape of the target area set by the target area setting unit 200 will be described. FIG. 6 is a diagram showing pre-conversion image data P20 when the target region D20 is cylindrical. FIG. 7 is a diagram showing pre-conversion image data P20 when the target area D20 is a three-sided mirror type. FIG. 8 is a diagram showing the pre-conversion image data P20 when the target region D20 is bowl-shaped. Cylindrical, trihedral, and saddle types all have line-symmetric shapes.
図6に示すように、円筒型は、上辺K1及び下辺K4が中心に向かうにつれてY座標の値が楕円状に増大する形状を持ち、左辺K2及び右辺K3がY軸と平行な形状を持っている。 As shown in FIG. 6, the cylindrical shape has a shape in which the value of the Y coordinate increases in an elliptical manner as the upper side K1 and the lower side K4 move toward the center, and the left side K2 and the right side K3 have a shape parallel to the Y axis. Yes.
図7に示すように、三面鏡型は、上辺K1及び下辺K4がそれぞれ辺K11、K12、K13で構成され、左辺K2及び右辺K3がY軸と平行な形状を持っている。辺K11はX座標の値が増大するにつれてY座標の値が増大する直線形状を持つ。辺K12はX座標と平行な直線形状を持つ。辺K13は、X座標の値が増大するにつれてY座標の値が減少する直線形状を持つ。 As shown in FIG. 7, in the three-sided mirror type, the upper side K1 and the lower side K4 are configured by sides K11, K12, and K13, respectively, and the left side K2 and the right side K3 have a shape parallel to the Y axis. The side K11 has a linear shape in which the value of the Y coordinate increases as the value of the X coordinate increases. The side K12 has a linear shape parallel to the X coordinate. The side K13 has a linear shape in which the value of the Y coordinate decreases as the value of the X coordinate increases.
図8に示すように椀型は、上辺K1が中心に向かうにつれてY座標の値が楕円状に増大する形状を持ち、下辺K4が中心に向かうにつれてY座標の値が楕円状に減少する形状を持ち、左辺K2及び右辺K3がY軸と平行な形状を持っている。 As shown in FIG. 8, the saddle shape has a shape in which the value of the Y coordinate increases in an elliptical shape as the upper side K1 moves toward the center, and the shape in which the value of the Y coordinate decreases in an elliptical shape as the lower side K4 moves toward the center. And the left side K2 and the right side K3 have a shape parallel to the Y axis.
対象領域D20が円筒型、三面鏡型、及び椀型の形状を持つ場合、計算領域設定部311は、内接矩形R40を計算領域として設定する。 When the target region D20 has a cylindrical shape, a three-sided mirror shape, and a bowl shape, the calculation region setting unit 311 sets the inscribed rectangle R40 as the calculation region.
具体的には、計算領域設定部311は、下辺K4の左端のY座標の値(Y1st)が下辺K4の中心のY座標の値(Ycen)を探索し、Y1st<Ycenの場合、円筒型又は三面鏡型と判定する。円筒型又は三面鏡型の場合、計算領域設定部311は、下辺K4において、Y座標の最大値(K4_Ymax)を探索し、左辺K2においてY=K4_Ymaxとなる点を探索し、その点のX座標の値(X=K2_X1)を求める。これにより、頂点c(K2_X1、K4_Ymax)が求まる。次に、計算領域設定部311は、右辺K3において、Y=K4_YmaxをY座標の値として持つ点を探索し、その点のX座標の値(X=K3_X1)を求める。これにより、頂点d(K3_X1、K4_Ymax)が求まる。 Specifically, the calculation area setting unit 311 searches for the Y coordinate value (Ycen) of the center of the lower side K4 where the Y coordinate value (Y1st) of the left end of the lower side K4 is cylindrical, or if Y1st <Ycen, Judge as a triple mirror type. In the case of the cylindrical type or the three-sided mirror type, the calculation area setting unit 311 searches for the maximum value of the Y coordinate (K4_Ymax) in the lower side K4, searches for the point where Y = K4_Ymax in the left side K2, and the X coordinate of that point Is obtained (X = K2_X1). Thereby, the vertex c (K2_X1, K4_Ymax) is obtained. Next, the calculation area setting unit 311 searches for a point having Y = K4_Ymax as a Y coordinate value on the right side K3, and obtains an X coordinate value (X = K3_X1) of the point. Thereby, the vertex d (K3_X1, K4_Ymax) is obtained.
次に、計算領域設定部311は、上辺K1の左端を頂点a、上辺K1の右端を頂点bとし、頂点a、b、c、dで囲まれる領域を内接矩形R40として設定する。 Next, the calculation area setting unit 311 sets the left end of the upper side K1 as the vertex a, the right end of the upper side K1 as the vertex b, and sets the area surrounded by the vertices a, b, c, and d as the inscribed rectangle R40.
一方、椀型の場合、計算領域設定部311は、上辺K1の左端を頂点a、上辺K1の右端を頂点b、下辺K4の左端を頂点c、下辺K4の右端を頂点dとし、頂点a、b、c、dで囲まれる領域を内接矩形R40として設定する。なお、計算領域設定部311は、Y1st>Ycenの場合、上辺K1が上に凸であれば椀型、上辺K1が下に凸であれば図2に示す扇形と判定すればよい。 On the other hand, in the case of the saddle type, the calculation area setting unit 311 sets the left end of the upper side K1 as the vertex a, the right end of the upper side K1 as the vertex b, the left end of the lower side K4 as the vertex c, and the right end of the lower side K4 as the vertex d. An area surrounded by b, c, and d is set as an inscribed rectangle R40. Note that, when Y1st> Ycen, the calculation region setting unit 311 may determine that the upper side K1 is convex when the upper side K1 is convex upward, and the sector shown in FIG. 2 if the upper side K1 is convex downward.
なお、上記説明では、対象領域D20が円筒型、三面鏡型、又は椀型の場合、計算領域設定部311は、内接矩形R40を設定するとしたが、これに限定されず、外接矩形R30の面積から内接矩形R40の面積を差し引いた値が規定値より大きければ、外接矩形R30を計算領域として設定してもよい。そして、この場合、計算領域設定部311は、外接矩形R30の端部にスポット光が照射されていれば、内接矩形R40を計算領域として設定し、外接矩形の端部にスポット光が照射されていなければ、外接矩形R30を計算領域として設定してもよい。 In the above description, when the target region D20 is a cylindrical shape, a three-sided mirror shape, or a saddle shape, the calculation region setting unit 311 sets the inscribed rectangle R40. However, the present invention is not limited to this. If the value obtained by subtracting the area of the inscribed rectangle R40 from the area is larger than the specified value, the circumscribed rectangle R30 may be set as the calculation region. In this case, the calculation area setting unit 311 sets the inscribed rectangle R40 as the calculation area if the end light of the circumscribed rectangle R30 is irradiated with the spot light, and the end of the circumscribed rectangle is irradiated with the spot light. If not, the circumscribed rectangle R30 may be set as the calculation area.
図11は、対象領域D20が円筒型の場合において、外接矩形R30の端部にスポット光が照射されているか否かを判定する手法を示す模式図である。この場合、計算領域設定部311は、外接矩形R30の上側の2隅に領域C131を設定すると共に、外接矩形R30の下辺に沿うように細長い1つの領域C131を設定する。また、計算領域設定部311は、外接矩形R30の中心に領域C132を設定する。そして、計算領域設定部311は、3つの領域C131の輝度の平均値から領域C132の輝度の平均値を差し引いた値が所定の閾値より大きければ、外接矩形R30の端部にスポット光が照射されていると判定する。 FIG. 11 is a schematic diagram illustrating a method for determining whether or not spot light is applied to the end of the circumscribed rectangle R30 when the target region D20 is cylindrical. In this case, the calculation area setting unit 311 sets the area C131 at the upper two corners of the circumscribed rectangle R30, and sets one elongated area C131 along the lower side of the circumscribed rectangle R30. The calculation area setting unit 311 sets the area C132 at the center of the circumscribed rectangle R30. Then, if the value obtained by subtracting the average brightness value of the area C132 from the average brightness value of the three areas C131 is larger than a predetermined threshold value, the calculation area setting unit 311 irradiates the end of the circumscribed rectangle R30 with spot light. It is determined that
図12は、対象領域D20が三面鏡型の場合において、外接矩形R30の端部にスポット光が照射されているか否かを判定する手法を示す模式図である。この場合も、計算領域設定部311は、円筒型の場合と同様、外接矩形R3の端部に3つの領域C131を設定すると共に、外接矩形R30の中心に領域C132を設定する。そして、計算領域設定部311は、3つの領域C131の輝度の平均値から領域C132の輝度の平均値を差し引いた値が閾値より大きければ、外接矩形R30の端部にスポット光が照射されていると判定すればよい。 FIG. 12 is a schematic diagram showing a method for determining whether or not spot light is applied to the end of the circumscribed rectangle R30 when the target region D20 is a three-sided mirror type. Also in this case, the calculation area setting unit 311 sets three areas C131 at the end of the circumscribed rectangle R3 and sets the area C132 at the center of the circumscribed rectangle R30, as in the case of the cylindrical type. Then, if the value obtained by subtracting the average brightness value of the area C132 from the average brightness value of the three areas C131 is larger than the threshold value, the calculation area setting unit 311 irradiates spot light to the end of the circumscribed rectangle R30. Can be determined.
図13は、対象領域D20が扇型の場合において、外接矩形R30の端部にスポット光が照射されているか否かを判定する他の手法を示した模式図である。この場合、計算領域設定部311は、外接矩形R30から内接矩形R40を取り除いた外枠領域R13を設定し、外枠領域R13を8分割し、8個の領域R131を設定する。ここで、領域131は、外枠領域R13を内接矩形R40の上下左右の4辺で区画することで得られる領域である。次に、計算領域設定部311は、8個の領域131のそれぞれの輝度の平均値を算出し、各領域131の輝度の平均値から領域C132の輝度の平均値を差し引いた差分値をそれぞれ求め、差分値が閾値より大きい領域C131を計算領域から除外し、残りの領域131と内接矩形R40とで構成される領域を計算領域として設定する。 FIG. 13 is a schematic diagram illustrating another method for determining whether or not spot light is applied to the end portion of the circumscribed rectangle R30 when the target region D20 has a fan shape. In this case, the calculation area setting unit 311 sets an outer frame area R13 obtained by removing the inscribed rectangle R40 from the circumscribed rectangle R30, divides the outer frame area R13 into eight, and sets eight areas R131. Here, the region 131 is a region obtained by dividing the outer frame region R13 by four sides on the top, bottom, left, and right sides of the inscribed rectangle R40. Next, the calculation area setting unit 311 calculates the average value of the brightness of each of the eight areas 131, and obtains a difference value obtained by subtracting the average value of the brightness of the area C132 from the average value of the brightness of each area 131. The area C131 having the difference value larger than the threshold value is excluded from the calculation area, and the area composed of the remaining area 131 and the inscribed rectangle R40 is set as the calculation area.
図14は、2つの対象領域D201、D202を含む変換前画像データP20を示す模式図である。撮像装置の使用態様によっては、図14に示すように、変換前画像データP20の左右に2つの対象領域D201、D202が現れることもある。使用態様としては、例えば、撮像部100を広角カメラにより構成して自動車の先頭に設け、自動車の進行方向と直交する方向を移動する自動車を撮像部100に撮像させる態様が挙げられる。 FIG. 14 is a schematic diagram showing pre-conversion image data P20 including two target areas D201 and D202. Depending on how the imaging apparatus is used, two target areas D201 and D202 may appear on the left and right of the pre-conversion image data P20 as shown in FIG. As a usage mode, for example, a mode in which the imaging unit 100 is configured by a wide-angle camera and provided at the top of the vehicle, and the vehicle moving in a direction orthogonal to the traveling direction of the vehicle is caused to image the imaging unit 100 is used.
この場合、左側の対象領域D201は変換前画像データP20の左端に向かうにつれて幅が増大する台形の形状を持ち、右側の対象領域D202は変換前画像データP20の右端に向かうにつれて幅が増大する台形の形状を持つ。また、対象領域D201及び対象領域D202は水平方向に距離dl離間して、変換前画像データP20内に位置している。 In this case, the left target area D201 has a trapezoidal shape whose width increases toward the left end of the pre-conversion image data P20, and the right target area D202 has a trapezoid whose width increases toward the right end of the pre-conversion image data P20. With the shape. The target area D201 and the target area D202 are located in the pre-conversion image data P20 with a distance dl in the horizontal direction.
図15は、変換前画像データP20において対象領域の輝度を算出する際に不要となる領域を示した模式図である。図16は、2つの対象領域D201、D202が変換前画像データP20に現れた場合に設定される2つの計算領域を示す模式図である。図15に示すように、2つの対象領域D201、D202の両方に外接する1つの外接矩形R30を設定し、この外接矩形R30を計算領域として設定すると、余剰領域R50が増大する。この場合、対象領域の輝度を正確に算出することができなくなると同時に、計算領域が増大するため処理負担が増大する。 FIG. 15 is a schematic diagram showing an area that is not necessary when calculating the luminance of the target area in the pre-conversion image data P20. FIG. 16 is a schematic diagram showing two calculation areas set when two target areas D201 and D202 appear in the pre-conversion image data P20. As shown in FIG. 15, when one circumscribed rectangle R30 circumscribing both of the two target areas D201 and D202 is set and this circumscribed rectangle R30 is set as a calculation area, the surplus area R50 increases. In this case, the luminance of the target area cannot be accurately calculated, and at the same time, the processing area increases because the calculation area increases.
そこで、図16に示すように、計算領域設定部311は、対象領域D201、D202のそれぞれに外接矩形R301、R302を設定し、2つの外接矩形R301、R302を計算領域として設定する。これにより、外接矩形R30を計算領域とした場合に外接矩形R30の中央部に発生する不要領域R500(外接矩形R30から外接矩形R301、R302を取り除いた矩形状の領域)が除去された領域を計算領域として設定することができる。 Therefore, as illustrated in FIG. 16, the calculation area setting unit 311 sets circumscribed rectangles R301 and R302 in the target areas D201 and D202, and sets two circumscribed rectangles R301 and R302 as calculation areas. As a result, when the circumscribed rectangle R30 is used as a calculation region, a region in which an unnecessary region R500 (rectangular region obtained by removing the circumscribed rectangles R301 and R302 from the circumscribed rectangle R30) is removed is calculated. It can be set as an area.
次に、不要領域R500を計算領域から除去する方法について図1を用いて説明する。まず、撮像部100から対象領域設定部200、計算領域設定部311、及び輝度算出部312への変換前画像データの入力が開始されると、TG400から計算領域設定部311に入力されるタイミング信号SG1がイネーブル状態にされる。 Next, a method for removing the unnecessary region R500 from the calculation region will be described with reference to FIG. First, when input of pre-conversion image data from the imaging unit 100 to the target region setting unit 200, the calculation region setting unit 311 and the luminance calculation unit 312 is started, a timing signal input from the TG 400 to the calculation region setting unit 311. SG1 is enabled.
タイミング信号SG1がイネーブル状態にされると計算領域設定部311はレジスタ313から計算領域の領域情報を読み出し、読み出した領域情報と入力される画素データの個数とから、計算領域の画素データの入力期間を決定する。そして、計算領域設定部311は、計算領域の画素データの入力期間中、輝度算出部312に入力するタイミング信号SG2をイネーブル状態にして輝度算出部312に出力する。 When the timing signal SG1 is enabled, the calculation region setting unit 311 reads the region information of the calculation region from the register 313, and the pixel data input period of the calculation region is calculated from the read region information and the number of input pixel data. To decide. Then, the calculation region setting unit 311 enables the timing signal SG2 input to the luminance calculation unit 312 and outputs it to the luminance calculation unit 312 during the input period of the pixel data of the calculation region.
本実施の形態では、画素データはラスタ走査順で入力されるため、タイミング信号SG2は、1ライン単位でイネーブル状態の切り替えが行われる。つまり、変換前画像データの水平方向のある1ラインの画素データが入力されており、その1ライン内に計算領域が含まれていれば、その1ライン内において左側の計算領域の先頭の画素データの入力タイミングになると、計算領域設定部311はタイミング信号SG2をイネーブル状態にし、その1ライン内において左側の計算領域の後端の画素データの入力タイミングになると、計算領域設定部311はタイミング信号SG2を非イネーブル状態にする。また、その1ラインにおいて、右側の計算領域の先頭の画素データの入力タイミングになると、計算領域設定部311はタイミング信号SG2をイネーブル状態にし、その1ライン内において右側の計算領域の後端の画素データの入力タイミングになると、計算領域設定部311はタイミング信号SG2を非イネーブル状態にする。計算領域設定部311は、この処理を1ライン毎に繰り返し行い、輝度算出部312に計算領域の画素データの入力期間を通知する。 In the present embodiment, since the pixel data is input in the raster scan order, the timing signal SG2 is switched to the enable state in units of one line. That is, if pixel data of one line in the horizontal direction of the pre-conversion image data is input and the calculation area is included in the one line, the first pixel data of the left calculation area in the one line The calculation region setting unit 311 enables the timing signal SG2, and when the input timing of the pixel data at the rear end of the left calculation region in one line is reached, the calculation region setting unit 311 outputs the timing signal SG2. Is disabled. Also, at the input timing of the first pixel data in the right calculation area in the one line, the calculation area setting unit 311 enables the timing signal SG2, and the rearmost pixel in the right calculation area in the one line. When the data input timing comes, the calculation region setting unit 311 sets the timing signal SG2 to the non-enabled state. The calculation area setting unit 311 repeats this process for each line, and notifies the luminance calculation unit 312 of the input period of the pixel data in the calculation area.
一方、輝度算出部312は、左右の計算領域のそれぞれにおいて、イネーブル状態のタイミング信号SG2が出力されている間に撮像部100から入力される画素データの輝度値を積算し、計算領域の全ての画素データの入力が終了すると積算した輝度値を画素数で割り、計算領域の輝度の平均値(代表値)を求める。これにより、左右それぞれの対象領域の輝度の平均値が個別に求められる。 On the other hand, the luminance calculation unit 312 integrates the luminance values of the pixel data input from the imaging unit 100 while the enable timing signal SG2 is being output in each of the left and right calculation regions, and calculates all the calculation regions. When the input of the pixel data is completed, the integrated luminance value is divided by the number of pixels to obtain an average value (representative value) of the luminance in the calculation area. Thereby, the average value of the luminance of each of the left and right target areas is obtained individually.
輝度算出部312は、対象領域の輝度の平均値を算出すると、その平均値を対象領域の評価値として撮像部100に通知する。そして、撮像部100は、通知された評価値に基づいて、露光期間及び絞りを調整する。 When calculating the average value of the luminance of the target area, the luminance calculation unit 312 notifies the imaging unit 100 of the average value as the evaluation value of the target area. Then, the imaging unit 100 adjusts the exposure period and the aperture based on the notified evaluation value.
以上により、図15において、輝度算出部312は、2つの外接矩形R301、R302に属する画素データのみを用いて輝度の代表値を算出することができる。 As described above, in FIG. 15, the luminance calculation unit 312 can calculate the representative value of luminance using only pixel data belonging to the two circumscribed rectangles R301 and R302.
図16において、変換前画像データP20に含まれる2つの被写体はかなり離れた場所に位置していることもあり、この場合、いずれか一方の被写体の評価値を求めて、AE制御を行えば十分である。そこで、計算領域設定部311は、2つの外接矩形R301、R302を所定フレーム毎に交互に切り替えて計算領域を設定してもよい。 In FIG. 16, the two subjects included in the pre-conversion image data P20 may be located at a considerably distant place. In this case, it is sufficient to obtain the evaluation value of one of the subjects and perform the AE control. It is. Therefore, the calculation area setting unit 311 may set the calculation area by alternately switching the two circumscribed rectangles R301 and R302 every predetermined frame.
図17は、計算領域を所定フレーム毎に切り替える態様を採用した場合において、計算領域が設定される様子を示した模式図である。まず、計算領域設定部311は、左側の外接矩形R301を計算領域として設定する。ここで、nフレーム毎に計算領域が切り替えられるとすると、計算領域設定部311は、以後、撮像部100により撮像されるnフレームの変換前画像データP20に対して左側の外接矩形R301を計算領域として設定する。そして、撮像部100によりn+1フレーム目の変換前画像データP20が撮像されると、計算領域設定部311は、計算領域を左側の外接矩形R301から右側の外接矩形R302に切り替える。以後、撮像部100により撮像されるnフレームの変換前画像データP20に対して、計算領域設定部311は、右側の外接矩形R302を計算領域として設定する。計算領域設定部311はこの処理を繰り返し、計算領域を交互に切り替える。 FIG. 17 is a schematic diagram illustrating how the calculation area is set in a case where the aspect of switching the calculation area for each predetermined frame is employed. First, the calculation area setting unit 311 sets the circumscribed rectangle R301 on the left side as a calculation area. Here, if the calculation area is switched every n frames, the calculation area setting unit 311 subsequently calculates the left circumscribed rectangle R301 for the n-frame pre-conversion image data P20 imaged by the imaging unit 100 as the calculation area. Set as. When the pre-conversion image data P20 of the (n + 1) th frame is imaged by the imaging unit 100, the calculation area setting unit 311 switches the calculation area from the left circumscribed rectangle R301 to the right circumscribed rectangle R302. Thereafter, for the n-frame pre-conversion image data P20 imaged by the imaging unit 100, the calculation area setting unit 311 sets the right circumscribed rectangle R302 as the calculation area. The calculation area setting unit 311 repeats this process and switches the calculation areas alternately.
ここで、nの値としては、特に限定はされないが、例えば、2、3、4、・・・、10等の複数であってもよいし、1であってもよい。但し、1フレーム毎に計算領域を切り替えると、両被写体の輝度の差が大きい場合、露光時間が1フレーム毎に大きく変動するため、ちらつきのある画像が表示される可能性がある。よって、nの値は、複数であることが好ましい。 Here, the value of n is not particularly limited, but may be a plurality of values such as 2, 3, 4,. However, when the calculation area is switched for each frame, if the difference in luminance between the two subjects is large, the exposure time varies greatly for each frame, so that an image with flicker may be displayed. Therefore, the value of n is preferably plural.
なお、計算領域設定部311は、2つの外接矩形R301、R302において、一部の領域の輝度の平均値を求め、いずれか一方の外接矩形にスポット光が照射されているか否かを判定し、一方の外接矩形にスポット光が照射されていると判定した場合、他方の外接矩形を計算領域として設定してもよい。なお、スポット光が照射されているか否かの判定は、例えば、外接矩形の一部の領域の輝度の平均値が閾値より大きい場合、その外接矩形にスポット光が照射されていると判定すればよい。 The calculation area setting unit 311 obtains an average value of luminances of some areas in the two circumscribed rectangles R301 and R302, determines whether or not one of the circumscribed rectangles is irradiated with spot light, When it is determined that one circumscribed rectangle is irradiated with spot light, the other circumscribed rectangle may be set as a calculation region. Note that whether or not spot light is irradiated is determined, for example, if the average luminance value of a part of the circumscribed rectangle is larger than the threshold value, it is determined that spot light is irradiated to the circumscribed rectangle. Good.
これにより、スポット光が照射されていない外接矩形を計算領域として設定することができる。なお、外接矩形R301、R302の両方にスポット光が照射されていると判定した場合、計算領域設定部311は、上述した所定フレーム毎に計算領域を切り替える態様を採用すればよい。 Thus, a circumscribed rectangle that is not irradiated with the spot light can be set as the calculation region. If it is determined that spot light is irradiated to both the circumscribed rectangles R301 and R302, the calculation area setting unit 311 may adopt a mode in which the calculation area is switched for each predetermined frame described above.
次に、図1に示す撮像装置の動作について説明する。まず、計算領域設定部311、輝度算出部312、及びDRC処理部320にi(iはフレームと特定するためにインデックス)フレーム目の変換前画像データを構成する画素データの入力が開始される。 Next, the operation of the imaging apparatus shown in FIG. 1 will be described. First, input of pixel data constituting the pre-conversion image data of the i-th frame (i is an index for specifying a frame) is started to the calculation area setting unit 311, the luminance calculation unit 312, and the DRC processing unit 320.
次に、輝度算出部312は、レジスタ313に記憶されているi−1フレーム目の変換前画像データにおいて設定された計算領域の座標データから計算領域を構成する画素データの入力期間を検出し、検出した入力期間においてタイミング信号SG2をイネーブル状態にする。この場合、i−1フレーム目の変換前画像データにおいて設定された計算領域がiフレーム目の変換前画像データに設定されることになる。 Next, the luminance calculation unit 312 detects the input period of the pixel data constituting the calculation area from the coordinate data of the calculation area set in the pre-conversion image data of the (i−1) th frame stored in the register 313, The timing signal SG2 is enabled in the detected input period. In this case, the calculation area set in the pre-conversion image data of the (i-1) th frame is set in the pre-conversion image data of the i-th frame.
次に、輝度算出部312は、タイミング信号SG2がイネーブル状態である期間において、入力される画素データの輝度の積算値を算出し、計算領域の画素データの入力が終了すると、積算値を画素数で割り、輝度の平均値を求める。次に、輝度算出部312は、輝度の平均値を評価値として撮像部100に出力する。次に、撮像部100は、評価値にしたがって露光期間及び絞りを調整する。 Next, the luminance calculation unit 312 calculates the integrated value of the luminance of the input pixel data during the period in which the timing signal SG2 is enabled. When the input of the pixel data in the calculation area is completed, the luminance calculation unit 312 Divide by to find the average brightness. Next, the luminance calculation unit 312 outputs the average value of luminance to the imaging unit 100 as an evaluation value. Next, the imaging unit 100 adjusts the exposure period and the aperture according to the evaluation value.
iフレーム目の変換前画像データの入力が終了すると、対象領域設定部200は、変換前画像データから対象領域を設定する。次に、計算領域設定部311は、対象領域設定部200により設定された対象領域の輪郭からiフレーム目の変換前画像データの計算領域を設定し、レジスタ313に保持されているi−1フレーム目の領域情報をiフレーム目の領域情報で更新する。 When the input of the pre-conversion image data for the i-th frame is completed, the target area setting unit 200 sets the target area from the pre-conversion image data. Next, the calculation area setting unit 311 sets the calculation area of the pre-conversion image data of the i-th frame from the outline of the target area set by the target area setting unit 200, and the i−1 frame held in the register 313. The eye area information is updated with the i-th frame area information.
一方、DRC処理部320も計算領域設定部311及びDRC処理部320の処理と並行して、iフレーム目の変換前画像データに対してダイナミックレンジ圧縮処理を行い、変換処理部500に出力する。 On the other hand, the DRC processing unit 320 also performs dynamic range compression processing on the pre-conversion image data of the i-th frame in parallel with the processing of the calculation region setting unit 311 and the DRC processing unit 320 and outputs it to the conversion processing unit 500.
次に、変換処理部500は、対象領域設定部200により設定された対象領域を、ダイナミックレンジ圧縮処理が行われた変換前画像データから切り出し、切り出した変換前画像データの歪みを補正する。次に、出力部600は、変換処理部500により歪みが補正された画像データを表示する。 Next, the conversion processing unit 500 cuts out the target region set by the target region setting unit 200 from the pre-conversion image data subjected to the dynamic range compression processing, and corrects the distortion of the cut out pre-conversion image data. Next, the output unit 600 displays the image data whose distortion has been corrected by the conversion processing unit 500.
上記の説明では、i−1フレーム目の計算領域をiフレーム目の変換前画像データに設定したが、これに限定されない。例えば、計算領域設定部311及び輝度算出部312への変換前画像データの入力タイミングを、遅延バッファなどを設けて、対象領域設定部200への変換前画像データの入力タイミングから1フレーム分、遅延させればよい。 In the above description, the calculation area of the (i-1) th frame is set to the image data before conversion of the i-th frame, but the present invention is not limited to this. For example, the input timing of the pre-conversion image data to the calculation region setting unit 311 and the luminance calculation unit 312 is delayed by one frame from the input timing of the pre-conversion image data to the target region setting unit 200 by providing a delay buffer or the like. You can do it.
また、上記説明では、撮像部100は動画を撮像するものとして説明したが、静止画を撮像するものであってもよい。この場合、撮像装置は、例えば、プレ露光により対象領域の輝度の代表値を求め、その代表値から露光時間や絞りを調整し、本露光を行う構成を採用すればよい。 In the above description, the image capturing unit 100 is described as capturing a moving image. However, the image capturing unit 100 may capture a still image. In this case, for example, the imaging apparatus may obtain a representative value of the luminance of the target region by pre-exposure, adjust the exposure time and aperture from the representative value, and perform a main exposure.
100 撮像部
200 対象領域設定部
300 前処理部
310 処理部
311 計算領域設定部
312 輝度算出部
313 レジスタ
320 処理部
500 変換処理部
600 出力部
DESCRIPTION OF SYMBOLS 100 Image pick-up part 200 Target area | region setting part 300 Pre-processing part 310 Processing part 311 Calculation area | region setting part 312 Luminance calculation part 313 Register 320 Processing part 500 Conversion processing part 600 Output part
Claims (9)
所定の幾何変換処理が行われる前の前記画像データである変換前画像データから前記幾何変換処理の対象となる対象領域を設定する対象領域設定部と、
前記対象領域設定部により設定された前記対象領域の少なくとも一部を含む矩形状の領域を計算領域として前記変換前画像データに設定する計算領域設定部と、
前記計算領域設定部により設定された前記計算領域における輝度の代表値を算出する輝度算出部と、
前記変換前画像データに対して前記幾何変換処理を行う変換処理部とを含み、
前記計算領域は前記対象領域の外接矩形である撮像装置。 An imaging unit for acquiring image data;
A target area setting unit that sets a target area to be subjected to the geometric transformation process from pre-conversion image data that is the image data before a predetermined geometric transformation process is performed;
A calculation region setting unit that sets a rectangular region including at least a part of the target region set by the target region setting unit as the calculation region in the pre-conversion image data;
A luminance calculation unit for calculating a representative value of luminance in the calculation region set by the calculation region setting unit;
Look including a conversion processing unit for performing the geometric transformation processing on the pre-conversion image data,
The imaging apparatus , wherein the calculation area is a circumscribed rectangle of the target area .
前記計算領域設定部は、2つの前記外接矩形を所定フレーム毎に交互に切り替えて前記計算領域を設定する請求項5記載の撮像装置。 The imaging unit acquires the image data at a predetermined frame rate,
The imaging apparatus according to claim 5, wherein the calculation area setting unit sets the calculation area by alternately switching two circumscribed rectangles for each predetermined frame.
前記計算領域を指定する領域情報を保持するレジスタと、
前記変換前画像データの入力の開始タイミング及び終了タイミングを示すタイミング信号を生成するタイミングジェネレータとを更に含み、
前記計算領域設定部は、前記レジスタに保持された領域情報及び前記タイミング信号に基づき、前記計算領域の画素データが前記輝度算出部に入力されている入力期間を決定し、前記入力期間中、前記タイミング信号をイネーブル状態に設定し、輝度算出部に出力し、
前記輝度算出部は、イネーブル状態のタイミング信号が入力されている期間に入力される画素データを用いて前記代表値を算出する請求項1〜7のいずれかに記載の撮像装置。 The luminance calculation unit receives pixel data constituting the pre-conversion image data from the imaging unit in units of one pixel,
A register holding area information for designating the calculation area;
A timing generator for generating a timing signal indicating start timing and end timing of input of the pre-conversion image data;
The calculation region setting unit determines an input period in which pixel data of the calculation region is input to the luminance calculation unit based on the region information held in the register and the timing signal, and during the input period, Set the timing signal to the enabled state and output it to the brightness calculator.
The luminance calculation unit, an imaging apparatus according to any one of using the pixel data to be input to the period during which the timing signal of the enable state is entered according to claim 1-7 for calculating the representative value.
前記対象領域設定ステップにより設定された前記対象領域の少なくとも一部を含む矩形状の領域を計算領域として前記変換前画像データに設定し、前記計算領域における輝度の代表値を算出する輝度算出ステップと、
前記変換前画像データに対して前記幾何変換処理を行う変換処理ステップとを含み、
前記計算領域は前記対象領域の外接矩形である画像処理方法。 A target area setting step for setting a target area to be subjected to the geometric transformation process from pre-conversion image data before a predetermined geometric transformation process is performed;
A luminance calculation step of setting a rectangular area including at least a part of the target area set by the target area setting step as the calculation area in the pre-conversion image data, and calculating a representative value of the luminance in the calculation area; ,
Look including a conversion processing step of performing the geometric transformation processing on the pre-conversion image data,
The image processing method , wherein the calculation area is a circumscribed rectangle of the target area .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012274264A JP5949519B2 (en) | 2012-12-17 | 2012-12-17 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012274264A JP5949519B2 (en) | 2012-12-17 | 2012-12-17 | Imaging apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014120906A JP2014120906A (en) | 2014-06-30 |
JP5949519B2 true JP5949519B2 (en) | 2016-07-06 |
Family
ID=51175397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012274264A Expired - Fee Related JP5949519B2 (en) | 2012-12-17 | 2012-12-17 | Imaging apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5949519B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03201878A (en) * | 1989-12-28 | 1991-09-03 | Kyocera Corp | Camera having af and ae area setting means |
JP2007074163A (en) * | 2005-09-05 | 2007-03-22 | Sony Corp | Imaging device and imaging method |
JP2008187393A (en) * | 2007-01-29 | 2008-08-14 | Sony Corp | Exposure control system, exposure control method, its program and recording medium, camera control system and camera |
-
2012
- 2012-12-17 JP JP2012274264A patent/JP5949519B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014120906A (en) | 2014-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4509917B2 (en) | Image processing apparatus and camera system | |
US8189949B2 (en) | Image processing apparatus and image processing method | |
JP4509925B2 (en) | Image processing apparatus, camera system, image processing method, and moving image display method | |
US8727539B2 (en) | Projector and method of controlling projector | |
US8421880B2 (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
US8442313B2 (en) | Image position recognition apparatus, image position recognition method, computer program product, and apparatus for setting correction data for an image display apparatus | |
US20120182416A1 (en) | Image projection system and semiconductor integrated circuit | |
US20100045942A1 (en) | Projection display apparatus and display method | |
US10356308B2 (en) | Focusing state prompting method and shooting device | |
KR20200031169A (en) | Image processing method and device | |
CN101350933A (en) | Method for regulating lighteness of filmed display screen based on image inductor | |
JP2015060012A (en) | Image processing system, image processing device, image processing method and image processing program as well as display system | |
WO2021093534A1 (en) | Subject detection method and apparatus, electronic device, and computer-readable storage medium | |
US9747664B2 (en) | Image processing apparatus | |
US20180275832A1 (en) | Projector | |
US10834323B2 (en) | Electronic apparatus, motion sensor, position change detection program, and position change detection method | |
JP4386959B1 (en) | Image processing device | |
TWI443604B (en) | Image correction method and image correction apparatus | |
US10553164B1 (en) | Display latency calibration for liquid crystal display | |
CN113257181B (en) | LED screen correction image acquisition method, correction method, acquisition device and correction system | |
US20230319407A1 (en) | Image processing device, image display system, method, and program | |
JP2007271771A (en) | Image display system and control method therefor | |
JP2017009909A (en) | Projection type video display system, projection type video display device, and projection correction method | |
JP5949519B2 (en) | Imaging apparatus and image processing method | |
JP2008117369A (en) | Semiconductor integrated circuit device and rendering processing display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5949519 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |