JP2008129027A

JP2008129027A - Backlight determination device, image taking device, backlight determination method, and program

Info

Publication number: JP2008129027A
Application number: JP2006309874A
Authority: JP
Inventors: Tsukasa Kirisawa; 司桐澤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-11-16
Filing date: 2006-11-16
Publication date: 2008-06-05

Abstract

<P>PROBLEM TO BE SOLVED: To perform an appropriate backlight determination of an image taken with an image taking device by limited backlight patterns. <P>SOLUTION: An image acquisition part 210 acquires an image taken and separates a high luminance area and a low luminance area from the image area of the image taken. A backlight area extraction part 220 extracts a backlight area from the separated low luminance area using limited backlight patterns. A light intensity ratio calculation part 230 calculates a proportion of an average luminance value of the extracted backlight area to an average luminance value of the separated high luminance area as a light intensity ratio X. A backlight degree calculation part 240 calculates a degree of backlight that represents a degree of the backlight state based on the calculated light intensity ratio. A correction factor calculation part 260 calculates a correction factor based on the amount of exposure in the image taking environment. A backlight degree correction part 270 corrects the degree of backlight based on the degree of backlight and the correction factor. A backlight state determination part 280 determines whether the image taken is in the backlight state by comparing the corrected backlight degree with the threshold value of the backlight determination. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置に関し、特に撮像画像が逆光状態であるか否かを判別する逆光判別装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。 The present invention relates to an imaging apparatus, and more particularly to a backlight discrimination apparatus that discriminates whether or not a captured image is in a backlight state, a processing method therefor, and a program that causes a computer to execute the method.

従来、撮像装置においては、撮像画像が逆光状態のときに、ストロボ発光や露出補正等によって適正な撮像画像を取得する処理が行われている。その際、撮像画像が逆光状態であるか否かの判別方法としては、輝度値毎の画素数の分布を示すヒストグラムの傾向から判別する方法がある。このヒストグラムにおいて、明るい輝度値および暗い輝度値の画素数が多くなる傾向があれば、逆光状態である可能性が高いと判別することができる。 2. Description of the Related Art Conventionally, in an imaging device, when a captured image is in a backlight state, processing for acquiring an appropriate captured image by strobe light emission or exposure correction is performed. At this time, as a method of determining whether or not the captured image is in the backlight state, there is a method of determining from the tendency of the histogram indicating the distribution of the number of pixels for each luminance value. In this histogram, if there is a tendency that the number of pixels having a bright luminance value and a dark luminance value increases, it can be determined that there is a high possibility of being in a backlight state.

また、別の判別方法としては、撮像画像上の輝度値の測定によって、逆光領域の配置である逆光パターンによって逆光領域とそれ以外の領域である通常領域を分離して、逆光領域と通常領域の平均輝度値の差が大きければ逆光状態である可能性が高いと判別する方法もある。 As another discrimination method, by measuring the luminance value on the captured image, the backlight region is separated from the normal region which is the other region by the backlight pattern which is the arrangement of the backlight region, and the backlight region and the normal region are separated. There is also a method of determining that there is a high possibility of being in a backlight state if the difference in average luminance value is large.

また、上述の２つの判別方法を組み合わせて使用する判別方法も提案されている。例えばヒストグラムにおいて輝度の分布領域を高輝度領域と中輝度領域と低輝度領域とに分離して、それぞれの領域に対応する画素数の分布傾向を用いるとともに、逆光パターンによって分離された逆光領域と通常領域の平均輝度値の比率を用いることにより、逆光状態であるか否かの判別を行うシステムが提案されている（例えば、特許文献１参照。）。
特開２００４−２３５９５６号公報（図１） In addition, a discrimination method using a combination of the above two discrimination methods has also been proposed. For example, in a histogram, the luminance distribution area is separated into a high luminance area, a medium luminance area, and a low luminance area, and the distribution tendency of the number of pixels corresponding to each area is used, and the backlight area separated from the backlight pattern and the normal area There has been proposed a system for determining whether or not a backlight is in a backlight state by using a ratio of average luminance values of regions (see, for example, Patent Document 1).
Japanese Patent Laying-Open No. 2004-235958 (FIG. 1)

上述の従来技術では、逆光状態は多様であるため、逆光判別するためには多数の逆光パターンを保持しなければならなくなる。しかも、逆光パターンの数が多くなると逆光判別の時間が長くなる。一方、逆光パターンの数をいくら多くしても、逆光状態が規定の逆光パターンにない逆光領域の配置であるときには逆光状態であると判定されない。また、ヒストグラムのみから逆光判別をしただけでは、撮像環境の露光量の変動等によって逆光判定に違いが出て、被写体の逆光状態を的確に判定できない。 In the above-described prior art, since the backlight state is various, it is necessary to hold a large number of backlight patterns in order to determine the backlight. In addition, as the number of backlight patterns increases, the time for backlight discrimination increases. On the other hand, no matter how many backlight patterns are provided, it is not determined that the backlight state is in the backlight state when the backlight state is an arrangement of a backlight region that does not exist in the prescribed backlight pattern. Also, if the backlight is determined only from the histogram, the backlight determination is different due to the variation in the exposure amount of the imaging environment, and the backlight state of the subject cannot be determined accurately.

そこで、本発明は、撮像画像において限られた逆光パターンにより適正な逆光判断をすることを目的とする。 Accordingly, an object of the present invention is to make an appropriate backlight determination based on a limited backlight pattern in a captured image.

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像画像を取得して高輝度領域および低輝度領域の少なくとも２つの領域に分離する画像取得手段と、上記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手段と、上記高輝度領域における輝度値の平均値と上記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手段と、上記光量比に基づいて逆光度を算出する逆光度算出手段と、上記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手段とを具備することを特徴とする逆光判別装置である。これにより、撮像画像の低輝度領域から逆光領域を抽出して、撮像画像の高輝度領域における輝度値の平均値と逆光領域における輝度値の平均値の割合に基づいて逆光状態か否かを判定させるという作用をもたらす。 The present invention has been made in order to solve the above problems, and a first aspect of the present invention is an image acquisition unit that acquires a captured image and separates it into at least two regions, a high-luminance region and a low-luminance region, A backlight region extracting means for searching for a region where the average value of the luminance value is lowest with respect to a predetermined backlight pattern in the low luminance region and extracting it as a backlight region; an average value of the luminance value in the high luminance region and the backlight A light amount ratio calculating means for calculating a ratio of an average value of luminance values in a region as a light amount ratio, a reverse light intensity calculating means for calculating a backlight intensity based on the light amount ratio, and the backlight intensity exceeding a predetermined threshold And a backlight state determining means for determining that the backlight is in the backlight state. As a result, the backlight region is extracted from the low-brightness region of the captured image, and it is determined whether or not the backlight state is based on the ratio of the average value of the luminance value in the high-brightness region of the captured image and the average value of the luminance value in the backlight region. It brings about the effect of letting.

また、この第１の側面において、上記逆光度算出手段は、上記光量比の余事象として上記逆光度を算出することを特徴とする。これにより、輝度値が均一で逆光状態が全く無い状態に対して、輝度値がどの程度不足しているのかを示す逆光度に基づいて、撮像画像の逆光状態を判別させるという作用をもたらす。 In the first aspect, the backlight intensity calculating means calculates the backlight intensity as an after event of the light amount ratio. Accordingly, there is an effect that the backlight state of the captured image is determined based on the backlight intensity indicating how much the brightness value is insufficient with respect to the state where the brightness value is uniform and there is no backlight state at all.

また、この第１の側面において、上記画像取得手段は、上記撮像画像の上部の所定の領域を上記高輝度領域とし、上記撮像画像の下部の所定の領域を上記低輝度領域とすることを特徴とする。これにより、撮像画像について、統計上において輝度値が高い領域と、統計上において輝度値が低い領域とに分離させるという作用をもたらす。 In the first aspect, the image acquisition means sets a predetermined area above the captured image as the high luminance area and a predetermined area below the captured image as the low luminance area. And This brings about the effect | action that a picked-up image is isolate | separated into the area | region where a luminance value is statistically high and the area | region where a luminance value is statistically low.

また、この第１の側面において、上記逆光状態判定手段における上記判定の結果として上記逆光状態であるか否かの判定結果を保存する逆光判定保持手段をさらに具備し、上記逆光状態判定手段は、上記判定結果が上記逆光状態であるときに上記所定の閾値をより低い値に変更することを特徴とする。これにより、１フレーム前の撮像状態に基づいて、逆光状態の判定に用いられる閾値を変動させるという作用をもたらす。 Further, in the first aspect, the apparatus further includes a backlight determination holding unit that stores a determination result as to whether or not the backlight state is determined as a result of the determination in the backlight state determination unit, and the backlight state determination unit includes: When the determination result is the backlight state, the predetermined threshold value is changed to a lower value. This brings about the effect that the threshold value used for the determination of the backlight state is changed based on the imaging state of the previous frame.

また、この第１の側面において、上記画像取得手段は、上記撮像画像の上部の所定の領域を上記高輝度領域として上記撮像画像の下部の所定の領域を上記低輝度領域とする第１の配置と、上記撮像画像の左部の所定の領域を上記高輝度領域として上記撮像画像の右部の所定の領域を上記低輝度領域とする第２の配置と、上記撮像画像の右部の所定の領域を上記高輝度領域として上記撮像画像の左部の所定の領域を上記低輝度領域とする第３の配置との少なくとも３つの配置についてそれぞれ少なくとも２つの領域に分離し、上記逆光度算出手段は、上記３つの配置のうち算出された上記逆光度が最も高いものを正しい配置として判定してその配置の上記逆光度を出力することを特徴とする。これにより、撮像装置の撮像方向を判別し、その撮像方向に対して逆光状態を判定させるという作用をもたらす。 Further, in the first aspect, the image acquisition means has a first arrangement in which a predetermined area above the captured image is the high luminance area and a predetermined area below the captured image is the low luminance area. A second arrangement in which a predetermined region on the left side of the captured image is the high luminance region and a predetermined region on the right side of the captured image is the low luminance region; and a predetermined region on the right side of the captured image The backlight intensity calculating means is configured to separate each of at least three areas from the third arrangement in which the area is the high-luminance area and the predetermined area on the left side of the captured image is the low-luminance area. Among the three arrangements, the one having the highest calculated backlight intensity is determined as a correct arrangement, and the backlight intensity of the arrangement is output. Thereby, the effect of determining the imaging direction of the imaging device and determining the backlight state with respect to the imaging direction is brought about.

また、この第１の側面において、上記撮像画像が撮像された際の露光量を取得する露光量取得手段と、上記露光量に基づいて上記逆光度の補正の必要度を補正率として算出する補正率算出手段と、上記補正率に基づいて上記逆光度を補正する逆光度補正手段とをさらに具備することを特徴とする。これにより、撮像環境の露光量に適応する補正した逆光度に基づいて、逆光状態を判定させるという作用をもたらす。 Further, in the first aspect, an exposure amount acquisition unit that acquires an exposure amount when the captured image is captured, and a correction that calculates the necessity of correcting the backlight intensity based on the exposure amount as a correction rate The apparatus further comprises a rate calculating means and a backlight intensity correcting means for correcting the backlight intensity based on the correction factor. This brings about the effect that the backlight state is determined based on the corrected backlight intensity adapted to the exposure amount of the imaging environment.

また、本発明の第２の側面は、被写体を撮像して撮像画像を生成する撮像手段と、上記撮像画像を取得して高輝度領域および低輝度領域の少なくとも２つの領域に分離する画像取得手段と、上記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手段と、上記高輝度領域における輝度値の平均値と上記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手段と、上記光量比に基づいて逆光度を算出する逆光度算出手段と、上記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手段とを具備することを特徴とする撮像装置である。これにより、撮像した撮像画像の低輝度領域から逆光領域を抽出して、撮像画像の高輝度領域における輝度値の平均値と逆光領域における輝度値の平均値の割合に基づいて逆光状態か否かを判定させるという作用をもたらす。 According to a second aspect of the present invention, there is provided an imaging unit that images a subject and generates a captured image, and an image acquisition unit that acquires the captured image and separates the captured image into at least two regions of a high luminance region and a low luminance region. And a backlight region extracting means for searching for a region where the average value of the luminance value is lowest with respect to a predetermined backlight pattern in the low luminance region and extracting it as a backlight region, and an average value of the luminance values in the high luminance region, A light intensity ratio calculating means for calculating a ratio of an average value of luminance values in the backlight area as a light intensity ratio; a backlight intensity calculating means for calculating a backlight intensity based on the light intensity ratio; and the backlight intensity exceeding a predetermined threshold value. An imaging apparatus comprising: a backlight state determination unit that determines that the backlight is in a backlight state. As a result, a backlight region is extracted from the low-brightness region of the captured image, and whether or not the backlight state is based on the ratio of the average luminance value in the high-brightness region and the average luminance value in the backlight region of the captured image. It brings about the effect of making it judge.

また、本発明の第３の側面は、上記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手順と、上記高輝度領域における輝度値の平均値と上記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手順と、上記光量比に基づいて逆光度を算出する逆光度算出手順と、上記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手順とを具備することを特徴とする逆光判別方法またはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、撮像画像の低輝度領域から逆光領域を抽出して、撮像画像の高輝度領域における輝度値の平均値と逆光領域における輝度値の平均値の割合に基づいて逆光状態か否かを判定させるという作用をもたらす。 The third aspect of the present invention is a backlight region extraction procedure for searching for a region where the average value of the luminance value is lowest with respect to a predetermined backlight pattern in the low luminance region and extracting it as a backlight region, A light amount ratio calculating procedure for calculating a ratio of the average value of the luminance values in the luminance region and the average value of the luminance values in the backlight region as a light amount ratio; a backlight intensity calculating procedure for calculating the backlight intensity based on the light amount ratio; A backlight discrimination method comprising determining a backlight condition when the backlight intensity exceeds a predetermined threshold, or a program for causing a computer to execute the procedure is there. As a result, the backlight region is extracted from the low-brightness region of the captured image, and it is determined whether or not the backlight state is based on the ratio of the average value of the luminance value in the high-brightness region of the captured image and the average value of the luminance value in the backlight region. It brings about the effect of letting.

本発明によれば、撮像画像において限られた逆光パターンにより適正な逆光判断をすることができるという優れた効果を奏し得る。 According to the present invention, it is possible to achieve an excellent effect that an appropriate backlight determination can be made with a limited backlight pattern in a captured image.

次に本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 FIG. 1 is a block diagram illustrating a functional configuration example of an imaging apparatus 100 according to an embodiment of the present invention.

この撮像装置１００は、レンズ部１１０と、撮像素子１２０と、アナログ信号処理部１３０と、デジタル信号処理部１４０と、表示部１５０と、レンズ制御部１６０と、タイミングジェネレータ１７０と、システム制御部１８０と、ストロボ１９０と、撮像操作受付部２００とを備える。 The imaging apparatus 100 includes a lens unit 110, an image sensor 120, an analog signal processing unit 130, a digital signal processing unit 140, a display unit 150, a lens control unit 160, a timing generator 170, and a system control unit 180. And a strobe 190 and an imaging operation accepting unit 200.

レンズ部１１０は、被写体の光を集光して、被写体の光学画像を撮像素子１２０上に形成するものである。また、レンズ部１１０は、レンズ制御部１６０からの制御に基づいて絞り値調整やシャッタースピード調整等によって入射する光の量を調整する。 The lens unit 110 collects light of the subject and forms an optical image of the subject on the image sensor 120. Further, the lens unit 110 adjusts the amount of incident light by adjusting the aperture value, adjusting the shutter speed, or the like based on the control from the lens control unit 160.

撮像素子１２０は、レンズ部１１０によって形成された光学画像を電気信号に変換し、アナログ映像信号として出力するものである。この撮像素子１２０としては、例えばＣＣＤセンサー（Charge Coupled Devices Sensor）等が使用される。 The image sensor 120 converts an optical image formed by the lens unit 110 into an electrical signal and outputs it as an analog video signal. As the image sensor 120, for example, a CCD sensor (Charge Coupled Device Sensor) or the like is used.

アナログ信号処理部１３０は、撮像素子１２０から出力されたアナログ映像信号をＡ／Ｄコンバータ（Analog to Digital converter）によってデジタル映像信号に変換するものである。また、アナログ信号処理部１３０は、撮像素子１２０から出力されたアナログ映像信号に含まれるリセットノイズ等をＳ／Ｈ（Sample and Hold）回路等で除去する。また、アナログ信号処理部１３０は、システム制御部１８０からの制御に基づいて、アナログ映像信号の利得をＡＧＣ（Automatic Gain Control）によって調整する。 The analog signal processing unit 130 converts the analog video signal output from the image sensor 120 into a digital video signal by an A / D converter (Analog to Digital converter). In addition, the analog signal processing unit 130 removes reset noise and the like included in the analog video signal output from the image sensor 120 with an S / H (Sample and Hold) circuit or the like. Further, the analog signal processing unit 130 adjusts the gain of the analog video signal by AGC (Automatic Gain Control) based on the control from the system control unit 180.

デジタル信号処理部１４０は、アナログ信号処理部１３０から出力されたデジタル映像信号に適正な信号処理を施して、輝度信号と色差信号を表示部１５０に出力するものである。また、デジタル信号処理部１４０は、逆光状態の判定に必要となる撮像画像をシステム制御部１８０に出力する。 The digital signal processing unit 140 performs appropriate signal processing on the digital video signal output from the analog signal processing unit 130 and outputs a luminance signal and a color difference signal to the display unit 150. Further, the digital signal processing unit 140 outputs a captured image necessary for determining the backlight state to the system control unit 180.

表示部１５０は、デジタル信号処理部１４０から出力された輝度信号と色差信号に基づいてガンマ補正やコントラスト補正等の所定の信号処理を施して画像を表示するものである。 The display unit 150 displays an image by performing predetermined signal processing such as gamma correction and contrast correction based on the luminance signal and the color difference signal output from the digital signal processing unit 140.

レンズ制御部１６０は、システム制御部１８０からの制御に基づいてレンズ部１１０の絞り値調整やシャッタースピード調整等の制御を行うものである。これにより、逆光状態の撮像画像に対して適正な露出補正処理がされるようにレンズ部１１０を制御する。 The lens control unit 160 performs control such as aperture value adjustment and shutter speed adjustment of the lens unit 110 based on the control from the system control unit 180. Thereby, the lens unit 110 is controlled so that an appropriate exposure correction process is performed on the captured image in the backlight state.

タイミングジェネレータ１７０は、撮像素子１２０の駆動に必要となる水平軸や垂直軸の各種駆動パルスを撮像素子１２０に供給し、撮像素子１２０とアナログ信号処理部１３０の処理の同期に必要な基準パルスを撮像素子１２０に供給するものである。 The timing generator 170 supplies various drive pulses on the horizontal axis and the vertical axis necessary for driving the image sensor 120 to the image sensor 120, and generates reference pulses necessary for synchronizing the processing of the image sensor 120 and the analog signal processing unit 130. This is supplied to the image sensor 120.

システム制御部１８０は、撮像画像が逆光状態であるか否かを判定し、その判定結果に基づいて、アナログ信号処理部１３０、デジタル信号処理部１４０、表示部１５０、レンズ制御部１６０、タイミングジェネレータ１７０、ストロボ１９０および撮像操作受付部２００等の各部の制御および全体の制御を行うものである。さらにシステム制御部１８０は、撮像画像が逆光状態であるか否かを判定するための各種の機能を備えている。 The system control unit 180 determines whether the captured image is in a backlight state, and based on the determination result, the analog signal processing unit 130, the digital signal processing unit 140, the display unit 150, the lens control unit 160, a timing generator. 170, control of the respective units such as the strobe 190 and the imaging operation receiving unit 200, and overall control. Further, the system control unit 180 has various functions for determining whether or not the captured image is in a backlight state.

ストロボ１９０は、システム制御部１８０からの制御に基づいて、被写体に光を照射するために発光するものである。このストロボ１９０の発光によって、撮像画像における逆光領域の輝度値が上がり、逆光状態が改善される。 The strobe 190 emits light to irradiate the subject with light based on the control from the system control unit 180. By the light emission of the strobe 190, the luminance value of the backlight region in the captured image increases, and the backlight state is improved.

撮像操作受付部２００は、撮像操作の指示を受け付けるものであり、例えばシャッターボタンによって実現される。この撮像操作の指示に連動して、ストロボ１９０の発光や撮像動作等が行われる。 The imaging operation reception unit 200 receives an imaging operation instruction and is realized by, for example, a shutter button. In synchronization with this imaging operation instruction, the flash 190 emits light, performs an imaging operation, and the like.

次に本発明の実施の形態における逆光状態の判定について図面を参照して説明する。 Next, determination of the backlight state in the embodiment of the present invention will be described with reference to the drawings.

図２は、本発明の実施の形態におけるシステム制御部１８０による逆光判定の機能構成例を示すブロック図である。 FIG. 2 is a block diagram illustrating a functional configuration example of backlight determination by the system control unit 180 according to the embodiment of the present invention.

システム制御部１８０は、画像取得部２１０と、逆光領域抽出部２２０と、光量比算出部２３０と、逆光度算出部２４０と、露光量取得部２５０と、補正率算出部２６０と、逆光度補正部２７０と、逆光状態判定部２８０と、逆光判定保持部２９０とを備える。 The system control unit 180 includes an image acquisition unit 210, a backlight region extraction unit 220, a light amount ratio calculation unit 230, a backlight intensity calculation unit 240, an exposure amount acquisition unit 250, a correction factor calculation unit 260, and backlight intensity correction. Unit 270, backlight state determination unit 280, and backlight determination holding unit 290.

画像取得部２１０は、デジタル信号処理部１４０から撮像画像を取得して、その撮像画像を高輝度領域および低輝度領域の少なくとも２つの領域に分離するものである[0]。ここで、高輝度領域は、想定される配置（画像方向）における上部に定義される。また、低輝度領域は、想定される配置（画像方向）における下部に定義される。これら高輝度領域および低輝度領域の何れにも該当しない領域が撮像画像に存在してもよい。この分離は、撮像画像がどの撮像方向で撮像されているかを判断するため、３方向において行われる。また、画像取得部２１０は、撮像画像における高輝度領域の画像を光量比算出部２３０に出力し、撮像画像における高輝度領域の画像を逆光領域抽出部２２０に出力する。 The image acquisition unit 210 acquires a captured image from the digital signal processing unit 140 and separates the captured image into at least two regions, a high luminance region and a low luminance region [0]. Here, the high luminance region is defined in the upper part in the assumed arrangement (image direction). Further, the low luminance region is defined in the lower part in the assumed arrangement (image direction). A region that does not correspond to either the high luminance region or the low luminance region may exist in the captured image. This separation is performed in three directions in order to determine in which imaging direction the captured image is captured. Further, the image acquisition unit 210 outputs the image of the high brightness area in the captured image to the light amount ratio calculation unit 230 and outputs the image of the high brightness area in the captured image to the backlight area extraction unit 220.

逆光領域抽出部２２０は、画像取得部２１０から供給された低輝度領域の画像において、逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出するものである[0]。この探索の際、撮像画像における低輝度領域において逆光パターンが順次移動され、各位置における平均輝度値が測定される。なお、この逆光領域の抽出は、上述の３方向の配置のそれぞれについて行われる。 The backlight region extraction unit 220 searches for a region where the average luminance value is the lowest with respect to the backlight pattern in the image of the low luminance region supplied from the image acquisition unit 210 and extracts it as a backlight region [ 0]. During this search, the backlight pattern is sequentially moved in the low luminance region in the captured image, and the average luminance value at each position is measured. Note that the extraction of the backlight region is performed for each of the above-described arrangements in the three directions.

光量比算出部２３０は、画像取得部２１０において分離された高輝度領域と、逆光領域抽出部２２０において抽出された逆光領域の平均輝度値との割合を光量比Ｘとして算出するものである。これによって、撮像画像上の平均輝度値が高い領域と平均輝度値が低い部分の比率が算出される。なお、この光量比Ｘの算出は、上述の３方向の配置のそれぞれについて行われる。 The light amount ratio calculation unit 230 calculates a ratio between the high luminance region separated by the image acquisition unit 210 and the average luminance value of the backlight region extracted by the backlight region extraction unit 220 as the light amount ratio X. As a result, the ratio between the region with a high average luminance value on the captured image and the portion with a low average luminance value is calculated. The calculation of the light amount ratio X is performed for each of the above-described arrangements in the three directions.

逆光度算出部２４０は、光量比算出部２３０において算出された光量比Ｘに基づいて、逆光状態の度合いである逆光度Ｊ１を算出するものである。また、この逆光度Ｊ１の算出は、上述の３方向の配置のそれぞれについて行われ、算出された逆光度が最も高いものが正しい配置と判定される。この逆光度Ｊ１は、撮像画像上の輝度値が均一であると仮定した場合の光量比（１００％）から光量比Ｘ１を減算することにより算出される。すなわち、光量比Ｘ１の余事象として逆光度Ｊ１が算出される。これによって、輝度値が均一で逆光状態が全く無い状態に対して、輝度値がどの程度不足しているのかを示す逆光度ＪＩが算出される。 The backlight intensity calculator 240 calculates the backlight intensity J1 that is the degree of the backlight state based on the light intensity ratio X calculated by the light intensity ratio calculator 230. Further, the calculation of the backlight intensity J1 is performed for each of the arrangements in the three directions described above, and the one with the highest calculated backlight intensity is determined as the correct layout. The backlight intensity J1 is calculated by subtracting the light amount ratio X1 from the light amount ratio (100%) when it is assumed that the luminance value on the captured image is uniform. That is, the backlight intensity J1 is calculated as an after event of the light quantity ratio X1. Thereby, the backlight intensity JI indicating how much the brightness value is insufficient with respect to the state where the brightness value is uniform and there is no backlight state at all is calculated.

露光量取得部２５０は、シャッタースピード、絞り値および撮像画像の明るさ等から露光量を取得するものである。この露光量は、撮像環境の明るさを示しており、ＥＶ（Exposure Value）の単位で表せられる。これは、撮像装置１００において絞り値がＦ１．０であり、シャッタースピードが１秒のときの露光量を０ＥＶであると定義して、そこから絞り値またはシャッタースピードが１段上がるごとに１ＥＶずつ増えるものと定義するものである。例えば、撮像装置１００のＩＳＯ感度が１００である場合は、室内の明るさは５ＥＶ程度であり、夕方の明るさは７ＥＶ程度であり、晴天の明るさは１７ＥＶ程度であると考えられる。ここで、絞り値をＡＶとし、シャッタースピードをＴＶとし、ＡＧＣの利得量をＳＶとし、レンズ部１１０に入射された光量をＢＶとすると露光量ＥＶは次式によって算出される。
ＥＶ＝ＡＶ＋ＴＶ＋ＳＶ＋ＢＶ The exposure amount acquisition unit 250 acquires the exposure amount from the shutter speed, the aperture value, the brightness of the captured image, and the like. This exposure amount indicates the brightness of the imaging environment and can be expressed in units of EV (Exposure Value). This is because the exposure value when the aperture value is F1.0 in the imaging apparatus 100 and the shutter speed is 1 second is defined as 0 EV, and from there, 1 EV each time the aperture value or shutter speed increases by one step. It is defined as an increase. For example, when the ISO sensitivity of the imaging apparatus 100 is 100, the brightness of the room is about 5 EV, the brightness of the evening is about 7 EV, and the brightness of the clear sky is about 17 EV. Here, when the aperture value is AV, the shutter speed is TV, the gain amount of AGC is SV, and the amount of light incident on the lens unit 110 is BV, the exposure amount EV is calculated by the following equation.
EV = AV + TV + SV + BV

補正率算出部２６０は、逆光度算出部２４０で算出された逆光度Ｊ１に対する補正の必要度を示す補正率Ｊ２を算出するものである。撮像環境の露光量によって逆光度Ｊ１の補正が必要になるため、露光量取得部２５０で取得された露光量に基づいてこの補正率Ｊ２が算出される。 The correction rate calculation unit 260 calculates a correction rate J2 indicating the degree of necessity for correction of the backlight intensity J1 calculated by the backlight intensity calculator 240. Since the backlight intensity J1 needs to be corrected depending on the exposure amount in the imaging environment, the correction factor J2 is calculated based on the exposure amount acquired by the exposure amount acquisition unit 250.

逆光度補正部２７０は、補正率算出部２６０において算出された補正率Ｊ２に基づいて逆光度算出部２４０で算出された逆光度Ｊ１の補正を行うものである。すなわち、逆光度Ｊ１に補正率Ｊ２が乗ぜられることにより、補正された逆光度である補正逆光度Ｒ０が算出される[0]。 The backlight intensity correction unit 270 corrects the backlight intensity J1 calculated by the backlight intensity calculator 240 based on the correction factor J2 calculated by the correction factor calculator 260. That is, the corrected backlight intensity R0, which is the corrected backlight intensity, is calculated by multiplying the backlight intensity J1 by the correction factor J2 [0].

逆光状態判定部２８０は、逆光度補正部２７０で算出された補正逆光度Ｒ０と、逆光状態の閾値Ｒを比較して、逆光度が既定の閾値Ｒを超えていれば逆光状態であると判定し、この判定の結果を出力するものである。この逆光状態の閾値Ｒは、１フレーム前に行われた撮像画像が逆光状態であった場合、より低い値に変更される。なお、１フレーム前が逆光状態であったか否かの判定結果は、逆光判定保持部２９０に保持されている。 The backlight state determination unit 280 compares the corrected backlight intensity R0 calculated by the backlight intensity correction unit 270 with the threshold value R of the backlight state, and determines that the backlight state is in the backlight state if the backlight intensity exceeds a predetermined threshold value R. The result of this determination is output. The threshold value R of the backlight state is changed to a lower value when the captured image performed one frame before is in the backlight state. Note that the determination result of whether or not the previous frame was in the backlight state is held in the backlight determination holding unit 290.

逆光判定保持部２９０は、逆光状態判定部２８０から出力された逆光状態の判定の結果を保持するものである。この逆光判定保持部２９０に保持された判定の結果は、逆光状態判定部２８０における次のフレームの判定の際に参照される。 The backlight determination holding unit 290 holds the result of the backlight state determination output from the backlight state determination unit 280. The determination result held in the backlight determination holding unit 290 is referred to when the backlight state determination unit 280 determines the next frame.

図３は、本発明の実施の形態における撮像画像が高輝度領域３３０と低輝度領域３４０に分離される例を示す図である。 FIG. 3 is a diagram illustrating an example in which a captured image according to the embodiment of the present invention is separated into a high luminance region 330 and a low luminance region 340.

図３（ａ）は、被写体３１０の撮像画像の領域である撮像領域３００を所定の面積のブロック３２０に分割する例を示す図である。この例では、撮像領域３００は、縦方向と横方向にそれぞれ７分割され、輝度値の測定の単位となるブロック３２０に分割される。 FIG. 3A is a diagram illustrating an example in which an imaging region 300 that is a region of a captured image of the subject 310 is divided into blocks 320 having a predetermined area. In this example, the imaging region 300 is divided into seven parts in the vertical direction and the horizontal direction, and is divided into blocks 320 that are units of measurement of luminance values.

図３（ｂ）は、撮像画像を高輝度領域３３０と低輝度領域３４０に分離した図である。この例では、撮像領域３００の上部を高輝度領域３３０とし、撮像領域３００の下部を低輝度領域３４０として分離している。このように分離する理由は、逆光状態を示す撮像画像の統計上、撮像領域３００の上部に輝度値が高い領域が存在し、撮像領域３００の下部に輝度値が低い領域が存在する傾向があるからである。例えば、昼間に光源である太陽が高い位置にあり、被写体３１０が太陽を背にして立っていたと仮定する。この場合、撮像領域３００の上部は光源の太陽があるため輝度値が高くなり、撮像領域３００の下部は影ができるため輝度値が低くなる。 FIG. 3B is a diagram in which the captured image is separated into a high luminance region 330 and a low luminance region 340. In this example, the upper part of the imaging region 300 is separated as a high luminance region 330 and the lower part of the imaging region 300 is separated as a low luminance region 340. The reason for such separation is that, according to the statistics of the captured image indicating the backlight state, there is a tendency that a region with a high luminance value exists above the imaging region 300 and a region with a low luminance value exists below the imaging region 300. Because. For example, it is assumed that the sun as a light source is at a high position in the daytime and the subject 310 is standing with the sun behind. In this case, the luminance value is high because the upper part of the imaging region 300 is the sun of the light source, and the luminance value is low because a shadow is formed in the lower part of the imaging region 300.

ただし、このように撮像領域３００を高輝度領域３３０と低輝度領域３４０に分離したとしても、撮像装置１００の撮像方向が変わった場合は、その撮像方向に合致した分離をする必要がある。そのため、本発明の実施の形態では、撮像画像が何れの撮像方向で撮像されているかを判断するために、３方向の配置（画像方向）に対して撮像領域３００から高輝度領域３３０と低輝度領域３４０を分離する。 However, even if the imaging region 300 is separated into the high luminance region 330 and the low luminance region 340 in this way, when the imaging direction of the imaging device 100 changes, it is necessary to perform separation that matches the imaging direction. Therefore, in the embodiment of the present invention, in order to determine in which imaging direction the captured image is captured, from the imaging region 300 to the high luminance region 330 and the low luminance with respect to the arrangement in three directions (image direction). Isolate region 340.

図４は、本発明の実施の形態における逆光領域抽出部２２０による低輝度領域３４０から逆光領域を抽出する手順を示した図である。 FIG. 4 is a diagram showing a procedure for extracting a backlight region from the low luminance region 340 by the backlight region extraction unit 220 according to the embodiment of the present invention.

図４（ａ）は、本発明の実施の形態における逆光パターン３５０を示す図である。この逆光パターン３５０は、撮像画像における逆光領域の位置を示すためのものである。この逆光パターン３５０によって、低輝度領域３４０の平均輝度値を順次測定する。この逆光パターン３５０は、撮像領域３００の１０％〜３０％程度の大きさで決められる。逆光パターン３５０の大きさが撮像領域３００の大きさの１０％未満になると、測定される平均輝度値の変動が大きくなって誤検知が多くなり、逆に逆光パターン３５０の大きさが撮像領域３００の大きさの３０％を越えると、逆光領域が広くなって厳密な逆光領域の抽出がされなくなるおそれがある。この例では、逆光パターン３５０は、縦方向と横方向にそれぞれ３個のブロック３２０によって構成されている。 FIG. 4A is a diagram showing a backlight pattern 350 in the embodiment of the present invention. The backlight pattern 350 is for indicating the position of the backlight region in the captured image. By using the backlight pattern 350, the average luminance value of the low luminance region 340 is sequentially measured. The backlight pattern 350 is determined with a size of about 10% to 30% of the imaging region 300. When the size of the backlight pattern 350 is less than 10% of the size of the imaging region 300, the measured average luminance value fluctuates to increase false detection, and conversely, the size of the backlight pattern 350 is the imaging region 300. If it exceeds 30% of the size, there is a possibility that the backlight region becomes wide and the backlight region cannot be extracted accurately. In this example, the backlight pattern 350 includes three blocks 320 in the vertical direction and the horizontal direction, respectively.

図４（ｂ）乃至（ｆ）は、逆光パターン３５０が低輝度領域３４０を順次測定するときの逆光パターン３５０の配置を示した図である。 FIGS. 4B to 4F are diagrams showing the arrangement of the backlight pattern 350 when the backlight pattern 350 sequentially measures the low-luminance region 340. FIG.

逆光パターン３５０は、低輝度領域３４０の左側からブロック３２０を１つずつ右側に移動して平均輝度値を順次測定している。その際、被写体３１０は、撮像領域３００の中央から右側寄りに位置している。そのため、逆光パターン３５０は、図４（ｅ）または図４（ｆ）の逆光パターン３５０の位置において平均輝度値が最も低くなると予想される。このように、逆光領域抽出部２２０は、低輝度領域３４０において輝度値の平均値が最も低くなる領域を逆光パターン３５０の配置によって抽出する。 In the backlight pattern 350, the average luminance value is sequentially measured by moving the block 320 one by one from the left side of the low luminance region 340 to the right side. At that time, the subject 310 is located on the right side from the center of the imaging region 300. Therefore, the backlight pattern 350 is expected to have the lowest average luminance value at the position of the backlight pattern 350 in FIG. 4E or FIG. As described above, the backlight region extraction unit 220 extracts the region where the average value of the luminance values is the lowest in the low luminance region 340 by the arrangement of the backlight pattern 350.

図５は、本発明の実施の形態における逆光度算出部２４０による撮像方向の検出方法について示した図である。 FIG. 5 is a diagram illustrating an imaging direction detection method performed by the backlight intensity calculation unit 240 according to the embodiment of the present invention.

図５（ａ）は、撮像方向が横方向であるときの高輝度領域３３０と逆光領域３６０の配置を示している。このように、撮像方向が横方向であるときは、撮像領域３００の上部の位置に高輝度領域３３０があり、撮像領域３００の下部に逆光領域３６０がある配置になる。 FIG. 5A shows the arrangement of the high luminance region 330 and the backlight region 360 when the imaging direction is the horizontal direction. As described above, when the imaging direction is the horizontal direction, the high luminance area 330 is located at the upper position of the imaging area 300, and the backlight area 360 is located below the imaging area 300.

図５（ｂ）は、撮像装置１００が９０度右回転されて撮像方向が縦方向となったときの高輝度領域３３０と逆光領域３６０の配置を示している。このように、右回転により撮像されたときは、撮像領域３００の左部の位置に高輝度領域３３０があり、撮像領域３００の右部に逆光領域３６０がある配置になる。 FIG. 5B shows the arrangement of the high luminance region 330 and the backlight region 360 when the imaging apparatus 100 is rotated 90 degrees to the right and the imaging direction becomes the vertical direction. As described above, when the image is picked up by the right rotation, the high luminance region 330 is located at the left position of the image pickup region 300 and the backlight region 360 is located at the right portion of the image pickup region 300.

図５（ｃ）は、撮像装置１００が９０度左回転されて撮像方向が縦方向となったときの高輝度領域３３０と逆光領域３６０の配置を示している。このように、左回転により撮像されたときは、撮像領域３００の右部の位置に高輝度領域３３０があり、撮像領域３００の左部に逆光領域３６０がある配置になる。 FIG. 5C shows the arrangement of the high luminance area 330 and the backlight area 360 when the imaging apparatus 100 is rotated 90 degrees counterclockwise and the imaging direction becomes the vertical direction. As described above, when the image is picked up by the left rotation, the high luminance region 330 is located at the right position of the image pickup region 300 and the backlight region 360 is located at the left portion of the image pickup region 300.

逆光度算出部２４０は、それぞれの撮像方向において、高輝度領域３３０と逆光領域３６０の平均輝度値から逆光度Ｊ１を算出する。その結果、３つの配置（画像方向）のうち算出された逆光度Ｊ１が最も高いものを正しい配置として判定する。例えば、この例では、図５（ｄ）のように横方向の配置が正しい配置として判定されている The backlight intensity calculator 240 calculates the backlight intensity J1 from the average brightness values of the high brightness area 330 and the backlight area 360 in each imaging direction. As a result, among the three arrangements (image directions), the one with the highest calculated backlight intensity J1 is determined as the correct arrangement. For example, in this example, the horizontal arrangement is determined as the correct arrangement as shown in FIG.

図６は、本発明の実施の形態における補正率算出部２６０による補正率Ｊ２の算出方法の一例を示した図である。 FIG. 6 is a diagram showing an example of a method for calculating the correction factor J2 by the correction factor calculator 260 in the embodiment of the present invention.

ここでは、横軸方向に撮像環境の露光量が示され、縦軸方向に補正率Ｊ２が示されている。この関係を用いて、補正率算出部２６０は、露光量取得部２５０によって取得された露光量から補正率Ｊ２を算出する。 Here, the exposure amount of the imaging environment is shown in the horizontal axis direction, and the correction factor J2 is shown in the vertical axis direction. Using this relationship, the correction rate calculation unit 260 calculates the correction rate J2 from the exposure amount acquired by the exposure amount acquisition unit 250.

露光量がＥＶｓ以下のときに補正率Ｊ２は０％であり、露光量がＥＶｅ以上のときに補正率Ｊ２は１００％である。ここで、ＥＶｓは逆光度Ｊ１の補正率Ｊ２が変動し始める境界の露出量であり、露出量がＥＶｓを超えるまでは補正率Ｊ２は０％であるため、逆光度Ｊ１は一定値「０」を示す。また、ＥＶｅは逆光度Ｊ１の補正が不要になる境界の露出量であり、露出量がＥＶｅを超えると逆光度Ｊ１の補正は不要になることを意味する。このＥＶｅは夕景を目安として設定される。露光量がＥＶｓとＥＶｅの間の値を示すときに補正率Ｊ２は露光量に対応して増加する。ここでは直線的に増加する例を示しているが、これに限定されるものではない。 When the exposure amount is EVs or less, the correction rate J2 is 0%, and when the exposure amount is EVe or more, the correction rate J2 is 100%. Here, EVs is the exposure amount at the boundary where the correction factor J2 of the backlight intensity J1 starts to fluctuate. The correction factor J2 is 0% until the exposure amount exceeds EVs, and therefore the backlight intensity J1 is a constant value “0”. Indicates. Further, EVe is the exposure amount at the boundary where the correction of the backlight intensity J1 is unnecessary, and means that the correction of the backlight intensity J1 is unnecessary when the exposure amount exceeds EVe. This EVe is set with an evening scene as a guide. When the exposure amount shows a value between EVs and EVe, the correction factor J2 increases corresponding to the exposure amount. Here, an example of increasing linearly is shown, but the present invention is not limited to this.

この補正は、撮像環境の明るさによって逆光度Ｊ１が影響を受けることから、その影響を取り除くために行われるものである。また、この補正により、逆光状態判定部２８０における判定結果が連続的に切り替わること（ハンチング）を防止することができる。 This correction is performed to remove the influence of the backlight intensity J1 due to the brightness of the imaging environment. In addition, this correction can prevent the determination result in the backlight state determination unit 280 from continuously switching (hunting).

図７は、本発明の実施の形態における逆光状態判定部２８０による逆光状態の判定に用いられる閾値の変更について示した図である。この図７（ａ）乃至（ｃ）において、横軸は撮像動作の順番を示すフレーム番号であり、縦軸はそれぞれ逆光度Ｒと逆光判定閾値Ｒ０と逆光判定結果である。ここでは、前回の撮像動作の際に逆光状態ではないと判定された場合には逆光判定閾値Ｒ０は８０％に[0]設定され、前回の撮像動作の際に逆光状態であると判定された場合には逆光判定閾値Ｒ０は７０％に[0]設定されものと想定する。これにより、上述の補正とともに、逆光状態の判定結果が連続的に切り替わること（ハンチング）を防止する。 FIG. 7 is a diagram showing a change in threshold value used for determination of the backlight state by the backlight state determination unit 280 in the embodiment of the present invention. 7A to 7C, the horizontal axis represents frame numbers indicating the order of imaging operations, and the vertical axis represents backlight intensity R, backlight determination threshold value R0, and backlight determination result, respectively. Here, when it is determined that the backlight is not in the back-lighting state during the previous imaging operation, the backlight determination threshold value R0 is set to 80%, and it is determined that the backlight is in the back-lighting state during the previous imaging operation. In this case, it is assumed that the backlight determination threshold value R0 is set to [0] at 70%. Thereby, together with the above-described correction, the determination result of the backlight state is prevented from being switched continuously (hunting).

最初に、フレーム番号が「１」であるとき、逆光度Ｒは７０％未満であるのに対して、逆光判定閾値Ｒ０は８０％である。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていないことから、逆光状態ではないと判定する。 First, when the frame number is “1”, the backlight R is less than 70%, whereas the backlight determination threshold R0 is 80%. Therefore, the backlight state determination unit 280 determines that the backlight state is not the backlight state because the backlight intensity R does not exceed the backlight determination threshold value R0.

次に、フレーム番号が「２」であるとき、逆光度Ｒは７０％以上であるが８０％未満であるのに対して、逆光判定閾値Ｒ０は８０％である。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていないことから、逆光状態ではないと判定する。 Next, when the frame number is “2”, the backlight R is 70% or more but less than 80%, whereas the backlight determination threshold R0 is 80%. Therefore, the backlight state determination unit 280 determines that the backlight state is not the backlight state because the backlight intensity R does not exceed the backlight determination threshold value R0.

次に、フレーム番号が「３」であるとき、逆光度Ｒは７０％を越えているのに対して、逆光判定閾値Ｒ０は８０％である。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていることから、逆光状態であると判定する。 Next, when the frame number is “3”, the backlight intensity R exceeds 70%, while the backlight determination threshold value R0 is 80%. Therefore, the backlight state determination unit 280 determines that the backlight state is in the backlight state because the backlight intensity R exceeds the backlight determination threshold value R0.

次に、フレーム番号が「４」であるとき、逆光度Ｒは７０％を越えているが８０％未満である。その際、逆光状態判定部２８０は、１フレーム前の撮像画像に逆光があると判別したため、逆光判定閾値Ｒ０を７０％に変更する。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていることから、逆光状態であると判定する。 Next, when the frame number is “4”, the backlight intensity R exceeds 70% but is less than 80%. At that time, the backlight state determination unit 280 determines that there is backlight in the captured image of the previous frame, and therefore changes the backlight determination threshold value R0 to 70%. Therefore, the backlight state determination unit 280 determines that the backlight state is in the backlight state because the backlight intensity R exceeds the backlight determination threshold value R0.

次に、フレーム番号が「５」であるとき、逆光度Ｒは７０％を越えているが８０％未満である。その際、逆光状態判定部２８０は、１フレーム前の撮像画像に逆光があると判別したため、逆光判定閾値Ｒ０を７０％から変更しない。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていることから、逆光状態であると判定する。 Next, when the frame number is “5”, the backlight intensity R exceeds 70% but is less than 80%. At this time, the backlight state determination unit 280 determines that there is backlight in the captured image one frame before, and therefore does not change the backlight determination threshold value R0 from 70%. Therefore, the backlight state determination unit 280 determines that the backlight state is in the backlight state because the backlight intensity R exceeds the backlight determination threshold value R0.

次に、フレーム番号が「６」であるとき、逆光度Ｒは７０％未満である。その際、逆光状態判定部２８０は、１フレーム前の撮像画像に逆光があると判別したため、逆光判定閾値Ｒ０を７０％から変更しない。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていないことから、逆光状態ではないと判定する。 Next, when the frame number is “6”, the backlight intensity R is less than 70%. At this time, the backlight state determination unit 280 determines that there is backlight in the captured image one frame before, and therefore does not change the backlight determination threshold value R0 from 70%. Therefore, the backlight state determination unit 280 determines that the backlight state is not the backlight state because the backlight intensity R does not exceed the backlight determination threshold value R0.

次に、フレーム番号が「７」であるとき、逆光度Ｒは７０％を越えているが８０％未満である。その際、逆光状態判定部２８０は、１フレーム前の撮像画像に逆光がないと判別したため、逆光判定閾値Ｒ０を７０％から８０％に戻す。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていないことから、逆光状態ではないと判定する。 Next, when the frame number is “7”, the backlight intensity R is over 70% but less than 80%. At that time, the backlight state determination unit 280 determines that there is no backlight in the captured image one frame before, and thus returns the backlight determination threshold value R0 from 70% to 80%. Therefore, the backlight state determination unit 280 determines that the backlight state is not the backlight state because the backlight intensity R does not exceed the backlight determination threshold value R0.

次に、フレーム番号が「８」であるとき、逆光度Ｒは８０％を越えている。その際、逆光状態判定部２８０は、１フレーム前の撮像画像に逆光がないと判別したため、逆光判定閾値Ｒ０を８０％から変更しない。そのため、逆光状態判定部２８０は、逆光度Ｒが逆光判定閾値Ｒ０を越えていることから、逆光状態であると判定する。 Next, when the frame number is “8”, the backlight intensity R exceeds 80%. At that time, since the backlight state determination unit 280 determines that there is no backlight in the captured image of the previous frame, the backlight determination threshold value R0 is not changed from 80%. Therefore, the backlight state determination unit 280 determines that the backlight state is in the backlight state because the backlight intensity R exceeds the backlight determination threshold value R0.

図８は、本発明の実施の形態における撮像装置１００の処理手順例を示すフローチャートである。 FIG. 8 is a flowchart illustrating an example of a processing procedure of the imaging apparatus 100 according to the embodiment of the present invention.

最初に画像取得部２１０は、撮像素子１２０によって撮像された撮像画像を、デジタル信号処理部１４０を介して取得する（ステップＳ９１１）。 First, the image acquisition unit 210 acquires a captured image captured by the image sensor 120 via the digital signal processing unit 140 (step S911).

次に、露光量取得部２５０は、撮像装置１００の絞り値やシャッタースピード等の情報から露出量を取得する（ステップＳ９１２）。 Next, the exposure amount acquisition unit 250 acquires the exposure amount from information such as the aperture value and shutter speed of the imaging device 100 (step S912).

次に、ステップ９１１において取得された撮像画像に基づいて、逆光度Ｊ１が算出される（ステップＳ９３０）。 Next, the backlight intensity J1 is calculated based on the captured image acquired in step 911 (step S930).

次に、補正率算出部２６０は、ステップＳ９１２において取得された露出量に基づいて、補正率Ｊ２を算出する（ステップＳ９１３）。 Next, the correction factor calculation unit 260 calculates the correction factor J2 based on the exposure amount acquired in step S912 (step S913).

次に、逆光度補正部２７０は、ステップＳ９３０において算出された逆光度Ｊ１とステップ９１３において算出された補正率Ｊ２に基づいて、逆光度Ｊ１の補正された値である補正逆光度Ｒ０を算出する（ステップＳ９１４）。 Next, the backlight intensity correction unit 270 calculates a corrected backlight intensity R0 that is a corrected value of the backlight intensity J1 based on the backlight intensity J1 calculated in step S930 and the correction factor J2 calculated in step 913. (Step S914).

次に、逆光状態判定部２８０において、１フレーム前の撮像画像が逆光状態であったか否かが判断される（ステップＳ９１５）。その際、１フレーム前の撮像画像が逆光状態であった場合には、逆光判定閾値Ｒ０は７０％に設定される（ステップＳ９１６）。一方、１フレーム前の撮像画像が逆光状態でなかった場合には、逆光判定閾値Ｒ０は８０％に設定される（ステップＳ９１７）。 Next, the backlight state determination unit 280 determines whether or not the captured image of the previous frame is in the backlight state (step S915). At this time, if the captured image one frame before is in the backlight state, the backlight determination threshold value R0 is set to 70% (step S916). On the other hand, when the captured image one frame before is not in the backlight state, the backlight determination threshold value R0 is set to 80% (step S917).

続いて、逆光状態判定部２８０は、ステップＳ９１４において算出された補正逆光度Ｒと逆光判定閾値Ｒ０を比較して、ステップ９１１において取得した撮像画像が逆光状態であるか否かを判定する（ステップＳ９１８）。その際、撮像画像が逆光状態である場合には、システム制御部１８０が各部を制御して撮像状態が適正な状態になるように撮像画像を変換する（ステップＳ９１９）。 Subsequently, the backlight state determination unit 280 compares the corrected backlight intensity R calculated in step S914 and the backlight determination threshold value R0 to determine whether or not the captured image acquired in step 911 is in the backlight state (step). S918). At this time, if the captured image is in a backlight state, the system control unit 180 controls each unit to convert the captured image so that the captured state becomes an appropriate state (step S919).

図９は、本発明の実施の形態における逆光度Ｊ１の算出の処理手順例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of a processing procedure for calculating the backlight intensity J1 in the embodiment of the present invention.

まず、３つの配置（画像方向）から１つが選択される（ステップＳ９３１）。なお、本発明の実施の形態においては、横方向と右回転または左回転の縦方向との３つの配置を想定している。 First, one is selected from three arrangements (image directions) (step S931). In the embodiment of the present invention, three arrangements of the horizontal direction and the vertical direction of right rotation or left rotation are assumed.

次に、ステップＳ９３１において選択された配置に基づいて、図８のステップＳ９１１において取得された撮像画像から、高輝度領域３３０と低輝度領域３４０とが分離される（ステップＳ９３２）。 Next, based on the arrangement selected in step S931, the high luminance region 330 and the low luminance region 340 are separated from the captured image acquired in step S911 in FIG. 8 (step S932).

次に、逆光パターン３５０の位置の候補から１つが選択される（ステップＳ９３１）。なお、本発明の実施の形態においては、図４（ｂ）乃至（ｆ）に示すように、５つの逆光パターン３５０の位置を想定している。 Next, one of the candidates for the position of the backlight pattern 350 is selected (step S931). In the embodiment of the present invention, as shown in FIGS. 4B to 4F, the positions of five backlight patterns 350 are assumed.

次に、逆光領域抽出部２２０は、ステップＳ９３１において選択された逆光パターン３５０に該当する逆光領域３６０における平均輝度値を算出する（ステップＳ９３４）。 Next, the backlight region extraction unit 220 calculates an average luminance value in the backlight region 360 corresponding to the backlight pattern 350 selected in step S931 (step S934).

次に、全ての逆光パターン３５０の位置について、逆光領域３６０候補の平均輝度値が算出されたか否かが判断される（ステップＳ９３５）。その際、全ての逆光パターン３５０の位置について、逆光領域３６０候補の平均輝度値が算出されていない場合には、ステップＳ９３３に進み、上述の動作が繰り返される（ステップＳ９３３乃至Ｓ９３５）。一方、全ての逆光パターン３５０の位置について平均輝度値が算出されている場合には、５つの逆光パターンの位置の中で最も平均輝度値の低いものが逆光領域３６０として選択される（ステップＳ９３６）。 Next, it is determined whether or not the average luminance value of the backlight region 360 candidate has been calculated for all the positions of the backlight pattern 350 (step S935). At this time, if the average luminance value of the backlight region 360 candidate has not been calculated for all positions of the backlight pattern 350, the process proceeds to step S933, and the above-described operation is repeated (steps S933 to S935). On the other hand, when the average luminance value is calculated for all the positions of the backlight patterns 350, the one having the lowest average luminance value among the positions of the five backlight patterns 350 is selected as the backlight region 360 (step S936). .

続いて、ステップＳ９３２において分離された高輝度領域３３０の平均輝度値が算出される（ステップＳ９３７）。 Subsequently, the average luminance value of the high luminance region 330 separated in step S932 is calculated (step S937).

次に、ステップＳ９３６において選択された逆光領域３６０の平均輝度値とステップＳ９３２において算出された高輝度領域３３０の平均輝度値とから光量比Ｘが算出される（ステップＳ９３８）。 Next, the light amount ratio X is calculated from the average luminance value of the backlight region 360 selected in step S936 and the average luminance value of the high luminance region 330 calculated in step S932 (step S938).

次に、ステップＳ９３８において算出された光量比Ｘから逆光度Ｊ１が算出される（ステップＳ９３９）。 Next, the backlight intensity J1 is calculated from the light amount ratio X calculated in step S938 (step S939).

そして、全ての配置が選択されたか否かが判断される（ステップＳ９４１）。その際、全ての配置が選択されていない場合には、ステップＳ９３１に進み、上述の動作が繰り返される（ステップＳ９３１〜Ｓ９４１）。一方、全ての撮像方向が選択されている場合には、ステップＳ９３９において算出された逆光度Ｊ１の最も高い配置とその逆光度Ｊ１が採用される（ステップＳ９４２）。 Then, it is determined whether or not all arrangements have been selected (step S941). At this time, if all the arrangements are not selected, the process proceeds to step S931, and the above-described operation is repeated (steps S931 to S941). On the other hand, when all the imaging directions are selected, the arrangement with the highest backlight intensity J1 calculated in step S939 and the backlight intensity J1 are adopted (step S942).

このように、本発明の実施の形態によれば、低輝度領域３４０から逆光領域３６０を抽出するための逆光パターン３５０の数を少なく限定することができる。 As described above, according to the embodiment of the present invention, the number of the backlight patterns 350 for extracting the backlight region 360 from the low luminance region 340 can be limited to a small number.

なお、本発明の実施の形態では、３つの配置（画像方向）について逆光度を算出することにより撮像方向を推定したが、撮像装置１００が撮像方向の検出機能を備えているときにはその処理を省略してもよい。 In the embodiment of the present invention, the imaging direction is estimated by calculating the backlight intensity for the three arrangements (image directions). However, the processing is omitted when the imaging apparatus 100 has the imaging direction detection function. May be.

また、本発明は他の逆光判別方法と組み合わせて用いてもよい。その場合、本発明の実施の形態における逆光判定閾値Ｒ０は、上述の設定例よりも低く設定しておくと効果的である。 Further, the present invention may be used in combination with other backlight discrimination methods. In that case, it is effective to set the backlight determination threshold value R0 in the embodiment of the present invention lower than the above setting example.

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。 The embodiment of the present invention is an example for embodying the present invention and has a corresponding relationship with the invention-specific matters in the claims as shown below, but is not limited thereto. However, various modifications can be made without departing from the scope of the present invention.

すなわち、請求項１において、画像取得手段は例えば画像取得部２１０に対応する。また、逆光領域抽出手段は例えば逆光領域抽出部２２０に対応する。また、光量比算出手段は例えば光量比算出部２３０に対応する。また、逆光度算出手段は例えば逆光度算出部２４０に対応する。また、逆光状態判定手段は例えば逆光状態判定部２８０に対応する。 That is, in claim 1, the image acquisition unit corresponds to, for example, the image acquisition unit 210. Further, the backlight region extraction unit corresponds to the backlight region extraction unit 220, for example. The light amount ratio calculating unit corresponds to, for example, the light amount ratio calculating unit 230. The backlight intensity calculation unit corresponds to the backlight intensity calculator 240, for example. Further, the backlight state determination unit corresponds to the backlight state determination unit 280, for example.

また、請求項４において、逆光判定保持手段は例えば逆光判定保持部２９０に対応する。 Further, in claim 4, the backlight determination holding unit corresponds to, for example, the backlight determination holding unit 290.

また、請求項６において、露光量取得手段は例えば露光量取得部２５０に対応する。また、補正率算出手段は例えば補正率算出部２６０に対応する。また、逆光度補正手段は例えば逆光度補正部２７０に対応する。 Further, in claim 6, the exposure amount acquisition unit corresponds to, for example, the exposure amount acquisition unit 250. Further, the correction factor calculation means corresponds to the correction factor calculator 260, for example. The backlight intensity correction unit corresponds to the backlight intensity correction unit 270, for example.

また、請求項７において、撮像手段は例えば撮像素子１２０に対応する。画像取得手段は例えば画像取得部２１０に対応する。また、逆光領域抽出手段は例えば逆光領域抽出部２２０に対応する。また、光量比算出手段は例えば光量比算出部２３０に対応する。また、逆光度算出手段は例えば逆光度算出部２４０に対応する。また、逆光状態判定手段は例えば逆光状態判定部２８０に対応する。 Further, in claim 7, the imaging means corresponds to the imaging device 120, for example. The image acquisition unit corresponds to the image acquisition unit 210, for example. Further, the backlight region extraction unit corresponds to the backlight region extraction unit 220, for example. The light amount ratio calculating unit corresponds to, for example, the light amount ratio calculating unit 230. The backlight intensity calculation unit corresponds to the backlight intensity calculator 240, for example. Further, the backlight state determination unit corresponds to the backlight state determination unit 280, for example.

また、請求項８または９において、画像取得手順は例えばステップＳ９１１に対応する。また、逆光領域抽出手順は例えばステップＳ９３６に対応する。また、光量比算出手順は例えばステップＳ９３８に対応する。また、逆光度算出手順は例えばステップＳ９３９に対応する。また、逆光状態判定手順は例えばステップＳ９１８に対応する。 In claim 8 or 9, the image acquisition procedure corresponds to, for example, step S911. The backlight region extraction procedure corresponds to, for example, step S936. The light amount ratio calculation procedure corresponds to, for example, step S938. The backlight intensity calculation procedure corresponds to, for example, step S939. The backlight state determination procedure corresponds to, for example, step S918.

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。 The processing procedure described in the embodiment of the present invention may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program May be taken as

本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the imaging device 100 in embodiment of this invention. 本発明の実施の形態におけるシステム制御部１８０による逆光判定の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the backlight determination by the system control part 180 in embodiment of this invention. 本発明の実施の形態における撮像画像が高輝度領域３３０と低輝度領域３４０に分離される例を示す図である。It is a figure which shows the example in which the captured image in embodiment of this invention is isolate | separated into the high-intensity area | region 330 and the low-intensity area | region 340. FIG. 本発明の実施の形態における逆光領域抽出部２２０による低輝度領域３４０から逆光領域を抽出する手順を示した図である。It is the figure which showed the procedure which extracts the backlight area | region from the low-intensity area | region 340 by the backlight area extraction part 220 in embodiment of this invention. 本発明の実施の形態における逆光度算出部２４０による撮像方向の検出方法について示した図である。It is the figure shown about the detection method of the imaging direction by the backlight intensity calculation part 240 in embodiment of this invention. 本発明の実施の形態における補正率算出部２６０による補正率Ｊ２の算出方法の一例を示した図である。It is the figure which showed an example of the calculation method of the correction factor J2 by the correction factor calculation part 260 in embodiment of this invention. 本発明の実施の形態における逆光状態判定部２８０による逆光状態の判定に用いられる閾値の変更について示した図である。It is the figure shown about the change of the threshold value used for the backlight state determination by the backlight state determination part 280 in embodiment of this invention. 本発明の実施の形態における撮像装置１００の処理手順例を示すフローチャートである。It is a flowchart which shows the example of a process sequence of the imaging device 100 in embodiment of this invention. 本発明の実施の形態における逆光度Ｊ１の算出の処理手順例を示すフローチャートである。It is a flowchart which shows the example of a process sequence of calculation of the backlight intensity J1 in embodiment of this invention.

符号の説明Explanation of symbols

１００撮像装置
１１０レンズ部
１２０撮像素子
１３０アナログ信号処理部
１４０デジタル信号処理部
１５０表示部
１６０レンズ制御部
１７０タイミングジェネレータ
１８０システム制御部
１９０ストロボ
２００撮像操作受付部
２１０画像取得部
２２０逆光領域抽出部
２３０光量比算出部
２４０逆光度算出部
２５０露光量取得部
２６０補正率算出部
２７０逆光度補正部
２８０逆光状態判定部
２９０逆光判定保持部
３００撮像領域
３１０被写体
３２０ブロック
３３０高輝度領域
３４０低輝度領域
３５０逆光パターン
３６０逆光領域 DESCRIPTION OF SYMBOLS 100 Imaging device 110 Lens part 120 Imaging element 130 Analog signal processing part 140 Digital signal processing part 150 Display part 160 Lens control part 170 Timing generator 180 System control part 190 Strobe 200 Imaging operation reception part 210 Image acquisition part 220 Backlight area extraction part 230 Light intensity ratio calculation unit 240 Backlight intensity calculation unit 250 Exposure amount acquisition unit 260 Correction rate calculation unit 270 Backlight intensity correction unit 280 Backlight state determination unit 290 Backlight determination holding unit 300 Imaging region 310 Subject 320 Block 330 High luminance region 340 Low luminance region 350 Backlight pattern 360 Backlight area

Claims

撮像画像を取得して高輝度領域および低輝度領域の少なくとも２つの領域に分離する画像取得手段と、
前記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手段と、
前記高輝度領域における輝度値の平均値と前記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手段と、
前記光量比に基づいて逆光度を算出する逆光度算出手段と、
前記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手段と
を具備することを特徴とする逆光判別装置。 Image acquisition means for acquiring a captured image and separating the captured image into at least two regions of a high luminance region and a low luminance region;
A backlight region extraction means for searching for a region where the average value of the luminance value is the lowest with respect to a predetermined backlight pattern in the low luminance region and extracting it as a backlight region;
A light amount ratio calculating means for calculating, as a light amount ratio, a ratio between an average value of luminance values in the high luminance region and an average value of luminance values in the backlight region;
A backlight intensity calculating means for calculating a backlight intensity based on the light amount ratio;
A backlight discrimination device, comprising: a backlight state determination unit that determines that the backlight is in a backlight state when the backlight intensity exceeds a predetermined threshold value.

前記逆光度算出手段は、前記光量比の余事象として前記逆光度を算出することを特徴とする請求項１記載の逆光判別装置。 2. The backlight discrimination device according to claim 1, wherein the backlight intensity calculation unit calculates the backlight intensity as an after event of the light amount ratio.

前記画像取得手段は、前記撮像画像の上部の所定の領域を前記高輝度領域とし、前記撮像画像の下部の所定の領域を前記低輝度領域とすることを特徴とする請求項１記載の逆光判別装置。 2. The backlight discrimination according to claim 1, wherein the image acquisition unit sets a predetermined area above the captured image as the high luminance area and a predetermined area below the captured image as the low luminance area. apparatus.

前記逆光状態判定手段における前記判定の結果として前記逆光状態であるか否かの判定結果を保存する逆光判定保持手段をさらに具備し、
前記逆光状態判定手段は、前記判定結果が前記逆光状態であるときに前記所定の閾値をより低い値に変更することを特徴とする請求項１記載の逆光判別装置。 Further comprising backlight determination holding means for storing a determination result as to whether or not the backlight state is the result of the determination in the backlight state determination means;
2. The backlight discrimination device according to claim 1, wherein the backlight state determination unit changes the predetermined threshold to a lower value when the determination result is the backlight state. 3.

前記画像取得手段は、前記撮像画像の上部の所定の領域を前記高輝度領域として前記撮像画像の下部の所定の領域を前記低輝度領域とする第１の配置と、前記撮像画像の左部の所定の領域を前記高輝度領域として前記撮像画像の右部の所定の領域を前記低輝度領域とする第２の配置と、前記撮像画像の右部の所定の領域を前記高輝度領域として前記撮像画像の左部の所定の領域を前記低輝度領域とする第３の配置との少なくとも３つの配置についてそれぞれ少なくとも２つの領域に分離し、
前記逆光度算出手段は、前記３つの配置のうち算出された前記逆光度が最も高いものを正しい配置として判定してその配置の前記逆光度を出力する
ことを特徴とする請求項１記載の逆光判別装置。 The image acquisition means includes: a first arrangement in which a predetermined area at the top of the captured image is the high luminance area and a predetermined area at the bottom of the captured image is the low luminance area; and a left area of the captured image A second arrangement in which a predetermined area is the high luminance area and a predetermined area on the right side of the captured image is the low luminance area, and a predetermined area on the right side of the captured image is the high luminance area and the imaging is performed. Separating a predetermined area on the left side of the image into at least two areas for at least three arrangements with the third arrangement as the low luminance area,
2. The backlight according to claim 1, wherein the backlight intensity calculation unit determines the one having the highest backlight intensity calculated among the three arrangements as a correct arrangement and outputs the backlight intensity of the arrangement. Discriminator.

前記撮像画像が撮像された際の露光量を取得する露光量取得手段と、
前記露光量に基づいて前記逆光度の補正の必要度を補正率として算出する補正率算出手段と、
前記補正率に基づいて前記逆光度を補正する逆光度補正手段と
をさらに具備することを特徴とする請求項１記載の逆光判別装置。 Exposure amount acquisition means for acquiring an exposure amount when the captured image is captured;
A correction rate calculating means for calculating the degree of necessity for correcting the backlight intensity as a correction rate based on the exposure amount;
The backlight discrimination device according to claim 1, further comprising a backlight intensity correction unit that corrects the backlight intensity based on the correction factor.

被写体を撮像して撮像画像を生成する撮像手段と、
前記撮像画像を取得して高輝度領域および低輝度領域の少なくとも２つの領域に分離する画像取得手段と、
前記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手段と、
前記高輝度領域における輝度値の平均値と前記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手段と、
前記光量比に基づいて逆光度を算出する逆光度算出手段と、
前記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手段と
を具備することを特徴とする撮像装置。 Imaging means for imaging a subject and generating a captured image;
Image acquisition means for acquiring the captured image and separating it into at least two regions of a high luminance region and a low luminance region;
A backlight region extraction means for searching for a region where the average value of the luminance value is the lowest with respect to a predetermined backlight pattern in the low luminance region and extracting it as a backlight region;
A light amount ratio calculating means for calculating, as a light amount ratio, a ratio of an average value of luminance values in the high luminance region and an average value of luminance values in the backlight region;
A backlight intensity calculating means for calculating a backlight intensity based on the light amount ratio;
An imaging apparatus comprising: a backlight state determination unit that determines that the backlight is in a backlight state when the backlight intensity exceeds a predetermined threshold value.

被写体を撮像して撮像画像を生成する撮像装置における逆光判別方法であって、
前記撮像画像を取得して高輝度領域および低輝度領域の少なくとも２つの領域に分離する画像取得手順と、
前記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手順と、
前記高輝度領域における輝度値の平均値と前記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手順と、
前記光量比に基づいて逆光度を算出する逆光度算出手順と、
前記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手順と
を具備することを特徴とする逆光判別方法。 A backlight discrimination method in an imaging apparatus that images a subject and generates a captured image,
An image acquisition procedure for acquiring the captured image and separating the captured image into at least two regions of a high luminance region and a low luminance region;
A backlight region extraction procedure for searching for a region where the average value of the luminance value is the lowest for a predetermined backlight pattern in the low luminance region and extracting it as a backlight region;
A light amount ratio calculation procedure for calculating a ratio of an average value of luminance values in the high luminance region and an average value of luminance values in the backlight region as a light amount ratio;
A backlight intensity calculation procedure for calculating the backlight intensity based on the light amount ratio;
A backlight discrimination method comprising: a backlight state determination procedure for determining that the backlight is in a backlight state when the backlight intensity exceeds a predetermined threshold value.

被写体を撮像して撮像画像を生成する撮像装置において、
前記撮像画像を取得して高輝度領域および低輝度領域の少なくとも２つの領域に分離する画像取得手順と、
前記低輝度領域において所定の逆光パターンに対して輝度値の平均値が最も低くなる領域を探索して逆光領域として抽出する逆光領域抽出手順と、
前記高輝度領域における輝度値の平均値と前記逆光領域における輝度値の平均値の割合を光量比として算出する光量比算出手順と、
前記光量比に基づいて逆光度を算出する逆光度算出手順と、
前記逆光度が所定の閾値を超えている場合に逆光状態であると判定する逆光状態判定手順と
をコンピュータに実行させることを特徴とするプログラム。 In an imaging device that images a subject and generates a captured image,
An image acquisition procedure for acquiring the captured image and separating the captured image into at least two regions of a high luminance region and a low luminance region;
A backlight region extraction procedure for searching for a region where the average value of the luminance value is the lowest for a predetermined backlight pattern in the low luminance region and extracting it as a backlight region;
A light amount ratio calculation procedure for calculating a ratio of an average value of luminance values in the high luminance region and an average value of luminance values in the backlight region as a light amount ratio;
A backlight intensity calculation procedure for calculating the backlight intensity based on the light amount ratio;
A program that causes a computer to execute a backlight state determination procedure for determining that the backlight is in a backlight state when the backlight intensity exceeds a predetermined threshold.