JP5169641B2 - Image analysis apparatus and image analysis program - Google Patents

Image analysis apparatus and image analysis program Download PDF

Info

Publication number
JP5169641B2
JP5169641B2 JP2008224315A JP2008224315A JP5169641B2 JP 5169641 B2 JP5169641 B2 JP 5169641B2 JP 2008224315 A JP2008224315 A JP 2008224315A JP 2008224315 A JP2008224315 A JP 2008224315A JP 5169641 B2 JP5169641 B2 JP 5169641B2
Authority
JP
Japan
Prior art keywords
captured image
image
brightness
recognition target
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008224315A
Other languages
Japanese (ja)
Other versions
JP2010062699A (en
Inventor
浩 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008224315A priority Critical patent/JP5169641B2/en
Publication of JP2010062699A publication Critical patent/JP2010062699A/en
Application granted granted Critical
Publication of JP5169641B2 publication Critical patent/JP5169641B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は,カメラで撮影された画像の明るさを調整する技術に関するものであり,特に,撮影される画像の明るさが文字・模様等の認識処理に適した明るさになるようにカメラの光量を自動調整し,かつ蓄積・伝送する画像の全体の明るさを人が見やすいように自動補正する画像解析装置および画像解析プログラムに関するものである。   The present invention relates to a technique for adjusting the brightness of an image photographed by a camera, and in particular, the camera image so that the brightness of the photographed image is suitable for recognition processing of characters and patterns. The present invention relates to an image analysis apparatus and an image analysis program that automatically adjusts the amount of light and automatically corrects the overall brightness of an image stored and transmitted so that a person can easily see it.

近年,屋外に撮像装置(カメラ)を設置し,その撮像範囲内を移動する物体を検知し,物体内の模様,文字等を認識する画像処理システムが,続々と製品化されている。   2. Description of the Related Art In recent years, image processing systems that install an imaging device (camera) outdoors, detect an object moving within the imaging range, and recognize patterns, characters, and the like in the object have been commercialized one after another.

このような画像処理システムでは,近赤外線カメラ+LED照明という構成の撮像装置を用いて,昼夜を問わず,文字,模様等の認識を行う製品が一般的である。認識時の画像表示・蓄積を目的に,近赤外線カメラにカラーカメラを合わせて設置するシステムも,近年増加し始めている。   In such an image processing system, a product that recognizes characters, patterns, and the like regardless of day or night using an imaging device having a configuration of a near-infrared camera and LED illumination is generally used. In recent years, the number of systems that install a color camera together with a near-infrared camera for the purpose of displaying and storing images during recognition has begun to increase.

しかし,2台のカメラを屋外設置する場合には,撮像装置の表面積の増加から,撮像装置の秘匿性が低下するのは避けられない。そのため,カラー/近赤外線カメラを切り替えることができるデイナイトカメラを用いて,文字,模様等の認識と,画像の蓄積とを1台のカメラで対応するシステムの検討も進められている。   However, when two cameras are installed outdoors, it is inevitable that the secrecy of the imaging device is reduced due to an increase in the surface area of the imaging device. For this reason, a system that uses a single camera to recognize characters and patterns and store images using a day / night camera capable of switching between a color / near-infrared camera is being studied.

屋外設置の場合,季節,天候等による日照条件の変化に対応し,文字,模様等の認識性能を維持することが,画像処理システムに要求される機能である。その実現のためには,認識対象である文字,模様が認識処理に適した明るさで撮像される必要がある。そのため,画像処理システムは,カメラのアイリス(絞り)を随時自動調整する機能を持ち,認識対象を適切な明るさに保つ制御を行っている。   In the case of outdoor installation, it is a function required of an image processing system to maintain the recognition performance of characters, patterns, etc. in response to changes in sunshine conditions due to the season, weather, and the like. In order to realize this, it is necessary to capture characters and patterns to be recognized with brightness suitable for recognition processing. Therefore, the image processing system has a function of automatically adjusting the iris (aperture) of the camera as needed, and performs control to keep the recognition target at an appropriate brightness.

なお,画像の明るさに応じてカメラのアイリス(絞り)を制御する技術が知られている(例えば,特許文献1参照)。また,外光の変化に対応して,画像全体の階調を維持するカメラ内部処理の技術が知られている(例えば,特許文献2参照)。
特開平6−46325号公報 特開平7−23287号公報
A technique for controlling an iris (aperture) of a camera in accordance with the brightness of an image is known (for example, see Patent Document 1). In addition, a camera internal processing technique that maintains the gradation of the entire image corresponding to changes in external light is known (see, for example, Patent Document 2).
JP-A-6-46325 Japanese Patent Laid-Open No. 7-23287

認識対象を適切な明るさに保つ制御は,認識性能維持を目的としたものであり,屋外環境条件によっては,認識対象周辺が適切な明るさとなったとしても,その画像全体を人が見るには不適切な明るさとなってしまう場合がある。   Control that keeps the recognition target at an appropriate brightness is intended to maintain recognition performance. Depending on the outdoor environmental conditions, even if the surrounding area of the recognition target has an appropriate brightness, people can see the entire image. May result in inappropriate brightness.

例えば,認識対象周辺に太陽光の強い直射があたっているとする。この場合,認識対象周辺の明るさを適切にするために,カメラアイリスを閉じて画像を暗くする。この制御により,太陽光が直射している認識対象周辺は適切な明るさとなるが,撮像範囲内の他の部分は,太陽光の直射があまりあたっていない場合があり,その箇所は画像上かなり暗くなってしまう。これにより,認識対象は適切な明るさで撮像されているため認識性能は維持できるが,画像全体の見やすさは暗すぎる状態となってしまう。   For example, it is assumed that strong direct sunlight is shining around the recognition target. In this case, the camera iris is closed to darken the image so that the brightness around the recognition target is appropriate. With this control, the surrounding area of the recognition target that is exposed to direct sunlight has an appropriate brightness, but the other parts in the imaging range may not be exposed to direct sunlight, and that part is quite It will be dark. Thereby, since the recognition target is imaged with appropriate brightness, the recognition performance can be maintained, but the visibility of the entire image is too dark.

逆に,認識対象周辺に建物,電柱,周辺の樹木等の影が当たる場合は,同様に,認識対象周辺を適切な明るさに制御すると,画像全体の見やすさは明るすぎる状態となってしまう。   On the other hand, if shadows of buildings, utility poles, surrounding trees, etc. are hit around the recognition target, similarly, if the periphery of the recognition target is controlled to an appropriate brightness, the entire image will be too easy to see. .

つまり,認識性能維持のため,文字,模様周辺の明るさが適切になるように制御を行った場合,移動物体の全体画像としては,認識対象周辺と他の撮像範囲内の明るさにある程度の差異が発生する環境条件下では明るすぎ,又は暗すぎといった状態となり,人間が目視確認するための表示・蓄積目的として使用するには適切とはいえない面がある。   In other words, in order to maintain recognition performance, when control is performed so that the brightness around characters and patterns is appropriate, the overall image of the moving object has a certain level of brightness around the recognition target and in the other imaging range. Under the environmental conditions in which the difference occurs, it is too bright or too dark, which is not appropriate for use as a display / accumulation purpose for visual confirmation by humans.

そのため,1台のカメラを用いて認識性能の維持とその画像の蓄積を両立するためには,文字,模様周辺と撮像画像全体との両者の適切な明るさ制御が必要となる。   Therefore, in order to achieve both the maintenance of the recognition performance and the storage of the image using one camera, it is necessary to appropriately control the brightness of both the character and the pattern periphery and the entire captured image.

本発明は,上記の問題点の解決を図り,撮像画像からの文字,模様等の認識性能の維持と,撮像画像全体の見やすさとの両立が可能となる技術を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problems and to provide a technique that can maintain both the recognition performance of characters and patterns from a captured image and the visibility of the entire captured image.

撮像装置により撮像された画像を解析する画像解析装置は,撮像装置から撮像画像をメモリに取り込む画像取込部と,撮像画像を解析して認識対象である特定のパターンを認識し,認識結果を出力する認識対象認識部と,認識対象を含む所定の領域の明るさ値が所定の範囲内の値になるように,撮像装置が取り込む光量を調整する制御を決定する認識対象明るさ補正部と,光量を調整する制御の信号を撮像装置に出力するカメラ制御部と,撮像画像から移動物体を検出する移動物体検出部と,移動物体が検出されなかった撮像画像の全体の明るさ値を算出する撮像画像明るさ値算出部と,撮像画像の全体の明るさ値が所定の範囲内の値になるように,メモリに取り込んだ撮像画像の明るさを補正し,補正された撮像画像を出力する撮像画像全体見やすさ補正部とを備える。 An image analysis device that analyzes an image captured by the imaging device includes an image capturing unit that captures the captured image from the imaging device into a memory, a specific pattern that is a recognition target by analyzing the captured image, and a recognition result. A recognition target recognition unit that outputs, a recognition target brightness correction unit that determines control for adjusting the amount of light captured by the imaging device so that the brightness value of a predetermined region including the recognition target is a value within a predetermined range; , A camera control unit that outputs a control signal for adjusting the amount of light to the imaging device, a moving object detection unit that detects a moving object from the captured image, and calculates the overall brightness value of the captured image in which no moving object was detected The captured image brightness value calculation unit and the brightness of the captured image captured in the memory are corrected so that the overall brightness value of the captured image is within a predetermined range, and the corrected captured image is output. All captured images And a visibility correction unit.

上記の画像解析装置による処理を,コンピュータが備えるCPU,メモリ等のハードウェアとソフトウェアプログラムとにより実現することもできる。   The processing by the above image analysis apparatus can also be realized by hardware such as CPU and memory provided in the computer and a software program.

撮像画像中の認識対象の周辺領域の明るさが認識処理に適した十分な範囲となるように,撮像装置のカメラに取り込まれる光量を自動調整し,人が見やすい明るさの範囲となるように,メモリに取り込まれた撮像画像の明るさを自動補正することにより,精度の高い認識結果と,人が見やすいように明るさが補正された画像とを得ることができる。すなわち,天候,日照条件等に影響されずに,文字・模様の認識性能を維持するとともに,適切な明るさの撮像画像を表示・蓄積することができる。   The amount of light captured by the camera of the imaging device is automatically adjusted so that the brightness of the surrounding area of the recognition target in the captured image is a sufficient range suitable for recognition processing, so that the brightness is easy to see for people. By automatically correcting the brightness of the captured image captured in the memory, it is possible to obtain a highly accurate recognition result and an image whose brightness is corrected so that it can be easily seen by a person. That is, it is possible to maintain the character / pattern recognition performance and display / accumulate a captured image with appropriate brightness without being affected by the weather, sunshine conditions, and the like.

また,1台の撮像装置を用いて,文字,模様の認識機能と画像表示・蓄積機能の両者に対応できるようになるため,装置・システムのコストを削減できる。   In addition, since a single imaging device can be used for both the character / pattern recognition function and the image display / storage function, the cost of the device / system can be reduced.

以下,本発明の実施の形態について,図を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本実施の形態では,1台のカメラを用いて連続して取り込まれる画像の中から移動物体を検出し,移動物体が検出された画像において,認識対象である文字,模様等を認識し,その認識対象の周辺位置の明るさが一定範囲内になるようにカメラのアイリス(絞り)を自動制御し,それとともに,移動物体が撮像された撮像画像全体の明るさを人間が目視確認しやすい明るさに自動補正する例について説明する。   In this embodiment, a moving object is detected from images continuously captured using a single camera, and characters, patterns, and the like that are recognition targets are recognized in the image from which the moving object is detected. The camera iris (aperture) is automatically controlled so that the brightness of the peripheral position of the recognition target is within a certain range, and at the same time, the brightness that makes it easy for humans to visually check the brightness of the entire captured image of moving objects. An example of automatic correction will be described.

図1は,本実施の形態による画像解析装置の構成例を示す図である。   FIG. 1 is a diagram illustrating a configuration example of an image analysis apparatus according to the present embodiment.

画像解析装置10は,撮像装置20で撮像された画像(以下,撮像画像と呼ぶ)をメモリに取り込み,その撮像画像を解析して認識対象である特定のパターン(文字,模様等)の認識を行い,認識対象の周辺領域の明るさに応じた撮像装置20の自動アイリス制御や,メモリに取り込まれた撮像画像の全体の明るさの自動補正を行う。   The image analysis apparatus 10 captures an image captured by the imaging apparatus 20 (hereinafter referred to as a captured image) into a memory, analyzes the captured image, and recognizes a specific pattern (character, pattern, etc.) that is a recognition target. The automatic iris control of the imaging device 20 according to the brightness of the peripheral area to be recognized and the automatic brightness correction of the entire captured image taken into the memory are performed.

画像解析装置10は,画像取込部11,移動物体検出部12,文字・模様認識部13,認識対象明るさ補正部14,カメラ制御部15,撮像画像明るさ値算出部16,撮像画像全体見やすさ補正部17を備える。   The image analysis apparatus 10 includes an image capturing unit 11, a moving object detection unit 12, a character / pattern recognition unit 13, a recognition target brightness correction unit 14, a camera control unit 15, a captured image brightness value calculation unit 16, and the entire captured image. A legibility correction unit 17 is provided.

撮像装置20としては,1台のカメラで昼も夜も撮影可能なデイナイトカメラを用いるものとする。撮像装置20は,昼間はカラーカメラとして動作し,夜間は近赤外線カメラ+LED照明として動作する。なお,図示はされていないが,撮像装置20には,カメラのアイリス(絞り)を制御する機構やシャッタースピードを制御する機構など,カメラに取り込まれる光の量(露出)を調整制御する機構が備えられている。   As the imaging device 20, a day / night camera capable of shooting day and night with one camera is used. The imaging device 20 operates as a color camera during the daytime, and operates as a near infrared camera + LED illumination at night. Although not shown, the imaging device 20 has a mechanism for adjusting and controlling the amount of light (exposure) taken into the camera, such as a mechanism for controlling the iris (aperture) of the camera and a mechanism for controlling the shutter speed. Is provided.

画像解析装置10において,画像取込部11は,撮像装置20から連続的に転送される撮像画像を,画像バッファ18に取り込む。画像バッファ18は,例えば複数面のリングバッファ構成であり,同一の移動物体が画像内に出現してから消えるまでの全画像を保有できる面数を有するように設計されているものとする。   In the image analysis device 10, the image capturing unit 11 captures captured images continuously transferred from the imaging device 20 into the image buffer 18. The image buffer 18 has, for example, a ring buffer configuration with a plurality of surfaces, and is designed to have a number of surfaces that can hold all images from the same moving object appearing in the image to disappearing.

移動物体検出部12は,画像取込部11により取り込まれた撮像画像中の移動物体の有無をチェックする。   The moving object detection unit 12 checks whether there is a moving object in the captured image captured by the image capturing unit 11.

移動物体の有無を判断する方法としては,例えば,連続する画像同士を比較し,所定回数連続して所定以上の変化が検出された場合に移動物体が検出されたと判断する方法や,その時間帯の移動物体がないと判断される画像の平均輝度値を基準輝度値として求めておき,取り込まれた画像の平均輝度値と基準輝度値とを比較し,所定以上の変化が検出された場合に移動物体が検出されたと判断する方法など,さまざまな方法がある。   As a method for determining the presence / absence of a moving object, for example, a method of comparing consecutive images and determining that a moving object has been detected when a predetermined change or more is detected for a predetermined number of times, If the average brightness value of the image determined to have no moving object is determined as the reference brightness value, the average brightness value of the captured image is compared with the reference brightness value, and a change greater than a predetermined value is detected There are various methods such as a method of determining that a moving object has been detected.

文字・模様認識部13は,移動物体が検出された撮像画像内に,認識対象である文字,模様が存在すると判定されたときに,その認識対象である文字や模様についての認識処理が行われる。認識処理により得られた認識結果や,認識対象の画像内位置などの情報が,出力される。移動物体から認識対象である文字や模様を認識したい場合には,認識処理を行う領域を,撮像画像中の移動物体が写っている領域に絞り込んでもよい。   When it is determined that a character or pattern that is a recognition target exists in the captured image in which the moving object is detected, the character / pattern recognition unit 13 performs recognition processing on the character or pattern that is the recognition target. . Information such as the recognition result obtained by the recognition process and the position in the image to be recognized is output. When it is desired to recognize a character or pattern that is a recognition target from a moving object, the area to be recognized may be narrowed down to an area where the moving object is captured in the captured image.

認識対象である文字,模様などの特定のパターンを認証する方法としては,例えば,認識対象となる文字,模様のテンプレートを用意しておき,そのテンプレートを用いて撮像画像内でのマッチング処理を行う方法等がある。   As a method of authenticating a specific pattern such as a character or pattern that is a recognition target, for example, a template of a character or pattern that is a recognition target is prepared, and matching processing in the captured image is performed using the template. There are methods.

また,認識対象となる文字,模様の大まかな色合いや輝度,大きさなどがわかっている場合には,それらの情報で撮像画像内での認識処理領域を絞り込んでおき,絞り込まれた認識処理領域内でテンプレートを用いたマッチング処理を行う方法などもある。   In addition, when the rough character, brightness, size, etc. of the character and pattern to be recognized are known, the recognition processing area in the captured image is narrowed down by using the information, and the narrowed recognition processing area. There is also a method for performing a matching process using a template.

例えば,近年ショッピングモールなどにおいて,駐車料金の清算が事前に行われた車両を識別するために,駐車場の出入り口で車両のナンバーを認識するシステムがある。車両のナンバープレートは,白と緑,黄色と黒などの特定の色の組合せで構成されているので,駐車場の出入り口で撮像された車両の画像から,白と緑,黄色と黒などの特定の色の組合せの領域に認識処理領域を絞り込んでナンバーの文字認識処理を行えば,無駄なく必要な認識処理を行うことができる。   For example, in recent shopping malls and the like, there is a system for recognizing a vehicle number at the entrance of a parking lot in order to identify a vehicle whose parking fee has been cleared in advance. The license plate of the vehicle is composed of a combination of specific colors such as white and green, yellow and black, so specific images such as white and green, yellow and black, etc. are taken from the image of the vehicle taken at the entrance of the parking lot. If the recognition process area is narrowed down to the color combination area and the number character recognition process is performed, the necessary recognition process can be performed without waste.

認識対象明るさ補正部14は,所定の認識対象周辺領域の明るさが,所定の,認識処理に適した十分な明るさの範囲となるように,撮像装置20で撮像される撮像画像の明るさを調整する制御,すなわち撮像装置20のカメラに取り込まれる光の量(露出)を調整する制御を決定する。   The recognition target brightness correction unit 14 adjusts the brightness of a captured image captured by the imaging device 20 so that the brightness of a predetermined recognition target peripheral region is within a predetermined range of sufficient brightness suitable for recognition processing. The control for adjusting the height, that is, the control for adjusting the amount of light (exposure) taken into the camera of the imaging device 20 is determined.

所定の認識対象周辺領域とは,撮像画像内の認識対象の領域を含む所定の領域を示す。例えば,認識処理により得られた認識対象の画像内位置から認識対象を含む最小の矩形領域を求めて認識対象周辺領域としてもよいし,認識対象の領域+周囲の数画素分の領域を認識対象周辺領域としてもよい。上記の撮像画像内で絞り込まれた認識処理領域を,認識対象周辺領域としてもよい。   The predetermined recognition target peripheral region indicates a predetermined region including a recognition target region in the captured image. For example, the minimum rectangular area including the recognition target may be obtained from the position in the image of the recognition target obtained by the recognition processing and used as the recognition target peripheral area, or the recognition target area + the surrounding area of several pixels may be recognized. It may be a peripheral area. The recognition processing area narrowed down in the captured image may be a recognition target peripheral area.

認識対象周辺領域の明るさを示す値としてはさまざまなものが考えられるが,本実施の形態では,認識対象周辺領域の明るさ値として,認識対象周辺領域の平均輝度値(画素ごとの輝度値をすべて加算して画素数で割った値)を求めるものとする。すなわち,認識対象明るさ補正部14は,認識対象周辺領域の平均輝度値が所定の範囲内の値でない場合に,認識対象周辺領域の平均輝度値が所定の範囲内の値となるように,撮像装置20に取り込まれる光の量を調整する制御を決定する。   There are various possible values indicating the brightness of the recognition target peripheral area. In this embodiment, the average brightness value of each recognition target peripheral area (the luminance value for each pixel) is used as the brightness value of the recognition target peripheral area. Are obtained by adding all the numbers and dividing by the number of pixels. That is, the recognition target brightness correction unit 14 makes the average brightness value of the recognition target peripheral region to be a value within the predetermined range when the average luminance value of the recognition target peripheral region is not a value within the predetermined range. Control for adjusting the amount of light taken into the imaging device 20 is determined.

カメラ制御部15は,認識対象明るさ補正部14により,認識対象周辺領域の明るさ値(ここでは,平均輝度値)が所定の範囲内となるように決定された,カメラに取り込まれる光の量を調整する制御の信号を,撮像装置20に出力する。   The camera control unit 15 uses the recognition target brightness correction unit 14 to determine the brightness value (in this case, the average luminance value) of the recognition target peripheral region within the predetermined range. A control signal for adjusting the amount is output to the imaging device 20.

本実施の形態では,撮像装置20に取り込まれる光の量を調整する制御として,撮像装置20のアイリス制御を行う。なお,撮像装置20に取り込まれる光の量を調整する制御として,撮像装置20のシャッタースピードの制御や,アイリスとシャッタースピードを組み合わせた制御を行うようにしてもよい。例えば,移動物体の移動スピードが速いことが想定される場合などには,シャッタースピードを遅くすると被写体ぶれが発生するため,アイリス制御により撮像装置20に取り込まれる光の量を調整することが望ましい。   In the present embodiment, iris control of the imaging device 20 is performed as control for adjusting the amount of light taken into the imaging device 20. Note that as control for adjusting the amount of light taken into the imaging device 20, control of the shutter speed of the imaging device 20 or control combining iris and shutter speed may be performed. For example, when it is assumed that the moving speed of the moving object is high, blurring of the subject occurs when the shutter speed is slow. Therefore, it is desirable to adjust the amount of light taken into the imaging device 20 by iris control.

例えば,撮像装置20のアイリスの調整が,あらかじめ数段階のレベルに設定されているものとする。   For example, it is assumed that the iris adjustment of the imaging device 20 is set to several levels in advance.

画像解析装置10では,認識対象明るさ補正部14が,認識対象周辺領域の平均輝度値を求める。求められた認識対象周辺領域の平均輝度値が所定の明るさの範囲内でない場合に,認識対象周辺領域の平均輝度値の,所定の基準値に対する差分を算出する。ここでは,所定の基準値は,認識処理に適した十分な明るさの所定範囲の中間値であるものとする。   In the image analysis apparatus 10, the recognition target brightness correction unit 14 obtains an average luminance value of the recognition target peripheral area. When the obtained average luminance value of the recognition target peripheral region is not within a predetermined brightness range, a difference between the average luminance value of the recognition target peripheral region and a predetermined reference value is calculated. Here, it is assumed that the predetermined reference value is an intermediate value of a predetermined range with sufficient brightness suitable for recognition processing.

例えば,画像解析装置10では,算出された差分と撮像装置20のアイリスの調整レベル数との対応情報とをあらかじめ保持されているものとする。認識対象明るさ補正部14は,算出された差分から,撮像装置20のアイリスを何レベル開く,何レベル絞るといった,アイリスの調整レベル数を得ることにより,撮像装置20に取り込まれる光の量を調整する制御を決定する。   For example, in the image analysis device 10, it is assumed that correspondence information between the calculated difference and the number of iris adjustment levels of the imaging device 20 is held in advance. The recognition target brightness correction unit 14 obtains the amount of light taken into the imaging device 20 by obtaining the number of iris adjustment levels such as how many levels the iris of the imaging device 20 is opened and how many levels are reduced from the calculated difference. Determine the control to be adjusted.

カメラ制御部15は,認識対象明るさ補正部14により決定された撮像装置20に取り込まれる光の量を調整する制御信号,ここでは撮像装置20のアイリスを何レベル開く,何レベル絞るといったアイリス制御信号を,撮像装置20に出力する。   The camera control unit 15 is a control signal for adjusting the amount of light taken into the imaging device 20 determined by the recognition target brightness correction unit 14, and here, iris control such as how many levels the iris of the imaging device 20 is opened and how much is reduced. The signal is output to the imaging device 20.

撮像装置20では,画像解析装置10からのアイリス制御信号を受けると,実際にカメラのアイリスを制御する機構が,そのアイリス制御信号の指示に従って,アイリス調整の制御を行う。   In the imaging device 20, when an iris control signal is received from the image analysis device 10, the mechanism that actually controls the iris of the camera controls the iris adjustment according to the instruction of the iris control signal.

このように,文字・模様認識部13によって認識処理が行われるたびに,認識対象明るさ補正部14とカメラ制御部15とにより,撮像装置20から得られる撮像画像の明るさは,認識処理に十分に適した明るさに自動調整される。   Thus, whenever the recognition process is performed by the character / pattern recognition unit 13, the brightness of the captured image obtained from the imaging apparatus 20 by the recognition target brightness correction unit 14 and the camera control unit 15 is determined in the recognition process. It is automatically adjusted to a suitable brightness.

撮像画像明るさ値算出部16は,移動物体が検出されなかった撮像画像の全体の明るさを求める。以下,移動物体が検出されなかった撮像画像を,背景画像と呼ぶ。背景画像の明るさを示す値としてはさまざまなものが考えられるが,本実施の形態では,背景画像の明るさ値として,背景画像の平均輝度値を求めるものとする。背景画像の平均輝度値は,所定の間隔で算出されるものとし,随時,撮像画像全体見やすさ補正部17に通知されるものとする。   The captured image brightness value calculation unit 16 obtains the overall brightness of the captured image in which no moving object has been detected. Hereinafter, a captured image in which no moving object is detected is referred to as a background image. Although various values indicating the brightness of the background image can be considered, in this embodiment, the average luminance value of the background image is obtained as the brightness value of the background image. It is assumed that the average luminance value of the background image is calculated at a predetermined interval, and is notified to the entire captured image viewability correcting unit 17 as needed.

なお,ここでは,撮像画像明るさ値算出部16が,移動物体が検出されなかった撮像画像全体の明るさを求めているが,移動物体の有無に関係なく撮像画像全体の明るさを求めるようにしてもよい。移動物体が検出されなかった撮像画像全体の明るさを求めることにより,移動物体によるノイズが含まれない,その場所,その時間に応じた撮像画像全体の明るさが得られる。   Here, although the captured image brightness value calculation unit 16 calculates the brightness of the entire captured image in which no moving object is detected, the brightness of the entire captured image is determined regardless of the presence or absence of the moving object. It may be. By obtaining the brightness of the entire captured image in which the moving object has not been detected, the brightness of the entire captured image according to the location and the time without including noise due to the moving object can be obtained.

撮像画像全体見やすさ補正部17は,所定間隔で通知される背景画像の明るさ値が,所定の,人が見るのに適した十分な明るさの範囲となるように,画像バッファ18に取り込まれた撮像画像の明るさを補正し,補正された撮像画像を出力する。   The entire captured image viewability correcting unit 17 captures the brightness value of the background image notified at a predetermined interval into the image buffer 18 so that the brightness value is within a predetermined range suitable for human viewing. The brightness of the captured image is corrected, and the corrected captured image is output.

例えば,撮像画像全体見やすさ補正部17は,撮像画像明るさ値算出部16で算出された最新の背景画像の平均輝度値が所定の明るさの範囲内でない場合に,背景画像の平均輝度値の,所定の基準値に対する差分を算出する。ここでは,所定の基準値は,人が見るのに適した十分な明るさの所定範囲の中間値であるものとする。   For example, when the average brightness value of the latest background image calculated by the captured image brightness value calculation unit 16 is not within a predetermined brightness range, the overall captured image viewability correction unit 17 determines the average brightness value of the background image. Is calculated with respect to a predetermined reference value. Here, it is assumed that the predetermined reference value is an intermediate value in a predetermined range with sufficient brightness suitable for human viewing.

撮像画像全体見やすさ補正部17は,撮像画像全体が暗すぎる場合には明るくなるように,撮像画像全体が明るすぎる場合には暗くなるように,例えば撮像画像の画素ごとに算出された差分の量に応じた輝度調整を行うことにより,画像バッファ18に取り込まれた撮像画像全体の明るさを補正する。明るさ補正された撮像画像(全体画像)が,出力される。   The entire captured image viewability correcting unit 17 calculates the difference calculated for each pixel of the captured image, for example, so that the captured image becomes bright when the entire captured image is too dark, and the captured image becomes dark when the entire captured image is too bright. The brightness of the entire captured image captured in the image buffer 18 is corrected by adjusting the luminance according to the amount. A brightness-corrected captured image (overall image) is output.

このように,撮像画像全体見やすさ補正部17により,認識処理に適した明るさになるように撮像された撮像画像が,人が見るのに適した明るさの画像に自動調整されて,出力される。   In this way, the captured image captured by the whole image captured visibility correction unit 17 is automatically adjusted to an image having brightness suitable for human viewing and output so that the brightness is suitable for recognition processing. Is done.

なお,撮像画像全体見やすさ補正部17は,画像バッファ18に取り込まれた撮像画像の,全体の明るさを補正するようにしてもよいし,文字,模様が認識された領域を除いた部分の明るさを補正するようにしてもよい。文字や模様が認識された領域を除いた部分の明るさを補正すれば,画像全体として見やすく,かつ文字や模様部分も見やすい画像が得られる。   Note that the entire captured image viewability correction unit 17 may correct the overall brightness of the captured image captured in the image buffer 18, or a portion other than a region where a character or a pattern is recognized. The brightness may be corrected. If the brightness of the portion excluding the area where the character or pattern is recognized is corrected, an image that is easy to see as a whole image and easy to see the character or pattern portion can be obtained.

本実施の形態による画像解析装置10によって得られた認識結果や,明るさ補正された撮像画像は,ネットワークや,表示・蓄積媒体等に出力される。これにより,精度の高い文字,模様などの認識結果と,適切な明るさの全体画像とが得られる。   The recognition result obtained by the image analysis apparatus 10 according to the present embodiment and the captured image whose brightness has been corrected are output to a network, a display / storage medium, or the like. As a result, a highly accurate recognition result of characters, patterns, etc. and an entire image with appropriate brightness can be obtained.

図2は,本実施の形態による画像解析処理フローチャートである。図2の例に示す処理は,撮像装置20から連続して送られる撮像画像の,それぞれに対して実行される画像解析処理である。   FIG. 2 is an image analysis processing flowchart according to the present embodiment. The process illustrated in the example of FIG. 2 is an image analysis process that is executed on each of the captured images continuously transmitted from the imaging device 20.

画像解析装置10において,画像取込部11は,撮像装置20から送られる撮像画像を,画像バッファ18に取り込む(ステップS10)。移動物体検出部12は,画像バッファ18に取り込まれた撮像画像から,移動物体が検出されたかを確認する(ステップS11)。   In the image analysis device 10, the image capturing unit 11 captures the captured image sent from the imaging device 20 into the image buffer 18 (step S10). The moving object detection unit 12 confirms whether a moving object has been detected from the captured image captured in the image buffer 18 (step S11).

移動物体が検出されなかった場合に(ステップS11のNO),1分間隔などの所定のタイミングであれば(ステップS12のYES),撮像画像明るさ値算出部16は,その移動物体が検出されなかった撮像画像の全体の明るさ,ここでは平均輝度値を算出する(ステップS13)。   When a moving object is not detected (NO in step S11), if a predetermined timing such as an interval of 1 minute (YES in step S12), the captured image brightness value calculation unit 16 detects the moving object. The overall brightness of the captured image that has not existed, here, the average luminance value is calculated (step S13).

移動物体が検出されれば(ステップS11のYES),文字・模様認識部13は,認識対象である特定のパターン(文字,模様など)の認識処理を行う(ステップS14)。   If a moving object is detected (YES in step S11), the character / pattern recognition unit 13 performs a recognition process for a specific pattern (character, pattern, etc.) to be recognized (step S14).

認識対象が認識された場合には(ステップS15のYES),認識対象明るさ補正部14は,認識対象周辺領域の明るさ,ここでは平均輝度値を算出し(ステップS16),その認識対象周辺領域の明るさが所定の範囲内の明るさであるかを確認する(ステップS17)。   When the recognition target is recognized (YES in step S15), the recognition target brightness correction unit 14 calculates the brightness of the recognition target peripheral area, here the average luminance value (step S16), and the recognition target peripheral It is confirmed whether the brightness of the area is within a predetermined range (step S17).

認識対象明るさ補正部14は,認識対象周辺領域の明るさが所定の範囲内の明るさでなければ(ステップS17のNO),認識対象周辺領域の明るさが所定の範囲内の明るさになるように,撮像装置20が取り込む光量を調整する制御,ここでは撮像装置20のアイリス調整の制御を決定する(ステップS18)。カメラ制御部15は,撮像装置20にアイリス制御信号を出力する(ステップS19)。   If the brightness of the recognition target peripheral area is not within a predetermined range (NO in step S17), the recognition target brightness correction unit 14 sets the brightness of the recognition target peripheral area to a brightness within the predetermined range. In this way, control for adjusting the amount of light taken in by the imaging device 20, that is, control for iris adjustment of the imaging device 20 is determined (step S18). The camera control unit 15 outputs an iris control signal to the imaging device 20 (step S19).

認識対象周辺領域の明るさが所定の範囲内の明るさであれば(ステップS17のYES),撮像画像全体見やすさ補正部17は,ステップS13で求められた最新の撮像画像全体の明るさが所定の範囲内の明るさであるかを確認し(ステップS20),撮像画像全体の明るさが所定の範囲内の明るさでなければ(ステップS20のNO),撮像画像全体の明るさが所定の範囲内の明るさになるように,画像バッファ18に取り込まれた撮像画像の全体の明るさを補正する(ステップS21)。   If the brightness of the recognition target peripheral area is within a predetermined range (YES in step S17), the entire captured image viewability correction unit 17 determines that the brightness of the latest captured image obtained in step S13 is It is confirmed whether the brightness is within a predetermined range (step S20). If the brightness of the entire captured image is not within the predetermined range (NO in step S20), the brightness of the entire captured image is predetermined. The overall brightness of the captured image captured in the image buffer 18 is corrected so that the brightness is within the range (step S21).

画像解析装置10は,認識結果と撮像画像とを,ネットワーク,表示・蓄積媒体等に出力する(ステップS22)。ここで出力される撮像画像は,認識対象が検出された撮像画像であって,人が見やすい明るさに補正された撮像画像である。   The image analysis apparatus 10 outputs the recognition result and the captured image to a network, a display / storage medium, or the like (step S22). The captured image output here is a captured image from which a recognition target has been detected, and is corrected to a brightness that is easy for humans to see.

このような画像解析装置10の処理により,撮像画像中の移動物体から精度良く認識された文字・模様等の認識結果と,人が見やすい明るさに補正された,認識対象が含まれる移動物体の撮像画像とが得られる。   By the processing of the image analysis apparatus 10 as described above, the recognition result of characters / patterns and the like recognized from the moving object in the captured image with high accuracy and the brightness of the moving object including the recognition target corrected to the human-readable brightness are included. A captured image is obtained.

図3は,本実施の形態の画像解析装置による認識対象明るさ補正,カメラ制御および撮像画像全体見やすさ補正のより具体的な例を示す処理フローチャートである。   FIG. 3 is a process flowchart illustrating a more specific example of recognition target brightness correction, camera control, and overall captured image visibility correction by the image analysis apparatus of the present embodiment.

まず,文字・模様認識部13により,移動物体の検出により抽出された撮像画像に対して認識対象である文字,模様の認識処理が実行され,認識対象の撮像画像内位置が求められる。認識対象明るさ補正部14により,求められた認識対象の位置に基づいて,認識対象の周辺の外接矩形領域(認識対象周辺領域Z1 )の明るさ(平均輝度値N1 )が算出される(ステップS30)。 First, the character / pattern recognition unit 13 executes recognition processing of characters and patterns that are recognition targets on the captured image extracted by detecting the moving object, and obtains the position in the captured image of the recognition target. The brightness (average luminance value N 1 ) of the circumscribed rectangular area (recognition target peripheral area Z 1 ) around the recognition target is calculated by the recognition target brightness correction unit 14 based on the obtained position of the recognition target. (Step S30).

画像解析装置10は,算出された値N1 が認識処理に適した一定範囲内となるように,カメラのアイリス値設定を行う。ここでは,認識処理に適した一定範囲が,その範囲の中間値を基準値N0 とし,閾値ThN を用いた,N0 ±ThN で表されるものとする。 The image analysis apparatus 10 sets the iris value of the camera so that the calculated value N 1 falls within a certain range suitable for recognition processing. Here, it is assumed that a certain range suitable for recognition processing is represented by N 0 ± Th N using an intermediate value of the range as a reference value N 0 and a threshold value Th N.

すなわち,認識対象明るさ補正部14が,算出された認識対象周辺領域Z1 の平均輝度値N1 が,認識処理に適した一定範囲N0 ±ThN 内の値でない場合には(ステップS31のNO),認識対象周辺領域Z1 の平均輝度値N1 と基準値N0 との差分値(N1 −N0 )に応じて,認識対象周辺領域Z1 の明るさが認識処理に適した一定範囲内になるように撮像装置20のアイリス調整の制御を決定し(ステップS32),カメラ制御部15が,そのアイリス制御信号を撮像装置20に出力する(ステップS33)。 That is, the recognition target brightness correction unit 14 determines that the calculated average luminance value N 1 of the recognition target peripheral region Z 1 is not a value within a certain range N 0 ± Th N suitable for recognition processing (step S31). NO), the brightness of the recognition target peripheral area Z 1 is suitable for the recognition process according to the difference value (N 1 −N 0 ) between the average luminance value N 1 of the recognition target peripheral area Z 1 and the reference value N 0. Then, the iris adjustment control of the imaging device 20 is determined so as to be within the predetermined range (step S32), and the camera control unit 15 outputs the iris control signal to the imaging device 20 (step S33).

ここまでは,認識処理の精度を維持するための,撮像装置20によって撮像される画像の明るさ制御の処理である。次に,画像解析装置10は,撮像装置20から取り込まれた撮像画像全体の明るさの適切さを判別し,人が見やすい明るさになるように,取り込まれた撮像画像全体に対する補正を行う。   Up to this point, the brightness control processing is performed on the image captured by the imaging device 20 in order to maintain the accuracy of the recognition processing. Next, the image analysis device 10 determines the appropriateness of the brightness of the entire captured image captured from the imaging device 20, and corrects the entire captured image so that the brightness becomes easy to see.

まず,画像解析装置10は,現在時刻が所定の時間内であるかを確認する(ステップS34)。ここでは,日中であるかどうかの確認を行っている。デイナイトカメラは,昼間はカラーカメラとして動作し,夜間は近赤外線カメラとして動作する。   First, the image analysis apparatus 10 checks whether the current time is within a predetermined time (step S34). Here, it is confirmed whether it is during the day. The day / night camera operates as a color camera during the daytime and operates as a near-infrared camera at nighttime.

昼間は,太陽光直射や周辺物の影などの影響で,撮像画像内で明るさの差異が発生する時間帯であるため,認識対象が写っている領域とその他の領域とで明るさに差異が発生する可能性がある。例えば,所定の時間として5:00〜18:00を設定しておき,その時間帯に撮像された画像を,本実施の形態の撮像画像全体見やすさ補正の対象とする。所定の時間は,季節によって変更することも,周囲の明るさで自動判断することも可能である。   Daytime is a time zone in which brightness differences occur in the captured image due to direct sunlight and shadows from surrounding objects, so there is a difference in brightness between the area where the recognition target is shown and other areas. May occur. For example, 5:00 to 18:00 is set as the predetermined time, and an image captured during that time period is set as an object of the whole captured image visibility correction of the present embodiment. The predetermined time can be changed according to the season, or can be automatically determined based on ambient brightness.

なお,夜間は,認識処理を行う適切な明るさを確保するために専用の照明装置(LED照明等)を使用するのが一般的であり,その場合には画像内の明るさにあまり差異が発生しない。そのため,本実施の形態では,夜間に撮像された画像は,撮像画像全体見やすさ補正の対象外としている。画像解析装置10は,現在時刻が所定の時間内でなければ(ステップS34のNO),取り込まれた撮像画像の明るさを補正せずに,そのまま蓄積媒体等に伝送する(ステップS39)。   At night, it is common to use a dedicated lighting device (LED lighting, etc.) in order to ensure appropriate brightness for recognition processing. In that case, there is not much difference in the brightness in the image. Does not occur. For this reason, in the present embodiment, the image captured at night is not subject to correction of the visibility of the entire captured image. If the current time is not within the predetermined time (NO in step S34), the image analysis apparatus 10 transmits the captured image as it is to the storage medium without correcting the brightness of the captured image (step S39).

現在時刻が所定の時間内であれば(ステップS34のYES),撮像画像全体見やすさ補正部17が,一定間隔で通知される背景画像の平均輝度値A1 の最新値を取得し(ステップS35),システム,環境条件等で適時策定される背景画像の明るさの基準値A0 と比較する(ステップS36)。 If the current time is within a predetermined time (YES in step S34), the captured image overall visibility correction unit 17 obtains the latest value of the average luminance value A 1 of the background image to be notified at regular intervals (step S35 ), And the reference value A 0 of the brightness of the background image that is formulated in a timely manner according to the system, environmental conditions, etc. (step S36).

ここで,背景画像の明るさの基準値A0 は,明るさ補正を行わなかった時間帯の背景画像の平均輝度値を累積平均した値と重み付け平均することで,個別の環境に適した基準値に自動調整することができる。背景画像の明るさの基準値A0 は,例えば次のa)〜d)に示す手順で調整される。 Here, the reference value A 0 of the brightness of the background image is a reference suitable for an individual environment by weighted averaging of the average luminance value of the background image during the time period when no brightness correction is performed. Can be automatically adjusted to the value. The reference value A 0 for the brightness of the background image is adjusted, for example, according to the following procedures a) to d).

a)1分ごとに撮像画像全体の平均輝度値を算出する
b)算出された撮像画像全体の平均輝度値をさらに10分単位で平均化し,その時間帯の撮像画像の補正の有無とともに統計管理しておく
c)撮像画像の補正不要時のみの背景画像の平均輝度値の平均値AV を算出する
d)現時点での基準値A0 と算出された平均値AV との重み付け平均値を,翌日の基準値A0 とする
このように,各場所,時期に適した基準値A0 の調整が可能である。
a) Calculate the average luminance value of the entire captured image every minute b) Average the calculated average luminance value of the entire captured image in units of 10 minutes, and perform statistical management along with the presence or absence of correction of the captured image in that time zone a weighted average value between the average value a V and the calculated reference value a 0 at d) the moment of calculating the to keep c) the average value a V correction average luminance value of the unnecessary only when the background image of the captured image thus the next day of the reference values a 0, can be adjusted at each location, the reference value a 0 which is suitable for time.

図3の説明に戻って,背景画像の平均輝度値A1 が基準値A0 周辺の一定範囲内(±閾値ThA )にある場合には(ステップS36のYES),撮像画像全体見やすさ補正部17が,撮像画像全体の明るさが適切であると判断し,画像解析装置10は,取り込まれた撮像画像の明るさを補正せずに,そのまま蓄積媒体等に伝送する(ステップS39)。 Returning to the description of FIG. 3, when the average luminance value A 1 of the background image is within a certain range (± threshold Th A ) around the reference value A 0 (YES in step S36), the entire captured image is easily viewed. The unit 17 determines that the brightness of the entire captured image is appropriate, and the image analysis apparatus 10 transmits the captured image as it is to the storage medium without correcting the brightness of the captured image (step S39).

背景画像の平均輝度値A1 が基準値A0 周辺の一定範囲内(±閾値ThA )にない場合には(ステップS36のNO),撮像画像全体見やすさ補正部17は,撮像画像全体の明るさが不適切であると判断し,輝度補正基準値A2 (=A1 −A0 )を算出する(ステップS37)。 When the average luminance value A 1 of the background image is not within a certain range (± threshold Th A ) around the reference value A 0 (NO in step S36), the entire captured image viewability correcting unit 17 It is determined that the brightness is inappropriate, and the brightness correction reference value A 2 (= A 1 −A 0 ) is calculated (step S37).

輝度補正基準値A2 は背景画像の平均輝度値A1 と背景画像の明るさの基準値A0 の差分であるが,補正量を一定範囲内に抑制するために,|A2 |の値を最大値Am 以下とする。すなわち,|A2 |>Am である場合には,|A2 |=Am とする。なお,最大値Am は,システムに応じて適時策定されるものとする。 The brightness correction reference value A 2 is a difference between the average brightness value A 1 of the background image and the brightness reference value A 0 of the background image. In order to suppress the correction amount within a certain range, the value of | A 2 | Is less than or equal to the maximum value Am. That is, if | A 2 |> A m , | A 2 | = A m . Note that the maximum value Am is determined in a timely manner according to the system.

背景画像の平均輝度値A1 が基準値A0 から大きく離れている場合には,何らかの大きなノイズを含んでいる可能性があるため,輝度補正基準値A2 の上限(マイナスの場合には下限)を設定しておくことにより,撮像画像全体の明るさの補正量を一定範囲内に抑制する。 When the average luminance value A 1 of the background image is far from the reference value A 0, there is a possibility that some noise is included, so the upper limit of the luminance correction reference value A 2 (the lower limit in the case of minus) ) Is set, the brightness correction amount of the entire captured image is suppressed within a certain range.

撮像画像全体見やすさ補正部17は,求められた輝度補正基準値A2 に従って,認識画像全体の輝度値補正を行う(ステップS38)。ここでは,認識画像とは,認識対象となる文字・模様等が認識された撮像画像をいう。画像解析装置10は,明るさが補正された撮像画像を,蓄積媒体等に伝送する(ステップS39)。 The entire captured image visibility correction unit 17 corrects the luminance value of the entire recognized image in accordance with the calculated luminance correction reference value A 2 (step S38). Here, the recognized image is a captured image in which characters / patterns to be recognized are recognized. The image analysis apparatus 10 transmits the captured image whose brightness has been corrected to a storage medium or the like (step S39).

なお,輝度補正基準値A2 が一定値以上の場合は,輝度補正前にガンマ補正を行い,明るすぎ,暗すぎ箇所を抑えることで,より見やすい明るさ補正を行うことができる。ガンマ補正の強度については,輝度補正基準値A2 の範囲に応じて何段階かのテーブルを設ける。 When the luminance correction reference value A 2 is equal to or greater than a certain value, gamma correction is performed before the luminance correction, and brightness correction that is easier to see can be performed by suppressing portions that are too bright or too dark. The intensity of the gamma correction, providing several stages of the table according to the range of luminance correction reference value A 2.

なお,画像解析装置10に取り込まれた撮像画像の明るさ補正については,システムの要求機能に応じて,様々な対応を行うことができる。以下にその例を示す。   It should be noted that various corrections can be made for the brightness correction of the captured image captured by the image analysis apparatus 10 depending on the required function of the system. An example is shown below.

a)撮像画像全体の明るさを補正する。図3に示す例の撮像画像の明るさ補正が,これにあたる。   a) The brightness of the entire captured image is corrected. This is the brightness correction of the captured image in the example shown in FIG.

b)撮像画像中の明るすぎる領域または暗すぎる領域の周辺のみの明るさを補正する。例えば撮像画像全体の細部確認が必要な場合などには,このような明るさ補正が有効である。   b) The brightness only around the area of the captured image that is too bright or too dark is corrected. For example, when it is necessary to confirm details of the entire captured image, such brightness correction is effective.

c)認識対象を含む移動物体の形状特徴から,認識対象である文字・模様の位置を基準にした撮像画像中の特定位置のみの明るさ補正を行う。例えば移動物体の特定箇所の細部確認が必要な場合などには,このような明るさ補正が有効である。   c) Brightness correction is performed only on a specific position in the captured image based on the position of the character / pattern to be recognized from the shape characteristics of the moving object including the recognition target. For example, such brightness correction is effective when it is necessary to confirm details of a specific part of a moving object.

図4は,本実施の形態の画像解析装置による撮像画像全体見やすさ補正時に,撮像画像の認識対象周辺以外の領域の明るさ補正を行う場合の具体的な例を示す処理フローチャートである。   FIG. 4 is a process flowchart illustrating a specific example in the case of correcting the brightness of a region other than the periphery of the recognition target of the captured image when the entire captured image is easily viewed by the image analysis apparatus according to the present embodiment.

図4において,ステップS50〜ステップS57の処理については,図3におけるステップS30〜ステップS37の処理と同様であるので,ここでは説明を省略する。   In FIG. 4, the processing from step S50 to step S57 is the same as the processing from step S30 to step S37 in FIG.

撮像画像全体見やすさ補正部17は,認識対象である文字・模様の撮像画像上の座標から,認識対象の周辺の外接矩形領域(認識対象周辺領域Z2 )を算出する(ステップS58)。認識対象を含む第二の所定の領域である認識対象周辺領域Z2 は,ステップS50で平均輝度値N1 を求めた,認識対象を含む第一の所定の領域である認識対象周辺領域Z1 と同じ領域であってもよいし,異なる領域であってもよい。 The entire captured image visibility correction unit 17 calculates a circumscribed rectangular region (recognition target peripheral region Z 2 ) around the recognition target from the coordinates on the captured image of the character / pattern that is the recognition target (step S58). The recognition target peripheral region Z 2 that is the second predetermined region including the recognition target is the recognition target peripheral region Z 1 that is the first predetermined region including the recognition target, for which the average luminance value N 1 is obtained in step S50. May be the same region or different regions.

撮像画像全体見やすさ補正部17は,認識画像から,処理対象となる画素を選択し(ステップS59),選択された処理対象となる画素が認識対象周辺領域Z2 内部の画素でなければ(ステップS60のNO),ステップS57で求められた輝度補正基準値A2 に従って,その処理対象となる画素の輝度値を補正する(ステップS61)。撮像画像全体見やすさ補正部17は,次の処理対象となる画素を選択し(ステップS59),認識画像内の全画素について,ステップS59〜ステップS61の処理を行う(ステップS62)。 Captured image overall visibility correction unit 17, the recognition image, selects a pixel to be processed (step S59), if the pixel to be processed which is selected recognition target peripheral region Z 2 inside the pixel (step S60 in NO), according to the luminance correction reference value a 2 obtained in step S57, the correcting luminance values of the pixels to be the processing target (step S61). The entire captured image visibility correction unit 17 selects a pixel to be processed next (step S59), and performs the processing of step S59 to step S61 for all the pixels in the recognized image (step S62).

画像解析装置10は,明るさが補正された撮像画像を,蓄積媒体等に伝送する(ステップS63)。ここで明るさが補正された画像は,認識対象周辺領域Z2 以外の領域の明るさが補正された撮像画像である。このような画像解析装置10による処理により,認識対象となる文字,模様の認識の精度を保持し,さらに認識対象となる文字,模様が見やすくかつ画像全体が見やすい撮像画像を得ることができる。 The image analysis device 10 transmits the captured image whose brightness has been corrected to a storage medium or the like (step S63). Here, the image whose brightness is corrected is a captured image in which the brightness of the area other than the recognition target peripheral area Z 2 is corrected. By such processing by the image analysis apparatus 10, it is possible to obtain a captured image that maintains the accuracy of recognition of characters and patterns to be recognized, and that allows easy recognition of the characters and patterns that are to be recognized and the entire image.

本実施の形態による画像解析装置10により,1台のカメラを用いて撮像を行う場合でも,適切なカメラアイリス制御により文字・模様の認識性能を維持するとともに,表示・蓄積用として適切な明るさの補正画像を得ることができる。   Even when imaging is performed using one camera by the image analysis apparatus 10 according to the present embodiment, character / pattern recognition performance is maintained by appropriate camera iris control, and brightness suitable for display / accumulation. The corrected image can be obtained.

以上説明した画像解析装置10による処理は,コンピュータが備えるCPU,メモリ等のハードウェアとソフトウェアプログラムとにより実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。   The processing by the image analysis apparatus 10 described above can be realized by hardware such as CPU and memory provided in the computer and a software program, and the program can be recorded on a computer-readable recording medium through a network. It is also possible to do.

以上,本実施の形態について説明したが,本発明はその主旨の範囲において種々の変形が可能であることは当然である。   Although the present embodiment has been described above, the present invention can naturally be modified in various ways within the scope of the gist thereof.

例えば,本実施の形態の画像解析装置10では,メモリに取り込まれた撮像画像から移動物体の検出を行い,移動物体が検出された撮像画像からの認識対象である特定のパターンの認識を行っているが,移動物体の検出を行わず,移動物体の有無に関係なくメモリに取り込まれた撮像画像から認識対象である特定のパターンの認識を行い,その認識対象を含む所定領域の明るさに基づいて撮像装置20に取り込まれる光量の制御をするようにしてもよい。   For example, in the image analysis apparatus 10 according to the present embodiment, a moving object is detected from a captured image captured in a memory, and a specific pattern that is a recognition target is recognized from the captured image from which the moving object is detected. However, it does not detect a moving object, recognizes a specific pattern that is a recognition target from a captured image captured in a memory regardless of the presence or absence of the moving object, and based on the brightness of a predetermined area including the recognition target. Thus, the amount of light taken into the imaging device 20 may be controlled.

移動物体が検出された撮像画像からの認識対象である特定のパターンの認識を行い,その認識対象を含む所定領域の明るさに基づいて撮像装置20に取り込まれる光量の制御を行うようにすれば,例えば移動物体上の認識対象である特定のパターンの認識性能を維持することが可能となる。移動物体の有無に関係なくメモリに取り込まれた撮像画像から認識対象である特定のパターンの認識を行い,その認識対象を含む所定領域の明るさに基づいて撮像装置20に取り込まれる光量の制御を行うようにすれば,例えば撮像画像の背景上の認識対象である特定のパターンの認識性能を維持することが可能となる。   If a specific pattern that is a recognition target is recognized from a captured image in which a moving object is detected, and the amount of light taken into the imaging device 20 is controlled based on the brightness of a predetermined area including the recognition target. For example, it is possible to maintain the recognition performance of a specific pattern which is a recognition target on a moving object. Regardless of the presence or absence of a moving object, a specific pattern that is a recognition target is recognized from the captured image captured in the memory, and the amount of light captured by the imaging device 20 is controlled based on the brightness of a predetermined area including the recognition target. By doing so, for example, it is possible to maintain the recognition performance of a specific pattern that is a recognition target on the background of the captured image.

本実施の形態による画像解析装置の構成例を示す図である。It is a figure which shows the structural example of the image analysis apparatus by this Embodiment. 本実施の形態による画像解析処理フローチャートである。It is an image analysis process flowchart by this Embodiment. 本実施の形態の画像解析装置による認識対象明るさ補正,カメラ制御および撮像画像全体見やすさ補正のより具体的な例を示す処理フローチャートである。It is a process flowchart which shows the more specific example of recognition object brightness correction by the image analysis apparatus of this Embodiment, camera control, and the whole captured image visibility correction | amendment. 本実施の形態の画像解析装置による撮像画像全体見やすさ補正時に,撮像画像の認識対象周辺以外の領域の明るさ補正を行う場合の具体的な例を示す処理フローチャートである。It is a process flowchart which shows the specific example in the case of performing brightness correction of area | regions other than the periphery of the recognition target of a captured image at the time of the whole image captured image visibility correction | amendment by the image analysis apparatus of this Embodiment.

符号の説明Explanation of symbols

10 画像解析装置
11 画像取込部
12 移動物体検出部
13 文字・模様認識部
14 認識対象明るさ補正部
15 カメラ制御部
16 撮像画像明るさ値算出部
17 撮像画像全体見やすさ補正部
18 画像バッファ
20 撮像装置
DESCRIPTION OF SYMBOLS 10 Image analyzer 11 Image capture part 12 Moving object detection part 13 Character / pattern recognition part 14 Recognition target brightness correction part 15 Camera control part 16 Captured image brightness value calculation part 17 Whole captured image viewability correction part 18 Image buffer 20 Imaging device

Claims (5)

撮像装置により撮像された画像を解析する画像解析装置であって,
前記撮像装置から撮像画像をメモリに取り込む画像取込部と,
前記撮像画像を解析し,認識対象である特定のパターンを認識し,認識結果を出力する認識対象認識部と,
前記認識対象を含む所定の領域の明るさ値が,所定の範囲内の値になるように,前記撮像装置が取り込む光量を調整する制御を決定する認識対象明るさ補正部と,
前記光量を調整する制御の信号を,前記撮像装置に出力するカメラ制御部と,
前記撮像画像から,移動物体を検出する移動物体検出部と,
移動物体が検出されなかった撮像画像の全体の明るさ値を算出する撮像画像明るさ値算出部と,
前記撮像画像の全体の明るさ値が,所定の範囲内の値になるように,前記メモリに取り込んだ撮像画像の明るさを補正し,補正された撮像画像を出力する撮像画像全体見やすさ補正部とを備える
ことを特徴とする画像解析装置。
An image analysis device for analyzing an image captured by an imaging device,
An image capturing unit that captures a captured image from the imaging device into a memory;
A recognition target recognition unit that analyzes the captured image, recognizes a specific pattern that is a recognition target, and outputs a recognition result;
A recognition target brightness correction unit that determines control for adjusting the amount of light taken in by the imaging device so that the brightness value of the predetermined area including the recognition target is a value within a predetermined range;
A camera control unit for outputting a control signal for adjusting the light amount to the imaging device;
A moving object detection unit for detecting a moving object from the captured image;
A captured image brightness value calculating unit that calculates the overall brightness value of the captured image in which no moving object is detected ;
Correcting the brightness of the captured image captured in the memory so that the overall brightness value of the captured image is within a predetermined range, and outputting the corrected captured image An image analysis apparatus comprising: a unit.
前記撮像画像全体見やすさ補正部は,前記メモリに取り込んだ撮像画像の,前記認識対象を含む所定の領域を除いた部分の明るさを補正する
ことを特徴とする請求項1に記載の画像解析装置。
The image analysis according to claim 1, wherein the whole captured image viewability correction unit corrects brightness of a portion of the captured image captured in the memory, excluding a predetermined region including the recognition target. apparatus.
記認識対象認識部は,移動物体が検出された撮像画像を解析し,前記認識対象である特定のパターンを認識する
ことを特徴とする請求項1または2に記載の画像解析装置。
Before Symbol recognition target recognition unit analyzes the captured image moving objects are detected, the image analysis apparatus according to claim 1 or 2, characterized in that recognize specific pattern which is the recognition target.
前記光量を調整する制御は,前記撮像装置のアイリスの制御である
ことを特徴とする請求項1から請求項までのいずれかに記載された画像解析装置。
The image analysis apparatus according to any one of claims 1 to 3 , wherein the control for adjusting the amount of light is an iris control of the imaging apparatus.
撮像装置により撮像された画像を解析する画像解析装置のコンピュータが実行するプログラムであって,
前記コンピュータを,
前記撮像装置から撮像画像をメモリに取り込む画像取込部と,
前記撮像画像を解析し,認識対象である特定のパターンを認識し,認識結果を出力する認識対象認識部と,
前記認識対象を含む所定の領域の明るさ値が,所定の範囲内の値になるように,前記撮像装置が取り込む光量を調整する制御を決定する認識対象明るさ補正部と,
前記光量を調整する制御の信号を,前記撮像装置に出力するカメラ制御部と,
前記撮像画像から,移動物体を検出する移動物体検出部と,
移動物体が検出されなかった撮像画像の全体の明るさ値を算出する撮像画像明るさ値算出部と,
前記撮像画像の全体の明るさ値が,所定の範囲内の値になるように,前記メモリに取り込んだ撮像画像の明るさを補正し,補正された撮像画像を出力する撮像画像全体見やすさ補正部として
機能させるための画像解析プログラム。
A program executed by a computer of an image analysis device that analyzes an image captured by an imaging device,
Said computer,
An image capturing unit that captures a captured image from the imaging device into a memory;
A recognition target recognition unit that analyzes the captured image, recognizes a specific pattern that is a recognition target, and outputs a recognition result;
A recognition target brightness correction unit that determines control for adjusting the amount of light taken in by the imaging device so that the brightness value of the predetermined area including the recognition target is a value within a predetermined range;
A camera control unit for outputting a control signal for adjusting the light amount to the imaging device;
A moving object detection unit for detecting a moving object from the captured image;
A captured image brightness value calculating unit that calculates the overall brightness value of the captured image in which no moving object is detected ;
Correcting the brightness of the captured image captured in the memory so that the overall brightness value of the captured image is within a predetermined range, and outputting the corrected captured image Image analysis program to function as a part.
JP2008224315A 2008-09-02 2008-09-02 Image analysis apparatus and image analysis program Expired - Fee Related JP5169641B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008224315A JP5169641B2 (en) 2008-09-02 2008-09-02 Image analysis apparatus and image analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008224315A JP5169641B2 (en) 2008-09-02 2008-09-02 Image analysis apparatus and image analysis program

Publications (2)

Publication Number Publication Date
JP2010062699A JP2010062699A (en) 2010-03-18
JP5169641B2 true JP5169641B2 (en) 2013-03-27

Family

ID=42189050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008224315A Expired - Fee Related JP5169641B2 (en) 2008-09-02 2008-09-02 Image analysis apparatus and image analysis program

Country Status (1)

Country Link
JP (1) JP5169641B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602728B2 (en) * 2014-06-09 2017-03-21 Qualcomm Incorporated Image capturing parameter adjustment in preview mode
KR101826637B1 (en) 2016-07-28 2018-02-07 (주)에이텍티앤 Apparatus and method for image brightness correction in identification recognizer
JP7134784B2 (en) 2018-08-20 2022-09-12 株式会社東芝 Monitoring system, monitoring method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325159A (en) * 1993-05-10 1994-11-25 Mitsubishi Electric Corp Image illuminance adjusting method
JP2000339923A (en) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp Apparatus and method for collecting image
JP4587770B2 (en) * 2004-10-20 2010-11-24 名古屋電機工業株式会社 Vehicle photographing method and apparatus

Also Published As

Publication number Publication date
JP2010062699A (en) 2010-03-18

Similar Documents

Publication Publication Date Title
CN108419023B (en) Method for generating high dynamic range image and related equipment
US20140085473A1 (en) In-vehicle camera apparatus
JP2006311311A5 (en)
US7817190B2 (en) Method and apparatus for processing an image exposed to backlight
JP5887508B2 (en) Exposure control apparatus, imaging apparatus, image display apparatus, and exposure control method
JP2013005234A5 (en)
CN103973990A (en) Wide dynamic fusion method and device
US20070253693A1 (en) Exposure compensation method for digital image
JP2009244946A (en) Traffic light recognizing apparatus, traffic light recognizing method, and traffic light recognizing program
CN111083385B (en) Binocular or multi-view camera exposure method, system and storage medium
JP5169641B2 (en) Image analysis apparatus and image analysis program
US11113798B2 (en) Collating system, collating method, and camera device
JP6351377B2 (en) Image processing system, imaging apparatus, and recording apparatus
JP2000184359A (en) Monitoring device and system therefor
US20200029016A1 (en) Moving object monitoring device and moving object monitoring system
JP2007201963A (en) Imaging apparatus
JP6593753B2 (en) Illuminance acquisition device, lighting control system and program
KR20070028812A (en) Method and apparatus for monitoring forest fire using images photographed by camera device
KR101546917B1 (en) System and method for controlling night image correction
JP2010204404A (en) Monitoring camera and exposure control method for the same
JPH0337356B2 (en)
US20170339349A1 (en) Image processing apparatus, surveillance camera system, image processing method, and program
KR102513818B1 (en) Method for improving subject recognition rate using thermal sensor and camera using the same
KR20220004921A (en) Night image correction control system and method
JP2002268116A (en) Automatic exposure controller and external storage medium stored with program thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121217

LAPS Cancellation because of no payment of annual fees