JP5887067B2 - Omnidirectional image processing system - Google Patents

Omnidirectional image processing system Download PDF

Info

Publication number
JP5887067B2
JP5887067B2 JP2011113731A JP2011113731A JP5887067B2 JP 5887067 B2 JP5887067 B2 JP 5887067B2 JP 2011113731 A JP2011113731 A JP 2011113731A JP 2011113731 A JP2011113731 A JP 2011113731A JP 5887067 B2 JP5887067 B2 JP 5887067B2
Authority
JP
Japan
Prior art keywords
image
monitoring
processing
luminance
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011113731A
Other languages
Japanese (ja)
Other versions
JP2012244479A (en
Inventor
亮 和田
亮 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Teli Corp
Original Assignee
Toshiba Teli Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Teli Corp filed Critical Toshiba Teli Corp
Priority to JP2011113731A priority Critical patent/JP5887067B2/en
Publication of JP2012244479A publication Critical patent/JP2012244479A/en
Application granted granted Critical
Publication of JP5887067B2 publication Critical patent/JP5887067B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、単眼カメラで撮影した全方位画像から設定対象物の検知処理を実施する全方位監視画像処理システムに関する。   The present invention relates to an omnidirectional monitoring image processing system that performs a setting object detection process from an omnidirectional image captured by a monocular camera.

単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムが種々開発され実用化されている。この種、従来の３６０°監視システムは、カメラの全周が１フレームに収まるＮＴＳＣ映像であることから、部分映像の解像度が低く、３６０°の全周映像について、そのすべてを目視で監視するには限界があり、細部に亘る監視は困難であった。   Various 360 ° monitoring systems have been developed and put into practical use in which a 360 ° lens is attached to a monocular camera, and an image captured by the camera is output as a monitoring image over the entire circumference of the camera. Since this type of conventional 360 ° monitoring system is an NTSC video in which the entire circumference of the camera fits in one frame, the resolution of the partial video is low, and all of the 360 ° full circumference video is visually monitored. There were limitations and detailed monitoring was difficult.

また、例え監視映像を高解像度にしても、３６０°の全周映像には、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。   In addition, even if the monitoring video is set to high resolution, the 360 ° all-round video often includes places with significantly different brightness, and it is not possible to visually monitor all the parts with greatly different brightness. It was difficult.

また、３６０°の全周映像から、予め設定した動物体若しくは静止物体を監視対象物として検知し追跡する画像処理システムを構築した場合、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、監視対象物の細部に亘る表示が困難であった。   In addition, when an image processing system is constructed that detects and tracks a preset moving object or stationary object as a monitoring target from 360-degree all-round video, it exists in a small part of the 360-degree all-round video. The monitoring object to be displayed cannot be clearly displayed, and it is difficult to display the details of the monitoring object.

この種の全方位監視カメラシステムとして、従来では、特定の動体画像のみを高画質で記録する監視カメラ技術（特許文献１）、全体映像と部分的拡大映像とを外部に伝送する撮像データの伝送システム（特許文献２）等が存在した。   As this type of omnidirectional monitoring camera system, conventionally, a monitoring camera technique (Patent Document 1) that records only a specific moving object image with high image quality, and transmission of imaging data that transmits an entire image and a partially enlarged image to the outside. There existed a system (Patent Document 2) and the like.

特開２００６−１２１３２０公報JP 2006-121320 A 特開２００４−１５３６０５公報JP 2004-153605 A

上述したように、単眼カメラに３６０°レンズを取り付け、当該カメラで撮影した映像をカメラの全周に亘る監視映像として出力する３６０°監視システムにおいては、明るさの大きく異なる場所が含まれる場合が多く、明暗の大きく異なる部分のすべてを同時に目視にて監視することは困難であった。また、３６０°の全周映像から、予め設定した動物体若しくは静止物体を監視対象物として検知し追跡する画像処理システムを構築した場合、３６０°の全周映像内のごく一部の領域に存在する監視対象物を明瞭に表示することができず、監視対象物の細部に亘る表示が困難であった。   As described above, in a 360 ° monitoring system in which a 360 ° lens is attached to a monocular camera and an image captured by the camera is output as a monitoring image over the entire circumference of the camera, places with greatly different brightness may be included. In many cases, it has been difficult to visually monitor all of the light and dark areas that differ greatly. In addition, when an image processing system is constructed that detects and tracks a preset moving object or stationary object as a monitoring target from 360-degree all-round video, it exists in a small part of the 360-degree all-round video. The monitoring object to be displayed cannot be clearly displayed, and it is difficult to display the details of the monitoring object.

本発明は上記実情に鑑みなされたもので、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することのできる全方位監視画像処理システムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and 360-degree surveillance video of each frame taken by a monocular camera can clearly display the entire video in detail and exists in a part of the 360-degree surveillance video. An object of the present invention is to provide an omnidirectional monitoring image processing system capable of clearly displaying a moving object or a static object as a monitoring object in detail.

本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、そのリサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記処理画像記憶手段に記憶された前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した前記閾値と前記処理画像記憶手段に記憶した複数フレームの前記処理用入力画像をもとに、前記処理画像記憶手段に記憶された直前（直近）の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、前記監視対象を検知したとき前記処理画像記憶手段に記憶した前記直前（直近）の処理用入力画像から前記検知した監視対象を囲う少なくとも１つの矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した前記矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された前記入力画像に対して前記検知した監視対象の切り出し処理を実施し、その切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記監視対象画像記憶手段に記憶した前記監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により前記ブロッキング輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。 The present invention includes a monitoring video input unit that captures 360 ° all-round monitoring video in frame units, an input image storage unit that stores the monitoring video in frame units captured by the monitoring video input unit as an input image, and the monitoring video the monitoring image frame input means has captured and resized to small pixel units to be used for detection of the monitored and processed image storage means for plurality of frames stored in a time-series monitoring image obtained by the resizing as processing an input image, Preprocessing is performed on the resized monitoring video stored in the processed image storage means to determine a threshold for detecting a monitoring target, and the determined threshold and a plurality of frames stored in the processed image storage means are stored. based on the input image for the processing, setting the process input image of the immediately preceding (most recent) stored in the processing image memory means parameters A moving object or a stationary object according to data performed detection process of detecting a monitored object, the monitoring target described above detected from processing an input image of the stored the immediately preceding (most recent) on the processed image storage means when detecting the monitored image processing means for extracting at least one rectangular region surrounding the said relative stored the input image to the input image storage means on the basis of the center position of the image processing unit extracted the rectangular area The detected image to be monitored is cut out, the monitoring image processing means for performing correction processing for correcting distortion on the cut-out image, and the image corrected by the monitoring image processing means is stored as the monitoring target image a monitoring object image storage means, the blocking luminance expansion process in units of pixels with respect to the stored the monitored image on the monitored image storage means embodiment to There is provided an omnidirectional monitoring image processing system comprising: a blocking luminance expansion processing means for displaying; and a display output means for displaying the monitoring target image subjected to the blocking luminance expansion processing by the blocking luminance expansion processing means.

また本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、そのリサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記処理画像記憶手段に記憶された前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した前記閾値と前記処理画像記憶手段に記憶した複数フレームの前記処理用入力画像をもとに、前記処理画像記憶手段に記憶された直前（直近）の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、前記監視対象を検知したとき前記処理画像記憶手段に記憶した前記直前（直近）の処理用入力画像から前記検知した監視対象を囲う少なくとも１つの矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した前記矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された前記入力画像に対して前記検知した監視対象の切り出し処理を実施し、その切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記監視対象画像記憶手段に記憶した前記監視対象画像および前記入力画像記憶手段に記憶した前記入力画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により前記ブロッキング輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。 The present invention also provides monitoring video input means for capturing 360 ° all-round monitoring video in frame units, input image storage means for storing monitoring video in frame units captured by the monitoring video input means as input images, and the monitoring the surveillance video frame units the image input means has captured and resized to small pixel units to be used for detection of the monitored and processed image storage means for plurality of frames stored in a time-series monitoring image obtained by the resizing as processing input image , a plurality of frames stored in the threshold value and the processed image storage means threshold is determined and decided for sensing monitored by carrying out pre-processing on the monitoring image and the resized stored in the processed image storage means the processing for input image based on the setting from processing an input image immediately before is stored in the processed image storage means (most recent) Pas A moving object or a stationary object according to the meter performed detection process of detecting a monitored object, the monitoring target described above detected from processing an input image of the stored the immediately preceding (most recent) on the processed image storage means when detecting the monitored image processing means for extracting at least one rectangular region surrounding the said relative stored the input image to the input image storage means on the basis of the center position of the image processing unit extracted the rectangular area The detected image to be monitored is cut out, the monitoring image processing means for performing correction processing for correcting distortion on the cut-out image, and the image corrected by the monitoring image processing means is stored as the monitoring target image a monitoring object image storage means for said input stored in the monitoring target image and the input image storage unit stored in the monitoring object image storage means Blocking luminance expansion processing means for performing blocking luminance expansion processing for each pixel on the image, and display output means for displaying the monitoring target image subjected to the blocking luminance expansion processing by the blocking luminance expansion processing means An omnidirectional monitoring image processing system is provided.

また本発明は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、そのリサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、前記処理画像記憶手段に記憶された前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した前記閾値と前記処理画像記憶手段に記憶した複数フレームの前記処理用入力画像をもとに、前記処理画像記憶手段に記憶された直前（直近）の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した前記直前（直近）の処理用入力画像から前記検知した監視対象を囲う少なくとも１つの矩形の領域を抽出する画像処理手段と、前記画像処理手段が抽出した前記矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された前記入力画像に対して前記検知した監視対象の切り出し処理を実施し、その切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、前記画像処理手段が前記検知処理において前記監視対象を検出しない状態にあるとき前記入力画像記憶手段に記憶した前記入力画像に対して画素単位のブロッキング輝度伸張処理を実施し、前記画像処理手段が前記検知処理において前記監視対象を検出している状態にあるとき前記監視対象画像記憶手段に記憶した前記監視対象画像に対して画素単位の前記ブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、前記ブロッキング輝度伸張処理手段により前記ブロッキング輝度伸張処理を施した監視対象画像を表示する表示出力手段と、を具備した全方位監視画像処理システムを提供する。 The present invention also provides monitoring video input means for capturing 360 ° all-round monitoring video in frame units, input image storage means for storing monitoring video in frame units captured by the monitoring video input means as input images, and the monitoring the surveillance video frame units the image input means has captured and resized to small pixel units to be used for detection of the monitored and processed image storage means for plurality of frames stored in a time-series monitoring image obtained by the resizing as processing input image , a plurality of frames stored in the threshold value and the processed image storage means threshold is determined and decided for sensing monitored by carrying out pre-processing on the monitoring image and the resized stored in the processed image storage means the processing for input image based on the setting from processing an input image immediately before is stored in the processed image storage means (most recent) Pas A moving object or a stationary object according to the meter performed detection process of detecting the monitoring target, the sensed monitored from processing an input image of the stored in the processed image storage means when detecting the monitored immediately before (last) the detection for at least one image processing means for extracting the rectangular area, the image processing means is stored in the input image storage unit on the basis of the center position of the rectangular region extracted is said input image surrounding conduct the extraction process to be monitored, and stores the monitoring image processing means for performing a correction process for correcting the distortion aberration with respect to the cut-out image, an image which the monitoring image processing means has correcting process as the monitoring object image When the monitoring target image storage means and the image processing means are in a state where the detection target is not detected in the detection process, the input image storage means Performing a blocking luminance expansion process in units of pixels with respect to the stored the input image, the image processing means is stored in the monitoring object image storage means when in a state of detecting the monitoring target in the detection process the a display output means for displaying a blocking luminance expansion processing means for performing the blocking luminance decompression of pixel units, monitored image subjected to the blocking luminance decompression by the blocking luminance decompression means to the monitoring target image, An omnidirectional monitoring image processing system is provided.

また前記全方位監視画像処理システムにおいて、前記ブロッキング輝度伸張処理手段は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、前記ブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、前記補間処理手段によりバイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を具備したことを特徴とする。   Further, in the omnidirectional monitoring image processing system, the blocking luminance expansion processing unit divides the set attention area into a plurality of blocks for the input image to be subjected to the luminance expansion processing, A block processing means for calculating a luminance expansion parameter in units of blocks based on the luminance values of a plurality of blocks obtained by convolving the luminance values of the blocks, and creating a luminance conversion table in units of blocks based on the luminance expansion parameters; Interpolation processing for performing bilinear interpolation with reference to the luminance conversion table of the surrounding block for each pixel for each pixel of each divided block based on the luminance conversion table in block units created by the block processing means And an image of each block subjected to bilinear interpolation by the interpolation processing means. Characterized by comprising an image converting means for generating a luminance decompression output image, the for the input image based on.

本発明によれば、単眼カメラで撮影した各フレーム単位の３６０°監視映像について、その全体映像を細部に亘り明瞭に表示できるとともに、３６０°監視映像の一部に存在する監視対象物となる動物体若しくは静物体を細部に亘り明瞭に表示することができる。   According to the present invention, the 360 ° surveillance video of each frame taken by a monocular camera can clearly display the entire video in detail, and at the same time, it is an animal that is a monitoring target existing in a part of the 360 ° surveillance video. A body or a static object can be clearly displayed in detail.

本発明の実施形態に係る全方位監視画像処理システムの構成を示すブロック図。The block diagram which shows the structure of the omnidirectional monitoring image processing system which concerns on embodiment of this invention. 上記実施形態に係る画像処理部の機能構成を示すブロック図。The block diagram which shows the function structure of the image process part which concerns on the said embodiment. 上記実施形態に係る処理の手順を示すフローチャート。The flowchart which shows the procedure of the process which concerns on the said embodiment. 上記実施形態に係るブロッキング輝度伸張処理手段の構成要素を示すブロック図。The block diagram which shows the component of the blocking luminance expansion | extension process means which concerns on the said embodiment. 上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。Operation | movement explanatory drawing for demonstrating the brightness | luminance expansion process operation | movement of the brightness | luminance expansion | extension process part which concerns on the said embodiment. 上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。Operation | movement explanatory drawing for demonstrating the blocking luminance expansion | extension process operation | movement which concerns on the said embodiment. 上記実施形態に係るブロッキング輝度伸張処理動作を説明するための動作説明図。Operation | movement explanatory drawing for demonstrating the blocking luminance expansion | extension process operation | movement which concerns on the said embodiment. 上記実施形態に係る畳み込み処理動作を説明するための動作説明図。Operation | movement explanatory drawing for demonstrating the convolution process operation | movement which concerns on the said embodiment. 上記実施形態に係る畳み込み処理動作を説明するための動作説明図。Operation | movement explanatory drawing for demonstrating the convolution process operation | movement which concerns on the said embodiment. 上記実施形態に係るバイリニア補間処理動作を説明するための動作説明図。Operation | movement explanatory drawing for demonstrating the bilinear interpolation process operation | movement which concerns on the said embodiment. 上記実施形態に係る輝度伸張処理部の構成を示すブロック図。The block diagram which shows the structure of the brightness expansion process part which concerns on the said embodiment. 上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。The flowchart which shows the process sequence of the brightness expansion process part which concerns on the said embodiment. 上記実施形態に係る全方位（３６０°全周）監視画像の一例を示す図。The figure which shows an example of the omnidirectional (360 degrees all around) monitoring image which concerns on the said embodiment. 上記図１４に示す３６０°全周監視画像から切り出した切り出し画像の一例を示す図。The figure which shows an example of the cut-out image cut out from the 360 degree all-around monitoring image shown in the said FIG. 上記実施形態において楕円映像（３６０°全周監視画像）の中で仮想自動追尾機能を実現するイメージを示す図。The figure which shows the image which implement | achieves a virtual automatic tracking function in an elliptical image (360 degrees all-around monitoring image) in the said embodiment. 上記図１５に示す仮想自動追尾機能によりトラッキングした監視対象オブジェクトの切り出し画像表示例を示す図。The figure which shows the cut-out image display example of the monitoring target object tracked by the virtual automatic tracking function shown in the said FIG. 上記図１５に示す仮想自動追尾機能によりトラッキングした監視対象オブジェクトの切り出し画像表示例を示す図。The figure which shows the cut-out image display example of the monitoring target object tracked by the virtual automatic tracking function shown in the said FIG.

以下図面を参照して本発明の実施形態を説明する。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは監視映像と称している。   Embodiments of the present invention will be described below with reference to the drawings. In this embodiment, image data for one frame (one screen) captured from a camera (monocular camera) is simply referred to as an image or a monitoring video.

本発明の実施形態に係る全方位監視画像処理システムは、１．３メガ（Ｍ）ピクセル以上の画素数を有する高画素（高精細）の単眼カメラ（１台のカメラ）に、３６０°レンズ（魚眼レンズ）を取り付け、このカメラで撮影した映像から、設定パラメータに従う動物体（例えば人物）、静止物体（放置物）などの対象物を監視対象として検出しトラッキングして追尾する処理技術に係るもので、上記単眼カメラで撮影した３６０°全周高精細監視映像（全方位監視画像）を入力画像として、当該入力画像と、当該入力画像から切り出した切り出し画像を対象に、任意の出力対象画像に対してブロッキング輝度伸張による明暗補正を実施し、表示出力することを特徴とする。なお、切り出し画像については歪曲収差を補正後、ブロッキング輝度伸張による明暗補正を施す。   An omnidirectional monitoring image processing system according to an embodiment of the present invention is applied to a 360 ° lens (single camera) with a high-pixel (high-definition) monocular camera having a number of pixels of 1.3 mega (M) pixels or more. A fish-eye lens) is attached to a processing technique for detecting, tracking, and tracking an object such as a moving object (for example, a person) or a stationary object (abandoned object) according to a setting parameter from an image captured by this camera. The 360 ° all-round high-definition monitoring video (omnidirectional monitoring image) captured by the monocular camera is used as an input image, and the input image and a cut-out image cut out from the input image are subjected to any output target image. In this case, brightness correction is performed by blocking luminance expansion, and display output is performed. Note that the cutout image is corrected for light and darkness by blocking luminance expansion after correcting distortion.

本発明の実施形態に係る全方位監視画像処理システムの構成を図１に示している。   FIG. 1 shows the configuration of an omnidirectional monitoring image processing system according to an embodiment of the present invention.

本発明の実施形態に係る全方位監視画像処理システムは、図１に示すように、単眼カメラ（ｉｐカメラ）１１と、キャプチャ部１２と、画像バッファメモリ１３と、リサイズ部１４と、処理画像バッファメモリ１５と、画像処理部１６と、オブジェクト情報バッファメモリ１７と、注目領域画像作成処理部１８と、オブジェクト画像バッファメモリ１９と、ブロッキング輝度伸張処理部２０と、表示部（表示デバイス）２１とを具備して構成される。   As shown in FIG. 1, an omnidirectional monitoring image processing system according to an embodiment of the present invention includes a monocular camera (ip camera) 11, a capture unit 12, an image buffer memory 13, a resizing unit 14, and a processed image buffer. A memory 15, an image processing unit 16, an object information buffer memory 17, an attention area image creation processing unit 18, an object image buffer memory 19, a blocking luminance expansion processing unit 20, and a display unit (display device) 21. It is provided and configured.

単眼カメラ１１およびキャプチャ部１２は、３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段を構成する。   The monocular camera 11 and the capture unit 12 constitute monitoring video input means for capturing 360 ° all-round monitoring video in frame units.

単眼カメラ１１は、撮像窓に３６０°魚眼レンズ１１Ａを取り付けた１．３Ｍピクセル以上の画素数を有する高精細の監視カメラを構成し、楕円面の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。ここでは、楕円面の長辺と短辺を、１フレームの幅と高さに合わせた、横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像を監視画像（Ｐａ）として出力する。この楕円面の３６０°全周監視画像（Ｐａ）の一例を図１３に示し、この楕円面の３６０°全周監視画像（Ｐａ）から切り出した切り出し画像（ｑ１）の一例を図１５に示している。   The monocular camera 11 constitutes a high-definition surveillance camera having a pixel number of 1.3 M pixels or more with a 360 ° fisheye lens 11A attached to the imaging window, and a 360 ° all-round high-definition surveillance video of an ellipsoid is displayed as a surveillance image (Pa ) Is output. Here, a 360 ° all-round high-definition monitoring video of horizontal × vertical = 1280 × 960 pixels, in which the long and short sides of the ellipsoid are matched to the width and height of one frame, is output as a monitoring image (Pa). . An example of the 360 ° all-round monitoring image (Pa) of this ellipsoid is shown in FIG. 13, and an example of the cut-out image (q1) cut out from this 360 ° all-around monitoring image (Pa) of this ellipse is shown in FIG. Yes.

キャプチャ部１２は、上記カメラ１１が撮像したフレーム単位（１２８０×９６０画素）の監視画像（Ｐａ）を入力画像として取り込み、画像バッファメモリ１３に記憶する処理機能をもつ。   The capture unit 12 has a processing function of capturing a monitor image (Pa) in frame units (1280 × 960 pixels) captured by the camera 11 as an input image and storing it in the image buffer memory 13.

画像バッファメモリ１３は、キャプチャ部１２がキャプチャしたフレーム単位の監視映像（Ｐａ）を入力画像として記憶する入力画像記憶手段を構成する。ここでは横×縦＝１２８０×９６０画素の３６０°全周高精細監視映像（Ｐａ）を入力画像として記憶する。   The image buffer memory 13 constitutes an input image storage unit that stores the monitoring video (Pa) in units of frames captured by the capture unit 12 as an input image. Here, 360 ° all-round high-definition monitoring video (Pa) of horizontal × vertical = 1280 × 960 pixels is stored as an input image.

リサイズ部１４および処理画像バッファメモリ１５は、監視映像入力手段の構成要素であるキャプチャ部１２がキャプチャしたフレーム単位の入力画像を、設定した画像処理単位、すなわち監視対象の検知および追跡に用いる小画素単位にリサイズし、リサイズした入力画像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段を構成する。   The resize unit 14 and the processed image buffer memory 15 are small pixels used for detection and tracking of a set image processing unit, that is, a monitoring target, using an input image in units of frames captured by the capture unit 12 which is a component of the monitoring video input unit. A processed image storage unit is configured to resize the unit and store the resized input image as a processing input image for a plurality of frames in time series.

ここでは、リサイズ部１４において、１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）を表示部（表示デバイス）２１の画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の表示用入力画像にリサイズし、さらに、入力画像（Ｐａ）を監視対象の検知並びに追跡処理に用いる３２０×４８０画素構成（ＱＶＧＡ）の処理用入力画像にリサイズして、処理画像バッファメモリ１５に、直近の入力画像を含み時系列に複数フレーム分（例えば３０〜６０フレーム分）記憶する。このリサイズによって監視対象の検知並びに追跡処理に係る処理負荷の軽減と処理の高速化を図っている。なお、ここでは単眼カメラ１１で撮影した直近の入力画像を含む複数フレーム分としているが、これに限らず、例えば図２に示すように、単眼カメラ１１で撮影したライブ映像を大容量記憶媒体２２に記憶した時系列の録画映像を入力画像（Ｐａ）として入力してもよい。   Here, in the resizing unit 14, a display input of 640 × 480 pixel configuration (VGA) in which an input image (Pa) of 1280 × 960 pixel configuration (Quad-VGA) is matched with the pixel configuration of the display unit (display device) 21. The image is resized, and the input image (Pa) is further resized to a processing input image of 320 × 480 pixel configuration (QVGA) used for detection and tracking processing of the monitoring target, and the latest input is input to the processing image buffer memory 15. A plurality of frames (for example, 30 to 60 frames) are stored in time series including images. By this resizing, the processing load related to the detection and tracking processing of the monitoring target is reduced and the processing speed is increased. Note that here, a plurality of frames including the latest input image photographed by the monocular camera 11 is used, but the present invention is not limited to this, and for example, as shown in FIG. The time-series recorded video stored in the above may be input as an input image (Pa).

画像処理部１６は、上記処理画像記憶手段の構成要素である処理画像バッファメモリ１５に記憶した監視映像（処理用入力画像）に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した閾値と上記処理画像バッファメモリ１５に記憶した複数フレームの監視映像をもとに、上記リサイズした直近の監視映像（処理用入力画像）から設定パラメータ（ＰＭ１）に従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき上記処理画像バッファメモリ１５に記憶した直近の監視映像（処理用入力画像）から上記検知した監視対象を囲う矩形の領域を領域情報として抽出する画像処理手段を構成する。外部から設定される設定パラメータ（ＰＭ１）は、監視対象の検知および追跡パラメータとして、監視対象が動物体であるか静止物体であるかを指定する検知物指定情報と、３６０°全周画像における検知対象エリアを指定する検知エリア指定情報と、３６０°全周画像における監視対象の領域サイズを指定する検知物サイズ指定情報と、監視対象の検知時間帯を指定する時間情報とが含まれ、これらの各設定情報をもとに監視対象の検知および追跡処理を実施する。また、表示パラメータとして、監視画像表示モードを指定する表示モード指定情報、表示画面上の表示位置および領域を指定する表示位置および領域指定情報、表示輝度およびコントラストを指定する表示制御情報とを含み、これらの各設定情報をもとに表示部（表示デバイス）２１に３６０°全周画像や切り出し画像が表示される。   The image processing unit 16 performs preprocessing on the monitoring video (processing input image) stored in the processing image buffer memory 15 which is a component of the processing image storage unit, and determines a threshold for detecting the monitoring target. Based on the determined threshold value and a plurality of frames of monitoring video stored in the processed image buffer memory 15, the moving object or the stationary object according to the setting parameter (PM1) from the resized latest monitoring video (processing input image) Is detected as a monitoring target, and when a monitoring target is detected, a rectangular area surrounding the detected monitoring target is determined from the latest monitoring video (processing input image) stored in the processing image buffer memory 15. An image processing means for extracting as information is configured. The setting parameter (PM1) set from the outside includes detection object specifying information for specifying whether the monitoring target is a moving object or a stationary object, and detection in a 360 ° all-round image as detection and tracking parameters of the monitoring target. Detection area designating information for designating a target area, detected object size designating information for designating an area size of a monitoring target in a 360 ° all-round image, and time information for designating a detection time zone of a monitoring target. Based on each setting information, the monitoring target is detected and tracked. The display parameters include display mode designation information for designating a monitoring image display mode, display position and area designation information for designating a display position and area on the display screen, display control information for designating display brightness and contrast, Based on these pieces of setting information, a 360 ° all-round image and a cut-out image are displayed on the display unit (display device) 21.

この画像処理手段は、上記リサイズした監視映像から複数の監視対象を検知したとき、監視対象毎に、監視対象をカメラで追尾するように、監視対象毎に時系列に矩形の領域を追跡する仮想自動追跡処理を実施する。また、ここでは、動物体と静止物体を監視対象に、そのいずれかの物体を監視対象（検知対象）としていることから、検知対象が動物体であるときと静止物体であるときとでそれぞれ異なる閾値を決定する。この閾値の決定手段として、動物体を監視対象とした動物体検知用閾値の決定手段と、静止物体を監視対象とした静止物体検知用閾値の決定手段とを用意する。   This image processing means, when detecting a plurality of monitoring targets from the resized monitoring video, for each monitoring target, a virtual area that tracks a rectangular area in time series so as to track the monitoring target with a camera. Implement automatic tracking processing. In addition, here, the moving object and the stationary object are set as monitoring targets, and any one of the objects is set as the monitoring target (detection target). Therefore, the detection target is different from that when the detection target is a moving object. Determine the threshold. As this threshold value determining means, there are prepared a moving object detection threshold value determining means for monitoring moving objects and a stationary object detection threshold value determining means for monitoring still objects.

この実施形態では、動物体検知用閾値の決定手段として、本願出願人において既に出願した特開２０１０−２０４７０４号公報の閾値決定技術を適用し、静止物体検知用閾値の決定手段として、同じく本願出願人において既に出願した特開２０１０−２０６２８６号公報の閾値決定技術を適用している。   In this embodiment, the threshold value determination technique disclosed in Japanese Patent Application Laid-Open No. 2010-204704, which has already been filed by the applicant of the present application, is applied as the moving object detection threshold value determination means. The threshold value determination technique disclosed in Japanese Patent Application Laid-Open No. 2010-206286, which has already been filed by humans, is applied.

この実施形態における動物体検知用閾値の決定手段は、上記処理画像バッファメモリ１５に記憶した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、上記標準偏差を算出した画素について、上記算出した標準偏差と上記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、この閾値算出手段で算出した閾値を上記標準偏差を算出した画素の上記変化画素を抽出するための閾値として設定する閾値設定手段とを具備して構成される。また、静止物体検知用閾値の決定手段は、上記処理画像バッファメモリ１５に記憶した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、低輝度の一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、この背景画像作成手段が作成した背景画像と入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像を更新する背景変化画素抽出手段とを具備して構成される。この各閾値決定手段のより詳細な構成については上記文献に開示されているのでここではその説明を割愛する。上記の各閾値決定技術を適用することによって明暗の差が大きい処理画像に対しても精度の高い物体検知が可能である。   The moving object detection threshold determining means in this embodiment is a standard deviation calculating means for calculating a luminance average value and a standard deviation per pixel for a plurality of images within a predetermined period stored in the processed image buffer memory 15. And a threshold value calculating means for calculating a threshold value based on the calculated standard deviation and a weighted moving average of threshold values of corresponding pixels of the plurality of past images, and the threshold value calculation. And a threshold value setting means for setting the threshold value calculated by the means as a threshold value for extracting the change pixel of the pixel whose standard deviation is calculated. Further, the static object detection threshold determining means calculates a luminance average value and a standard deviation per pixel for a plurality of images within a predetermined period stored in the processed image buffer memory 15, and obtained by this calculation. Based on the standard deviation or luminance dispersion value, for the corresponding pixels of the plurality of images within the predetermined period, a plurality of pixels that fall within a constant luminance fluctuation range of low luminance are specified, and the average of the specified pixels Background image creation means for creating a background image using luminance, and background change pixels are extracted by a difference processing for each pixel between the background image created by the background image creation means and the input current image, and the background image is updated. And background change pixel extraction means. Since a more detailed configuration of each threshold value determining means is disclosed in the above-mentioned document, the description thereof is omitted here. By applying each of the above threshold determination techniques, it is possible to detect an object with high accuracy even for a processed image having a large difference in brightness.

上記前処理で決定した閾値と処理画像バッファメモリ１５に貯えられた複数フレームの処理用入力画像とをもとに、リサイズした直近の監視映像（処理用入力画像）から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき上記処理画像バッファメモリ１５に記憶した直近の監視映像から上記検知した監視対象を囲う矩形の領域を切り出して、上記した仮想自動追跡処理を実施する。この仮想自動追跡処理例については図１５乃至図１７を参照して後述する。   Based on the threshold determined in the preprocessing and the processing input images of a plurality of frames stored in the processing image buffer memory 15, the moving object according to the set parameter from the latest resized monitoring video (processing input image) or still image A detection process for detecting an object as a monitoring target is performed, and when the monitoring target is detected, a rectangular area surrounding the detected monitoring target is cut out from the latest monitoring video stored in the processing image buffer memory 15, and the virtual Implement automatic tracking processing. An example of this virtual automatic tracking process will be described later with reference to FIGS.

この監視対象となるオブジェクトの追跡処理手段として、動物体の追跡処理については、本願出願人において既に出願した特開２００８−１５８９８４号公報に記載された、新規オブジェクトの登録処理手段と、未確定オブジェクトの追跡処理手段と、確定オブジェクトの追跡処理手段とを組み合わせたオブジェクト追跡処理技術が適用可能であり、静止物体の追跡処理については、同じく本願出願人において既に出願した特開２０１０−２０６２８６号公報に記載された、登録背景差分手法による停止物検知処理技術、または背景時間差分手法による停止物検知処理技術が適用可能である。これら各物体検知技術の詳細な構成については上記文献に開示されているのでここではその説明を割愛する。   As the tracking processing means of the object to be monitored, the tracking processing of the moving object is described in Japanese Patent Application Laid-Open No. 2008-158984 already filed by the applicant of the present application, and the new object registration processing means, and the undetermined object The object tracking processing technique combining the tracking processing means and the confirmed object tracking processing means can be applied, and the tracking processing of the stationary object is disclosed in Japanese Patent Application Laid-Open No. 2010-206286 already filed by the applicant of the present application. The described stationary object detection processing technique based on the registered background difference technique or the stationary object detection processing technique based on the background time difference technique can be applied. Since the detailed configuration of each of these object detection techniques is disclosed in the above-mentioned document, the description thereof is omitted here.

オブジェクト情報バッファメモリ１７は、上記画像処理部１６が検知（算出）した上記矩形の領域およびその中心座標を示す矩形の領域情報（監視映像（処理用入力画像）内における矩形領域の座標データ）をオブジェクト情報として記憶する。ここでは動物体の追跡に用いるオブジェクト情報を動体情報として、静止物体の追跡に用いるオブジェクト情報を停止物情報として示している。   The object information buffer memory 17 stores the rectangular area detected (calculated) by the image processing unit 16 and rectangular area information (coordinate data of the rectangular area in the monitoring video (processing input image)) indicating the center coordinates thereof. Store as object information. Here, object information used for tracking a moving object is shown as moving object information, and object information used for tracking a stationary object is shown as stationary object information.

注目領域画像作成処理部１８およびオブジェクト画像バッファメモリ１９は、上記オブジェクト情報バッファメモリ１７に記憶されたオブジェクト情報（矩形の領域の中心位置座標）をもとに、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施し、切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段を構成する。ここでは、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対して歪曲収差を補正し、表示部（表示デバイス）２１の表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像（オブジェクト画像）としてオブジェクト画像バッファメモリ１９に貯える。この際の歪曲収差の補正処理については既知の技術が適用される。   The attention area image creation processing unit 18 and the object image buffer memory 19 are stored in the image buffer memory 13 based on the object information (the center position coordinates of the rectangular area) stored in the object information buffer memory 17. A monitoring image processing unit that performs a clipping process on the input image (Pa) and performs a correction process for correcting distortion on the clipped image is configured. Here, a 640 × 480 pixel configuration (VGA) cut-out image in which distortion is corrected for the cut-out image (q) cut out from the input image (Pa) and matched to the display pixel configuration of the display unit (display device) 21 is used. Stored in the object image buffer memory 19 as (object image). A known technique is applied to the distortion correction process at this time.

ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する処理手段（ブロッキング輝度伸張処理手段）を構成する。   The blocking luminance expansion processing unit 20 processes the input image (Pa) stored in the image buffer memory 13 and the cut-out image (object image) stored in the object image buffer memory 19 with respect to an image to be displayed and output. A processing unit (blocking luminance expansion processing unit) that performs the blocking luminance expansion processing for each pixel is configured.

このブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像（ここではリサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、またはオブジェクト画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備し、画面全体の一部に存在する明暗の大きく異なる画像について、明暗の大きく異なる部分を画素レベルで補正し、監視し易い画像に補正する。このブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理については、図４乃至図１２を参照して後述する。   This blocking luminance expansion processing unit 20 is an input image to be subjected to luminance expansion processing (here, a VGA 360-degree all-round input image resized by the resizing unit 14 or a VGA cut-out image stored in the object image buffer memory 19). ), The image area (or the set attention area) is divided into a plurality of blocks, and for each of the divided blocks, a block unit based on the luminance values of a plurality of blocks obtained by convolving the luminance values of surrounding blocks. A block processing unit that calculates a luminance expansion parameter for each block and creates a block-by-block luminance conversion table based on the luminance expansion parameter, and a block unit based on the block-based luminance conversion table created by the block processing unit. For each pixel in each block, the brightness change of the surrounding blocks Interpolation processing means for performing bilinear interpolation with reference to a table, and image conversion means for creating a luminance expansion output image for the input image based on the pixels of each block subjected to bilinear interpolation by the interpolation processing means It is provided, and with respect to an image having a large difference in brightness and darkness existing in a part of the entire screen, a portion having a large difference in brightness and darkness is corrected at a pixel level to correct an image easy to monitor. The configuration of the blocking luminance expansion processing unit 20 and the luminance expansion processing will be described later with reference to FIGS.

表示部（表示デバイス）２１は上記補完処理手段により輝度伸張処理を施した監視対象画像を表示する表示出力手段を構成する。ここでは、６４０×４８０画素の表示画面で構成され、画像バッファメモリ１３に貯えられた入力画像（Ｐａ）をリサイズ部１４でリサイズした３６０°全周入力画像と、オブジェクト画像バッファメモリ１９に貯えられた切り出し画像とを表示対象に、そのいずれかの画像を選択して、若しくは表示領域を区分して同時に表示出力する。ここでは、監視対象が検知されない状態にあるとき、画像バッファメモリ１３に貯えられた３６０°全周の入力画像（Ｐａ）を表示し、監視対象が検知されたとき、３６０°全周の入力画像（Ｐａ）に代えて（または３６０°全周の入力画像に重ねて）、オブジェクト画像バッファメモリ１９に貯えられた切り出し画像を表示する。   The display unit (display device) 21 constitutes a display output unit that displays the monitoring target image that has been subjected to the luminance expansion processing by the complementary processing unit. Here, it is composed of a display screen of 640 × 480 pixels, and the 360 ° all-round input image obtained by resizing the input image (Pa) stored in the image buffer memory 13 by the resizing unit 14 and stored in the object image buffer memory 19. One of the selected images is selected as a display target, or the display area is divided and displayed at the same time. Here, when the monitoring target is not detected, the 360 ° all-round input image (Pa) stored in the image buffer memory 13 is displayed. When the monitoring target is detected, the 360 ° all-round input image is displayed. Instead of (Pa) (or overlaid on the 360 ° all-round input image), the cut-out image stored in the object image buffer memory 19 is displayed.

上記した全方位監視画像処理システムのソフトウェア（ＳＷ）構成を図２に示している。このソフトウェア（ＳＷ）は入力手段のハードウェア（ＨＷ）構成要素をなす単眼カメラ（ＩＰカメラ）１１と出力手段のハードウェア（ＨＷ）構成要素をなす表示部（表示デバイス）２１との間に設けられる。ソフトウェア（ＳＷ）の構成要素である画像処理部１６は、前処理部１６ａと、検知処理部１６ｂと、追跡処理部１６ｃを具備して構成されている。   The software (SW) configuration of the above-described omnidirectional monitoring image processing system is shown in FIG. This software (SW) is provided between a monocular camera (IP camera) 11 that forms a hardware (HW) component of input means and a display unit (display device) 21 that forms a hardware (HW) component of output means. It is done. The image processing unit 16, which is a component of software (SW), includes a preprocessing unit 16a, a detection processing unit 16b, and a tracking processing unit 16c.

前処理部１６ａは、設定パラメータ（ＰＭ１）に含まれる検知物指定情報に従い、動物体検知用閾値の決定手段または静止物体検知用閾値の決定手段を選択的に起動して、監視対象（検知物）の閾値（動物体検知用の閾値または静止物体検知用の閾値）を算出する。   The pre-processing unit 16a selectively activates the moving object detection threshold determination means or the stationary object detection threshold determination means in accordance with the detection object designation information included in the setting parameter (PM1), so that the monitoring target (detection object) is detected. ) Threshold (threshold for object detection or threshold for still object detection).

検知処理部１６ｂは、設定パラメータ（ＰＭ１）に含まれる監視対象の検知および追跡パラメータに従い、前処理部１６ａが算出した閾値を用いて、監視対象（動物体または静止物体）の検知処理を実施し、監視画像（Ｐａ）から監視対象を囲う矩形の領域を抽出する。すなわち、監視対象にある動物体または静止物体を囲う矩形の領域を示す位置座標情報を抽出する。   The detection processing unit 16b performs detection processing of the monitoring target (animal body or stationary object) using the threshold calculated by the preprocessing unit 16a according to the monitoring target detection and tracking parameters included in the setting parameter (PM1). Then, a rectangular area surrounding the monitoring target is extracted from the monitoring image (Pa). That is, position coordinate information indicating a rectangular area surrounding a moving object or a stationary object that is a monitoring target is extracted.

追跡処理部１６ｃは、検知処理部１６ｂが抽出した矩形の領域をもとに監視対象をカメラで追尾するように仮想自動追跡処理を実施して、追跡処理結果の領域情報をオブジェクト情報（動体情報または停止物情報）としてオブジェクト情報バッファメモリ１７に記憶する。   The tracking processing unit 16c performs a virtual automatic tracking process so that the monitoring target is tracked by the camera based on the rectangular area extracted by the detection processing unit 16b, and the tracking process result area information is converted into object information (moving object information). (Or stationary object information) is stored in the object information buffer memory 17.

注目領域画像作成処理部１８は、オブジェクト情報バッファメモリ１７に記憶されたオブジェクト情報（矩形の領域の中心位置座標）をもとに、画像バッファメモリ１３に記憶された入力画像（Ｐａ）に対して切り出し処理を実施して、入力画像（Ｐａ）から切り出した切り出し画像（ｑ）に対し歪曲収差を補正し、表示部（表示デバイス）２１の表示画素構成に合わせた６４０×４８０画素構成（ＶＧＡ）の切り出し画像（オブジェクト画像）としてオブジェクト画像バッファメモリ１９に貯える。   The attention area image creation processing unit 18 applies the input image (Pa) stored in the image buffer memory 13 based on the object information (center position coordinates of the rectangular area) stored in the object information buffer memory 17. A 640 × 480 pixel configuration (VGA) that matches the display pixel configuration of the display unit (display device) 21 by correcting the distortion of the cut-out image (q) cut out from the input image (Pa) by performing the clipping process. Is stored in the object image buffer memory 19 as a cutout image (object image).

ブロッキング輝度伸張処理部２０は、上記画像バッファメモリ１３に記憶された入力画像（Ｐａ）とオブジェクト画像バッファメモリ１９に記憶された切り出し画像（オブジェクト画像）を処理対象に、表示出力する画像に対して画素単位のブロッキング輝度伸張処理を実施する。   The blocking luminance expansion processing unit 20 processes the input image (Pa) stored in the image buffer memory 13 and the cut-out image (object image) stored in the object image buffer memory 19 with respect to an image to be displayed and output. Blocking luminance expansion processing in units of pixels is performed.

上記した全方位監視画像処理システムの処理手順を図３にフローチャートで示している。３６０°全周の監視画像（Ｐａ）はキャプチャ部１２によりキャプチャされ、入力画像（Ｐａ）として画像バッファメモリ１３に貯えられる（ステップＳ１１）。   The processing procedure of the above-described omnidirectional monitoring image processing system is shown in the flowchart of FIG. The 360 ° all-round monitoring image (Pa) is captured by the capture unit 12 and stored in the image buffer memory 13 as an input image (Pa) (step S11).

画像バッファメモリ１３に貯えられた１２８０×９６０画素構成（Ｑｕａｄ−ＶＧＡ）の入力画像（Ｐａ）は、リサイズ部１４により、３２０×４８０画素構成（ＱＶＧＡ）の検知並びに追跡処理用入力画像にリサイズされて処理画像バッファメモリ１５に時系列に記憶される（ステップＳ１２）。 The 1280 × 960 pixel configuration (Quad-VGA) input image (Pa) stored in the image buffer memory 13 is resized by the resizing unit 14 into a 320 × 480 pixel configuration (QVGA) detection and tracking input image. Are stored in the processed image buffer memory 15 in time series (step S12 ).

処理画像バッファメモリ１５に上記処理用入力画像が記憶される都度、画像処理部１６は、前処理において、処理画像バッファメモリ１５に記憶された直近の処理用入力画像を含む複数フォームの処理用入力画像を参照してその画素値の内容から最適閾値を算出し、検知処理において、処理画像バッファメモリ１５に記憶された直近の処理用入力画像と過去の処理用入力画像と上記閾値とをもとに監視対象の検知処理（矩形の領域抽出処理）を実施し、監視対象が検知されたとき、追跡処理において、検知した矩形の領域情報をもとに監視対象の追跡処理を実施する。監視対象が複数検知されたとき、その各監視対象に対して追跡処理を実施する（ステップＳ１３）。   Each time the processing input image is stored in the processed image buffer memory 15, the image processing unit 16 performs processing input of a plurality of forms including the latest processing input image stored in the processed image buffer memory 15 in the preprocessing. An optimum threshold value is calculated from the content of the pixel value with reference to the image, and based on the latest processing input image, the past processing input image, and the threshold value stored in the processing image buffer memory 15 in the detection process. When the monitoring target detection process (rectangular area extraction process) is performed and the monitoring target is detected, the tracking target tracking process is performed based on the detected rectangular area information in the tracking process. When a plurality of monitoring targets are detected, a tracking process is performed for each monitoring target (step S13).

上記検知処理において監視対象が検知されないとき（ステップＳ１４ Ｎｏ）、リサイズ部１４により１２８０×９６０画素構成の入力画像（Ｐａ）が６４０×４８０画素構成（ＶＧＡ）にリサイズされ（ステップＳ１５）、そのリサイズされた３６０°全周の入力画像に対して、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理が実施される（ステップＳ１６）。このブロッキング輝度伸張処理により３６０°全周の全画像を対象に明暗補正が実施され、ブロッキング輝度伸張処理した３６０°全周の入力画像が表示部（表示デバイス）２１に表示出力される（ステップＳ２０）。このブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易い画像に補正して表示される。   When the monitoring target is not detected in the detection process (No in step S14), the resize unit 14 resizes the input image (Pa) having a 1280 × 960 pixel configuration to a 640 × 480 pixel configuration (VGA) (step S15). Blocking luminance expansion processing is performed by the blocking luminance expansion processing unit 20 on the 360-degree all-round input image (step S16). By this blocking luminance expansion processing, light and dark correction is performed on the entire 360 ° circumference image, and the 360 ° full circumference input image subjected to the blocking luminance expansion processing is displayed and output on the display unit (display device) 21 (step S20). ). By this blocking luminance expansion processing, a greatly different portion of light and dark is corrected at the pixel level, and is corrected and displayed as an image that can be easily monitored.

上記検知処理において監視対象が検知されたとき（ステップＳ１４ Ｙｅｓ）、検知された監視対象それぞれに対して、注目領域画像作成処理部１８により切り出し処理および歪曲収差に対する補正処理が実施され、さらにその切り出し画像に対して、ブロッキング輝度伸張処理部２０によりブロッキング輝度伸張処理が実施され（ステップＳ１７ａ〜Ｓ１７ｄ）、ブロッキング輝度伸張処理された切り出し画像が表示部（表示デバイス）２１に表示出力される（ステップＳ２０）。これにより明瞭で監視し易い切り出し画像が表示される。また、魚眼レンズによる楕円面の（焦平面フィールド）上における輝度の偏りについても上記ブロッキング輝度伸張処理により補正されることから、より監視し易いダイナミックレンジの画像補正が可能となる。   When a monitoring target is detected in the detection process (Yes in step S14), a cutout process and a correction process for distortion aberration are performed by the attention area image creation processing unit 18 for each detected monitor target, and the cutout is further performed. Blocking luminance expansion processing is performed on the image by the blocking luminance expansion processing unit 20 (steps S17a to S17d), and the clipped image subjected to the blocking luminance expansion processing is displayed and output on the display unit (display device) 21 (step S20). ). As a result, a clipped image that is clear and easy to monitor is displayed. In addition, the luminance deviation on the ellipsoidal surface (focal plane field) by the fisheye lens is also corrected by the blocking luminance expansion processing, so that it is possible to perform dynamic range image correction that is easier to monitor.

ここで、ブロッキング輝度伸張処理部２０の構成並びに輝度伸張処理について、図４乃至図１２を参照して説明する。   Here, the configuration of the blocking luminance expansion processing unit 20 and the luminance expansion processing will be described with reference to FIGS.

ブロッキング輝度伸張処理部２０は、上述したように、輝度伸張処理の対象となる入力画像（リサイズ部１４でリサイズしたＶＧＡの３６０°全周入力画像、またはオブジェクト画像バッファメモリ１９に貯えられたＶＧＡの切り出し画像）について、当該画像領域（または設定された注目エリア）を複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、この補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。   As described above, the blocking luminance expansion processing unit 20 inputs the input image to be subjected to luminance expansion processing (360 ° full-circle input image of the VGA resized by the resizing unit 14 or the VGA stored in the object image buffer memory 19). For the clipped image), the image area (or the set attention area) is divided into a plurality of blocks, and for each of the divided blocks, based on the luminance values of the plurality of blocks obtained by convolving the luminance values of the surrounding blocks. A block processing unit that calculates a luminance expansion parameter for each block and creates a luminance conversion table for each block based on the luminance expansion parameter, and a block-based luminance conversion table created by the block processing unit. For each pixel of each divided block, the brightness of the surrounding blocks for each block An interpolation processing means for performing bilinear interpolation with reference to a conversion table, and an image conversion means for creating a luminance expansion output image for the input image based on the pixels of each block subjected to bilinear interpolation by the interpolation processing means; It is comprised and comprises.

図４に示すブロッキング輝度伸張処理部２０は、単眼カメラ１１で撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＶＧＡ（６４０×４８０画素）の０〜２５５階調の入力画像を対象に設定された注目エリアの画像を輝度伸張処理する。   The blocking luminance expansion processing unit 20 shown in FIG. 4 uses the image captured by the monocular camera 11 as an input image, performs luminance expansion processing (gamma correction) on the input image, and distributes the input image to the luminance value distribution of the input image. Convert from the state to the optimum gradation. Here, the luminance expansion processing is performed on the image of the attention area set for the input image of 0 to 255 gradations of VGA (640 × 480 pixels).

このブロッキング輝度伸張処理部２０における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための輝度伸張パラメータを、入力画像における注目エリアを複数のブロックに分割したブロック単位の画像の平均輝度値をもとに自動算出する手段を具備した。 In the luminance expansion processing in the blocking luminance expansion processing unit 20, a luminance expansion parameter for luminance expansion necessary for gamma correction is set with reference to the theory of gamma (γ) correction, and a target area in an input image is set to a plurality of blocks. A means for automatically calculating based on the average luminance value of the divided block unit images is provided.

ブロッキング輝度伸張処理部２０は、輝度伸張処理の対象となる入力画像について、設定された注目エリアを複数のブロックに分割し、分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとにブロック単位の輝度変換テーブルを作成するブロック処理手段と、このブロック処理手段により作成されたブロック単位の輝度変換テーブルをもとに、分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、上記補間処理手段によりバイリニア補間を施した上記各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像を作成する画像変換手段とを具備して構成される。   The blocking luminance expansion processing unit 20 divides the set attention area into a plurality of blocks for the input image to be subjected to the luminance expansion processing, and convolves the luminance values of the surrounding blocks with respect to each of the divided blocks. A block processing unit that calculates a luminance expansion parameter for each block based on the luminance value of the block and creates a luminance conversion table for each block based on the luminance expansion parameter, and a block unit created by the block processing unit For each pixel of each divided block based on the luminance conversion table, an interpolation processing means for performing bilinear interpolation with reference to the luminance conversion table of the surrounding block for each block, and bilinear interpolation by the interpolation processing means Luminance expansion output image for the input image based on the pixels of each block subjected to Configured by including an image conversion means for generating.

図４に示すブロッキング輝度伸張処理部２０の輝度伸張処理動作について、図５乃至図１０を参照して説明する。図５は上記ブロッキング輝度伸張処理部２０の輝度伸張処理動作を説明するための動作説明図、図６および図７はそれぞれ上記したブロック処理手段における輝度伸張処理の動作原理を説明するための動作説明図、図８および図９はそれぞれ上記したブロック処理手段における畳み込み処理の動作原理を説明するための動作説明図、図１０は上記した補間処理手段におけるバイリニア補間処理の動作原理を説明するための動作説明図である。   The luminance expansion processing operation of the blocking luminance expansion processing unit 20 shown in FIG. 4 will be described with reference to FIGS. FIG. 5 is an operation explanatory diagram for explaining the luminance expansion processing operation of the blocking luminance expansion processing unit 20, and FIGS. 6 and 7 are operation descriptions for explaining the operational principle of the luminance expansion processing in the block processing means described above. FIG. 8, FIG. 8 and FIG. 9 are operation explanatory views for explaining the operation principle of the convolution processing in the block processing means, and FIG. 10 is an operation for explaining the operation principle of the bilinear interpolation processing in the interpolation processing means. It is explanatory drawing.

図５に示す、ブロッキング輝度伸張処理部２０のブロック処理手段４ａは、先ず、単眼カメラで撮影した入力画像（６４０×４８０画素）２について、予め設定された注目エリア３を複数のブロックに分割する。具体例を挙げると、入力画像を３２×３２画素単位、若しくは１６×１６画素単位、若しくは８×８画素単位等に分割し、注目エリア３（画像全体または設定された注目エリア）を複数のブロックに分割する。例えば注目エリア３の画面を１６×１６画素単位のブロック（４０×３０ブロック）に分割する。このブロック分割領域それぞれについて、周囲ブロックの輝度値を可変要素に、平均輝度を求める。   The block processing means 4a of the blocking luminance expansion processing unit 20 shown in FIG. 5 first divides a preset attention area 3 into a plurality of blocks for an input image (640 × 480 pixels) 2 photographed with a monocular camera. . As a specific example, the input image is divided into 32 × 32 pixel units, 16 × 16 pixel units, 8 × 8 pixel units, or the like, and attention area 3 (entire image or set attention area) is divided into a plurality of blocks. Divide into For example, the screen of the attention area 3 is divided into 16 × 16 pixel unit blocks (40 × 30 blocks). For each block division area, the average luminance is obtained using the luminance value of the surrounding block as a variable element.

この動作原理を図６乃至図９に示している。ここでは、図６および図７に示すように、画面をブロック分割した１６×１６画素のパターンを、１／２ブロック（８×８画素）分シフトしたブロック４パターンから１つの小ブロックの値を考える。ここでは、１／２ブロックシフトで、４パターンのブロックが重なったブロック（８×８画素）について、重なったブロックの輝度の平均、さらには輝度二乗の平均等を求め、この値をもとに、予め設定された輝度伸張処理方式に適用される輝度伸張用の輝度変換テーブルをブロック単位に作成する。さらにブロック処理手段４ａは、分割したブロック各々について、ブロック毎の輝度総和を算出し、算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出して、各ブロックの平均輝度を算出する。この際の畳み込み計数および畳み込み処理のイメージを図８および図９に示している。ここでは、図８に示すように、平均輝度の算出対象となる注目ブロックに対して「４」、注目ブロックの周囲８近傍のブロックのうち、上下左右の４ブロックに対してそれぞれ「２」、斜め４方向の各ブロックに対してそれぞれ「１」の畳み込み計数をもたせて、図９に示すデータの積み上げイメージで、上記各ブロックの輝度値を畳み込み、畳み込み演算することで、注目ブロックの輝度平均を求めることができる。このブロック毎の平均輝度値をもとに、予め設定された輝度伸張処理方式に適用されるブロック単位の輝度伸張パラメータおよび輝度変換テーブルを作成する。   This operation principle is shown in FIGS. Here, as shown in FIG. 6 and FIG. 7, the 16 × 16 pixel pattern obtained by dividing the screen into blocks is converted into the value of one small block from the block 4 pattern shifted by 1/2 block (8 × 8 pixels). Think. Here, for a block (8 × 8 pixels) in which four patterns of blocks are overlapped by a 1/2 block shift, the average of the luminance of the overlapping blocks, the average of the square of the luminance, etc. are obtained, and based on this value Then, a luminance conversion table for luminance expansion, which is applied to a preset luminance expansion processing method, is created for each block. Further, the block processing means 4a calculates a luminance sum for each block for each of the divided blocks, and uses the calculated luminance sum for each block to weight and convolve each block with the block and its surrounding blocks. The total luminance of all the processed blocks is calculated, and the average luminance of each block is calculated. 8 and 9 show images of convolution counting and convolution processing at this time. Here, as shown in FIG. 8, “4” for the target block for which the average luminance is to be calculated, and “2” for the four blocks above, below, left, and right among the blocks near the target block. The convolution count of “1” is given to each block in the four diagonal directions, and the luminance value of each block is convolved with the image of data accumulation shown in FIG. Can be requested. Based on the average luminance value for each block, a luminance expansion parameter and a luminance conversion table for each block to be applied to a preset luminance expansion processing method are created.

つぎに、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、上記ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、上記した補間手段により、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。このバイリニア補間は図１０に示すように、注目画素の変換値を、周囲４ブロック（Ａ，Ｂ，Ｃ，Ｄ）の変換値の線形補間（バイリニア補間）にて決定し設定する。ここでは、注目画素が位置するブロック位置、および注目画素の当該ブロックとの位置差を小数点で求めて、当該ブロックと周囲ブロックの輝度変換テーブルの値に、ブロック位置差の係数を掛け、線形補間（バイリニア補間）の原理で輝度の変換値を求める。   Next, in the interpolation processing unit 4b of the blocking luminance expansion processing unit 20, for each pixel of each block using the luminance conversion table according to the luminance expansion parameter obtained in units of the block, the interpolation unit 4b performs the corresponding block for each block. Then, bilinear interpolation is performed using the luminance conversion table of the surrounding four blocks. In this bilinear interpolation, as shown in FIG. 10, the conversion value of the target pixel is determined and set by linear interpolation (bilinear interpolation) of conversion values of the surrounding four blocks (A, B, C, D). Here, the block position where the pixel of interest is located and the positional difference between the pixel of interest and the corresponding block are calculated with a decimal point, and the value of the luminance conversion table of the block and surrounding blocks is multiplied by the coefficient of the block position difference to perform linear interpolation. The luminance conversion value is obtained by the principle of (bilinear interpolation).

上記補間処理手段４ｂによりバイリニア補間を施した各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する。   Based on the pixels of each block subjected to bilinear interpolation by the interpolation processing unit 4b, a luminance expansion output image 5 for the input image is created.

このように、ブロッキング輝度伸張処理部２０のブロック処理手段４ａにおいて、画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを求め、ブロッキング輝度伸張処理部２０の補間処理手段４ｂにおいて、周囲ブロックを利用したバイリニア補間で変換輝度値を求めて、バイリニア補間を施した（周囲ブロックの輝度伸張パラメータを反映した）各ブロックの画素をもとに上記入力画像に対する輝度伸張出力画像５を作成する構成としたことにより、ブロック境界に輝度差が生じることなく、注目エリア内の一部に局所的に存在する明暗の各画像をそれぞれ明瞭に階調表示することができる。   As described above, the block processing unit 4a of the blocking luminance expansion processing unit 20 obtains the luminance expansion parameter and the luminance conversion table for each image block, and the interpolation processing unit 4b of the blocking luminance expansion processing unit 20 uses the bilinear block. By obtaining a converted luminance value by interpolation and creating a luminance expansion output image 5 for the input image based on the pixels of each block subjected to bilinear interpolation (reflecting luminance expansion parameters of surrounding blocks) The bright and dark images locally existing in a part of the attention area can be clearly displayed in gradation without causing a luminance difference at the block boundary.

上記実施形態をより具現化した一例を図１１および図１２に示している。図１１は実施形態に係るブロッキング輝度伸張処理部２０の機能構成を示すブロック図、図１２は上記ブロッキング輝度伸張処理部２０の処理手順を示すフローチャートである。   An example that further embodies the above embodiment is shown in FIGS. FIG. 11 is a block diagram illustrating a functional configuration of the blocking luminance expansion processing unit 20 according to the embodiment, and FIG. 12 is a flowchart illustrating a processing procedure of the blocking luminance expansion processing unit 20.

ブロッキング輝度伸張処理部２０は、上述したブロック処理手段（４ａ）の機能と補間処理手段（４ｂ）の機能を備え、ブロック処理機能により画像ブロック単位の輝度伸張パラメータと輝度変換テーブルを生成し、補間処理機能により周囲ブロックを利用したバイリニア補間で各ブロックの画素の変換輝度値を求めている。   The blocking luminance expansion processing unit 20 has the functions of the block processing means (4a) and the interpolation processing means (4b) described above, generates a luminance expansion parameter and a luminance conversion table for each image block by the block processing function, and performs interpolation. The converted luminance value of the pixel of each block is obtained by bilinear interpolation using surrounding blocks by the processing function.

なお、図１１に示す構成は、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示している。   The configuration shown in FIG. 11 shows an example in which the block division luminance expansion processing function according to the embodiment of the present invention is applied to a non-linear luminance expansion processing method using a non-linear curve (convex curve, concave curve).

この非線形輝度伸張処理方式では、後述する平均輝度算出部２２２が算出した平均輝度値が２５６階調の中心輝度値（１２７）以下であるか超えているかを判定し、中心輝度値以下であるとき、凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成し、中心輝度値を超えるとき、凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブルとして作成する。この非線形輝度伸張処理機能は、既に公知の特許第４３４０３０３号による非線形輝度伸張処理方式に適用したもので、その要旨は後述する。   In this nonlinear luminance expansion processing method, it is determined whether an average luminance value calculated by an average luminance calculation unit 222 described later is equal to or less than the central luminance value (127) of 256 gradations, and when it is equal to or less than the central luminance value A reference table with a convex curve is created as a luminance conversion table for luminance expansion for the input image. When the central luminance value is exceeded, a reference table with a concave curve is created as a luminance conversion table for luminance expansion for the input image. This nonlinear luminance expansion processing function is applied to the already-known nonlinear luminance expansion processing method according to Japanese Patent No. 4340303, and the gist thereof will be described later.

ブロッキング輝度伸張処理部２０は、図１１に示すように、ブロック参照輝度設定部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５と、線形補間（バイリニア補間）算出部２２６とを具備して構成される。   As shown in FIG. 11, the blocking luminance expansion processing unit 20 includes a block reference luminance setting unit 221, an average luminance calculation unit 222, a power parameter calculation unit 223, a reference table determination unit 224, an image conversion unit 225, And a linear interpolation (bilinear interpolation) calculation unit 226.

ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリアを、外部より指定されたブロックサイズに従い、複数のブロックに分割し、ブロック毎に、各ブロックの輝度値の総和を算出する。ここでは、８×８画素、１６×１６画素、２４×２４画素、３２×３２画素のうちのいずれかのブロックサイズ（例えば１６×１６画素）が指定され、その指定サイズに従い、入力画像の注目エリアがブロック分割される。なお、入力画像のエッジ部分に指定ブロックサイズより小さい端数画素分の領域が生じた場合は、当該領域を輝度伸張処理対象から外すかまたは他の輝度伸張処理手段を適用するものとする。   The block reference luminance setting unit 221 divides the attention area of the input image captured and input by the camera 11 into a plurality of blocks according to the block size designated from the outside, and sums the luminance value of each block for each block. calculate. Here, any block size (for example, 16 × 16 pixels) of 8 × 8 pixels, 16 × 16 pixels, 24 × 24 pixels, and 32 × 32 pixels is designated, and attention is paid to the input image according to the designated size. The area is divided into blocks. When an area corresponding to a fractional pixel smaller than the specified block size occurs in the edge portion of the input image, the area is excluded from the luminance expansion processing target or other luminance expansion processing means is applied.

平均輝度算出部２２２は、ブロック参照輝度設定部２２１がブロック分割し、ブロック毎に算出した輝度総和をもとに、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位の画像の平均輝度値（＝Ｍ）を算出する。   The average luminance calculation unit 222 divides the block into blocks by the block reference luminance setting unit 221 and, based on the luminance sum calculated for each block, all blocks subjected to weighting and convolution processing including the block and its surrounding blocks. Is calculated, and the average luminance value (= M) of the image in block units is calculated.

累乗パラメータ算出部２２３は、上記した非線形輝度伸張処理方式において適用されるもので、平均輝度算出部２２２が算出した平均輝度をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出する。   The power parameter calculation unit 223 is applied in the above-described nonlinear luminance expansion processing method. Based on the average luminance calculated by the average luminance calculation unit 222, an input image (attention area) according to the equation (1) described later. A power parameter for the luminance expansion processing for is calculated.

参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。   The reference table determination unit 224 determines whether the average luminance value is equal to or less than the central luminance value (127) or exceeds the central luminance value (127), and the average luminance value is the central luminance value (127). When the following is true, the table creation unit 231 creates a reference table with a convex curve according to equation (2) described later using the power parameter as a luminance conversion table (reference table) 232 for luminance expansion for the input image, and When the average luminance value exceeds the central luminance (127), the table creation unit 231 uses the above power parameter to convert a reference table with a concave curve according to the following equation (3) into a luminance conversion table 232 for luminance expansion for the input image. Create as.

画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。   The image conversion unit 225 uses the luminance conversion table (reference table) 232 created by the reference table determination unit 225 to perform a luminance conversion process on the input image (attention area) held in the image buffer 21, and Then, the image whose output luminance is converted is written back to the image buffer 21 to create a luminance expanded image on the image buffer 21.

線形補間算出部２２６は、図１０に示したように、ブロック単位で求めた輝度伸張パラメータに従う輝度変換テーブルを用いた各ブロックの画素について、ブロック毎に、当該ブロックと、その周囲４ブロックの輝度変換テーブルを用いてバイリニア補間を実施する。   As shown in FIG. 10, the linear interpolation calculation unit 226, for each block pixel using the luminance conversion table according to the luminance expansion parameter obtained in units of blocks, for each block, the luminance of the block and the surrounding four blocks Bilinear interpolation is performed using the conversion table.

上記したブロッキング輝度伸張処理部２０の処理手順を図１２に示している。   FIG. 12 shows a processing procedure of the blocking luminance expansion processing unit 20 described above.

ブロッキング輝度伸張処理部２０は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファメモリ１３に保持される毎に、図１２に示す処理を実施する。   The blocking luminance expansion processing unit 20 performs the process shown in FIG. 12 every time an input image in frame units captured by the camera 11 is held in the image buffer memory 13 via the capture unit 12.

画像バッファメモリ１３に輝度伸張処理の対象となる入力画像（Ｐａ）が保持されると、当該入力画像がリサイズ部１４によりリサイズされてブロッキング輝度伸張処理部２０に入力される。ブロッキング輝度伸張処理部２０において、ブロック参照輝度設定部２２１は、カメラ１１で撮影し入力した入力画像の注目エリア（画像全体または設定された注目エリア）を、外部より指定されたブロックサイズ（例えば１６×１６画素）に従い、複数のブロック（４０×３０ブロック）に分割し、ブロック毎に各ブロックの輝度値の総和を求めて当該ブロック単位の輝度総和を注目ブロックの輝度情報として平均輝度算出部２２２に送出する（ステップＳ２１）。   When the input image (Pa) to be subjected to luminance expansion processing is held in the image buffer memory 13, the input image is resized by the resizing unit 14 and input to the blocking luminance expansion processing unit 20. In the blocking luminance expansion processing unit 20, the block reference luminance setting unit 221 sets the attention area (entire image or set attention area) of the input image captured and input by the camera 11 to a block size (for example, 16) designated from the outside. Is divided into a plurality of blocks (40 × 30 blocks) in accordance with (× 16 pixels), the sum of the luminance values of each block is obtained for each block, and the luminance sum of the block unit is used as the luminance information of the block of interest, and the average luminance calculating unit 222 (Step S21).

平均輝度算出部２２２は、ブロック参照輝度設定部２２１から注目ブロックの輝度情報（ブロック単位の輝度総和）を入力すると、この輝度情報をもとに、図８および図９に示したように、ブロック毎に、当該ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出し、当該注目ブロックの画像の平均輝度値を累乗パラメータ算出部２２３と参照テーブル判定部２２４に送出する（ステップＳ２２）。   When the average luminance calculation unit 222 receives the luminance information of the block of interest (total luminance in units of blocks) from the block reference luminance setting unit 221, based on this luminance information, as shown in FIG. 8 and FIG. For each block, the total luminance of all blocks subjected to weighting and convolution processing including the block and its surrounding blocks is calculated to calculate the average luminance value of the block unit (target block) image, and the average luminance of the image of the target block The value is sent to the power parameter calculation unit 223 and the reference table determination unit 224 (step S22).

累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度値をもとに、後述する（１）式に従い、入力画像（注目エリア）に対する輝度伸張処理のための累乗パラメータを算出し、当該パラメータを参照テーブル判定部２２４に送出する。   The power parameter calculation unit 223 calculates a power parameter for luminance expansion processing for the input image (area of interest) according to the equation (1) described below based on the average luminance value calculated by the average luminance calculation unit 222, The parameter is sent to the reference table determination unit 224.

参照テーブル判定部２２４は、平均輝度算出部２２２から入力した平均輝度値と累乗パラメータ算出部２２３から入力した累乗パラメータを輝度伸張パラメータとして、当該輝度伸張パラメータに従う輝度変換テーブルを作成する。ここでは、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて後述する（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する（ステップＳ２３）。   The reference table determination unit 224 uses the average luminance value input from the average luminance calculation unit 222 and the power parameter input from the power parameter calculation unit 223 as a luminance expansion parameter, and creates a luminance conversion table according to the luminance expansion parameter. Here, it is determined whether the average luminance value is the central luminance value (127) or less or exceeds the central luminance value (127), and the average luminance value is the central luminance value (127) or less. The table creation unit 231 creates a reference table with a convex curve according to the equation (2) described later using the power parameter as a luminance conversion table (reference table) 232 for luminance expansion with respect to the input image, and the average luminance value is When the central luminance (127) is exceeded, the table creation unit 231 creates a reference table with a concave curve according to the later-described equation (3) using the power parameter as the luminance conversion table 232 for luminance expansion for the input image ( Step S23).

ここで、上記した凸曲線および凹曲線を用いた非線形輝度伸張処理方式における輝度伸張処理について記述する。   Here, the luminance expansion processing in the nonlinear luminance expansion processing method using the convex curve and the concave curve described above will be described.

累乗パラメータ算出部２２３は、注目エリアの平均輝度をもとに輝度伸張用の累乗パラメータγを下式（１）により自動的に算出する。   The power parameter calculation unit 223 automatically calculates a power parameter γ for luminance expansion based on the average luminance of the area of interest using the following equation (1).

γ＝（α／Bmed２）×（Iave−Bmed）２＋1.0・・・・式（１）
（ただし、αは固定値、Bmedは輝度中央値、Iaveは入力画像注目エリアの平均輝度）
上記平均輝度と上記入力画像の輝度階調範囲の中心輝度とを比較し、累乗パラメータγを用いて自動的に下式（２）又は下式（３）を切り替えて、凸曲線および凹曲線の輝度変換テーブルを作成する。 γ = (α / Bmed 2 ) × (Iave−Bmed) 2 +1.0 (1)
(Where α is a fixed value, Bmed is the median brightness, Iave is the average brightness of the input image area of interest)
The average luminance is compared with the central luminance of the luminance gradation range of the input image, and the following equation (2) or (3) is automatically switched using the power parameter γ, and the convex curve and the concave curve are Create a brightness conversion table.

I’＝Bmax-（（Bmax-I）／Bmax）γ×Bmax：Iave≦Bmed・・・・式（２）凸曲線
I’＝I／Bmaxγ×Bmax：Iave＞Bmed ・・・・式（３）凹曲線
（だたし、I’は出力輝度、Iは入力輝度、Bmedは輝度中央値、Bmaxは輝度最大値、Iaveは入力画像注目エリアの平均輝度）
この参照テーブル判定部２２４で作成された凸曲線および凹曲線の輝度変換テーブル２３２は画像変換部２２５に送出される（ステップＳ２３）。 I ′ = Bmax − ((Bmax−I) / Bmax) γ × Bmax: Iave ≦ Bmed (2) Convex curve
I ′ = I / Bmax γ × Bmax: Iave> Bmed (3) Concave curve (where I ′ is the output luminance, I is the input luminance, Bmed is the median luminance, and Bmax is the maximum luminance value) , Iave is the average brightness of the input image attention area)
The convex curve and concave curve luminance conversion table 232 created by the reference table determination unit 224 is sent to the image conversion unit 225 (step S23).

画像変換部２２５は、参照テーブル判定部２２５が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像（注目エリア）に輝度変換処理を施す。このブロック単位で輝度伸張された注目ブロックの各画素に対して、線形補間算出部２２６より、図７に示したように、注目ブロックと、その周囲４ブロックの輝度変換テーブルを用いて画素位置の距離差に応じたバイリニア補間が実施され、このバイリニア補間で輝度変換された画像が画像バッファ２１に書き戻されることによって画像バッファ２１上にブロック間のバイリニア補間を施した輝度伸張画像が作成される（ステップＳ２４，Ｓ２５）。   The image conversion unit 225 uses the luminance conversion table (reference table) 232 created by the reference table determination unit 225 to perform luminance conversion processing on the input image (attention area) held in the image buffer 21. For each pixel of the target block whose luminance has been expanded in units of blocks, the linear interpolation calculation unit 226 uses the luminance conversion table of the target block and the surrounding four blocks as shown in FIG. Bilinear interpolation is performed in accordance with the distance difference, and an image whose luminance has been converted by this bilinear interpolation is written back to the image buffer 21, whereby a luminance expanded image obtained by performing bilinear interpolation between blocks is created on the image buffer 21. (Steps S24 and S25).

なお、上記した実施形態では、ＶＧＡ（６４０×４８０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、他の画像構成を扱う画像処理装置においても本発明の実施形態に係る輝度伸張処理機能を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する２０の構成要素（ブロック参照輝度設定部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５、線形補間算出部２２６等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。   In the above-described embodiment, the VGA (640 × 480 pixels) 0 to 255 gradation camera video is used as the input image to be subjected to the luminance expansion processing. However, the present invention is not limited to this, and an image that handles other image configurations. The luminance expansion processing function according to the embodiment of the present invention can also be applied to the processing device. Further, in the above embodiment, 20 components (block reference luminance setting unit 221, average luminance calculation unit 222, power parameter calculation unit 223, reference table determination unit 224, image conversion unit 225, linear, which realize the luminance expansion processing function. As for the interpolation calculation unit 226 and the like, part or all of the functions can be realized by software processing.

また、上記した実施形態では、ブロック毎に各ブロックの輝度値の総和を求め、注目ブロックとその周囲のブロックを含む重み付けおよび畳み込み処理した全ブロックの輝度総和を算出してブロック単位（注目ブロック）の画像の平均輝度値を算出しているが、これに限らず、例えば、ブロック毎に輝度平均を算出し、このブロック毎の平均輝度を用いて重み付けおよび畳み込み処理を実施することも可能である。   In the embodiment described above, the sum of the luminance values of each block is obtained for each block, and the sum of the luminance of all blocks subjected to weighting and convolution processing including the target block and its surrounding blocks is calculated to be a block unit (target block). However, the present invention is not limited to this. For example, it is also possible to calculate a luminance average for each block and perform weighting and convolution processing using the average luminance for each block. .

また、上記した実施形態では、本願発明の実施形態に係るブロック分割輝度伸張処理機能を、非線形曲線（凸曲線、凹曲線）を用いた非線形輝度伸張処理方式に適用した例を示しているが、これに限らず、例えばシグモイド関数曲線を利用したシグモイド輝度伸張処理方式や、その他の各種輝度伸張処理方式に適用可能である。   In the embodiment described above, the block division luminance expansion processing function according to the embodiment of the present invention is applied to a nonlinear luminance expansion processing method using a non-linear curve (convex curve, concave curve). For example, the present invention can be applied to a sigmoid luminance expansion processing method using a sigmoid function curve and other various luminance expansion processing methods.

上記したブロッキング輝度伸張処理により、明暗の大きく異なる部分が画素レベルで補正され、監視し易いダイナミックレンジを有した全周監視画像の表示機能を実現できる。   By the above-described blocking luminance expansion process, a greatly different portion of brightness and darkness is corrected at the pixel level, and a display function of the entire periphery monitoring image having a dynamic range that can be easily monitored can be realized.

上記した実施形態では、上記監視対象の検知処理において監視対象が検知されないとき、ブロッキング輝度伸張処理した３６０°全周の入力画像（全周画像）を表示部（表示デバイス）２１に表示し、上記検知処理において監視対象が検知されたとき、ブロッキング輝度伸張処理部２０ブロッキング輝度伸張処理した切り出し画像を表示部２１に表示する表示機能を実現しているが、上記検知処理において監視対象が検知されたとき、検知された監視対象領域の切り出し画像を全周画像とともに同時に表示することも可能である。この際、表示部２１の表示画面全域に全周画像を表示し、監視対象が検知されたとき、検知された監視対象領域の切り出し画像を、全周画像の切り出し位置に対応付けるバルーン形式で全周画像に被せて（全周画像を覆って）表示させることも可能である。または、監視対象が検知されたとき、検知された監視対象領域の切り出し画像を、表示部２１上の予め定めた一部表示領域に部分表示することも可能である。   In the above-described embodiment, when a monitoring target is not detected in the monitoring target detection process, the 360 ° all-round input image (all-round image) subjected to the blocking luminance expansion process is displayed on the display unit (display device) 21, and When the monitoring target is detected in the detection process, the display function for displaying the clipped image obtained by the blocking luminance expansion processing unit 20 blocking luminance expansion processing on the display unit 21 is realized. However, the monitoring target is detected in the detection processing. At the same time, it is also possible to simultaneously display the detected cut-out image of the monitoring target area together with the entire circumference image. At this time, an all-round image is displayed on the entire display screen of the display unit 21, and when a monitoring target is detected, the clipped image of the detected monitoring target area is displayed in a balloon format that corresponds to the cut-out position of the all-round image. It is also possible to display the image over the image (covering the entire circumference image). Alternatively, when a monitoring target is detected, a cut-out image of the detected monitoring target area can be partially displayed in a predetermined partial display area on the display unit 21.

この全周画像と切り出し画像の表示例を図１３乃至図１７に示している。図１３は単眼カメラ（ＩＰカメラ）１１で撮影した、楕円面の長辺と短辺を１フレーム（Ｆ）の幅と高さに合わせた、３６０°全周監視画像（Ｐａ）の一例を示し、図１４はこの３６０°全周監視画像（Ｐａ）から切り出した切り出し画像（ｑ１）の一例を示している。   Display examples of the all-round image and the cut-out image are shown in FIGS. FIG. 13 shows an example of a 360 ° all-round monitoring image (Pa) taken with a monocular camera (IP camera) 11 in which the long and short sides of the ellipsoid are matched to the width and height of one frame (F). FIG. 14 shows an example of a cutout image (q1) cut out from this 360 ° all-round monitoring image (Pa).

図１５は、上記実施形態において楕円映像（３６０°全周監視画像）の中で仮想自動追跡処理機能を実現するイメージを示す図であり、ここでは、楕円映像（３６０°全周監視画像）の中でトラッキング（動き検知）した監視対象オブジェクトの切り出し画像をトラッキング順にＱ１，Ｑ２，Ｑ３，Ｑ４で示している。この切り出し画像の表示例を図１６および図１７に示している。図１６に示す切り出し画像の表示例では、切り出し画像（Ｑ１，Ｑ２，Ｑ３，Ｑ４）それぞれに当該画像の切り出し（動き検知）時刻を示す時刻情報（Ｔ１，Ｔ２，Ｔ３，Ｔ４）を付加表示している。図１６に示す切り出し画像の表示例では、表示部（表示デバイス）２１の表示画面上において、切り出し画像（Ｑ１，Ｑ２，Ｑ３，Ｑ４）をトラッキング順に、左上、右上、左下、右下に４分割表示した例を示している。   FIG. 15 is a diagram showing an image for realizing the virtual automatic tracking processing function in the elliptical image (360 ° all-round monitoring image) in the above embodiment. Here, the elliptical video (360 ° all-round monitoring image) is shown. Among them, the cut-out images of the monitoring target objects tracked (motion detection) are indicated by Q1, Q2, Q3, and Q4 in the tracking order. Display examples of this cut-out image are shown in FIGS. 16 and 17. In the clipped image display example shown in FIG. 16, time information (T1, T2, T3, T4) indicating the clipped (motion detection) time of the image is additionally displayed on each clipped image (Q1, Q2, Q3, Q4). ing. In the cut-out image display example shown in FIG. 16, the cut-out images (Q1, Q2, Q3, Q4) are divided into four in the order of tracking on the display screen of the display unit (display device) 21: upper left, upper right, lower left, lower right. The displayed example is shown.

このように、楕円映像の中で、検知および追跡（追尾）の対象となるオブジェクトをトラッキングし、矩形の領域を切り出して、切り出した矩形の領域の切り出し画像にブロッキング輝度伸張処理を施し、当該切り出し画像をトラッキング順（切り出し順）に従い連続的に表示することで、視認性の高い仮想自動追尾が可能となる。   In this way, the object to be detected and tracked (tracked) is tracked in the elliptical image, the rectangular area is cut out, the blocking luminance expansion process is performed on the cut out image of the cut out rectangular area, and the cutout is performed. By displaying images sequentially according to the tracking order (cutout order), virtual automatic tracking with high visibility becomes possible.

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。また上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、記憶媒体に格納して頒布することもできる。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment. In addition, the method described in the above embodiment can be stored in a storage medium and distributed as a program that can be executed by a computer.

２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４ａ…ブロック処理手段、４ｂ…補間処理手段、５…輝度伸張出力画像、１１…カメラ（単眼カメラ（ＩＰカメラ））、１２…キャプチャ部、１３…画像バッファメモリ、１４…リサイズ部、１５…処理画像バッファメモリ、１６…画像処理部、１７…オブジェクト情報バッファメモリ、１８…注目領域画像作成処理部、１９…オブジェクト画像バッファメモリ、２０…ブロッキング輝度伸張処理部、２１…表示部（表示デバイス）、２２…大容量記憶媒体、２２１…ブロック参照輝度設定部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４……参照テーブル判定部、２２５…画像変換部、２２６…輝度伸張出力画像、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。   2 ... Image captured by a monocular camera (input image), 3 ... Image of interest area target, 4a ... Block processing means, 4b ... Interpolation processing means, 5 ... Luminance expansion output image, 11 ... Camera (monocular camera (IP camera)) , 12 ... Capture unit, 13 ... Image buffer memory, 14 ... Resize unit, 15 ... Processed image buffer memory, 16 ... Image processing unit, 17 ... Object information buffer memory, 18 ... Attention region image creation processing unit, 19 ... Object image Buffer memory: 20 Blocking luminance expansion processing unit, 21 Display unit (display device), 22 Mass storage medium, 221 Block reference luminance setting unit, 222 Average luminance calculation unit, 223 Power factor calculation unit, 224 ...... Reference table determination unit, 225 ... Image conversion unit, 226 ... Luminance extension output image, 231 ... Table creation unit, 2 2 ... the luminance conversion table (see table).

Claims (10)

３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、そのリサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記処理画像記憶手段に記憶された前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した前記閾値と前記処理画像記憶手段に記憶した複数フレームの前記処理用入力画像をもとに、前記処理画像記憶手段に記憶された直前（直近）の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、前記監視対象を検知したとき前記処理画像記憶手段に記憶した前記直前（直近）の処理用入力画像から前記検知した監視対象を囲う少なくとも１つの矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した前記矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された前記入力画像に対して前記検知した監視対象の切り出し処理を実施し、その切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記監視対象画像記憶手段に記憶した前記監視対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により前記ブロッキング輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。 Monitoring video input means for capturing 360 ° all-round monitoring video in frame units;
Input image storage means for storing the monitoring video in frame units captured by the monitoring video input means as an input image;
A processing image storage that resizes the monitoring video in units of frames captured by the monitoring video input means into small pixels used for detection of a monitoring target, and stores the resized monitoring video as a processing input image for a plurality of frames in time series Means,
Preprocessing is performed on the resized monitoring video stored in the processed image storage means to determine a threshold for detecting a monitoring target, and the determined threshold and a plurality of frames stored in the processed image storage means are stored. Based on the processing input image, a detection process is performed to detect a moving object or a stationary object according to a setting parameter from the immediately preceding (most recent) processing input image stored in the processing image storage unit as a monitoring target, Image processing means for extracting at least one rectangular area surrounding the detected monitoring object from the immediately preceding (most recent) processing input image stored in the processed image storage means when the monitoring object is detected;
Based on the center position of the rectangular area extracted by the image processing means, the detected monitoring target is cut out on the input image stored in the input image storage means, and the cut-out image is Monitoring image processing means for performing a correction process for correcting distortion,
Monitoring target image storage means for storing the image corrected by the monitoring image processing means as a monitoring target image;
Blocking luminance expansion processing means for performing blocking luminance expansion processing in pixel units on the monitoring target image stored in the monitoring target image storage means;
Display output means for displaying the monitoring target image subjected to the blocking luminance expansion processing by the blocking luminance expansion processing means;
An omnidirectional monitoring image processing system comprising: ３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、そのリサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記処理画像記憶手段に記憶された前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した前記閾値と前記処理画像記憶手段に記憶した複数フレームの前記処理用入力画像をもとに、前記処理画像記憶手段に記憶された直前（直近）の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、前記監視対象を検知したとき前記処理画像記憶手段に記憶した前記直前（直近）の処理用入力画像から前記検知した監視対象を囲う少なくとも１つの矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した前記矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された前記入力画像に対して前記検知した監視対象の切り出し処理を実施し、その切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記監視対象画像記憶手段に記憶した前記監視対象画像および前記入力画像記憶手段に記憶した前記入力画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により前記ブロッキング輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。 Monitoring video input means for capturing 360 ° all-round monitoring video in frame units;
Input image storage means for storing the monitoring video in frame units captured by the monitoring video input means as an input image;
A processing image storage that resizes the monitoring video in units of frames captured by the monitoring video input means into small pixels used for detection of a monitoring target, and stores the resized monitoring video as a processing input image for a plurality of frames in time series Means,
Preprocessing is performed on the resized monitoring video stored in the processed image storage means to determine a threshold for detecting a monitoring target, and the determined threshold and a plurality of frames stored in the processed image storage means are stored. Based on the processing input image, a detection process is performed to detect a moving object or a stationary object according to a setting parameter from the immediately preceding (most recent) processing input image stored in the processing image storage unit as a monitoring target, Image processing means for extracting at least one rectangular area surrounding the detected monitoring object from the immediately preceding (most recent) processing input image stored in the processed image storage means when the monitoring object is detected;
Based on the center position of the rectangular area extracted by the image processing means, the detected monitoring target is cut out on the input image stored in the input image storage means, and the cut-out image is Monitoring image processing means for performing a correction process for correcting distortion,
Monitoring target image storage means for storing the image corrected by the monitoring image processing means as a monitoring target image;
Blocking luminance expansion processing means for performing a block-by-pixel blocking luminance expansion processing on the monitoring target image stored in the monitoring target image storage means and the input image stored in the input image storage means;
Display output means for displaying the monitoring target image subjected to the blocking luminance expansion processing by the blocking luminance expansion processing means;
An omnidirectional monitoring image processing system comprising: ３６０°全周監視映像をフレーム単位にキャプチャする監視映像入力手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を入力画像として記憶する入力画像記憶手段と、
前記監視映像入力手段がキャプチャしたフレーム単位の監視映像を、監視対象の検知に用いる小画素単位にリサイズし、そのリサイズした監視映像を処理用入力画像として時系列に複数フレーム分記憶する処理画像記憶手段と、
前記処理画像記憶手段に記憶された前記リサイズした監視映像に対し前処理を実施して監視対象を検知するための閾値を決定し、決定した前記閾値と前記処理画像記憶手段に記憶した複数フレームの前記処理用入力画像をもとに、前記処理画像記憶手段に記憶された直前（直近）の処理用入力画像から設定パラメータに従う動物体若しくは静止物体を監視対象として検知する検知処理を実施し、監視対象を検知したとき前記処理画像記憶手段に記憶した前記直前（直近）の処理用入力画像から前記検知した監視対象を囲う少なくとも１つの矩形の領域を抽出する画像処理手段と、
前記画像処理手段が抽出した前記矩形の領域の中心位置をもとに前記入力画像記憶手段に記憶された前記入力画像に対して前記検知した監視対象の切り出し処理を実施し、その切り出した画像に対して歪曲収差を補正する補正処理を実施する監視画像処理手段と、
前記監視画像処理手段が補正処理した画像を監視対象画像として記憶する監視対象画像記憶手段と、
前記画像処理手段が前記検知処理において前記監視対象を検出しない状態にあるとき前記入力画像記憶手段に記憶した前記入力画像に対して画素単位のブロッキング輝度伸張処理を実施し、前記画像処理手段が前記検知処理において前記監視対象を検出している状態にあるとき前記監視対象画像記憶手段に記憶した前記監視対象画像に対して画素単位の前記ブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段と、
前記ブロッキング輝度伸張処理手段により前記ブロッキング輝度伸張処理を施した監視対象画像を表示する表示出力手段と、
を具備したことを特徴とする全方位監視画像処理システム。 Monitoring video input means for capturing 360 ° all-round monitoring video in frame units;
Input image storage means for storing the monitoring video in frame units captured by the monitoring video input means as an input image;
A processing image storage that resizes the monitoring video in units of frames captured by the monitoring video input means into small pixels used for detection of a monitoring target, and stores the resized monitoring video as a processing input image for a plurality of frames in time series Means,
Preprocessing is performed on the resized monitoring video stored in the processed image storage means to determine a threshold for detecting a monitoring target, and the determined threshold and a plurality of frames stored in the processed image storage means are stored. Based on the processing input image, a detection process is performed to detect a moving object or a stationary object according to a setting parameter from the immediately preceding (most recent) processing input image stored in the processing image storage unit as a monitoring target, and monitoring Image processing means for extracting at least one rectangular area surrounding the detected monitoring object from the immediately preceding (nearest) processing input image stored in the processed image storage means when an object is detected;
Based on the center position of the rectangular area extracted by the image processing means, the detected monitoring target is cut out on the input image stored in the input image storage means, and the cut-out image is Monitoring image processing means for performing a correction process for correcting distortion,
Monitoring target image storage means for storing the image corrected by the monitoring image processing means as a monitoring target image;
When the image processing means is in a state in which the detection target is not detected in the detection process, a blocking luminance expansion process is performed on a pixel basis for the input image stored in the input image storage means, and the image processing means Blocking luminance expansion processing means for performing the blocking luminance expansion processing in pixel units on the monitoring target image stored in the monitoring target image storage means when the monitoring target is being detected in the detection processing;
Display output means for displaying the monitoring target image subjected to the blocking luminance expansion processing by the blocking luminance expansion processing means;
An omnidirectional monitoring image processing system comprising: 前記ブロッキング輝度伸張処理手段は、
前記ブロッキング輝度伸張処理の対象となる前記入力画像について、設定された注目エリアを複数のブロックに分割し、その分割したブロック各々について、周囲のブロックの輝度値を畳み込んだ複数のブロックの輝度値をもとにブロック単位の輝度伸張パラメータを算出し、当該輝度伸張パラメータをもとに前記ブロック単位の輝度変換テーブルを作成するブロック処理手段と、
前記ブロック処理手段により作成された前記ブロック単位の輝度変換テーブルをもとに、前記分割したブロック各々の各画素について、ブロック毎に、周囲のブロックの前記輝度変換テーブルを参照してバイリニア補間を実施する補間処理手段と、
前記補間処理手段により前記バイリニア補間を施した前記各ブロックの画素をもとに前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
を具備したことを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。 The blocking luminance expansion processing means includes
For the input image to be subjected to the blocking luminance expansion processing, the set attention area is divided into a plurality of blocks, and the luminance values of a plurality of blocks obtained by convolving the luminance values of the surrounding blocks for each of the divided blocks Block processing means for calculating a luminance expansion parameter for each block based on the block, and creating a luminance conversion table for each block based on the luminance expansion parameter;
Based on the block-by-block luminance conversion table created by the block processing means, bilinear interpolation is performed for each pixel of each of the divided blocks with reference to the luminance conversion table of surrounding blocks for each block. Interpolation processing means to
Image conversion means for creating a luminance expansion output image for the input image based on the pixels of each block subjected to the bilinear interpolation by the interpolation processing means;
The omnidirectional monitoring image processing system according to any one of claims 1 to 3, further comprising: 前記ブロック処理手段は、分割したブロックのうち、処理対象となる注目ブロックＡについて、隣接する上下左右のブロックＢと、隣接する斜め方向のブロックＣとを用い、Ａ＞Ｂ＞Ｃの重み付けにより前記畳み込みの処理を実施することを特徴とする請求項４に記載の全方位監視画像処理システム。   The block processing means uses the adjacent upper, lower, left, and right blocks B and the adjacent diagonal blocks C for the target block A to be processed among the divided blocks, and weights A> B> C by weighting A> B> C The omnidirectional monitoring image processing system according to claim 4, wherein convolution processing is performed. 前記ブロック処理手段は、
外部から指定されたブロックサイズに従い、前記注目エリアの画像を複数のブロックに分割するブロック分割手段と、
前記ブロック分割手段が分割したブロック各々についてブロック毎の輝度総和を算出し、その算出したブロック毎の輝度総和を用いて、前記ブロック毎に、当該ブロックとその周囲のブロックを含む前記重み付けおよび畳み込み処理した全ブロックの輝度総和を算出する輝度総和算出手段と、
前記輝度総和算出手段が算出した前記輝度総和を用いて、前記ブロック毎に、当該ブロックの輝度平均を算出する輝度平均算出手段と、
前記輝度平均算出手段が算出した前記ブロックの輝度平均をもとに、前記ブロック毎に、輝度伸張パラメータを算出する輝度伸張パラメータ算出手段と、
前記輝度伸張パラメータ算出手段が算出した前記輝度伸張パラメータをもとに、前記ブロック毎に、輝度伸張用の輝度変換テーブルを作成する輝度変換テーブル作成手段と、
を具備したことを特徴とする請求項５に記載の全方位監視画像処理システム。 The block processing means includes
Block dividing means for dividing the image of the area of interest into a plurality of blocks according to a block size designated from the outside;
The weight summation for each block is calculated for each of the blocks divided by the block dividing means, and the weighting and convolution processing including the block and its surrounding blocks is performed for each block using the calculated brightness sum for each block. Luminance summation calculating means for calculating the luminance summation of all the blocks,
Using the luminance sum calculated by the luminance sum calculating means, for each block, a luminance average calculating means for calculating a luminance average of the block;
Luminance expansion parameter calculation means for calculating a luminance expansion parameter for each block based on the luminance average of the block calculated by the luminance average calculation means;
Based on the luminance expansion parameter calculated by the luminance expansion parameter calculation unit, a luminance conversion table creation unit that creates a luminance conversion table for luminance expansion for each block;
The omnidirectional monitoring image processing system according to claim 5, comprising: 前記監視映像入力手段が入力する前記３６０°全周監視映像は、長辺を映像フレームの横幅に合わせた楕円面映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。   The 360-degree all-round monitoring video input by the monitoring video input means is an ellipsoidal video whose long side is matched to the horizontal width of the video frame. Omnidirectional monitoring image processing system. 前記監視映像入力手段が入力する前記３６０°全周監視映像は、１．３Ｍピクセル以上の画素数を有する高精細映像であり、前記処理画像記憶手段が記憶する前記監視映像は前記高精細映像の１／２以下にリサイズした監視映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。   The 360 ° all-round monitoring video input by the monitoring video input means is a high-definition video having a number of pixels of 1.3 M pixels or more, and the monitoring video stored by the processed image storage means is the high-definition video. The omnidirectional monitoring image processing system according to any one of claims 1 to 3, wherein the monitoring image is resized to ½ or less. 前記画像処理手段は、前記リサイズした前記監視映像から複数の監視対象を検知したとき、監視対象毎に、監視対象をカメラで追尾するように、監視対象毎に時系列に矩形の領域を追跡する仮想自動追跡処理を実施することを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。   When detecting a plurality of monitoring targets from the resized monitoring video, the image processing unit tracks a rectangular region in time series for each monitoring target so that the monitoring target is tracked by the camera for each monitoring target. The omnidirectional monitoring image processing system according to any one of claims 1 to 3, wherein virtual automatic tracking processing is performed. 前記監視映像入力手段が入力する３６０°全周監視映像は、単眼カメラで撮影した、ライブ映像若しくは録画映像であることを特徴とする請求項１乃至３のいずれか１項に記載の全方位監視画像処理システム。   4. The omnidirectional monitoring according to claim 1, wherein the 360 ° all-round monitoring video input by the monitoring video input means is a live video or a recorded video shot by a monocular camera. 5. Image processing system.
JP2011113731A 2011-05-20 2011-05-20 Omnidirectional image processing system Active JP5887067B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011113731A JP5887067B2 (en) 2011-05-20 2011-05-20 Omnidirectional image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011113731A JP5887067B2 (en) 2011-05-20 2011-05-20 Omnidirectional image processing system

Publications (2)

Publication Number Publication Date
JP2012244479A JP2012244479A (en) 2012-12-10
JP5887067B2 true JP5887067B2 (en) 2016-03-16

Family

ID=47465690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011113731A Active JP5887067B2 (en) 2011-05-20 2011-05-20 Omnidirectional image processing system

Country Status (1)

Country Link
JP (1) JP5887067B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5616989B2 (en) * 2013-02-14 2014-10-29 東芝テリー株式会社 Image processing apparatus and threshold setting processing program
JP6613686B2 (en) * 2015-07-29 2019-12-04 株式会社リコー Movie display device, movie display method, and program
JP6742417B2 (en) * 2015-12-16 2020-08-19 ベー−コムＢ Ｃｏｍ Digital image processing method, associated device, terminal device and computer program
KR101760892B1 (en) 2016-06-22 2017-07-24 재단법인 실감교류인체감응솔루션연구단 System and method for tracking object based on omnidirectional image in omni-camera
JP6492041B2 (en) * 2016-09-07 2019-03-27 東芝テリー株式会社 Surveillance image processing apparatus and surveillance image processing method
KR102551713B1 (en) 2016-11-18 2023-07-06 삼성전자주식회사 Electronic apparatus and image processing method thereof
KR101937582B1 (en) * 2017-08-24 2019-04-09 홍정표 Safety System for Walkway Monitor
JP2022028978A (en) * 2018-10-03 2022-02-17 シャープ株式会社 Picture processor, display device, and method for processing picture
CN109766846B (en) * 2019-01-15 2023-07-18 电子科技大学 Video-based self-adaptive multi-lane traffic flow detection method and system
JPWO2023105598A1 (en) * 2021-12-07 2023-06-15

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4048511B2 (en) * 1998-03-13 2008-02-20 富士通株式会社 Fisheye lens camera device and image distortion correction method thereof
JP4516665B2 (en) * 2000-05-19 2010-08-04 パナソニック株式会社 Monitoring device
JP2004282162A (en) * 2003-03-12 2004-10-07 Minolta Co Ltd Camera, and monitoring system
JP4340303B2 (en) * 2007-04-10 2009-10-07 東芝テリー株式会社 Image processing apparatus and image processing program
JP5060264B2 (en) * 2007-12-07 2012-10-31 グローリー株式会社 Human detection device

Also Published As

Publication number Publication date
JP2012244479A (en) 2012-12-10

Similar Documents

Publication Publication Date Title
JP5887067B2 (en) Omnidirectional image processing system
US9860446B2 (en) Flare detection and mitigation in panoramic images
JP5906028B2 (en) Image processing apparatus and image processing method
US9773192B2 (en) Fast template-based tracking
US8717455B2 (en) Image processing apparatus and image processing method
KR101071352B1 (en) Apparatus and method for tracking object based on PTZ camera using coordinate map
US9576335B2 (en) Method, device, and computer program for reducing the resolution of an input image
JP2009010730A (en) Image processing method and imaging apparatus employing the same
CN110796600B (en) Image super-resolution reconstruction method, image super-resolution reconstruction device and electronic equipment
JP2022036179A (en) Image processing apparatus and control method therefor and program
US20110157209A1 (en) Image processing apparatus and image processing method
JP5866146B2 (en) Omnidirectional monitoring image display processing system
JP2019057891A5 (en)
JP6541501B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD
JP6513941B2 (en) Image processing method, image processing apparatus and program
JPWO2015087772A1 (en) Image processing apparatus and method, program, and recording medium
JP5042251B2 (en) Image processing apparatus and image processing method
JP2018125658A5 (en)
JP5486963B2 (en) Image processing apparatus and image processing program
KR102150705B1 (en) Apparatus and method for processing image
JP2016086364A (en) Image processing device, monitoring camera system, image processing method, and program
CN110692235B (en) Image processing apparatus, image processing program, and image processing method
US20200035039A1 (en) Image processing apparatus, image processing method, and storage medium
JP2009212711A (en) Image processor
JP2016111484A (en) Image processing apparatus, image processing method and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160215

R150 Certificate of patent or registration of utility model

Ref document number: 5887067

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250