JP2008099159A - Imaging apparatus, framing control method and program - Google Patents
Imaging apparatus, framing control method and program Download PDFInfo
- Publication number
- JP2008099159A JP2008099159A JP2006280961A JP2006280961A JP2008099159A JP 2008099159 A JP2008099159 A JP 2008099159A JP 2006280961 A JP2006280961 A JP 2006280961A JP 2006280961 A JP2006280961 A JP 2006280961A JP 2008099159 A JP2008099159 A JP 2008099159A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- area
- output
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
この発明は、例えば、監視カメラ等に適用して好適な撮像装置、フレーミング制御方法およびプログラムに関する。詳しくは、この発明は、撮像部からの画像信号に基づいて着目すべき第１の画像領域を検出すると共に、この撮像部からの画像信号に基づいた出力画像から除去すべき第２の画像領域を検出し、出力画像の画枠範囲に第１の画像領域を残すと共に、出力画像の画枠範囲から第２の画像領域を除くように制御することにより、着目すべき第１の画像領域を含む良好な出力画像を得ることができるようにした撮像装置等に係るものである。 The present invention relates to an imaging apparatus, a framing control method, and a program suitable for application to, for example, a surveillance camera. More specifically, the present invention detects a first image region to be focused on based on an image signal from an imaging unit, and a second image region to be removed from an output image based on the image signal from the imaging unit. Is detected, and the first image area is left in the image frame range of the output image, and the second image area is excluded from the image frame range of the output image. The present invention relates to an imaging apparatus or the like that can obtain a favorable output image including the image.
従来、パン、チルト、ズーム機能と、動体検知や人検知などにより着目領域の位置を検出する機能を組み合わせ、着目領域を追尾しながら撮像を行う撮像装置が提案されている。例えば、特許文献１には、撮影対象を検出し、着目領域（撮影対象）の位置情報に基づいて、フレーミングを行うことが記載されている。
上述の撮像装置にあっては、追尾を行う際に、着目領域の位置情報だけを用いていたために、着目領域そのものはフレーム内に入るものの、撮像される画面全体として、以下のような問題を生じることがあった。 In the above-described imaging apparatus, since only the position information of the region of interest is used when tracking, the region of interest itself falls within the frame, but the following problems occur as a whole image to be imaged. It sometimes occurred.
（１）照明がフレーム内に入ることによる画質の劣化
画面内に太陽や蛍光灯など極端に輝度の高い被写体が写り込むと、（ａ）露光制御装置が照明まで含めて露出を決定しようとするため、着目領域を含め画面全体が暗くなってしまう、（ｂ）光学系でフレアが発生して画像に写り込むなどして画質が劣化してしまう、などの問題が生じていた。
(1) Deterioration of image quality due to illumination entering the frame When a subject with extremely high brightness such as the sun or fluorescent light appears in the screen, (a) the exposure control device tries to determine the exposure including the illumination. For this reason, the entire screen including the region of interest is darkened, and (b) the flare is generated in the optical system and the image quality is deteriorated due to reflection in the image.
（２）マスク領域がフレーム内に入ることによるフレーム内の無効領域の増大
監視カメラなどではプライバシー保護のために画面の一部に撮影できない領域を設定して画像をマスクする機能がある。着目領域がマスク領域付近にある場合、例えば着目領域を画面の中央にくるようにフレーミング（画枠）を制御すると、マスク領域も中央付近に配置され、画面内の大きな領域がマスクされた無効領域となってしまう、という問題が生じていた。
(2) Increase of invalid area in frame due to mask area entering in frame A surveillance camera or the like has a function of masking an image by setting a non-photographable area in a part of the screen for privacy protection. If the focus area is near the mask area, for example, if the framing (image frame) is controlled so that the focus area is at the center of the screen, the mask area is also located near the center, and the large area in the screen is masked. There was a problem of becoming.
（３）複雑なテクスチャを持つ領域がフレーム内に入ることによる画像圧縮効率の低下
画面内に複雑なテクスチャを持つ領域が写りこむと、ＪＰＥＧ(Joint Photographic Experts Group)等で画像を圧縮する際に圧縮効率が低下し、圧縮画像のファイルサイズや伝送量が増大するという問題が生じていた。
(3) Decrease in image compression efficiency due to complex textured areas entering the frame When areas with complex textures appear on the screen, JPEG (Joint Photographic Experts Group) etc. will compress the image. There has been a problem that the compression efficiency is lowered, and the file size and transmission amount of the compressed image are increased.
この発明の目的は、着目すべき画像領域を含む良好な出力画像を得ることができる撮像装置等を提供することにある。 An object of the present invention is to provide an imaging apparatus or the like that can obtain a good output image including an image area to which attention should be paid.
この発明の概念は、
被写体を撮像して画像信号を出力する撮像部と、
上記撮像部から出力される画像信号に基づいた出力画像の画枠範囲を変更する画枠範囲変更部と、
上記撮像部から出力される画像信号に基づき、着目すべき第１の画像領域を検出する第１の領域検出部と、
上記撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域を検出する第２の領域検出部と、
上記第１の領域検出部で検出される第1の画像領域および上記第２の領域検出部で検出される第２の画像領域に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該出力画像の画枠範囲から上記第２の画像領域を除くように、上記画枠範囲変更部を制御するフレーミング制御部と
を備えることを特徴とする撮像装置にある。
The concept of this invention is
An imaging unit for imaging a subject and outputting an image signal;
An image frame range changing unit for changing the image frame range of the output image based on the image signal output from the imaging unit;
A first region detection unit for detecting a first image region to be noted based on an image signal output from the imaging unit;
A second region detection unit for detecting a second image region to be removed from the output image based on the image signal output from the imaging unit;
Based on the first image area detected by the first area detector and the second image area detected by the second area detector, the first image area is included in the image frame range of the output image. And an framing control unit that controls the image frame range changing unit so as to exclude the second image region from the image frame range of the output image.
この発明においては、撮像部では、被写体が撮像されて、この被写体に対応した画像信号が得られる。画枠範囲変更部では、この撮像部から出力される画像信号に基づいた出力画像の画枠範囲が変更される。例えば、画枠範囲変更部は、撮像部に備えられたパン(Pan)、チルト(Tilt)、ズーム(Zoom)機構（機械的ＰＴＺ）により構成され、当該撮像部で被写体を撮像する際に、上述の出力画像の画枠範囲が変更される。また、例えば、画枠範囲変更部は、撮像部から出力される画像信号の切り出し範囲を変更して画像信号を加工する処理部（電子的ＰＴＺ）により構成され、当該処理部における画像信号の加工処理により上述の出力画像の画枠範囲が変更される。また、例えば、画枠範囲変更部は、上述の機械的ＰＴＺおよび電子的ＰＴＺの組み合わせにより構成される。 In the present invention, the imaging unit images a subject and obtains an image signal corresponding to the subject. The image frame range changing unit changes the image frame range of the output image based on the image signal output from the imaging unit. For example, the image frame range changing unit includes a pan, a tilt, and a zoom mechanism (mechanical PTZ) provided in the imaging unit. When the subject is imaged by the imaging unit, The image frame range of the output image is changed. Further, for example, the image frame range changing unit is configured by a processing unit (electronic PTZ) that processes the image signal by changing the cutout range of the image signal output from the imaging unit, and processing the image signal in the processing unit The image frame range of the output image is changed by the processing. Further, for example, the image frame range changing unit is configured by a combination of the above-described mechanical PTZ and electronic PTZ.
第１の領域検出部では、撮像部から出力される画像信号に基づいて、着目すべき第１の画像領域が検出される。この第１の画像領域は、例えば、動体領域、あるいは人検知領域、車検知領域等である。この着目すべき画像領域は、出力画像に残したい画像領域である。 The first area detection unit detects the first image area to be noted based on the image signal output from the imaging unit. The first image area is, for example, a moving object area, a human detection area, a car detection area, or the like. This image area to be noted is an image area to be left in the output image.
第２に領域検出部では、出力画像から除去すべき第２の画像領域が検出される。例えば、第２の領域検出部では、撮像部から出力される画像信号に基づいて、高輝度の画像領域が検出される。出力画像に高輝度の画像領域が含まれるようになると、露光制御装置の作用により、着目すべき第１の画像領域を含む画像全体が暗くなる等の問題が生じる。 Second, the region detection unit detects a second image region to be removed from the output image. For example, the second region detection unit detects a high-luminance image region based on the image signal output from the imaging unit. When an output image includes a high-luminance image region, there is a problem that the entire image including the first image region to be noticed becomes dark due to the action of the exposure control device.
また、例えば、第２の領域検出部では、撮像部から出力される画像信号に基づいて、複雑なテクスチャを持つ画像領域が検出される。出力画像に複雑なテクスチャを持つ画像領域が含まれるようになると、画像圧縮効率が低下し、圧縮画像データのファイルサイズ（伝送量）が増大する等の問題が生じる。 In addition, for example, the second region detection unit detects an image region having a complex texture based on the image signal output from the imaging unit. When the output image includes an image region having a complex texture, there arises a problem that the image compression efficiency is lowered and the file size (transmission amount) of the compressed image data is increased.
また、例えば、第２の領域検出部では、画像内容がマスクされるマスク領域が検出される。出力画像の中央付近にマスク領域が含まれるようになると、画像内の大きな領域がマスクされた無効領域となる等の問題が生じる。 Further, for example, the second area detection unit detects a mask area where the image content is masked. When the mask area is included near the center of the output image, there arises a problem that a large area in the image becomes a masked invalid area.
フレーミング制御部では、上述したように検出される第1、第２の画像領域に基づいて、出力画像の画枠範囲に第１の画像領域を残すと共に、この出力画像の画枠範囲から第２の画像領域を除くように、上述の画枠範囲変更部を制御することが行われる。 The framing control unit leaves the first image area in the image frame range of the output image based on the first and second image areas detected as described above, and outputs the second image area from the image frame range of the output image. The above-described image frame range changing unit is controlled so as to exclude the image area.
この発明においては、上述のように、出力画像の画枠範囲に着目すべき第１の画像領域を残すようにされ、この出力画像の画枠範囲から当該出力画像に含まれることで問題が発生する第２の画像領域を除くようにされることから、着目すべき第１の画像領域を含む良好な出力画像を得ることが可能となる。 In the present invention, as described above, the first image region that should be focused on the image frame range of the output image is left, and a problem occurs due to inclusion in the output image from the image frame range of the output image. Therefore, it is possible to obtain a good output image including the first image area to be noted.
この発明によれば、撮像部からの画像信号に基づいて着目すべき第１の画像領域を検出すると共に、この撮像部からの画像信号に基づいた出力画像から除去すべき第２の画像領域を検出し、出力画像の画枠範囲に第１の画像領域を残すと共に当該画枠範囲から第２の画像領域を除くように制御を行うものであり、着目すべき第１の画像領域を含む良好な出力画像を得ることができる。 According to the present invention, the first image region to be noted is detected based on the image signal from the imaging unit, and the second image region to be removed from the output image based on the image signal from the imaging unit is detected. Detects and controls to leave the first image area in the image frame range of the output image and to exclude the second image area from the image frame range, and includes the first image area to be noted. An output image can be obtained.
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像装置１００の構成を示している。この撮像装置１００は、例えば、監視カメラとして使用される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration of an imaging apparatus 100 as an embodiment. The imaging device 100 is used as a surveillance camera, for example.
この撮像装置１００は、レンズブロック１０１と、撮像素子１０２と、パン／チルト／ズームモータ（以下、「ＰＴＺモータ」という）１０３と、アイリスモータ１０４と、アイリス制御部１０５とを有している。これらレンズブロック１０１、撮像素子１０２、ＰＴＺモータ１０３、アイリスモータ１０４およびアイリス制御部１０５は、撮像部を構成している。 The imaging apparatus 100 includes a lens block 101, an imaging element 102, a pan / tilt / zoom motor (hereinafter referred to as “PTZ motor”) 103, an iris motor 104, and an iris control unit 105. The lens block 101, the image sensor 102, the PTZ motor 103, the iris motor 104, and the iris control unit 105 constitute an image capturing unit.
レンズブロック１０１はアイリス１０１ａを含んでいる。アイリスモータ１０４は、アイリス１０１ａの絞り度合いを調整する。アイリス制御部１０５は、後述する画像切り出し部（出力画像に対応した画像信号を出力する）の出力画像信号に基づいて画像の明るさに応じたアイリス制御信号を作成して、アイリスモータ１０４を制御する。撮像素子１０２は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の撮像素子である。 The lens block 101 includes an iris 101a. The iris motor 104 adjusts the degree of iris of the iris 101a. The iris control unit 105 controls the iris motor 104 by creating an iris control signal corresponding to the brightness of the image based on an output image signal of an image cutout unit (outputting an image signal corresponding to the output image) described later. To do. The image sensor 102 is an image sensor such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor).
ＰＴＺモータ１０３は、撮像部に備えられたパン(Pan)、チルト(Tilt)、ズーム(Zoom)機構（機械的ＰＴＺ）を構成している。ＰＴＺモータ１０３が制御されることで、撮像部で被写体を撮像する際に、出力画像の画枠範囲を変更することが可能となる。このＰＴＺモータ１０３は、画枠範囲変更部を構成している。 The PTZ motor 103 constitutes a pan, tilt, and zoom mechanism (mechanical PTZ) provided in the imaging unit. By controlling the PTZ motor 103, the image frame range of the output image can be changed when the subject is imaged by the imaging unit. The PTZ motor 103 constitutes an image frame range changing unit.
また、撮像装置１００は、アンプ１０６、Ａ／Ｄ変換器１０７、画像切り出し部１０８、画像マスク部１０９、マスク領域発生部１１０、画像圧縮部１１１、着目領域検出部１１２、高輝度領域検出部１１３、複雑テクスチャ領域検出部１１４とを有している。 In addition, the imaging apparatus 100 includes an amplifier 106, an A / D converter 107, an image clipping unit 108, an image mask unit 109, a mask region generation unit 110, an image compression unit 111, a region of interest detection unit 112, and a high luminance region detection unit 113. And a complex texture region detection unit 114.
アンプ１０６は、撮像素子１０２から出力される画像信号を増幅する。Ａ／Ｄ変換器１０７は、アンプ１０６で増幅された画像信号をアナログ信号からデジタル信号に変換する。画像切り出し部１０８は、フレーミング制御部１１５の制御の下、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号の切り出し範囲を変更して画像信号を加工する。この画像切り出し部１０８は、電子的ＰＴＺの機能を備えており、画枠範囲変更部を構成している。 The amplifier 106 amplifies the image signal output from the image sensor 102. The A / D converter 107 converts the image signal amplified by the amplifier 106 from an analog signal to a digital signal. The image cutout unit 108 changes the cutout range of the image signal converted into a digital signal by the A / D converter 107 under the control of the framing control unit 115 and processes the image signal. The image cutout unit 108 has an electronic PTZ function and constitutes an image frame range changing unit.
例えば、画像切り出し部１０８では、上述した撮像素子１０２として画素数の多い高解像度のものが用いられる場合、切り出す画素範囲を左右方向にずらすことで電子的なパン(PAN)が行われ、また、切り出す画素範囲を上下方向にずらすことで電子的なチルト(Tilt)が行われる。また、例えば、画像切り出し部１０８では、切り出す画素数を変化させ、画素の間引きあるいは画素の補間を行うことで電子的なズーム(Zoom)が行われる。 For example, in the image cutout unit 108, when a high-resolution image sensor with a large number of pixels is used as the above-described image sensor 102, electronic panning (PAN) is performed by shifting the cutout pixel range in the left-right direction. Electronic tilt is performed by shifting the pixel range to be cut out in the vertical direction. Further, for example, in the image cutout unit 108, electronic zooming is performed by changing the number of pixels to be cut out and performing pixel thinning or pixel interpolation.
画像マスク部１０９は、マスク領域発生部１１０で発生されるマスク領域に基づき、画像切り出し部１０８からの画像信号に対して、当該マスク領域の画像内容をマスクする処理を行う。例えば、この画像マスク部１０９は、画像信号のうち、マスク領域に対応した画素の信号を同じレベルにするなどして、当該マスク領域内の画像内容を隠蔽する。このマスク処理は、主に、監視カメラなどにおいて、プライバシー保護などのために用いられる。 The image mask unit 109 performs a process of masking the image content of the mask area on the image signal from the image cutout unit 108 based on the mask area generated by the mask area generation unit 110. For example, the image mask unit 109 conceals the image content in the mask area by setting the signal of the pixel corresponding to the mask area in the image signal to the same level. This mask processing is mainly used for privacy protection or the like in a surveillance camera or the like.
なお、マスク領域発生部１１０におけるマスク領域の発生動作はフレーミング制御部１１５により制御される。このフレーミング制御部１１５には、ユーザの操作により、パン、チルトおよびズームのデフォルト状態において、予め、マスク領域の範囲を示す情報が設定される。パン、チルトおよびズームの状態が変化すると、出力画像におけるマスク領域も変化していく。フレーミング制御部１１５は、パン、チルトおよびズームの状態に応じたマスク領域を発生するように、マスク領域発生部１１０にマスク領域の座標情報を供給して制御する。 Note that the mask region generating operation in the mask region generating unit 110 is controlled by the framing control unit 115. In the framing control unit 115, information indicating the range of the mask area is set in advance in a default state of pan, tilt, and zoom by a user operation. When the pan, tilt, and zoom states change, the mask area in the output image also changes. The framing controller 115 supplies the mask area coordinate information to the mask area generator 110 so as to generate a mask area corresponding to the pan, tilt, and zoom states.
画像圧縮部１１１は、画像マスク部１０９から出力される画像信号に対してＪＰＥＧ等の圧縮処理を行って、画像ファイルのサイズ、あるいはネットワークへの伝送量を低減する。画像圧縮部１１１で生成される圧縮画像信号は、例えばＦＴＰ(File Transfer Protocol)等のプロトコルにより、ＬＡＮ、インターネット等のネットワークを介して、サーバに送られて保存され、さらには画像内容がモニタされる。 The image compression unit 111 performs a compression process such as JPEG on the image signal output from the image mask unit 109 to reduce the size of the image file or the transmission amount to the network. The compressed image signal generated by the image compression unit 111 is sent to a server via a network such as a LAN or the Internet and stored by a protocol such as FTP (File Transfer Protocol), and the image content is monitored. The
着目領域検出部１１２は、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号に基づいて、着目すべき画像領域（第１の画像領域）を検出し、当該着目すべき画像領域を示す座標情報を出力する。着目領域検出部１１２は、着目したい被写体に多く備わっている画像上の性質を特徴量とすることで、当該着目したい被写体を含む領域を、着目すべき画像領域として検出する。例えば、着目領域検出部１１２は、画像中の動きのある領域（動体領域）を、フレーム間の差分、あるいは動きベクトルを用いて検出する。また、例えば、着目領域検出部１１２は、人や顔と思われる領域（人検知領域）をパターンマッチング等の手法により検出するなど、画像中から特定の特徴量を持つ領域を検出する。 The attention area detection unit 112 detects an image area to be noticed (first image area) based on the image signal converted into a digital signal by the A / D converter 107, and indicates the image area to be noticed. Output coordinate information. The region-of-interest detection unit 112 detects a region including the subject to be focused as an image region to be focused on by using, as a feature amount, characteristics on the image that are frequently provided in the subject to be focused on. For example, the attention area detection unit 112 detects an area with motion (moving object area) in the image using a difference between frames or a motion vector. Further, for example, the attention area detection unit 112 detects an area having a specific feature amount from an image, for example, by detecting an area (person detection area) that seems to be a person or a face by a method such as pattern matching.
高輝度領域検出部１１３は、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号に基づいて、高輝度の画像領域を検出する。出力画像に高輝度の画像領域が含まれるようになると、露光制御装置（アイリス１０１ａ、アイリスモータ１０４、アイリス制御部１０５）の作用により、着目すべき第１の画像領域を含む画像全体が暗くなる等の問題が生じる。この高輝度画像領域は、出力画像から除去すべき第２の画像領域の一つであり、高輝度領域検出部１１３は第２の領域検出部を構成している。 The high brightness area detection unit 113 detects a high brightness image area based on the image signal converted into a digital signal by the A / D converter 107. When an output image includes a high-luminance image area, the entire image including the first image area to be noticed becomes dark by the action of the exposure control device (iris 101a, iris motor 104, iris control unit 105). Such problems arise. This high luminance image region is one of the second image regions to be removed from the output image, and the high luminance region detection unit 113 constitutes a second region detection unit.
高輝度領域検出部１１３は、画素値の大きい画素を多く持つ画像領域を高輝度画像領域として検出し、当該高輝度画像領域を示す座標情報を出力する。例えば、高輝度領域検出部１１３は、ｎ×ｍ画素（ｎは水平方向の画素数、ｍは垂直方向の画素数を示す）の長方形エリアを画面全体に敷き詰めるように配置し、長方形エリア毎に画素値の平均値が一定値を超えるか否かを判定し、画素値の平均値が一定値を超える長方形エリアを高輝度領域とする。 The high brightness area detection unit 113 detects an image area having many pixels having a large pixel value as a high brightness image area, and outputs coordinate information indicating the high brightness image area. For example, the high-intensity area detection unit 113 arranges a rectangular area of n × m pixels (where n is the number of pixels in the horizontal direction and m is the number of pixels in the vertical direction) so as to cover the entire screen. It is determined whether or not the average value of pixel values exceeds a certain value, and a rectangular area where the average value of pixel values exceeds a certain value is defined as a high luminance area.
複雑テクスチャ領域検出部１１４は、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号に基づいて、複雑なテクスチャを持つ画像領域を検出する。出力画像に複雑なテクスチャを持つ画像領域が含まれるようになると、画像圧縮効率が低下し、圧縮画像データのファイルサイズ（伝送量）が増大する等の問題が生じる。この複雑なテクスチャを持つ画像領域は、出力画像から除去すべき第２の画像領域の一つであり、複雑テクスチャ領域検出部１１４は第２の領域検出部を構成している。 The complex texture area detection unit 114 detects an image area having a complex texture based on the image signal converted into a digital signal by the A / D converter 107. When the output image includes an image region having a complex texture, there arises a problem that the image compression efficiency is lowered and the file size (transmission amount) of the compressed image data is increased. This image area having a complex texture is one of the second image areas to be removed from the output image, and the complex texture area detection unit 114 constitutes a second area detection unit.
複雑テクスチャ領域検出部１１４は、ＪＰＥＧなどで画像の空間的な類似性を利用して画像圧縮を行う際に、圧縮の効率を下げるような複雑なテクスチャパターンを持つ画像領域を検出し、当該画像領域を示す座標情報を出力する。例えば、複雑テクスチャ領域検出部１１４は、ｎ×ｍ画素（ｎは水平方向の画素数、ｍは垂直方向の画素数を示す）の長方形エリアを画面全体に敷き詰めるように配置し、長方形エリア毎に複数の通過帯域を持つ空間フィルタを通し、空間周波数成分の分散が大きい長方形エリアを複雑なテクスチャパターンを持つ画像領域とする。 The complex texture region detection unit 114 detects an image region having a complex texture pattern that reduces the compression efficiency when performing image compression using image spatial similarity in JPEG or the like. Coordinate information indicating the area is output. For example, the complex texture region detection unit 114 arranges a rectangular area of n × m pixels (where n is the number of pixels in the horizontal direction and m is the number of pixels in the vertical direction) so as to cover the entire screen. A rectangular area having a large dispersion of spatial frequency components through a spatial filter having a plurality of pass bands is defined as an image area having a complex texture pattern.
フレーミング制御部１１５には、上述したように、ユーザの操作により、パン、チルトおよびズームのデフォルト状態において、予め、マスク領域の範囲を示す情報が設定される。また、フレーミング制御部１１５は、上述したように、パン、チルトおよびズームの状態に応じたマスク領域を発生するように、マスク領域発生部１１０にマスク領域を示す座標情報を供給して制御する。 As described above, in the framing control unit 115, information indicating the range of the mask region is set in advance in a default state of pan, tilt, and zoom by a user operation. Further, as described above, the framing control unit 115 controls the mask region generation unit 110 by supplying coordinate information indicating the mask region so as to generate a mask region corresponding to the pan, tilt, and zoom states.
出力画像の中央付近にマスク領域が含まれるようになると、画像内の大きな領域がマスクされた無効領域となる等の問題が生じる。このマスク領域は、出力画像から除去すべき第２の画像領域の一つであり、フレーミング制御部１１５は第２の領域検出部を構成している。 When the mask area is included near the center of the output image, there arises a problem that a large area in the image becomes a masked invalid area. This mask area is one of the second image areas to be removed from the output image, and the framing control unit 115 constitutes a second area detection unit.
また、フレーミング制御部１１５は、着目領域検出部１１２で得られる着目すべき画像領域（着目画像領域）を示す座標情報、高輝度領域検出部１１３で得られる高輝度画像領域を示す座標情報、複雑テクスチャ領域検出部１１４で得られる複雑なテクスチャパターンを持つ画像領域を示す座標情報、およびマスク領域を示す座標情報に基づいて、出力画像の画枠範囲に着目画像領域（第１の画像領域）を残すと共に、出力画像の画枠範囲から除去画像領域（第２の画像領域）を除くように、パン／チルト／ズームモータ１０３または画像切り出し部１０８、あるいはパン／チルト／ズームモータ１０３および画像切り出し部１０８を制御する。 The framing control unit 115 also includes coordinate information indicating the image area to be focused (target image area) obtained by the focused area detection unit 112, coordinate information indicating the high brightness image area obtained by the high brightness area detection unit 113, and complicated information. Based on the coordinate information indicating the image area having a complex texture pattern obtained by the texture area detection unit 114 and the coordinate information indicating the mask area, the target image area (first image area) is selected from the image frame range of the output image. The pan / tilt / zoom motor 103 or the image cutout unit 108 or the pan / tilt / zoom motor 103 and the image cutout unit so that the removed image region (second image region) is excluded from the image frame range of the output image. 108 is controlled.
例えば、フレーミング制御部１１５は、各座標情報に基づき、例えば、（ａ）〜（ｄ）の制御を行う。（ａ）着目画像領域を出力画像の画枠範囲に収めながら、マスク領域はなるべく出力画像の画枠範囲の外へ出す。（ｂ）着目画像領域を出力画像の画枠範囲に収めながら、高輝度領域はなるべく出力画像の画枠範囲の外へ出す。（ｃ）着目画像領域を出力画像の画枠範囲に収めながら、複雑テクスチャパターンの画像領域はなるべく出力画像の画枠範囲の外へ出す。（ｄ）上述の（ａ）〜（３）を組み合わせて、着目画像領域を出力画像の画枠範囲に収めながら、マスク領域、高輝度画像領域、複雑パターン画像領域はなるべく出力画像の画枠範囲の外へ出す。 For example, the framing control unit 115 performs, for example, the controls (a) to (d) based on each coordinate information. (A) While keeping the image area of interest within the image frame range of the output image, the mask area is placed outside the image frame range of the output image as much as possible. (B) While keeping the image area of interest within the image frame range of the output image, the high luminance area is placed outside the image frame range of the output image as much as possible. (C) The image area of the complex texture pattern is moved out of the image frame range of the output image as much as possible while keeping the image area of interest within the image frame range of the output image. (D) Combining the above (a) to (3), the mask area, the high-intensity image area, and the complex pattern image area are as much as possible in the image frame range of the output image while keeping the target image area in the image frame range of the output image Go outside.
図１に示す撮像装置１００の動作を説明する。被写体からの像光がレンズブロック１０１を介して撮像素子１０２の撮像面に照射され、この撮像面に被写体像が結像される。撮像素子１０２では、撮像面に被写体像が結像された状態で撮像が行われる。フレーミング制御部１１５によりパン／チルト／ズームモータ１０３が制御されることで、機械的なパン／チルト／ズームが行われる。撮像素子１０２から出力される画像信号は、アンプ１０６で増幅され、さらに、Ａ／Ｄ変換器１０７でアナログ信号からデジタル信号に変換された後、画像切り出し部１０８に供給される。 An operation of the imaging apparatus 100 illustrated in FIG. 1 will be described. Image light from the subject is irradiated onto the imaging surface of the image sensor 102 via the lens block 101, and a subject image is formed on the imaging surface. The image sensor 102 captures an image with a subject image formed on the imaging surface. The pan / tilt / zoom motor 103 is controlled by the framing control unit 115, whereby mechanical pan / tilt / zoom is performed. The image signal output from the image sensor 102 is amplified by the amplifier 106, further converted from an analog signal to a digital signal by the A / D converter 107, and then supplied to the image cutout unit 108.
画像切り出し部１０８では、フレーミング制御部１１５の制御により、Ａ／Ｄ変換器１０７から供給される画像信号の切り出し範囲が変更され、出力画像に対応した画像信号が得られる。この画像切り出し部１０８では、切り出し範囲を左右に変更することで電子的なパン(Pan)が行われ、切り出し範囲を上下方向に変更することで電子的なチルト(Tilt)が行われ、さらに、切り出す画素数を変化させ、画素の間引きあるいは行うことで電子的なズーム(Zoom)が行われる。 The image cutout unit 108 changes the cutout range of the image signal supplied from the A / D converter 107 under the control of the framing control unit 115, and obtains an image signal corresponding to the output image. In this image cutout unit 108, electronic pan (Pan) is performed by changing the cutout range to the left and right, electronic tilt (Tilt) is performed by changing the cutout range in the vertical direction, Electronic zooming is performed by changing the number of pixels to be cut out and thinning out or performing pixels.
画像切り出し部１０８で得られる画像信号は画像マスク部１０９に供給される。この画像マスク部１０９では、フレーミング制御部１１５の制御の下、マスク領域発生部１１０で発生されるマスク領域に基づいて、画像切り出し部１０８からの画像信号に対して、マスク領域の画像内容をマスク（隠蔽）する処理が行われる。この画像マスク部１０９で得られる画像信号は画像圧縮部１１１に供給される。画像圧縮部１１１では、画像マスク部１０９から出力される画像信号に対してＪＰＥＧ等の圧縮処理が行われ、画像ファイルのサイズ、あるいはネットワークへの伝送量が低減される。 The image signal obtained by the image cutout unit 108 is supplied to the image mask unit 109. The image mask unit 109 masks the image content of the mask area for the image signal from the image cutout unit 108 based on the mask area generated by the mask area generation unit 110 under the control of the framing control unit 115. (Concealment) is performed. The image signal obtained by the image mask unit 109 is supplied to the image compression unit 111. In the image compression unit 111, compression processing such as JPEG is performed on the image signal output from the image mask unit 109, and the size of the image file or the transmission amount to the network is reduced.
また、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号は、着目領域検出部１１２、高輝度領域検出部１１３および複雑テクスチャ領域検出部１１４に供給される。着目領域検出部１１２では、Ａ／Ｄ変換器１０７からの画像信号に基づいて、動体領域、人検知領域などの着目画像領域（第１の画像領域）が検出される。そして、この着目領域検出部１１３から出力される着目画像領域を示す座標情報はフレーミング制御部１１５に供給される。 The image signal converted into a digital signal by the A / D converter 107 is supplied to the attention area detection unit 112, the high luminance area detection unit 113, and the complex texture area detection unit 114. The attention area detection unit 112 detects an attention image area (first image area) such as a moving object area and a human detection area based on the image signal from the A / D converter 107. Then, coordinate information indicating the target image area output from the target area detection unit 113 is supplied to the framing control unit 115.
高輝度領域検出部１１３では、Ａ／Ｄ変換器１０７からの画像信号に基づいて、高輝度の画像領域が検出される。そして、この高輝度領域検出部１１３から出力される高輝度画像領域を示す座標情報はフレーミング制御部１１５に供給される。複雑テクスチャ領域検出部１１４では、Ａ／Ｄ変換器１０７からの画像信号に基づいて、複雑なテクスチャを持つ画像領域が検出される。そして、この複雑テクスチャ領域検出部１１４から出力される複雑なテクスチャパターンを持つ画像領域を示す座標情報はフレーミング制御部１１５に供給される。 The high brightness area detection unit 113 detects a high brightness image area based on the image signal from the A / D converter 107. Then, the coordinate information indicating the high luminance image region output from the high luminance region detection unit 113 is supplied to the framing control unit 115. The complex texture region detection unit 114 detects an image region having a complex texture based on the image signal from the A / D converter 107. Then, coordinate information indicating an image region having a complex texture pattern output from the complex texture region detection unit 114 is supplied to the framing control unit 115.
フレーミング制御部１１５では、着目画像領域を示す座標情報と、除去画像領域（高輝度画像領域、複雑なテクスチャパターンを持つ画像領域、マスク領域）を示す座標情報とに基づいて、出力画像の画枠範囲に着目画像領域（第１の画像領域）を残すと共に、出力画像の画枠範囲から除去画像領域（第２の画像領域）を除くように、パン／チルト／ズームモータ１０３または画像切り出し部１０８、あるいはパン／チルト／ズームモータ１０３および画像切り出し部１０８を制御することが行われる。 In the framing control unit 115, based on the coordinate information indicating the image area of interest and the coordinate information indicating the removed image area (high luminance image area, image area having a complex texture pattern, mask area), the image frame of the output image The pan / tilt / zoom motor 103 or the image cutout unit 108 leaves the target image region (first image region) in the range and excludes the removed image region (second image region) from the image frame range of the output image. Alternatively, the pan / tilt / zoom motor 103 and the image cutout unit 108 are controlled.
例えば、フレーミング制御部１１５は、マイクロコンピュータを用いたソフトウェア処理で実現される。このソフトウェア処理のための処理プログラムは、マイクロコンピュータの内蔵メモリ等に予め格納され、あるいはメモリカード等のリムーバブル記憶媒体により提供される。 For example, the framing control unit 115 is realized by software processing using a microcomputer. A processing program for this software processing is stored in advance in a built-in memory of a microcomputer, or provided by a removable storage medium such as a memory card.
図２のフローチャートは、フレーミング制御部１１５におけるフレーミングの制御動作を示し、所定の周期をもって、繰り返し実行される。 The flowchart of FIG. 2 shows a framing control operation in the framing control unit 115, and is repeatedly executed with a predetermined period.
フレーミング制御部１１５は、ステップＳＴ１で処理を開始する。そして、フレーミング制御部１１５は、ステップＳＴ２で、着目領域検出部１１２で得られる着目画像領域の座標情報を取得し、ステップＳＴ３で、その座標情報に基づいて着目画像領域に追従するためのパン量、チルト量、およびズーム量を演算する。 The framing control unit 115 starts processing in step ST1. In step ST2, the framing control unit 115 acquires coordinate information of the target image area obtained by the target area detection unit 112. In step ST3, the framing control unit 115 follows the target image area based on the coordinate information. The tilt amount and zoom amount are calculated.
また、フレーミング制御部１１５は、ステップＳＴ４において高輝度領域検出部１１３で得られる高輝度画像領域を示す座標情報を取得し、ステップＳＴ５において複雑テクスチャ領域検出部１１４で得られる複雑なテクスチャパターンを持つ画像領域を示す画像情報を取得し、さらに、ステップＳＴ６で、フレーミング制御部１１５自体で得られるマスク領域を示す座標情報を取得する。そして、フレーミング制御部１１５は、ステップＳＴ７で、各座標情報に基づいて除外画像領域を除去するためのパン量、チルト量、およびズーム量を演算する。 Further, the framing control unit 115 acquires coordinate information indicating the high luminance image region obtained by the high luminance region detection unit 113 in step ST4, and has a complex texture pattern obtained by the complex texture region detection unit 114 in step ST5. Image information indicating the image area is acquired, and further, in step ST6, coordinate information indicating the mask area obtained by the framing control unit 115 itself is acquired. In step ST7, the framing control unit 115 calculates a pan amount, a tilt amount, and a zoom amount for removing the excluded image region based on each coordinate information.
次に、フレーミング制御部１１５は、ステップＳＴ８で、ステップＳＴ３で求めた着目画像領域に追従するためのパン量、チルト量、およびズーム量を、ステップＳＴ７で求めた除外画像領域を除去するためのパン量、チルト量、およびズーム量により補正する。そして、フレーミング制御部１１５は、ステップＳＴ９で、パン／チルト／ズームが時間的に滑らかに動くように、ステップＳＴ８で求めたパン量、チルト量、およびズーム量と、過去に求めたパン量、チルト量、およびズーム量との平均を演算する。 Next, in step ST8, the framing control unit 115 removes the excluded image region obtained in step ST7 from the pan amount, the tilt amount, and the zoom amount for following the target image region obtained in step ST3. Correction is made based on the pan amount, tilt amount, and zoom amount. Then, the framing control unit 115, in step ST9, the pan amount, the tilt amount, and the zoom amount obtained in step ST8, and the pan amount obtained in the past so that pan / tilt / zoom moves smoothly in time. The average of the tilt amount and the zoom amount is calculated.
次に、フレーミング制御部１１５は、ステップＳＴ１０で、ステップＳＴ９で求めたパン量、チルト量、およびズーム量に基づいて、パン／チルト／ズームの制御値を、パン／チルト／ズームモータ１０３および画像切り出し部１０８のいずれか、あるいは双方に出力し、また、ステップＳＴ１１で、パン／チルト／ズームの制御に伴って、マスク領域座標を更新し、その後に、ステップＳＴ１２で、処理を終了する。 Next, in step ST10, the framing control unit 115 determines the pan / tilt / zoom control values and the pan / tilt / zoom motor 103 and the image based on the pan amount, tilt amount, and zoom amount obtained in step ST9. In step ST11, the mask region coordinates are updated in accordance with pan / tilt / zoom control, and then the process ends in step ST12.
次に、フレーミング制御部１１５の制御の具体例について説明する。 Next, a specific example of control by the framing control unit 115 will be described.
図３〜図５は、出力画像の画枠範囲から高輝度画像領域を除去するための、フレーミング制御部１１５における制御例を示している。 3 to 5 show control examples in the framing control unit 115 for removing a high-luminance image region from the image frame range of the output image.
図３（Ａ）は、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画像左上に照明などの極端に輝度の高い高輝度画像領域が含まれている。通常、出力画像の画枠範囲に、このような高輝度領域が含まれると、露光制御装置（アイリス１０１ａ、アイリスモータ１０４、アイリス制御部１０５等）がこの高輝度画像領域まで含めて露光を最適化しようと動作するため、高輝度画像領域以外の部分は逆に露光不足となり、画面全体が暗く落ち込んでしまう。また、高輝度部の被写体は光学系でフレアを発生させるため、図３（Ａ）のフレーミング状態では、出力画像にフレアも含まれ、画質が低下したものとなる。 FIG. 3A shows an output image obtained as a result of tracking the target image area An surrounded by a rectangular area, and a high-brightness image area with extremely high luminance such as illumination is included in the upper left of the image. Normally, when such a high brightness area is included in the image frame range of the output image, the exposure control device (iris 101a, iris motor 104, iris control unit 105, etc.) includes this high brightness image area to optimize exposure. Therefore, the portion other than the high-luminance image region is underexposed and the entire screen is darkened. In addition, since the subject in the high brightness portion generates flare in the optical system, in the framing state of FIG. 3A, flare is included in the output image, and the image quality is deteriorated.
図３（Ｂ）は、図３（Ａ）の状態を回避するためのパン(Pan)の制御を示している。高輝度領域検出部１１３は、画像左上の高輝度画像領域を検出し、その領域を示す座標情報を出力する。フレーミング制御部１１５は、この高輝度領域検出部１１３が出力する高輝度画像領域を示す座標情報に基づいて、着目画像領域Ａｎを出力画像の画枠範囲に留めるという制約条件のもとで、高輝度画像領域として検出された座標位置が出力画像の画枠範囲の外に出るようにパンの制御を行う（図３（Ｂ）の矢印参照）。図３（Ｃ）は、パンの制御が行われた後の出力画像を示している。この場合、高輝度画像領域が出力画像の画枠範囲の外へ出ることにより、高輝度画像領域を含まない状態で適切な露光制御が行われ、また、フレアも減少し、視認性の良い画像を得ることができる。 FIG. 3B shows pan control for avoiding the state of FIG. The high brightness area detection unit 113 detects a high brightness image area at the upper left of the image, and outputs coordinate information indicating the area. Based on the coordinate information indicating the high-luminance image region output from the high-luminance region detection unit 113, the framing control unit 115 performs a high-rate operation under the constraint that the target image region An is kept within the image frame range of the output image. Pan control is performed so that the coordinate position detected as the luminance image area is outside the image frame range of the output image (see the arrow in FIG. 3B). FIG. 3C shows an output image after pan control is performed. In this case, when the high-brightness image region goes out of the image frame range of the output image, appropriate exposure control is performed without including the high-brightness image region, flare is reduced, and an image with good visibility. Can be obtained.
図４（Ａ）は、図３（Ａ）と同様に、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画面左上に照明などの極端に輝度の高い高輝度画像領域が含まれている。図４（Ｂ）は、図４（Ａ）の状態を回避するためのチルト(Tilt)の制御を示している。フレーミング制御部１１５は、高輝度領域検出部１１３が出力する高輝度画像領域を示す座標情報に基づいて、着目画像領域Ａｎを出力画像の画枠範囲に留めるという制約条件のもとで、高輝度画像領域として検出された座標位置が出力画像の画枠範囲の外に出るようにチルトの制御を行う（図４（Ｂ）の矢印参照）。図４（Ｃ）は、チルトの制御が行われた後の出力画像を示している。この場合、高輝度画像領域が出力画像の画枠範囲の外へ出ることにより、高輝度画像領域を含まない状態で適切な露光制御が行われ、また、フレアも減少し、視認性の良い画像を得ることができる。 FIG. 4A shows an output image obtained as a result of tracking the target image area An surrounded by a rectangular area, as in FIG. 3A. A luminance image area is included. FIG. 4B shows tilt control for avoiding the state of FIG. The framing control unit 115 is based on the coordinate information indicating the high-intensity image region output from the high-intensity region detection unit 113 under the restriction condition that the target image region An is limited to the image frame range of the output image. Tilt control is performed so that the coordinate position detected as the image region is outside the image frame range of the output image (see the arrow in FIG. 4B). FIG. 4C shows an output image after the tilt control is performed. In this case, when the high-brightness image region goes out of the image frame range of the output image, appropriate exposure control is performed without including the high-brightness image region, flare is reduced, and an image with good visibility. Can be obtained.
図５（Ａ）は、図３（Ａ）と同様に、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画面左上に照明などの極端に輝度の高い高輝度画像領域が含まれている。図５（Ｂ）は、図５（Ａ）の状態を回避するためのズーム(Zoom)の制御を示している。フレーミング制御部１１５は、高輝度領域検出部１１３が出力する高輝度画像領域を示す座標情報に基づいて、着目画像領域Ａｎを出力画像の画枠範囲に留めるという制約条件のもとで、高輝度画像領域として検出された座標位置が出力画像の画枠範囲の外に出るように ズームの制御を行う（図５（Ｂ）の矢印参照）。図５（Ｃ）は、ズームの制御が行われた後の出力画像を示している。この場合、高輝度画像領域が出力画像の画枠範囲の外へ出ることにより、高輝度画像領域を含まない状態で適切な露光制御が行われ、また、フレアも減少し、視認性の良い画像を得ることができる。 FIG. 5A shows an output image obtained as a result of tracking the target image area An surrounded by a rectangular area, as in FIG. 3A, and an extremely high brightness such as illumination is shown at the upper left of the screen. A luminance image area is included. FIG. 5B shows zoom control for avoiding the state of FIG. The framing control unit 115 is based on the coordinate information indicating the high-intensity image region output from the high-intensity region detection unit 113 under the restriction condition that the target image region An is limited to the image frame range of the output image. Zoom control is performed so that the coordinate position detected as the image area goes out of the image frame range of the output image (see the arrow in FIG. 5B). FIG. 5C shows an output image after zoom control is performed. In this case, when the high-brightness image region goes out of the image frame range of the output image, appropriate exposure control is performed without including the high-brightness image region, flare is reduced, and an image with good visibility. Can be obtained.
なお、上述の図３〜図５の例ではパン、チルト、ズームの制御が単独で行われているが、これらパン、チルト、ズームを組み合わせて制御を行うようにしてもよい。 Note that, in the above-described examples of FIGS. 3 to 5, pan, tilt, and zoom are controlled independently, but control may be performed by combining these pan, tilt, and zoom.
図６は、出力画像の画枠範囲からマスク領域を除去するための、フレーミング制御部１１５における制御例を示している。 FIG. 6 shows a control example in the framing control unit 115 for removing the mask area from the image frame range of the output image.
図６（Ａ）は、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、着目画像領域Ａｎがあらかじめ設定されたマスク領域の付近にある。このようなときに、例えば、着目画像領域Ａｎが出力画像の画枠範囲の中央付近にくるようにフレーミング制御を行うと、マスク領域も画面中央付近にくることになり、出力画像の画枠範囲の多くの領域がマスク領域で隠蔽され、画像の解像度を有効に活かすことができなくなる。 FIG. 6A shows an output image obtained as a result of tracking the target image area An surrounded by a rectangular area, and the target image area An is in the vicinity of a preset mask area. In such a case, for example, if framing control is performed so that the image area An of interest is near the center of the image frame range of the output image, the mask area is also near the center of the screen, and the image frame range of the output image is Many areas are hidden by the mask area, and the resolution of the image cannot be used effectively.
図６（Ｂ）は、図６（Ａ）の状態を回避するための、ＰＴＺ制御を示している。フレーミング制御部１１５は、当該フレーミング制御部１１５で発生されるマスク領域の座標情報に基づいて、マスク領域が出力画像の画枠範囲の外へ出て、かつ着目画像領域Ａｎが出力画像の画枠範囲に収まる位置を目標値として、フレーミング制御を行う。 FIG. 6B shows PTZ control for avoiding the state of FIG. Based on the coordinate information of the mask region generated by the framing control unit 115, the framing control unit 115 goes out of the image frame range of the output image, and the target image region An is the image frame of the output image. Framing control is performed using a position within the range as a target value.
図６（Ｃ）はＰＴＺ制御が行われた後の出力画像を示している。この場合、マスク領域の大部分が出力画像の画枠範囲の外へ出ていき、その分の解像度が新たに撮像領域となり、より多くの被写体を出力画像の画枠範囲に入れることが可能になる。 FIG. 6C shows an output image after the PTZ control is performed. In this case, most of the mask area goes out of the image frame range of the output image, and the corresponding resolution becomes a new imaging area, allowing more subjects to enter the image frame range of the output image. Become.
図７は、出力画像の画枠範囲から複雑なテクスチャパターンを持つ画像領域（複雑テクスチャ画像領域）を除去するための、フレーミング制御部１１５における制御例を示している。 FIG. 7 shows an example of control in the framing control unit 115 for removing an image region having a complex texture pattern (complex texture image region) from the image frame range of the output image.
図７（Ａ）は、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画像右側に複雑テクスチャ画像領域が含まれている。通常、出力画像の画枠範囲に、このような複雑テクスチャパターンが含まれると、ＪＰＥＧを代表とする広く一般に用いられている空間的な類似性を利用する画像圧縮アルゴリズムにおいて、空間的な類似性の低さのため圧縮効率が低下し、圧縮後の画像ファイルのサイズやネットワークを通して画像を伝送する際の伝送量の増加を招いてしまう。 FIG. 7A shows an output image obtained as a result of tracking the target image area An surrounded by a rectangular area, and a complex texture image area is included on the right side of the image. Normally, when such a complex texture pattern is included in the image frame range of the output image, spatial similarity is used in an image compression algorithm that uses a widely used spatial similarity such as JPEG. Therefore, the compression efficiency is reduced, and the size of the compressed image file and the transmission amount when transmitting the image through the network are increased.
図７（Ｂ）は、図７（Ａ）の状態を回避するための、ＰＴＺ制御を示している。複雑テクスチャ領域検出部１１４は、画像右側の複雑テクスチャ画像領域を検出し、その領域を示す座標情報を出力する。フレーミング制御部１１５は、この複雑テクスチャ領域検出部１１４が出力する複雑テクスチャ画像領域を示す座標情報に基づいて、複雑テクスチャ画像領域が出力画像の画枠範囲の外へ出て、かつ着目画像領域Ａｎが出力画像の画枠範囲に収まる位置を目標値として、フレーミング制御を行う。 FIG. 7B shows PTZ control for avoiding the state of FIG. The complex texture region detection unit 114 detects a complex texture image region on the right side of the image and outputs coordinate information indicating the region. Based on the coordinate information indicating the complex texture image region output from the complex texture region detection unit 114, the framing control unit 115 causes the complex texture image region to go out of the image frame range of the output image, and the target image region An. The framing control is performed with the position within the image frame range of the output image as a target value.
図７（Ｃ）は、ＰＴＺ制御が行われた後の出力画像を示している。この場合、複雑なテクスチャパターンを持つ画像領域の大部分が出力画像の画枠範囲の外へ出ることにより、複雑なテクスチャパターンを持つ画像領域がほとんど含まれない状態で画像圧縮が行われ、より効率よく画像が圧縮されるため画像ファイルのサイズあるいはネットワーク伝送量を減少させることができる。 FIG. 7C shows an output image after the PTZ control is performed. In this case, most of the image area having a complex texture pattern goes out of the image frame range of the output image, so that the image compression is performed in a state where the image area having the complex texture pattern is hardly included. Since the image is efficiently compressed, the size of the image file or the amount of network transmission can be reduced.
図１に示す撮像装置１００においては、フレーミング制御部１１５により出力画像の画枠範囲に着目画像領域を残すようにされ、一方、この出力画像の画枠範囲から、当該出力画像に含まれることで問題が発生する除去画像領域（高輝度画像領域、マスク領域、複雑テクスチャ画像領域）を除くようにフレーミング制御されることから、着目画像領域を含む良好な出力画像を得ることができ、例えば監視カメラに適用して好適なものとなる。 In the imaging apparatus 100 shown in FIG. 1, the framing control unit 115 leaves an image area of interest in the image frame range of the output image, while being included in the output image from the image frame range of the output image. Since the framing control is performed so as to exclude the removed image area where the problem occurs (high brightness image area, mask area, complex texture image area), a good output image including the image area of interest can be obtained. It becomes suitable when applied to.
この発明は、出力画像に悪い影響を及ぼす画像領域を除くようにし、着目画像領域を含む良好な出力画像を得ることを可能とするものであり、例えば監視カメラ等に適用できる。 The present invention eliminates an image area that adversely affects an output image and makes it possible to obtain a good output image including an image area of interest, and can be applied to, for example, a surveillance camera.
１００・・・撮像装置、１０１・・・レンズブロック、１０１ａ・・・アイリス、１０２・・・撮像素子、１０３・・・パン／チルト／ズームモータ、１０４・・・アイリスモータ、１０５・・・アイリス制御部、１０６・・・アンプ、１０７・・・Ａ／Ｄ変換器、１０８・・・画像切り出し部、１０９・・・画像マスク部、１１０・・・マスク領域発生部、１１１・・・画像圧縮部、１１２・・・着目領域検出部、１１３・・・高輝度領域検出部、１１４・・・複雑テクスチャ領域検出部、１１５・・・フレーミング制御部
DESCRIPTION OF SYMBOLS 100 ... Imaging device 101 ... Lens block 101a ... Iris 102 ... Imaging element 103 ... Pan / tilt / zoom motor 104 ... Iris motor 105 ... Iris Control unit 106 ... Amplifier 107 ... A / D converter 108 ... Image cutout unit 109 ... Image mask unit 110 ... Mask area generation unit 111 ... Image compression , 112... Region of interest detection unit, 113... High brightness region detection unit, 114... Complex texture region detection unit, 115.
Claims (8)
上記撮像部から出力される画像信号に基づいた出力画像の画枠範囲を変更する画枠範囲変更部と、
上記撮像部から出力される画像信号に基づき、着目すべき第１の画像領域を検出する第１の領域検出部と、
上記撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域を検出する第２の領域検出部と、
上記第１の領域検出部で検出される第1の画像領域および上記第２の領域検出部で検出される第２の画像領域に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該出力画像の画枠範囲から上記第２の画像領域を除くように、上記画枠範囲変更部を制御するフレーミング制御部と
を備えることを特徴とする撮像装置。 An imaging unit for imaging a subject and outputting an image signal;
An image frame range changing unit for changing the image frame range of the output image based on the image signal output from the imaging unit;
A first region detection unit for detecting a first image region to be noted based on an image signal output from the imaging unit;
A second region detection unit for detecting a second image region to be removed from the output image based on the image signal output from the imaging unit;
Based on the first image area detected by the first area detector and the second image area detected by the second area detector, the first image area is included in the image frame range of the output image. And a framing control unit that controls the image frame range changing unit so as to exclude the second image region from the image frame range of the output image.
上記撮像部で被写体を撮像する際に上記出力画像の画枠範囲を変更する
ことを特徴とする請求項１に記載の撮像装置。 The image frame range changing section
The imaging apparatus according to claim 1, wherein an image frame range of the output image is changed when the subject is imaged by the imaging unit.
上記撮像部から出力される画像信号を加工処理して上記出力画像信号の画枠範囲を変更する
ことを特徴とする請求項１に記載の撮像装置。 The image frame range changing section
The image pickup apparatus according to claim 1, wherein the image signal output from the image pickup unit is processed to change an image frame range of the output image signal.
上記撮像部から出力される画像信号に基づき、上記第２の画像領域として、高輝度の画像領域を検出する
ことを特徴とする請求項１に記載の撮像装置。 The second region detecting unit is
The imaging device according to claim 1, wherein a high-luminance image region is detected as the second image region based on an image signal output from the imaging unit.
上記撮像部から出力される画像信号に基づき、上記第２の画像領域として、複雑なテクスチャを持つ画像領域を検出する
ことを特徴とする請求項１に記載の撮像装置。 The second region detecting unit is
The imaging apparatus according to claim 1, wherein an image area having a complex texture is detected as the second image area based on an image signal output from the imaging unit.
上記第２の画像領域として、画像内容がマスクされるマスク領域を検出する
ことを特徴とする請求項１に記載の撮像装置。 The second region detecting unit is
The imaging apparatus according to claim 1, wherein a mask area in which image content is masked is detected as the second image area.
撮像部から出力される画像信号による画像における着目すべき第１の画像領域の座標情報を取得する第１の領域情報取得ステップと、
上記撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域の座標情報を取得する第２の領域情報取得ステップと、
上記第１の領域情報取得ステップで取得される第1の画像領域の座標情報および上記第２の領域情報取得ステップで取得される第２の画像領域の座標情報に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該画枠範囲から上記第２の画像領域を除くように、制御する制御ステップと
を備えることを特徴とするフレーミング制御方法。 A framing control method for changing an image frame range of an output image based on an image signal corresponding to a subject output from an imaging unit,
A first region information acquisition step of acquiring coordinate information of a first image region to be noted in an image based on an image signal output from the imaging unit;
A second region information acquisition step of acquiring coordinate information of a second image region to be removed from the output image based on the image signal output from the imaging unit;
An image frame of the output image based on the coordinate information of the first image area acquired in the first area information acquisition step and the coordinate information of the second image area acquired in the second area information acquisition step. A framing control method comprising: a control step of controlling so as to leave the first image area in a range and to exclude the second image area from the image frame range.
撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域の座標情報を取得する第２の領域情報取得ステップと、
上記第１の領域情報取得ステップで取得される第1の画像領域の座標情報および上記第２の領域情報取得ステップで取得される第２の画像領域の座標情報に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該画枠範囲から上記第２の画像領域を除くように、制御する制御ステップと
を備えるフレーミング制御方法をコンピュータに実行させるためのプログラム。
A first region information acquisition step of acquiring coordinate information of an image region to be noted in an image based on an image signal output from the imaging unit;
A second region information acquisition step of acquiring coordinate information of a second image region to be removed from the output image based on the image signal output from the imaging unit;
An image frame of the output image based on the coordinate information of the first image area acquired in the first area information acquisition step and the coordinate information of the second image area acquired in the second area information acquisition step. A program for causing a computer to execute a framing control method comprising: a control step of controlling the first image region in a range so that the second image region is excluded from the image frame range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006280961A JP2008099159A (en) | 2006-10-16 | 2006-10-16 | Imaging apparatus, framing control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006280961A JP2008099159A (en) | 2006-10-16 | 2006-10-16 | Imaging apparatus, framing control method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008099159A true JP2008099159A (en) | 2008-04-24 |
Family
ID=39381502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006280961A Pending JP2008099159A (en) | 2006-10-16 | 2006-10-16 | Imaging apparatus, framing control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008099159A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009038000A1 (en) * | 2007-09-21 | 2009-03-26 | Konica Minolta Opto, Inc. | Unnecessary light identification method, unnecessary light identification device, and imaging device |
| US8089550B2 (en) * | 2008-06-05 | 2012-01-03 | Canon Kabushiki Kaisha | Image sensing apparatus, control method thereof, and program |
| CN102348061A (en) * | 2010-07-30 | 2012-02-08 | 索尼公司 | Camera device, camera system, control device and control program |
| US8842188B2 (en) | 2010-07-30 | 2014-09-23 | Sony Corporation | Camera device, camera system, control device and program |
| JP2014207645A (en) * | 2013-04-16 | 2014-10-30 | オリンパス株式会社 | Image processing unit, image processing method and program |
| JP2016096579A (en) * | 2016-01-20 | 2016-05-26 | キヤノン株式会社 | Imaging apparatus, setting method, and program |
| JP2018033151A (en) * | 2017-10-05 | 2018-03-01 | キヤノン株式会社 | Imaging device, setting method, and program |
| WO2019106956A1 (en) * | 2017-11-29 | 2019-06-06 | 京セラドキュメントソリューションズ株式会社 | Monitoring system and image processing device |
| US10362276B2 (en) | 2012-05-21 | 2019-07-23 | Canon Kabushiki Kaisha | Image capture apparatus, method for setting mask image, and recording medium |
| WO2020179522A1 (en) * | 2019-03-04 | 2020-09-10 | 株式会社ニデック | Scanning ophthalmic imaging device, and ophthalmic imaging program |
-
2006
- 2006-10-16 JP JP2006280961A patent/JP2008099159A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009038000A1 (en) * | 2007-09-21 | 2009-03-26 | Konica Minolta Opto, Inc. | Unnecessary light identification method, unnecessary light identification device, and imaging device |
| US8089550B2 (en) * | 2008-06-05 | 2012-01-03 | Canon Kabushiki Kaisha | Image sensing apparatus, control method thereof, and program |
| US20120075517A1 (en) * | 2008-06-05 | 2012-03-29 | Canon Kabushiki Kaisha | Image sensing apparatus, control method thereof, and program |
| US8625019B2 (en) * | 2008-06-05 | 2014-01-07 | Canon Kabushiki Kaisha | Image processing and displaying apparatus, control method, and program for displaying a predetermined image |
| CN102348061A (en) * | 2010-07-30 | 2012-02-08 | 索尼公司 | Camera device, camera system, control device and control program |
| EP2413588A3 (en) * | 2010-07-30 | 2014-01-15 | Sony Corporation | Camera device, camera system, control device and program |
| US8817119B2 (en) | 2010-07-30 | 2014-08-26 | Sony Corporation | Camera device, camera system, control device and program |
| US8842188B2 (en) | 2010-07-30 | 2014-09-23 | Sony Corporation | Camera device, camera system, control device and program |
| CN102348061B (en) * | 2010-07-30 | 2016-05-25 | 索尼公司 | Camera apparatus, camera system, control appliance and program |
| US10362276B2 (en) | 2012-05-21 | 2019-07-23 | Canon Kabushiki Kaisha | Image capture apparatus, method for setting mask image, and recording medium |
| JP2014207645A (en) * | 2013-04-16 | 2014-10-30 | オリンパス株式会社 | Image processing unit, image processing method and program |
| JP2016096579A (en) * | 2016-01-20 | 2016-05-26 | キヤノン株式会社 | Imaging apparatus, setting method, and program |
| JP2018033151A (en) * | 2017-10-05 | 2018-03-01 | キヤノン株式会社 | Imaging device, setting method, and program |
| WO2019106956A1 (en) * | 2017-11-29 | 2019-06-06 | 京セラドキュメントソリューションズ株式会社 | Monitoring system and image processing device |
| JPWO2019106956A1 (en) * | 2017-11-29 | 2020-11-19 | 京セラドキュメントソリューションズ株式会社 | Surveillance system and image processing equipment |
| WO2020179522A1 (en) * | 2019-03-04 | 2020-09-10 | 株式会社ニデック | Scanning ophthalmic imaging device, and ophthalmic imaging program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008099159A (en) | Imaging apparatus, framing control method and program | |
| JP4987355B2 (en) | Imaging apparatus and imaging method | |
| JP3974633B1 (en) | Imaging apparatus and imaging method | |
| JP3974634B2 (en) | Imaging apparatus and imaging method | |
| JP2007124088A (en) | Image photographing device | |
| JPWO2007057971A1 (en) | Digital camera, electronic device equipped with digital camera, imaging method of digital camera, and storage medium storing digital camera program | |
| JP4420906B2 (en) | Imaging device | |
| JP2007324856A (en) | Imaging apparatus and imaging control method | |
| JP2008277896A (en) | Imaging device and imaging method | |
| JP2006254364A (en) | Photographing apparatus | |
| JP2009272890A (en) | Image processing apparatus and method, and imaging device | |
| JP2009284056A (en) | Image processing apparatus, method, and program | |
| JP4636786B2 (en) | Captured image projection device, image processing method and program for captured image projection device | |
| JP6904838B2 (en) | Image processing device, its control method and program | |
| JP2009017427A (en) | Imaging device | |
| JP2008236739A (en) | Imaging apparatus and imaging method | |
| JP2019212968A (en) | Imaging apparatus and control method of the same | |
| JP2010081244A (en) | Imaging device, imaging method, and image processing program | |
| JP2005117635A (en) | Camera system, camera control method, and program | |
| JP5316098B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2010010881A (en) | Imaging device and notification method of moire existence in image | |
| JP2006246014A (en) | Digital camera and image processing method thereof | |
| JP2009296268A (en) | Information processor, and information processing method | |
| JP5012656B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2004266669A (en) | Monitoring camera and image pickup method |