JP2009077066A - Method of capturing image of imaging device, and imaging device using the method - Google Patents
Method of capturing image of imaging device, and imaging device using the method Download PDFInfo
- Publication number
- JP2009077066A JP2009077066A JP2007242885A JP2007242885A JP2009077066A JP 2009077066 A JP2009077066 A JP 2009077066A JP 2007242885 A JP2007242885 A JP 2007242885A JP 2007242885 A JP2007242885 A JP 2007242885A JP 2009077066 A JP2009077066 A JP 2009077066A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- pixel density
- imaging device
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像装置の画像取り込み方法とその方法を用いる撮像装置に関し、特に人物の顔の認証をより適確に行う撮像装置とするための画像取り込み方法等に関する。 The present invention relates to an image capturing method for an image capturing apparatus and an image capturing apparatus using the method, and more particularly to an image capturing method for obtaining an image capturing apparatus that performs authentication of a human face more accurately.
ディジタルカメラを代表とする撮像装置において、ＣＣＤやＣＭＯＳ等の撮像素子の高画素化は昨今特に著しく、コンパクトカメラであっても約１０メガピクセル相当を謳う製品も出現しつつある。このように急激な撮像素子の高画素化による撮像デ−タの増大に対して、撮像素子で撮像デ−タを取得した後に後工程で処理される様様な画像処理や、表示機能が追いついていないのが現状である。 In an image pickup apparatus represented by a digital camera, the increase in the number of pixels of an image pickup element such as a CCD or a CMOS has been particularly remarkable recently, and even a compact camera having a product equivalent to about 10 megapixels is emerging. In contrast to the increase in image data due to the rapid increase in the number of pixels of the image sensor, image processing and display functions that are processed in a later process after the image data is acquired by the image sensor have caught up. There is no current situation.
すなわち、撮像素子全体の１０メガピクセル相当の画素をすべて読み出して、画像処理や表示等していたのではＣＰＵ等の演算負荷が大きくなり、撮像装置内のデバイス間でのデ−タ通信にも遅延が生じることとなり、特に動画像の撮像記録やそのリアルタイム表示には適さないものとなる。 That is, if all the pixels corresponding to 10 megapixels of the entire image pickup device are read and image processing or display is performed, the calculation load of the CPU or the like increases, and data communication between devices in the image pickup apparatus also occurs. There will be a delay, and this is not particularly suitable for capturing and recording moving images and for real-time display thereof.
そこで、後工程での処理速度とマッチングを取るために、動画像の表示や記録、さらにスル−画像といわれる非撮像状況下における表示部への動画表示においては、撮像デ−タを間引きして取り込むことにより取り込み時間を低減し、また後工程で対応する取り扱い画像デ−タ量を実質上低減させる処理としている。 Therefore, in order to match the processing speed in the subsequent process, the display and recording of moving images, and the moving image display on the display unit in a non-imaging state called a through image, thin out the imaging data. By taking in, the time taken in is reduced, and the amount of handled image data corresponding to the subsequent process is substantially reduced.
一方、昨今の撮像装置は、被写体中における人物の検出機能や、その人物が誰であるのかを判断する人物判別機能も備えている。このような撮像装置において、正確に人物の判別をするためには、特にその対象人物の顔の特徴を適確に抽出する必要がある。
被写体像の中に人物がいても、人物像が小さい場合には、その人物の顔部分に対応する撮像素子の画素数が少なくなり、いわゆる解像度が悪くなる。このため、十分な特徴の抽出が行えず、当該人物が誰なのか人物の判別も行えなかった。 Even if there is a person in the subject image, if the person image is small, the number of pixels of the image sensor corresponding to the face portion of the person is reduced, and so-called resolution is deteriorated. For this reason, sufficient features cannot be extracted, and who the person is cannot be determined.
特に、撮像素子自体は、全体として高画素数を誇るものであっても、処理速度等の問題から画素数を落として画像取り込みをする結果、画像全体の中の一部を占める人物の顔などのタ−ゲットの判別に用いる部分については、解像度が悪かった。 In particular, even if the image pickup device itself has a high number of pixels as a whole, the number of pixels is reduced due to problems such as processing speed, and as a result, the face of a person who occupies a part of the whole image is captured. The resolution used for the part used for discrimination of the target was poor.
このため、そのタ−ゲットの判別が十分に行えないという問題があった。 For this reason, there is a problem that the target cannot be determined sufficiently.
この発明にかかる撮像装置は、撮像素子で受光する入射光を光電変換して画像を取り込む撮像装置であって、撮像装置は、撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、撮像素子は、記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、検出部が検出する人物を所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備え、さらに撮像装置は、撮像素子が高画素密度出力モ−ドで出力する画像から、検出部が検出する人物の特徴を抽出する特徴抽出部を備えることを特徴とする。 An imaging apparatus according to the present invention is an imaging apparatus that captures an image by photoelectrically converting incident light received by an imaging element, and the imaging apparatus detects a person in the image captured from the imaging element. The image pickup device outputs a subject used for recording or monitor display at a predetermined pixel density, and outputs a person detected by the detection unit at a pixel density higher than the predetermined pixel density. A high pixel density output mode, and the imaging apparatus further includes a feature extraction unit that extracts a human feature detected by the detection unit from an image output by the imaging device in the high pixel density output mode. Features.
また、この発明にかかる撮像装置は、さらに好ましくは撮像素子が高画素密度出力モ−ドで出力する画像により自動焦点合わせをするＡＦ部を備えることを特徴とする。 The image pickup apparatus according to the present invention is more preferably characterized in that the image pickup device includes an AF unit that performs automatic focusing based on an image output in a high pixel density output mode.
また、この発明にかかる撮像装置は、被写体からの入射光を撮像素子で光電変換して画像を取り込む撮像装置であって、撮像素子は、撮像素子から、記録又はモニタ−表示に用いる複数の被写体画像を順次出力する間に、被写体の特徴抽出に用いる被写体画像の一部を順次出力するよりも高画素密度で出力することを特徴とする。 The image pickup apparatus according to the present invention is an image pickup apparatus that captures an image by photoelectrically converting incident light from a subject with an image pickup element, and the image pickup element includes a plurality of subjects used for recording or monitor display. During the sequential output of images, a part of the subject image used for subject feature extraction is output at a higher pixel density than the sequential output.
また、この発明にかかる撮像装置は、好ましくは被写体の特徴抽出に用いる被写体画像の一部は、人物の顔であることを特徴とする。 The imaging apparatus according to the present invention is preferably characterized in that part of the subject image used for subject feature extraction is a human face.
また、この発明にかかる撮像装置は、さらに好ましくは被写体の特徴抽出に用いる高画素密度で出力される被写体画像の一部により自動焦点制御を行うＡＦ部を備えることを特徴とする。 In addition, the imaging apparatus according to the present invention preferably further includes an AF unit that performs automatic focus control based on a part of a subject image output at a high pixel density used for subject feature extraction.
また、この発明にかかる撮像装置は、さらに好ましくは被写体画像中の人物の顔の有無を検出する検出部と、検出部が検出した人物の顔の特徴を抽出する特徴抽出部と、特徴抽出部が抽出する人物の顔の特徴に基づいて被写体画像の人物の顔を判別する判別部と、特徴抽出部が人物の顔の特徴を抽出できないときに、人物に対応する画像を被写体画像より高画素密度で撮像素子に出力させるＣＰＵとを備え、ＡＦ部は、高画素密度で出力される画像を用いて自動焦点制御を行うことを特徴とする。
また、この発明にかかる撮像装置の画像取り込み方法は、被写体からの入射光を撮像素子で光電変換して画像を順次取り込む撮像装置において、記録又はモニタ−表示に用いる被写体画像を撮像素子から取り込む第一の取り込み工程と、被写体画像の一部に対して第一の取り込み工程で取り込んだ画素密度より大きな画素密度で、被写体画像の一部に対応する画像を取り込む第二の取り込み工程とを有することを特徴とする。
The imaging apparatus according to the present invention is more preferably a detection unit that detects the presence or absence of a human face in a subject image, a feature extraction unit that extracts a human face feature detected by the detection unit, and a feature extraction unit A discrimination unit for discriminating a person's face in the subject image based on the person's face feature extracted by the image, and when the feature extraction unit cannot extract the person's face feature, the image corresponding to the person is higher in pixel than the subject image. A CPU that outputs the image with a high density, and the AF unit performs automatic focus control using an image output with a high pixel density.
According to another aspect of the present invention, there is provided an image capturing method for capturing an object image to be used for recording or monitor display from an image sensor. A first capturing step and a second capturing step for capturing an image corresponding to a part of the subject image at a pixel density larger than the pixel density captured in the first capturing step for a part of the subject image. It is characterized by.
また、この発明にかかる撮像装置の画像取り込み方法は、好ましくは第一の取り込み工程で取り込んだ被写体画像中の人物の顔の有無を検出する工程と、人物の顔が検出されると人物の顔の特徴を抽出する工程と、人物の顔の特徴を抽出できないと、人物の顔に対応する被写体を取り込む第二の取り込み工程とを有することを特徴とする。 The image capturing method of the imaging apparatus according to the present invention preferably includes a step of detecting the presence or absence of a human face in the subject image captured in the first capturing step, and a human face when the human face is detected. And a second capturing step of capturing a subject corresponding to the person's face if the feature of the person's face cannot be extracted.
また、この発明にかかる撮像装置の画像取り込み方法は、さらに好ましくは複数の被写体画像を第一の取り込み工程により順次取り込む間に、第二の取り込み工程を行うことを特徴とする。 In the image capturing method of the imaging apparatus according to the present invention, it is more preferable that the second capturing step is performed while a plurality of subject images are sequentially captured by the first capturing step.
また、この発明にかかる人物の顔の特徴抽出方法は、撮像素子で受光する入射光を光電変換して被写体画像を順次取り込む撮像装置において、撮像装置は、取り込んだ被写体画像から人物の顔を検出する検出部と、検出部が検出する人物の顔の特徴を抽出する特徴抽出部とを備え、特徴抽出部が人物の顔の特徴を抽出できない場合に、ＣＰＵが、人物の顔をより高画素密度で撮像素子から出力させる工程と、特徴抽出部が、より高画素密度の人物の顔を取り込み、取り込んだ人物の顔の画像から人物の特徴を抽出する工程とを有することを特徴とする。 According to another aspect of the present invention, there is provided a human face feature extraction method in an imaging apparatus that sequentially captures subject images by photoelectrically converting incident light received by an image sensor, wherein the imaging apparatus detects a human face from the captured subject images. And a feature extraction unit for extracting the feature of the person's face detected by the detection unit, and when the feature extraction unit cannot extract the feature of the person's face, the CPU A step of outputting the image from the image sensor at a density; and a step of extracting a human feature from a captured human face image by the feature extraction unit capturing a human face having a higher pixel density.
スル−画像等には、処理速度を優先させて低解像度の画像としつつ、画像の一部について人物の顔を高解像度で取り込むことにより、正確に人物等タ−ゲットの判別をすることができる。 For a through image or the like, it is possible to accurately determine a target such as a person by capturing a person's face at a high resolution for a part of the image while giving priority to the processing speed to a low resolution image. .
この実施形態にかかる撮像装置は、撮像素子自体は１０００万ピクセル相当の高画素を有する。動画の表示や記録に用いるいわゆるスル−画像については、例えば３０ｆｐｓ（frame per second）で３００万ピクセル相当の読み出しとする。これにより、全画素読み出しに伴う読み出し時間の増大を回避し、後処理において画像処理等の処理時間を低減しＣＰＵ等の演算処理部の負担を軽減する。従って、鑑賞に堪え得る程度の画質とフレ−ムレ−トを維持することが可能である。 In the imaging apparatus according to this embodiment, the imaging device itself has a high pixel equivalent to 10 million pixels. For a so-called through image used for displaying and recording a moving image, for example, reading is equivalent to 3 million pixels at 30 fps (frame per second). This avoids an increase in readout time associated with all-pixel readout, reduces processing time for image processing and the like in post-processing, and reduces the burden on an arithmetic processing unit such as a CPU. Therefore, it is possible to maintain an image quality and a frame rate that can be appreciated.
また、撮像する画像の一部に人物の顔を検出した場合には、そこに自動焦点動作を行うとともに、その顔の特徴抽出を試みる。人物の判別に十分な特徴抽出が可能ならば、その画像により、人物を判別する。 Further, when a human face is detected in a part of the image to be captured, an autofocus operation is performed on the face, and feature extraction of the face is attempted. If it is possible to extract features sufficient for discrimination of a person, the person is discriminated from the image.
一方、人物の顔が小さい等により信頼性の高い特徴抽出が不可能であれば、その人物の顔に対応する部分について、６０ｆｐｓの３００万ピクセル相当で部分的に全画素読み出しする。この場合、撮像画像全体ではなく、人物の顔部分に対応する被写体像の部分を高画素読み出しする。 On the other hand, if highly reliable feature extraction is impossible due to the small face of a person, all pixels are partially read out at a portion corresponding to the face of the person, corresponding to 3 million pixels of 60 fps. In this case, not the entire captured image but the portion of the subject image corresponding to the face portion of the person is read out with high pixels.
高画素読み出しした画像を用いて、人物の顔の特徴抽出や自動焦点動作を行い、人物の判別を行う。従って、より正確に適確な人物判別が行え、自動焦点動作も精密かつ正確に行えることとなる。 Using the high-pixel readout image, human face feature extraction and autofocus operation are performed to identify the person. Therefore, more accurate and accurate person discrimination can be performed, and the autofocus operation can be performed accurately and accurately.
また、スル−画像等については、３０ｆｐｓで３００万ピクセル相当の読み出しのままで処理速度を保つ。その間に必要に応じて別途３０ｆｐｓで３００万ピクセル相当で取り込んだ高精細な画像は、スル−画像等として表示したり動画記録に用いたりしないので、後工程での処理速度の低下を最低限に抑制する取り込み動作とできる。換言すれば、スル−画像表示用としては３０ｆｐｓで画像を取り込む一方、高画素密度用に別途３０ｆｐｓで画像を取り込むので、画像取り込みとしては併せて６０ｆｐｓの取り込み速度とする。 In addition, for a through image or the like, the processing speed is maintained while reading at 3 fps at 30 fps. In the meantime, if necessary, high-definition images captured at 3fps separately at 30fps are not displayed as live images or used for moving image recording, so the reduction in processing speed in the subsequent process is minimized. It is possible to suppress the capturing operation. In other words, an image is captured at 30 fps for through image display, while an image is separately captured at 30 fps for high pixel density, so that the image capturing speed is 60 fps.
そこで、以下に図面を用いてさらに詳細に説明する。
（実施形態）
図１は、実施形態にかかる撮像装置１の全体構成について概念的に説明するブロック図である。この撮像装置１のレンズ１０は、その焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の手振れを補正するＶＲ（Vibration Reduction）レンズから構成される。
Therefore, this will be described in detail below with reference to the drawings.
(Embodiment)
FIG. 1 is a block diagram conceptually illustrating the overall configuration of the
レンズ１０は、ＣＰＵ１７からの指示により不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ１０の位置は、不図示のレンズ位置検出器によりその位置が検出され、ＣＰＵ１７によりフィ−ドバック制御される。
The
レンズ１０は、撮像素子１１の撮像面に被写体像を結像させる。撮像素子１１は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子１１は、ＣＭＯＳ等の固体撮像素子を用いる。また、撮像素子１１は、ＣＰＵ１７が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。また、レンズ１０と撮像素子１１との間には、不図示の絞りが設けられ、ＣＰＵ１７により演算された適切な露出（自動露出ＡＥ：Auto Exposure）が指示され調整される。
The
撮像素子１１から出力される電気信号は、アナログ信号のままＣＤＳ部１２に入力されＣＤＳ（Correlated Double Sampling）処理によりノイズの低減処理がされる。また、Ａ／Ｄ変換部１３では、アナログ信号からディジタル信号へと変換処理される。ディジタル変換処理された画像デ−タは、画像処理部１４に入力される。ＣＤＳ部１２とＡ／Ｄ変換部１３は、撮像素子１１に組み込まれる場合もある。
The electrical signal output from the
画像処理部１４は、中央演算装置であるＣＰＵ１７からの指示に従い、Ａ／Ｄ変換部１３から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理（ガンマ補正）等の様々な画像処理の演算を行う。また、画像処理部１４が備えるＡＷＢ（Auto White Balance）演算部１４ａでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる。
The
画像処理部１４で行われる種種の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ１９等に予め記録されており、ＣＰＵ１７からの指示により必要に応じてそれぞれ最適なものが読み出され、適用される。
Algorithms and parameters necessary for various types of image processing performed by the
画像処理部１４で演算処理された画像デ−タは、ＲＡＭ１６等に記録することができる。ＲＡＭ１６は外付けのメモリとして構成してもよい。ＲＡＭ１６に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。また、画像処理部１４は、ＲＡＭ１６をバッファメモリとして用い、撮像された複数フレ−ム分の画像デ−タを一時記憶するフレ−ムメモリとして用いてもよい。画像処理部１４は、フレ−ムメモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。
The image data calculated by the
また、撮像装置１全体の撮像動作シ−ケンスについての制御はＣＰＵ１７からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部１８からの操作信号も、ＣＰＵ１７に入力され処理される。操作部１８は、撮像装置１の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押し、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部１５に表示された人物から所望の人物を選択したり、撮像時に手動でズ−ムレンズをテレ又はワイド側に駆動するためにも用いられる。
Further, the control of the imaging operation sequence of the
さらに、カ−ドインタ−フェ−ス１ａを介してメモリカ−ド１ｂ等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス１ｃを介して、撮像装置１内の画像デ−タやプログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。
Furthermore, it is also possible to store various electronic information relating to image data and image processing in the memory card 1b or the like via the card interface 1a. In addition, image data, programs, and the like in the
また、表示部１５には、処理した画像を表示して撮像装置１のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。また、表示部１５をタッチパネル等を用いることで入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部１５は操作部１８の一部としても機能する。
The
表示部１５は、ＬＣＤや有機ＥＬ、無機ＥＬ等の各種表示デバイスで構成できる。表示部１５は、ＲＡＭ１６やメモリカ−ド１ｂに記録されている画像デ−タや、外部インタ−フェ−ス１ｃを通じて外部の撮像装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。
The
撮像装置１のＣＰＵ１７は、ＡＦ演算部１７ｄを備え、撮像素子１１で撮像した画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ１０を制御する。また、ＣＰＵ１７は、撮像した画像の中に人物の顔があるかないかを検出する検出部１７ａを備える。
The
検出部１７ａは、撮像画像の中に人物の顔の目や鼻などに相当する部分があるのかどうかを検出することができる。検出方法として、例えば顔を２次元パタ−ンとして捉えて文字認識で確立された複合類似度などのパタ−ン認識理論、あるいは予め学習させたニュ−ラルネットワ−クを用いた抽出方法等を用いてもよい。
The
また、ＣＰＵ１７は、検出部１７ａで検出する人物の顔の特徴を抽出する特徴抽出部１７ｂを備える。人物の顔の特徴とは、例えば目や鼻や口や耳、顔の輪郭やこれら相互の相対配置や相対的大きさ等である。特徴抽出には、例えばエッジ情報やカラ−情報、モデルマッチング等を用いることができる。
In addition, the
また、ＣＰＵ１７は、特徴抽出部１７ｂで抽出された人物の顔の特徴を、予めメモリカ−ド１ｂ等に記憶された人物の顔の特徴と比較することで、当該人物かどうかを判別する判別部１７ｃを備える。判別部１７ｃは、抽出された各特徴点の位置、形状、サイズをパラメ−タ化して特徴ベクトルを生成し、予めフラッシュメモリ１９等に記憶されている対象人物の特徴ベクトルとの類似度を計算する。最も類似度が高い辞書ベクトルを表す人物を当人と判別する構造的解析手法を用いることができる。
Further, the
また、判別部１７ｃは、目、鼻などの特徴点を基準とした２次元ａｆｆｉｎｅ変換などの幾何学変換により位置、サイズが正規化された画像と予めフラッシュメモリ１９等に記憶されている辞書正規化画像とのパタ−ンの類似度に基づいたパタ−ン的判別方法を用いる。ここでも、最も類似度が高い辞書ベクトルを表す人物を当人と判別する。
Further, the discriminating
判別部１７ｃは、特徴抽出部１７ｂで抽出された人物の顔の特徴に対応する記録された該当人物がいない場合、その特徴をＲＡＭ１６等に一時記録する。ＲＡＭ１６等への一時記録動作は、例えば表示部１５に表示する該当人物のモニタ−表示へのタッチパネル入力により、ＣＰＵ１７が行わせる。
If there is no corresponding person recorded corresponding to the facial feature of the person extracted by the feature extraction unit 17b, the
判別部１７ｃは、ＲＡＭ１６等に一時記録された人物の特徴を読み出して、その後の撮像動作により取得された画像から特徴抽出部１７ｂにより抽出された特徴とを比較することで、特定の撮像対象であるタ−ゲットに該当するかどうかを判別する。
The discriminating
また、ＡＦ演算部１７ｄが行う自動焦点の演算は、撮像画像の中の所定の５個所又は９個所について行う。そして、検出部１７ａにより撮像画像中に人物の顔が検出された場合には、当該人物の顔について自動焦点動作を行う。人物の顔が複数検出された場合には、最も近接の顔又は撮像画像に占める面積が最も大きな顔について自動焦点合せを行う。
The autofocus calculation performed by the
撮像装置１は、検出部１７ａで人物の顔が検出されたにも拘わらず、判別部１７ｃで当該人物の顔の判別を正確に行える程度に特徴抽出部１７ｂでの特徴抽出が行えなかった場合には、別途顔判別用の画像の取り込みを行うように、ＣＰＵ１７が撮像素子１１に画像デ−タの出力を指示する。
In the
顔判別用の画像は、検出部１７ａが検出する顔に対応する部分について、ＣＰＵ１７がその顔部分をより高画素密度で高精細に撮像素子１１に出力させることにより取得する。これについて、図２に示すズ−ムアウトの撮像例を用いて説明する。
The image for face discrimination is acquired by causing the
図２（ａ）は、運動会においてズ−ム撮影した撮像画像２０を示すものである。この撮像画像２０は、表示部１５にモニタ−表示されている。撮像画像２０では、被写体目標とするタ−ゲット２１が比較的大きい。すなわち、撮像画像２０に占めるタ−ゲット２１の面積が比較的大きい。従って、タ−ゲット２１の撮像に用いられる撮像素子１１の画素数（pixel）も比較的大きく、解像度もよい。このため、特徴抽出部１７ｂがタ−ゲット２１の顔の抽出を正確に、高精度に行うことができる。
FIG. 2A shows a captured
図２（ｂ）は、図２（ａ）から少しズ−ムアウトした撮像画像２２を示すものである。ズ−ムアウトに伴い、撮像画像２２は、より広角になり撮像領域が増大する。一方、タ−ゲット２３は見かけ上相対的に小さく表示され、撮像素子１１でタ−ゲット２３の撮像に用いられる撮像素子１１の画素数は、より少なくなる。
FIG. 2B shows a captured
図２（ｃ）は、図２（ｂ）からさらにズ−ムアウトした撮像画像２４を示すものである。ズ−ムアウトに伴い、撮像画像２４は、さらに広角になり撮像領域が増大する。一方、タ−ゲット２５は見かけ上相対的にさらに小さく表示され、撮像素子１１でタ−ゲット２５の撮像に用いられる撮像素子１１の画素数は、さらに少なくなる。
FIG. 2C shows the captured
このため、タ−ゲット２５について、特徴抽出部１７ｂで特徴を抽出しようとしても、図２（ｃ）に示すタ−ゲット２５の画素数では解像度が十分でなく、抽出ができないか又は信頼できる特徴の抽出が行えない。従って、判定部１７ｃは、正確な人物の判別を行うことができず、判別不能としたり過った判別をする可能性が増大する。
For this reason, even if an attempt is made to extract features of the
撮像装置１は、特徴抽出部１７ｂが人物の特徴を信頼性高く抽出できない場合には、その人物の特徴を信頼性高く抽出できるよう高精細で高解像度の画像を取得する。具体的には、ＣＰＵ１７が、撮像素子１１に当該人物に対応する画素部分について、より高画素密度でデ−タ出力するよう指示する。
When the feature extraction unit 17b cannot extract the feature of a person with high reliability, the
次に図３を用いて、表示部１５への表示等に用いるいわゆるスル−画像の取り込みと、特徴抽出部１７ｂでの特徴抽出用の高画素密度取り込みについて説明する。図３（ａ）と図３（ｃ）と図３（ｅ）は、順に例えば３０ｆｐｓで約３０ミリ秒ごとに撮像素子１１から出力され、表示部１５に表示等される撮像画像３１、撮像画像３３、撮像画像３５を示すものである。撮像画像３１、３３、３５は、表示部１５への表示等に用いられ、フレ−ムレ−トを向上させる等の目的から間引きして出力された画像デ−タを用いる。
Next, with reference to FIG. 3, a so-called through image capture used for display on the
このため、人物の顔３６が検出されても、特徴抽出部１７ｂで正確な特徴の抽出が行えない。そこで、ＣＰＵ１７が、撮像素子１１に図３（ｂ）や図３（ｄ）のような高画素密度のタ−ゲット画像である人物の顔の撮像画像３２、３４を出力するように指示する。撮像素子１１は、新たに撮像して光電変換した上で、人物の顔３６に対応する撮像画像３２や撮像画像３４の画像デ−タを、上述のスル−画像を出力する間に３０ｆｐｓで約３０ミリ秒ごとに出力することとなる。従って、撮像素子１１は、この場合６０ｆｐｓで約１５ミリ秒ごとの撮像デ−タの出力を行う。撮像画像３１と撮像画像３２との間では、特に設定変更等がない限り、撮像素子１１全体として見ればほぼ同じ被写体を同様に撮像する。
For this reason, even if the
高画素密度の画像取り込みについて、概念的に説明するのが図５の画素密度説明図である。図５（ａ）は広角又はズ−ムアウト状態の撮像画像５３である。画素５２は、撮像画像５３の撮像に実効的に用いられる撮像素子１１の画素を示す。画素５１は、撮像画像５３の撮像に実効的に用いられない撮像素子１１の画素を示す。ここで、実効的に用いられる画素とは、撮像素子１１の撮像面での光電変換だけでなく、その電荷が読み出され、撮像画像５３として表示部１５での表示又はメモリカ−ド１ｂ等への記録に用いられるものをいう。
The pixel density explanatory diagram of FIG. 5 conceptually explains the high pixel density image capturing. FIG. 5A shows a captured
撮像装置１は、撮像素子１１が１０００万ピクセル等の大きな画素からなる場合、撮像素子１１の撮像面に結像する撮像画像５３に対応する像について、全ての画素を読み出すことはない。
The
１０００万ピクセル全てを撮像素子１１から読み出し、画像処理し、表示し、記録することは、その取り扱い処理にかかるデ−タ量が多大であるので、ＣＰＵ１７の負荷増大とともに処理時間等の遅延を生じる。このため、動画撮像時のいわゆるフレ−ムレ−トが低下したり、静止画撮像時のレリ−ズタイムラグが増大したりする。
Reading all 10 million pixels from the
これを防ぐため、一般に動画撮像時やいわゆるスル−画像撮像時やモニタ−表示用画像撮像時には、間引きしてデ−タ量を低減した画像デ−タを用いる。画像デ−タの間引きは、撮像素子１１の画素のうち所定の画素のみを読み出し画像処理等を行う。また、所定の画素以外の画素については、撮像素子１１から読み出ししない又は読み出しても画像処理や記録や表示に用いない等とする。
In order to prevent this, in general, image data with a reduced amount of data is used at the time of moving image capturing, so-called through image capturing, or monitor display image capturing. In thinning out image data, only predetermined pixels of the pixels of the
一方、ＣＰＵ１７が備える特徴抽出部１７ｂにおいては、より正確で信頼性の高い特徴抽出をするため、検出部１７ａで検出される顔部分について、より高精細で高解像度の画像、すなわち顔部分についてより高画素密度の画像であることが望ましい。
On the other hand, in the feature extraction unit 17b included in the
図５（ａ）においては、検出部１７ａで検出された人物の顔５４に用いられる撮像素子１１の画素が、少ないことが理解できる。撮像画像５３が、約１０００万ピクセルの撮像素子１１を用いて約３００万ピクセル相当の画素読み出し（すなわち約１／３間引き読み出し）で表示されている場合は、人物の顔５４は、例えば約１００万ピクセル相当となる。
In FIG. 5A, it can be understood that the number of pixels of the
図５（ｂ）は、人物の顔５４を高画素密度読み出しする撮像画像５６を示す概念図である。撮像画像５６は、特徴抽出部１７ｂでの人物の特徴抽出やＡＦ演算部１７ｄでの自動焦点制御の演算に用いられる。表示部１５での表示や動画記録等には用いない。
FIG. 5B is a conceptual diagram showing a captured
撮像画像５６は、撮像画像５３と同じ約３００万ピクセルで読み出されるが、タ−ゲットとする人物の顔５４部分について３００万ピクセルでの読み出しとなる。このため、この画像デ−タ５６を用いると、特徴抽出部１７ｂは正確な特徴抽出が行え、判別部１７ｃは正確で信頼性の高い人物の判別が可能となる。
The captured
すなわち、撮像画像５３において、人物の顔５４に対応する撮像素子１１の画素は、実際には約３００万ピクセル相当ある。しかし、上述のような理由から、約１／３間引きして読み出ししているため、このままでは特徴抽出部１７ｂは、人物の顔５４については約１００万ピクセル相当の画素デ−タしか用いることができない。
That is, in the captured
そこで撮像装置１のＣＰＵ１７は、撮像素子１１に人物の顔５４について全画素読み出しすることを指示する。そして、撮像素子１１が、人物の顔５４について約３００万ピクセルの全画素出力することにより、撮像画像５６が取得され、特徴抽出に用いることが可能となる。これにより、特徴抽出部１７ｂは、前述の約３倍の画像デ−タを基にした特徴抽出を行えるので、信頼性高く正確な抽出となる。
Therefore, the
また、ＡＦ演算部１７ｄは、この画像デ−タ５６を用いて自動焦点演算を行うので、より信頼性高く正確な自動焦点とすることが可能となる。換言すると、撮像素子１１が高画素密度で出力するとは、被写体のあるタ−ゲットに対して、そのタ−ゲットの撮像にいくつの画素を用いて出力するのかについての高画素密度出力であるということである。
In addition, since the
次に、図６に示す撮像装置１の動作フロ−の典型例について説明する。
（ステップ６１）撮像装置１のオペレ−タは、撮像を開始する場合に、その準備として撮像装置１の電源をオンにする。
（ステップ６２）撮像装置１のＣＰＵ１７に通電され、ＣＰＵ１７からの指示により撮像素子１１が、被写体からの入射光を光電変換してその光強度に応じた電気信号を順次出力する。この動作は、レリ−ズ動作の有無とはかかわり無く、電源オンにより実行される。これにより撮像装置１は、いわゆるスル−画像を取り込むことができる。この取り込み動作は、撮像素子１１の画素の全てではなく、所定の間引きにより低減された画素について撮像装置１に取り込むものである。画素数の低減によりＣＰＵ１７の負荷や、デバイス間の通信時間が低減され、いわゆるレリ−ズタイムラグの発生やフレ−ムレ−トの低下を抑制できる。
（ステップ６３）ステップ６２で取り込んだ画像を表示部１５に表示する。表示に用いる画像デ−タは、撮像素子１１から出力される間引かれた画像デ−タをＡ／Ｄ変換部１３でディジタル変換した後、画像処理部１４で所定の画像処理がされた画像デ−タをアナログ変換したものである。撮像素子１１の全画素読み出しにかかる画素デ−タではないので、表示部１５へ表示される画像はフレ−ムレ−トが高く維持されスム−ズであり、鑑賞に堪え得るものとなる。
（ステップ６４）撮像素子１１から間引かれて出力された画像デ−タ中に、人物像があるのかないのかを検出部１７ａが検出する。人物像とは、典型的には人の顔に相当する画像領域があるのかないのかということであるがこれに限られない。画像中に人物像が検出されればステップ６５に進み、画像中に人物像が検出されなければステップ６２に戻る。ステップ６４の動作は、検出部１７ａでの検出結果に替えて又はそれと共に、表示部１５へ表示する人物のタッチパネルによるオペレ−タの指示入力や操作部１８からの撮像素子１１のオペレ−タの入力によりタ−ゲットを指定するものであってもよい。オペレ−タからの指示入力があった場合には、検出部１７ａでの検出に優先させて、指定のあったタ−ゲットについてステップ６５における特徴抽出を行う。
Next, a typical example of the operation flow of the
(Step 61) When starting the imaging, the operator of the
(Step 62) The
(Step 63) The image captured in step 62 is displayed on the
(Step 64) The
すなわち、人物の有無の判断は、表示部１５に表示されるモニタ−画面からタッチパネル等で撮像装置１のオペレ−タが指定できるようにしてもよい。図４（ａ）に示すように、検出部１７ａは、撮像画像中の最も大きな至近にある顔４１を検出し、自動焦点等のタ−ゲットと設定するようデフォルトのアルゴリズムが設定されている。表示部１５には、自動焦点又は顔判別認証のタ−ゲットとなることを示すマ−ク４１が表示される。
That is, the presence / absence of a person may be determined by the operator of the
しかし、撮像装置１のオペレ−タは、人物の顔４２をタ−ゲットとしたい場合がある。このような場合には、表示部１５に表示される画面において、手４３等で希望するタ−ゲットをタッチパネル入力する。この入力により、検出部１７ａが検出してタ−ゲットに設定する至近の顔４１に優先して、高画素密度で出力したりＡＦ演算部１７ｄが自動焦点の対象とするタ−ゲットが、図４（ｂ）に示す人物の顔４４となる。
However, there are cases where the operator of the
典型的には、運動会等において全体を撮像したりズ−ムイン撮像したりする場合でも、タ−ゲットの表示画面中での大小に関わり無く、特定のタ−ゲットを追い続けることも可能となる。自動焦点もこのタ−ゲットに合せることもできる。
（ステップ６５）特徴抽出部１７ｂは、検出部１７ａがステップ６４で検出する人物について、その人物の特徴を抽出できるかどうかを判断する。人物の特徴とは、典型的には顔の目、鼻等の位置関係や配置などであるがこれに限られるものではない。人物の特徴が抽出できるのであればステップ６６へと進み、人物の特徴が抽出できなければステップ６ａへと進む。特徴抽出部１７ｂは、抽出する人物の特徴について一定の信頼性に関わる閾値を設けることで、信頼性が所定の閾値より高い抽出ができるのであればステップ６５へ進み、信頼性が所定の閾値より低い抽出しかできないのであればステップ６ａに進むこととしてもよい。
（ステップ６６）特徴抽出部１７ｂは、人物の顔の特徴抽出を行う。特徴抽出部１７ｂは、ソ−ベル等のエッジオペレ−タを用いて顔領域内のエッジを抽出し、モデル当てはめ等により目、鼻、口などを抽出してもよい。
（ステップ６７）判別部１７ｃは、特徴抽出部１７ｂで抽出する特徴が、フラッシュメモリ１９等に予め記憶されている人物の特徴と比較した結果、該当するものがあるのかないのかを判断する。記憶された特徴に該当するものがあればステップ６８に進み、記憶された特徴に該当するものがなければステップ７０に進む。
（ステップ６８）判別部１７ｃは、特徴抽出部１７ｂで抽出された特徴と、フラッシュメモリ等に予め記憶されている人物の特徴とを比較して判別し、最も一致点が多く信頼性の高い人物を該当人物として認定する。
（ステップ６９）撮像を終了する場合は電源をオフにし、撮影を終了しない場合はステップ６２に戻る。
（ステップ７０）ステップ６７で、特徴抽出部１７ｂが抽出した特徴に該当する特徴がフラッシュメモリ１９等に記憶されていなければ、ＣＰＵ１７の指示により、抽出した特徴をＲＡＭ１６等に記録する。これにより、次の取り込み画像に検出される人物についても、その抽出された特徴と記憶された特徴とを比較して判別することで、該当する同一人物（タ−ゲットに相当）であるかどうかを認定することができる。この記録動作は、ＣＰＵ１７自体の判断による以外に、例えば表示部１５に表示される人物について撮像装置１のオペレ−タがタ−ゲットを特定しタッチパネル入力等により指定することで、指定された人物について行ってもよい。特徴の記録をすれば、ステップ６２に戻り、次の画像フレ−ムの取り込みを開始する。
（ステップ６ａ）ステップ６５で特徴抽出部１７ｂが人物の顔の特徴を全く抽出できない場合、又は信頼性の高い特徴抽出ができない場合には、検出部１７ａが抽出したタ−ゲットについて撮像素子１１が高画素密度で出力する。典型的には、人物の顔及びその周囲を高画素密度で出力する。例えば、ステップ６２での画像取り込みにおいて、このタ−ゲットの撮像に使用する画素が１００万ピクセル相当だとすれば、このステップ６ａでの高画素密度取り込みでは、３００万ピクセル相当とする。このステップの後工程であるステップ６６では、ここで取り込んだ高画素密度の画像を用いて特徴の抽出を行う。
Typically, it is possible to continue to follow a specific target regardless of the size of the target display screen even when the entire image is taken or zoomed in at an athletic meet or the like. . Autofocus can also be adjusted to this target.
(Step 65) The feature extraction unit 17b determines whether or not the feature of the person detected by the
(Step 66) The feature extraction unit 17b performs feature extraction of a person's face. The feature extraction unit 17b may extract an edge in the face region using an edge operator such as a sobel, and may extract eyes, nose, mouth, and the like by model fitting or the like.
(Step 67) As a result of comparing the feature extracted by the feature extraction unit 17b with the feature of the person stored in advance in the
(Step 68) The discriminating
(Step 69) The power is turned off when the imaging is finished, and the process returns to Step 62 when the imaging is not finished.
(Step 70) If the feature corresponding to the feature extracted by the feature extraction unit 17b is not stored in the
(Step 6a) If the feature extraction unit 17b cannot extract the feature of the person's face at all in
ここで、ステップ６４にてタ−ゲットを図４（ａ）の人物の顔４２と指定した場合には、図４（ｃ）に示すように人物の顔４４を高画素密度で取り込む。高画素密度で取り込む人物の顔４５は、その周囲部分も含めてやや余裕を持って取り込むことが好ましい。取り込み間隔は、約３３ミリ秒等と非常に短いものであるが、被写体のタ−ゲットも多少動くことが考えられ、また撮像装置１自体のアングル等がこの間に変わった場合でも対応できることとなる。この場合、ＣＰＵ１７が、タ−ゲットの周囲に少し余裕を持たせた領域を演算し、撮像素子１１に当該領域を高精細に出力させる。
（ステップ６ｂ）ＣＰＵ１７が自動焦点制御の対象を変更し、ＡＦ演算部１７ｄは、ステップ６ａで取り込んだ高画素密度の画像を用いてＡＦ制御をする。ＡＦ演算部１７ｄは、デフォルト撮像においては図７（ａ）に示すように被写体中の定点７１五箇所についての画像を基に、自動焦点演算を行う。
If the target is designated as the
(Step 6b) The
一方、自動焦点演算は、演算に用いる画像が高画素密度であればあるほど、より多くの画像デ−タから演算できるので、安定して高精度の自動焦点演算が可能となる。このため、ＣＰＵ１７は、自動焦点に用いるタ−ゲットを図７（ｂ）に示す人物の顔７２に変更し、ＡＦ演算部１７ｄは、人物の顔７２について高画素密度で取り込まれる画像デ−タにより自動焦点演算を行う。
On the other hand, in the autofocus calculation, the higher the pixel density of the image used for the calculation, the more the image data can be calculated. Therefore, the autofocus calculation can be stably performed with high accuracy. For this reason, the
ＡＦ演算部１７ｄは、例えばコントラスト法により自動焦点演算を行うことができる。コントラスト法とは、像のボケとコントラストと間の相関関係を利用して、コントラストが最大になる焦点位置を、最適な焦点であるとする自動焦点演算である。
The
なお、この実施形態で述べる撮像素子１１の全体画素数は、典型例として１ギガピクセルとして説明したが、これに限られることはなく所望の画素数の撮像素子を用いることができる。また、撮像素子１１は、ＣＭＯＳやＣＣＤ等の固体撮像素子の他、任意のイメ−ジセンサを用いてもよい。
The total number of pixels of the
また、フレ−ムレ−トは、３０ｆｐｓや６０ｆｐｓでなくても、９０ｆｐｓとしてもよく、その他任意のフレ−ムレ−トとすることができる。また、スル−画像用の画像デ−タと高精細の画像デ−タとを撮像素子１１から出力するに際し、必ずしも交互に出力する必要はない。例えば、高精細で出力したいタ−ゲットが二つある場合には、スル−画像用の画像デ−タの出力の間に、高精細な画像をそれぞれ出力してもよい。この場合には、撮像素子１１全体としては、９０ｆｐｓでの出力となる。また、高精細で出力したいタ−ゲットが三以上ある場合には、至近から上位三人を取り込むこととしてもよい。フレ−ムレ−トとの関係を適宜調整することにより、スル−画像間に高精細で取り込む画像数とその対象を適宜設計してもよい。また、タッチパネル等により指定された三人をタ−ゲットとして取り込むこととしてもよい。
The frame rate is not limited to 30 fps or 60 fps, but may be 90 fps, or any other frame rate. Further, when the image data for the through image and the high-definition image data are output from the
また、この実施形態で説明するように、スル−画像用の画像デ−タの出力と高精細の画像デ−タの出力とを、別個独立の時間に出力しなくてもよい。スル−画像用の画像デ−タの出力の一部を高精細な画像デ−タの一部として共有することで、撮像素子１１から効率的な読み出しができる構成としてもよい。
Further, as described in this embodiment, the output of the image data for the through image and the output of the high-definition image data need not be output at separate times. By sharing a part of the output of the image data for the through image as a part of the high-definition image data, the
撮像装置１は、光学ズ−ムを用いることなくタ−ゲット及びその周囲の被写体を高画素密度で取得することができる。これにより、安定して高精度な自動焦点とし、また高精度で正確なタ−ゲットの特徴抽出が安定して行える。従って、抽出するその特徴に基づき、正確な人物の判別、認証が安定して行える。
The
また、高画素密度で取り込むタ−ゲットの像は、仮に表示部に表示したと仮定する場合に、表示部１５に表示するスル−画像と比較して常に一定の拡大倍率となるように、予め所定の倍率を設定しておいてもよい。この場合には、撮像素子１１は、ＣＰＵ１７の指示により、タ−ゲットとその周囲について設定された一定の倍率となるように高画素密度で出力する。また、上記一定の拡大倍率は、標準の画像に対して任意に設定された拡大倍率となるようにしてもよい。
In addition, if it is assumed that the target image captured at a high pixel density is displayed on the display unit, the target image is always set at a constant magnification compared to the through image displayed on the
また、タ−ゲットとなる人物の顔等が、所定の画素数を用いた高画素密度出力となるように、表示部１５や操作部１８から設定する構成としてもよい。例えば、特徴抽出部１７ｂでの人物の顔の特徴抽出に、人物の顔を２００万ピクセル相当の画素数で撮像する画像デ−タが適するのであれば、高画素密度出力は、タ−ゲットを２００万ピクセルで出力することとできる。また、２００万ピクセルでなくても、特徴抽出部１７や判別部１７ｃでの処理に最適な画素密度でタ−ゲットの出力をするように設定してもよい。
In addition, the configuration may be such that the face of the person serving as the target is set from the
また、撮像装置１は、スル−画像等について撮像素子１１からの出力時点でいわゆる画素間引きを行うが、これに限られず、間引く工程は任意に構成してもよい。ただし、撮像素子１１に近い前工程の段階で画像デ−タを間引いて処理する方が、その後の後工程すべてについて処理デ−タ量の低減につながるので好ましい。また、間引く方法は垂直間引き、水平間引き等任意の手法を用いることができる。撮像装置１は、自明な範囲で適宜設計変更し、設定調整し、構成を変更して用いてもよい。
The
本発明は、被写体からの入射光を撮像素子で光電変換して取り込む撮像装置に広く適用できる。 The present invention can be widely applied to image pickup apparatuses that take in incident light from a subject by photoelectric conversion with an image pickup device.
１・・撮像装置、１０・・レンズ、１１・・撮像素子、１２・・ＣＤＳ部、１３・・Ａ／Ｄ変換部、１４・・画像処理部、１５・・表示部、１６・・ＲＡＭ、１７・・ＣＰＵ、１８・・操作部、１９・・フラッシュメモリ、１ａ・・カ−ドインタ−フェ−ス、１ｂ・・メモリ−カ−ド、１ｃ・・外部インタ−フェ−ス、１７ａ・・検出部、１７ｂ・・特徴抽出部、１７ｃ・・判別部、１７ｄ・・ＡＦ演算部
DESCRIPTION OF
Claims (10)
該撮像装置は、
該撮像素子から取り込んだ画像中に人物がいるかどうかを検出する検出部を備え、
該撮像素子は、
記録又はモニタ−表示に用いる被写体を所定の画素密度で出力する低画素密度出力モ−ドと、
該検出部が検出する該人物を該所定の画素密度より高い画素密度で出力する高画素密度出力モ−ドとを備え、
さらに該撮像装置は、該撮像素子が高画素密度出力モ−ドで出力する画像から、該検出部が検出する人物の特徴を抽出する特徴抽出部を備える
ことを特徴とする撮像装置。 In an imaging device that captures an image by photoelectrically converting incident light received by an imaging device,
The imaging device
A detection unit for detecting whether a person is present in the image captured from the image sensor;
The image sensor
A low pixel density output mode for outputting a subject used for recording or monitor display at a predetermined pixel density;
A high pixel density output mode for outputting the person detected by the detection unit at a pixel density higher than the predetermined pixel density;
The imaging apparatus further includes a feature extraction unit that extracts a feature of a person detected by the detection unit from an image output by the imaging element in a high pixel density output mode.
前記撮像装置は、
前記撮像素子が高画素密度出力モ−ドで出力する画像により自動焦点合わせをするＡＦ部
を備えることを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging device
An image pickup apparatus comprising: an AF unit that performs automatic focusing on an image output by the image pickup element in a high pixel density output mode.
該撮像素子は、
該撮像素子から、記録又はモニタ−表示に用いる複数の被写体画像を順次出力する間に、
被写体の特徴抽出に用いる該被写体画像の一部を該順次出力するよりも高画素密度で出力する
ことを特徴とする撮像装置。 In an imaging device that captures an image by photoelectrically converting incident light from a subject with an imaging device,
The image sensor
While sequentially outputting a plurality of subject images used for recording or monitor display from the imaging device,
An imaging apparatus that outputs a part of the subject image used for subject feature extraction at a higher pixel density than the sequential output.
被写体の特徴抽出に用いる前記被写体画像の一部は、人物の顔である
ことを特徴とする撮像装置。 The imaging device according to claim 3,
An image pickup apparatus, wherein a part of the subject image used for subject feature extraction is a human face.
被写体の特徴抽出に用いる高画素密度で出力される前記被写体画像の一部により自動焦点制御を行うＡＦ部を備える
ことを特徴とする撮像装置。 In the imaging device according to claim 3 or 4,
An imaging apparatus comprising: an AF unit that performs automatic focus control based on a part of the subject image output at a high pixel density used for subject feature extraction.
前記撮像装置は、
前記被写体画像中の人物の顔の有無を検出する検出部と、
該検出部が検出した人物の顔の特徴を抽出する特徴抽出部と、
該特徴抽出部が抽出する該人物の顔の特徴に基づいて該被写体画像の人物の顔を判別する判別部と、
該特徴抽出部が該人物の顔の特徴を抽出できないときに、該人物に対応する画像を該被写体画像より高画素密度で撮像素子に出力させるＣＰＵと
を備え、
前記ＡＦ部は、
該高画素密度で出力される画像を用いて自動焦点制御を行う
ことを特徴とする撮像装置。 In the imaging device according to claim 5,
The imaging device
A detection unit for detecting the presence or absence of a human face in the subject image;
A feature extraction unit for extracting features of the face of the person detected by the detection unit;
A discriminator for discriminating a person's face in the subject image based on features of the person's face extracted by the feature extractor;
A CPU for causing the image sensor to output an image corresponding to the person at a higher pixel density than the subject image when the feature extraction unit cannot extract the facial feature of the person;
The AF unit is
An image pickup apparatus that performs automatic focus control using an image output at the high pixel density.
記録又はモニタ−表示に用いる被写体画像を該撮像素子から取り込む第一の取り込み工程と、
該被写体画像の一部に対して該第一の取り込み工程で取り込んだ画素密度より大きな画素密度で、該被写体画像の一部に対応する画像を取り込む第二の取り込み工程と
を有する
ことを特徴とする撮像装置の画像取り込み方法。 In an imaging device that sequentially captures images by photoelectrically converting incident light from a subject with an imaging device,
A first capturing step for capturing a subject image used for recording or monitor display from the image sensor;
A second capturing step of capturing an image corresponding to the part of the subject image at a pixel density greater than the pixel density captured in the first capturing step for a part of the subject image. Image capturing method of an imaging apparatus.
前記第一の取り込み工程で取り込んだ被写体画像中の人物の顔の有無を検出する工程と、
人物の顔が検出されると該人物の顔の特徴を抽出する工程と、
該人物の顔の特徴を抽出できないと、該人物の顔に対応する被写体を取り込む第二の取り込み工程とを有する
ことを特徴とする撮像装置の画像取り込み方法。 The image capturing method of the imaging device according to claim 7,
Detecting the presence or absence of a human face in the subject image captured in the first capturing step;
Extracting a feature of the person's face when the person's face is detected;
An image capturing method for an imaging apparatus, comprising: a second capturing step for capturing a subject corresponding to the face of the person when the facial feature of the person cannot be extracted.
複数の被写体画像を前記第一の取り込み工程により順次取り込む間に、前記第二の取り込み工程を行う
ことを特徴とする撮像装置の画像取り込み方法。 In the image capturing method of the imaging device according to claim 7 or 8,
An image capturing method for an imaging apparatus, wherein the second capturing step is performed while a plurality of subject images are sequentially captured by the first capturing step.
該撮像装置は、取り込んだ被写体画像から人物の顔を検出する検出部と、
該検出部が検出する人物の顔の特徴を抽出する特徴抽出部とを備え、
該特徴抽出部が人物の顔の特徴を抽出できない場合に、ＣＰＵが、該人物の顔をより高画素密度で該撮像素子から出力させる工程と、
該特徴抽出部が、より高画素密度の該人物の顔を取り込み、取り込んだ該人物の顔の画像から該人物の特徴を抽出する工程と
を有することを特徴とする人物の顔の特徴抽出方法。 An imaging device that sequentially captures subject images by photoelectrically converting incident light received by an imaging device,
The imaging device includes a detection unit that detects a human face from a captured subject image;
A feature extraction unit that extracts the facial features of the person detected by the detection unit;
When the feature extraction unit cannot extract the features of a person's face, the CPU outputs the person's face from the image sensor at a higher pixel density;
The feature extraction unit includes a step of capturing the face of the person having a higher pixel density and extracting the feature of the person from the captured image of the person's face. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007242885A JP2009077066A (en) | 2007-09-19 | 2007-09-19 | Method of capturing image of imaging device, and imaging device using the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007242885A JP2009077066A (en) | 2007-09-19 | 2007-09-19 | Method of capturing image of imaging device, and imaging device using the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009077066A true JP2009077066A (en) | 2009-04-09 |
Family
ID=40611638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007242885A Withdrawn JP2009077066A (en) | 2007-09-19 | 2007-09-19 | Method of capturing image of imaging device, and imaging device using the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009077066A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013003298A (en) * | 2011-06-15 | 2013-01-07 | Canon Inc | Imaging apparatus, control method therefor, and program |
| JPWO2017135276A1 (en) * | 2016-02-01 | 2018-11-22 | ソニー株式会社 | Control device, control method, and control program |
-
2007
- 2007-09-19 JP JP2007242885A patent/JP2009077066A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013003298A (en) * | 2011-06-15 | 2013-01-07 | Canon Inc | Imaging apparatus, control method therefor, and program |
| JPWO2017135276A1 (en) * | 2016-02-01 | 2018-11-22 | ソニー株式会社 | Control device, control method, and control program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5251215B2 (en) | Digital camera | |
| KR100738492B1 (en) | Image capture apparatus and control method therefor | |
| KR100906522B1 (en) | Imaging apparatus, data extraction method, and data extraction program recording medium | |
| JP5736796B2 (en) | Electronic camera, program and recording medium | |
| JP2006208558A (en) | Imaging device | |
| JP2006319596A (en) | Imaging apparatus and imaging method | |
| US20070237513A1 (en) | Photographing method and photographing apparatus | |
| JP2007215091A (en) | Imaging apparatus and program therefor | |
| WO2017037978A1 (en) | Detection device, detection method, detection program, and imaging device | |
| JP2011182252A (en) | Imaging device, and image imaging method | |
| JP2010165012A (en) | Imaging apparatus, image retrieval method, and program | |
| JP2010171797A (en) | Imaging apparatus and program | |
| JP2009010616A (en) | Imaging device and image output control method | |
| JP2008299784A (en) | Object determination device and program therefor | |
| JP2011217103A (en) | Compound eye photographing method and apparatus | |
| KR101325002B1 (en) | Image processing device, image processing metho and recording medium | |
| JP2010160297A (en) | Imaging apparatus, automatic focusing method, and computer program | |
| JP2008301162A (en) | Photography device, and photographing method | |
| KR20120080376A (en) | Digital image photographing apparatus and method for controlling the same | |
| JP4998122B2 (en) | Imaging apparatus and program thereof | |
| JP5448868B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP6024135B2 (en) | Subject tracking display control device, subject tracking display control method and program | |
| JP2011107550A (en) | Imaging apparatus | |
| JP2009077066A (en) | Method of capturing image of imaging device, and imaging device using the method | |
| JP2010192956A (en) | Imaging apparatus, and speaking person recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101207 |