JP5950675B2

JP5950675B2 - 撮像装置

Info

Publication number: JP5950675B2
Application number: JP2012101762A
Authority: JP
Inventors: 石田　俊樹; 俊樹石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-04-26
Filing date: 2012-04-26
Publication date: 2016-07-13
Anticipated expiration: 2032-04-26
Also published as: JP2013229824A

Description

本発明は、画像信号を複数経路で読み出しされる撮像素子を有する撮像装置に関するものである。

近年デジタルカメラ、デジタルビデオカメラの高解像度化に伴い、被写体の検出も精度が向上し、撮影、記録、表示へフィードバックすることが求められている。

特許文献１では、複数台のカメラから高解像度映像を入力し、特徴量比較をして人物認識を行なっている。

特開２００４−１９２３７８号公報

リアルタイムで撮影する場合に映像データの処理及び表示が遅延することは操作の際のストレスに直結する。被写体を検出し、認識、追尾を行う場合にその処理遅延は極力低減しなければならない。しかし、近年の高解像度化に伴い、映像データの処理時間が増加している。それを防ぐために撮像素子の読み出し経路を複数とし、処理も経路ごとに分割化することが考えられるが、このような構成とすると分割した領域の境界をまたぐ被写体の検出ができない場合が発生する。

例えば、映像から得られるエッジ情報に基づいて、目や口などの顔を構成する器官と思われる形状の部分領域を抽出し、これらが所定の位置関係であることを満たしたときに、それらの部分領域を含む領域を顔として判断する方法がある。このような方法を用いて顔を検出する場合、目を含む領域の映像と口を含む領域の映像が別の経路で読み出されてしまうと、顔を検出することができない。

後段のメモリで、複数の経路で読み出した映像データを全画角に貼り合わせた後に被写体検出を行う方法もあるが、こちらは処理が後段になるので、遅延が発生し、操作性の劣化につながる。

（発明の目的）
本発明の目的は、高解像度であっても高速かつ、高精度の被写体検出を実現することができる撮像装置を提供することである。

上記目的を達成するために、本発明の撮像装置は、画素毎に光電変換により生成した画像信号を複数経路で読み出しされる撮像素子と、前記撮像素子の複数経路での読み出しの駆動を行う撮像素子駆動手段と、前記複数経路それぞれの映像データから被写体の検出を行う複数の被写体検出手段と、前記被写体検出手段が出力する検出結果を統合する結果統合手段と、前記複数経路で読み出される映像データの領域の分割を行う分割制御手段とを有し、前記分割制御手段が、前記結果統合手段の出力に基づいて、分割される前記領域の境界を被写体がまたがないように、分割を制御し、前記撮像素子駆動手段が、分割の結果に応じて複数経路それぞれの駆動を行うことを特徴とするものである。

本発明によれば、高解像度であっても高速かつ、高精度の被写体検出を実現することができる。

本発明の実施例１である撮像装置の構成を示す図である。実施例１の画像分割の説明図である。実施例１、２に共通の動作を示すフローチャートである。本発明の実施例２である撮像装置の構成を示す図である。実施例２の画像分割の説明図である。

本発明を実施するための形態は、以下の実施例１および２に記載される通りである。

図１は本発明の実施例１である撮像装置の全体構成を示す図である。入射光がレンズ１０１により結像された画像は、センサ１０４へ入射される。センサ１０４では、画素毎に光電変換を行い、光電変換により生成した画像信号は、高速化のために４チャンネルに分割し、それぞれ同時に複数経路で読み出される。なお、センサ１０４は単数もしくは複数の撮像素子を表す。チャンネルごとにアナログフロントエンド回路１０５〜１０８（以下ＡＦＥと略記する）があり、ＡＤ変換を行い、デジタルの映像データを生成する。ＡＦＥ１０５〜１０８は、ノイズ除去、信号の増幅、デジタル信号化を行う回路である。

各チャンネルに顔検出手段１０９〜１１２があり、各経路の画角内の顔を検出する。顔検出に使用された映像データはメモリ１１３へ保存され、１枚の映像データとして信号処理手段１１４にて信号処理が行われ、記録、表示が行われる。信号処理手段１１４はさらに、検出された顔が誰であるのかを、予め登録された認識データを用いて特定することができる。顔検出結果は結果統合手段１１５で統合され、１枚の映像データ内の顔位置が算出され、信号処理手段１１５での記録、表示画像の処理、及びレンズ駆動手段１０２によるレンズ駆動（フォーカス制御）の処理の重み付けに使用される。また、分割制御手段１１６では顔検出位置に基づき、次のフィールド処理（もしくはフレーム処理）で顔が存在することが予測される領域が、読み出し経路間でまたがないように領域の分割を補正する。つまり、領域の境界を被写体がまたがないように分割する。その情報に基づき次のフィールド（もしくはフレーム）でセンサ駆動手段１０３はセンサ読み出し駆動を行う。センサ駆動手段１０３は撮像素子駆動手段を構成する。

検出モード選択手段１１７は、結果統合手段１１８からの結果による顔の有無や、撮影モードに応じて、顔検出手段Ａ１０９へ入力される映像データを、チャンネルＡの映像データであるＡＦＥ＿Ａ１０５の出力か、全画角の映像データをリサイズしたリサイズ手段１１５の出力かを選択的に顔検出手段Ａに入力させることができる。ＡＦＥ＿Ａ１０５の出力は、高解像度で読み出された第１の映像データを構成し、リサイズ手段１１５の出力は、リサイズした低解像度の第２の映像データを構成する。

図２（ａ）の２０１は画像の分割を図示したものである。センサ１０４の撮像面全体を複数の矩形の領域Ｒ０〜Ｒ５に分割する。顔の存在することが予測される領域であるＲ２，Ｒ３をそれぞれ１つの経路で読み出すように分割する。それ以外の領域は複数の矩形の領域Ｒ０，Ｒ１，Ｒ４，Ｒ５に分割される。矩形の領域Ｒ０，Ｒ１，Ｒ４，Ｒ５は、読み出し経路Ａ〜Ｄで転送する映像データ量が均等になるように割り振られる。２０２に図示されるようにチャンネルＡでは領域Ｒ２からの映像データを、チャンネルＢでは領域Ｒ３からの映像データを、チャンネルＣでは領域Ｒ０，Ｒ１からの映像データを、チャンネルＤでは領域Ｒ４，Ｒ５からの映像データを、それぞれ分配する。そして、１フィールド期間（もしくは１フレーム期間）かけて読み出す。結果として２０３に図示するように領域Ｒ２，Ｒ３に存在する顔が正常に検出される。

図３は実施例１の動作を示すフローチャートである。電源ＯＮ（Ｓ３０１）後、撮影か否か判別し（Ｓ３０２、撮影開始前は（電源投入後の初期動作時）まず初期探索を行う（Ｓ３０３）。初期探索ではセンサ１０４から得られた画像を縮小した低解像度の映像の全体からの顔の検出を行う（Ｓ３０４）。つまり、全画角中の被写体の位置を解析する。顔を検出した否かを判別し（Ｓ３０５）、検出された場合、一つの顔が別の領域の映像に分割されてないよう、かつ、それぞれの経路で読み出される映像のデータ量が均等に近づくように次のフィールドの分割設定を行う（Ｓ３０６）。この動作をフィールドの周期で繰り返す（Ｓ３０８）。

撮影開始後にまず撮影前の初期探索で分割設定がされているかを判別する（Ｓ３０７）。分割設定がされていなければ、電源投入後の撮影前動作同様、センサ１０４から得られた画像を縮小した低解像度の映像の全体から顔の検出を行う（Ｓ３１３〜Ｓ３１５）。顔が検出されれば、一つの顔が別の領域の映像に分割されてないよう、かつ、それぞれの経路で読み出される映像のデータ量が均等に近づくように次フィールドの分割設定を行い（Ｓ３１６）、低解像度での認識処理を行う（Ｓ３１７）。信号処理手段１１４は、検出された顔における目や口などの顔を構成する器官の形状と、それら器官の相互の位置関係を、予め個人別に登録しておいた認識データと比較する。比較した結果、類似度が高ければ、検出された顔が、その認識データが示す個人と同一人物であると判定する。

ステップ３０７で分割設定がされていると判別すると、顔検出処理は、センサ１０４から得られた画像を縮小せずに複数に分割した高解像度のそれぞれの分割映像に対して行われる（Ｓ３０８）。顔が検出されたか否かを判別し（Ｓ３０９）、顔が検出されていれば、次のフィールドの分割設定を変更せずに維持する（Ｓ３１０）。反対に、顔が検出がされない（顔が画角からなくなった）場合、分割設定を解除する（Ｓ３１１）。そして、分割された高解像度の映像に対して認識処理を行う（Ｓ３１２）。高解像度の映像に対して認識処理を行うことで、低解像度の映像では認識に失敗した個人も認識することができる場合もある。これをフィールド単位で繰り返す（Ｓ３１８）。

撮影中にステップ３０９で顔の未検出状態になると、次フィールドでは分割設定が解除になっているので、ステップ３１４で低解像度の解析処理（顔検出処理）が行われる。

同様に、撮影中に顔の大きさが複数経路の一つに分配される映像データ量を越える場合には顔の未検出状態となるので、次フィールドではステップ３１４で低解像度の解析処理（顔検出処理）が行われる。

図２（ｂ）の２０４〜２０６は初期探索モードについて図示したものである。電源投入後に顔初期位置がわからない場合や、分割した各領域から顔が検出できなくなって分割設定がいったん解除された場合、検出モード選択手段１１７の働きにより初期探索モードに入る。２０４に図示されるように全領域を１つの検出対象として、２０５に図示されるようにチャンネルＡのみで１フィールド期間にて低解像度の検出処理を行い、２０６に図示されるように顔が検出される。

図４は本発明の実施例２である撮像装置の全体構成を示す図である。実施例１と同様の部分は同一符号にて示す。

実施例１と異なるところは、各チャンネルに被写体検出手段４０９〜４１２があり、あらかじめ被写体情報保持手段４１８に保持している被写体情報との比較に基づき、各経路の画角内の被写体を検出する。被写体検出結果は結果統合手段１１８で統合され、１枚の映像データ内の被写***置を算出する。被写体検出手段４０９〜４１２は、被写体情報保持手段４１８に保持されている被写体情報が示す被写体を検出するための回路である。被写体情報保持手段４１８は、外部より送信されたデータに基づいて、被写体情報を更新したり差し替えたりすることが可能である。すなわち、被写体情報保持手段４１８に、犬を検出するための被写体情報や、車を検出するための被写体情報、あるいは、子供を検出するための被写体情報を保持させることで、被写体検出手段４０９〜４１２に任意の被写体を検出させることが可能となる。

図５（ａ）の５０１は画像の分割を図示したものである。被写体の存在することが予測される領域であるＲ２，Ｒ３をそれぞれ１つの経路で読み出すように分割する。それ以外の領域は複数の矩形の領域Ｒ０，Ｒ１，Ｒ４，Ｒ５に分割する。分割した矩形の領域Ｒ０，Ｒ１，Ｒ４，Ｒ５は読み出し経路Ａ〜Ｄで均等になるように割り振られる。５０２に図示されるようにチャンネルＡでは領域Ｒ２を、チャンネルＢでは領域Ｒ３を、チャンネルＣでは領域Ｒ０，Ｒ１を、チャンネルＤでは領域Ｒ４，Ｒ５を１フィールド期間かけて読み出す。結果として５０３に図示されるように領域Ｒ２，Ｒ３に存在する被写体が正常に検出される。

実施例２の動作は、図３に示される実施例１の動作とまったく同様である。

撮影中にステップ３０９で被写体未検出状態になると、次フィールドでは分割設定が解除になっているので、ステップ３１４で低解像度の解析処理（顔検出処理）が行われる。

同様に、撮影中に被写体の大きさが複数経路の一つに分配される映像データ量を越える場合には被写体未検出状態となるので、次フィールドではステップ３１４で低解像度の解析処理（被写体検出処理）が行われる。

図５（ｂ）の５０４〜５０６は、実施例２の初期探索モードについて図示したものである。電源投入後に被写体初期位置がわからない場合や、分割した各領域から被写体が検出できなくなって（被写体未検出状態）、分割設定がいったん解除された場合、検出モード選択手段１１７の働きにより初期探索モードに入る。５０４に図示されるように全領域を１つの検出対象として、５０５に図示されるようにチャンネルＡのみで１フィールド期間にて低解像度の検出処理を行い、５０６に図示されるように被写体が検出される。

１０２レンズ駆動手段
１０３センサ駆動手段
１０４センサ（撮像素子）
１０９〜１１２顔検出手段
１１５リサイズ手段
１１６分割制御手段
１１７検出モード選択手段
１１８結果統合手段

Claims

画素毎に光電変換により生成した画像信号を複数経路で読み出しされる撮像素子と、
前記撮像素子の複数経路での読み出しの駆動を行う撮像素子駆動手段と、
前記複数経路それぞれの映像データから被写体の検出を行う複数の被写体検出手段と、
前記被写体検出手段が出力する検出結果を統合する結果統合手段と、
前記複数経路で読み出される映像データの領域の分割を行う分割制御手段とを有し、
前記分割制御手段は、前記結果統合手段の出力に基づいて、分割される前記領域の境界を被写体がまたがないように、分割を制御し、
前記撮像素子駆動手段は、分割の結果に応じて複数経路それぞれの駆動を行うことを特徴とする撮像装置。
前記分割制御手段は、前記撮像素子の撮像面全体を複数の矩形の領域に分割し、前記複数経路で転送する映像データ量が均等になるように前記分割された領域の映像データを前記複数経路に分配することを特徴とする請求項１に記載の撮像装置。
前記分割制御手段は、前記結果統合手段が出力する全画角中の被写体の位置を解析し、前記領域の境界をまたぐ被写体が存在しないように前記領域の分割を制御することを特徴とする請求項１または２のいずれか１項に記載の撮像装置。
前記分割制御手段は、フィールド、もしくはフレームの周期で被写体の位置を解析することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記被写体検出手段は、前記複数経路で前記撮像素子から読み出される第１の映像データか、全画角の映像データをリサイズして前記第１の映像データよりも低解像度とした第２の映像データかのいずれかを選択的に入力されることを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
前記被写体検出手段は、電源投入後の初期動作時には前記第２の映像データを入力され、撮影開始後にかつ初期動作時に被写体の初期位置が検出されている場合に前記第１の映像データを入力されることを特徴とする請求項５に記載の撮像装置。
前記被写体検出手段は、撮影中に被写体未検出状態になった場合には前記第２の映像データを入力されることを特徴とする請求項５に記載の撮像装置。
前記被写体検出手段は、撮影中に被写体の大きさが前記複数経路の一つに分配される映像データ量を越える場合には、前記第２の映像データを入力されることを特徴とする請求項５に記載の撮像装置。
前記被写体は顔であることを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。