JP5958082B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理方法に関する。

従来から、遠隔地で会議を行うことが出来るＴＶ会議システムがある。当該ＴＶ会議システムでは、撮像装置で会議参加者を撮像して、遠隔地のテレビ会議端末に送信する。多人数を撮影する用途で、広角レンズを用いるＴＶ会議システムもある。この場合、撮像装置で撮像した画像は歪んでいる場合が多く、当該歪みを除去するための技術が様々提案されている。

特許文献１記載の技術では、会議机の縁を結ぶ関数と、会議参加者の頭の上を結ぶ曲線を表す２つの関数を基に、画像を縦方向に引き伸ばすことで、会議参加者の大きさを近づける第１の補正を行なう。更に、画面上の位置に従い、横の大きさの調整をする第２の補正を行なう。特許文献１記載の技術では、当該第１の補正、第２の補正により、歪みを補正している。

しかし、特許文献１記載の技術では、元々レンズの歪みが少ない複数の撮像装置の映像を組み合わせた画像を前提に考えられている。従って、第１の補正を行なうことにより生じる垂直方向の歪みは考慮されているが、第１の補正を行なうことにより生じる水平方向の歪みは考慮されていない。従って、第２の補正を行なうことにより、映像が横長なものとなり、１つの画像に表示する人物画像が小さくなり、第２の補正後の画像が、ユーザにとって違和感のある画像となるという問題がある。

そこで、本発明は、上記のような問題を鑑みて、撮像装置で撮像された画像を、ユーザにとって違和感のない画像に補正するための補正率を決定する画像処理装置、画像処理方法を提供することを目的とする。

上記目的を達成するため、撮像装置で撮像された画像内に人物画像が存在するか否かを判定する判定手段と、前記判定手段が、前記画像内に前記人物画像が存在すると判定すると、当該人物画像の大きさ又はコントラスト量を測定する測定手段と、前記判定手段が、前記画像内に前記人物画像が存在すると判定すると、当該画像内の当該人物画像の位置を認識する認識手段と、前記認識手段が認識した前記人物画像の位置と、前記測定手段が測定した前記人物画像の大きさ又はコントラスト量とに基づいて、当該人物画像に係る人物の、前記撮像装置からの位置を示す位置情報を生成する生成手段と、前記生成手段が生成した前記位置情報に基づいて、前記撮像装置で撮像された画像を補正するための補正率を決定する決定手段と、を有することを特徴とする画像処理装置を提供する。

本発明の画像処理装置、画像処理方法によれば、撮像装置で撮像された画像を、ユーザにとって違和感のない画像に補正するための補正率を決定することができる。

実施例１における画像処理装置の機能構成例を示す図。 実施例１における撮像装置の斜視図を示す図。 実施例１における撮像装置と画像処理装置とのハードウェア構成を示す図。 実施例１における撮像装置と画像処理装置との各機能部が用いる情報の一例を示す図。 実施例１における補正を説明するための図。 実施例１における補正前の画像と補正後の画像との一例を示す図。 実施例１におけるＣＰＵの機能構成例を示す図。 実施例１における画像処理装置の処理フローを示す図。 実施例１におけるフレーム画像などの一例を示す図。 倍率テーブルの一例を示す図。 距離テーブルの一例を示す図。 角度テーブルの一例を示す図。 所定領域を示す図。 パラメータテーブルの一例を示す図。 実施例１における実験結果を示す図。 実施例２における撮像装置と画像処理装置のハードウェア構成を示す図。 実施例２における撮像装置と画像処理装置との各機能部が用いる情報の一例を示す図。 実施例２におけるＣＰＵの機能構成例を示す図。 レンズ位置−距離テーブルの一例を示す図。 実施例２における画像処理装置の処理フローを示す図。 実施例２における距離測定フローの一例を示す図。 実施例２における距離測定の手順（その１）を示す図。 実施例２における距離測定の手順（その２）を示す図。 実施例２における距離測定の手順（その３）を示す図。 実施例２における距離測定の手順（その４）を示す図。

以下、本発明を実施するための形態の説明を行う。本実施例の画像処理装置は、例えば、テレビ会議に用いることが好ましい。以下の説明では、本実施例の画像処理装置をテレビ会議に用いるものとして説明する。

［実施例１］
＜テレビ会議システムについて＞
図１に、実施例１のテレビ会議システムの概略構成図を示す。本テレビ会議システムは、複数のテレビ会議端末３０００と、これらテレビ会議端末３０００が接続されるネットワーク４０００で構成される。テレビ会議端末３０００は撮像装置３０１０と画像処理装置３０２０を具備している。

任意のテレビ会議端末３０００の撮像装置３０１０で撮影された映像は、画像処理装置３０２０により、後述する補正が施される。そして、この補正された画像は、テレビ会議端末３０００内の表示装置１２０（図２参照）に表示されると共に、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、その表示装置１２０に表示される。

任意のテレビ会議端末３０００において、ユーザがズームイン／ズームアウトボタンを押下すると、当該ズームイン／ズームアウトが反映されたデジタルズーム画像が、当該テレビ会議端末３０００のディスプレイに表示される、また、当該デジタルズーム画像は、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、その表示装置１２０に表示される。

このテレビ会議システムによれば、ネットワークに接続された複数のテレビ会議端末で、補正やデジタルズームの施された映像をリアルタイムに表示することが可能になる。

＜テレビ会議端末について＞
次に、テレビ会議端末の機能構成例について説明する。図２に、テレビ会議端末３０００の具体的外観図の一例を示す。以下、テレビ会議端末３０００の長手方向をＸ軸方向とし、水平面内でＸ軸方向と直交する方向をＹ軸方向（幅方向）とし、Ｘ軸方向およびＹ軸方向に直交する（鉛直方向、高さ方向）をＺ軸方向として説明する。

テレビ会議端末３０００は、筐体１１００、アーム１２００、ハウジング１３００を備えている。このうち、筐体１１００の右側壁面１１３０には、音収音用の孔１１３１が設けられる。当該音収音用の孔１１３１を通過した、外部からの音が、内部に設けられた音入力手段１４に収音される。

また、上面手段１１５０には、電源スイッチ１０９と、音出力用の孔１１５１が設けられる。ユーザが、電源スイッチ１０９をＯＮにすることで、テレビ会議端末３０００を起動させることが出来る。また、音出力手段１２から出力された音は、音出力孔１１５１を通過して、外部に出力される。

また、筐体の１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための、凹手段形状の収容手段１１６０が形成されている。また、筐体１１００の左側壁面１１４０には、接続口（図示せず）が設けられる。接続口は、映像出力手段３０と、表示装置１２０（ディスプレイ）とを接続するためのケーブル１２０ｃが接続されるものである。

また、アーム１２００は、トルクヒンジ１２１０により、筐体１１００に取り付けられる。アーム１２００が、筐体１１００に対して、１３５度のチルト角ω１の範囲で、上下方向に回転可能に構成されている。図２では、チルト角ω１が９０度の状態であることを示している。チルト角ω１を０度にすることで、アーム１２００及びカメラハウジング１３００を収容手段１１６０に収容することが出来る。

カメラハウジング１３００には、内蔵型の撮影手段１０が収容されている。当該撮影手段１０により、人物（例えば、テレビ会議の参加者）や、用紙に記載された文字や記号、部屋などを撮影することが出来る。また、カメラハウジング１３００には、トルクヒンジ１３１０が形成されている。カメラハウジング１３００には、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。カメラハウジング１３００がアーム１２００に対して、図２で示されている状態を０度として、±１８０度のパン角ω２の範囲で、かつ、±４５度のチルト角ω３の範囲で、上下左右方向に回転可能に構成されている。

また、実施例１のテレビ会議端末３０００は、図２に記載されたものではなく、他の構成であっても良い。例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に、音出力手段１２や音入力手段１４を外部接続したものを用いてもよい。また、実施例１のテレビ会議端末３０００をスマートフォンなどの携帯型端末に適用しても良い。

＜撮像装置と画像処理装置のハードウェア構成例について＞
図３に、撮像装置３０１０と画像処理装置３０２０のハードウェア構成例を示す。撮像装置３０１０と画像処理装置３０２０の間は有線（ＵＳＢ等）あるいは無線で接続される。

まず撮像装置３０１０について説明する。センサ１２は、レンズ１１で結像された光学像を電気信号のフレーム画像に変換する。センサとは例えば、ＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などである。

画像処理ユニット１３は、フレーム画像に対して所定の画像処理を行う。画像処理ユニット１３は、例えば、ＩＳＰ（Image Signal Processor）である。Ｉ／Ｆユニット１４は、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを画像処理装置３０２０と送受信する。

次に、画像処理装置３０２０について説明する。Ｉ／Ｆユニット２１は、撮像装置３０１０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などの送受信を行なう。

ＣＰＵ２２は、種々の処理を実行する。記憶手段２３には、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像、後述する様々なテーブル表や関数（演算式）などを格納する。記憶手段２３とは、例えば、ＲＡＭ、ＲＯＭ、ＨＤＤを総称したものである。映像出力ユニット２４は、モニタ１２０（図２参照）などに映像信号を送る。

通信ユニット２５は、ネットワーク４０００に接続された別のテレビ会議端末３０００に、映像信号などを送信する。制御ユニット２６は画像処理装置３０２０全体を制御する。バス２７は、画像処理装置３０２０内の各ユニットを接続する。

＜撮像装置と画像処理装置とで用いる情報について＞
次に、撮像装置３０１０と画像処理装置３０２０との各機能部が用いる情報の詳細について説明する。図４に、各装置が用いる情報などの一例を示す。

まず、撮像装置３０１０について説明する。画像取得手段１２１はフレーム画像を生成する。そして、画像取得手段１２１は、第１補正手段１３１やフレーム画像伝達手段１４２に対して、フレーム画像を送信する。

第１補正手段１３１は、補正率設定手段１３２により設定されている補正率を使用して、画像取得手段１２１から送信されたフレーム画像に対して補正を施し、補正済みフレーム画像を生成する。補正率設定手段１３２は、画像処理装置３０２０から送信された補正率を画像処理ユニット（ＩＳＰ等）１３内のメモリに設定を行う。

補正済みフレーム画像伝送手段１４１は、画像処理装置３０２０に補正済みフレーム画像を送る。実際には、第１補正手段１３１と補正済みフレーム画像伝送手段１４１は並行して動作する。また、補正済みフレーム画像の伝送は、補正率算出のために送られるフレーム画像に比べて高速に行なわれる。フレーム画像伝送手段１４２は画像処理装置３０２０にフレーム画像を送る。

そして、映像出力ユニット２４は、撮像装置３０１０から送信された補正済みフレーム画像を表示装置１２０に表示させる。また、通信ユニット２５は、撮像装置３０１０から送信された補正済みフレーム画像を、ネットワーク４０００経由で他のテレビ会議端末３０００に送信する。

ＣＰＵ２２は、フレーム画像伝送手段１４２から伝送されたフレーム画像から補正率を算出する。ＣＰＵ２２の詳細な処理については後述する。補正率伝送手段２１１は補正率を撮像装置３０１０に送る。補正率設定手段１３２は、送信された補正率を設定する。

＜第１補正手段による補正について＞
次に、第１補正手段１３１による補正について説明する。以下では、画像の垂直方向（画像ｙ軸方向）とは、画像を平面で示した場合に、会議の奥行き方向であることを意味し、画像の水平方向（画像ｘ軸方向）とは、画像を平面で示した場合に、垂直方向と直交する方向である。

一般的に、会議の画像内の人間の顔や体が、歪みにより曲がって見えることは、会議参加者（ユーザ）にとって好ましくない。従って、実施例１では、第１補正手段１３１は、歪みの水平方向成分に関しては、歪みを全て解消するように補正する。また、第１補正手段１３１は、歪みの垂直方向成分に関しては、歪みを一部（所定量）残存するように、補正する。このように補正することで、会議の画像においては、遠近感の強調や補正による画像の変形を抑えることができる。

図５に、変換前の画像の画素と、変換後の画像の画素との、関係について示す。図５を用いて第１補正手段１３１の処理内容を説明する。まず、用語の説明を行う。図５の１つの升目を１つの画素とする。そして、光源中心Ｃ（図５も参照）を原点（座標は（０、０））とする。注目画素とは、補正前の画像（実像）の全画素のうち、注目する任意の画素をいう。注目画素の座標をＰ１（ｘ'、ｙ'）とする。

また、歪みを所定量残すように画像を補正した場合の注目画素の変換後の座標をＰ２（ｘ''、ｙ''）とする。また、画像の歪みを残さないように補正した場合の注目画素の変換後の座標をＰ０（ｘ、ｙ）とする。第１補正手段１３１が画像を補正することで、Ｐ１（ｘ'、ｙ'）はＰ２（ｘ''、ｙ''）に変換される。

図６に補正前の画像の画素（変換前の画素であり、「変換前画素」という。）と、補正後の画像の画素（変換後の画素であり、「変換後画素」という。）とを模式的に示す。図６を用いて第１補正手段１３１の処理を簡略的に説明する。第１補正手段１３１は、変換後画素に対応する、変換前画素を求める。また、座標（ａ、ｂ）の変換前画素を「変換前画素（ａ、ｂ）」とし、座標（ｃ、ｄ）の変換後画素を「変換後画素（ｃ、ｄ）」とする。

また、図６の例では、Ｘ軸方向の変換後画素の数はＮ_ｘ個とし、Ｙ軸方向の変換前画素の数はＮ_ｙ個とする。つまり、変換後画素の数は、Ｎ_ｘ×Ｎ_ｙ個存在する。図６の例では、変換後画素（１、１）に注目すると、該変換後画素（１、１）は変換前画素（３、３）と対応する。変換後画素に対応する変換前画素の求め方は後述する。そして、注目する変換後画素を（２、１）、（３、１）・・・（Ｎ_ｘ、１）、（１、２）（１、３）・・・（１、Ｎ_ｙ）・・・（Ｎ_ｘ、Ｎ_ｙ）と変化させてゆき、これらの変換後画素に対応する変換前画素の座標を求める。

ここで、変換前画素Ｐ１（ｘ'、ｙ'）と変換後画素Ｐ２（ｘ''、ｙ''）との間に、以下の式（１）が成り立つ。

ここで、ｈは理想像高であり、つまり光軸中心Ｃ（０、０）からＰ０（ｘ、ｙ）までの距離であり、ｈ＝（ｘ^２＋ｙ^２）^１／２となる。それぞれの注目画素についてのｈの値は、キャリブレーション等により予め測定される値である。変換係数ｃ_ｍは、（ｘ、ｙ）（ｘ'、ｙ'）から事前に求められるものである。また、定数Ｍは、撮影手段１０のカメラユニットの種類などから予め定められるものである。

また、補正率α、βは歪曲収差の軽減具合を制御できる値であり、０≦α≦１、０≦β≦１となり、画像情報から算出された人の配置データに基づいて定められるものである。また、この場合には、水平方向成分（Ｘ軸方向成分）の歪みを完全に解消するように補正することからα＝１とする。θは、水平線Ａと注目画素Ｐ１（ｘ'、ｙ'）とがなす角度であり、注目する変換後画素が変化する度に、θの値を測定する。なお、歪曲収差の特性上、原点（０、０）、Ｐ１（ｘ'、ｙ'）、Ｐ０（ｘ、ｙ）は一直線上（理想像高ｈの矢印）に位置する。

上記式（１）から、変換後の座標Ｐ２（ｘ''、ｙ''）に対応する変換前の座標Ｐ１（ｘ'、ｙ'）を求めることができる。このようにして、Ｎ_ｘ×Ｎ_ｙ個、全ての変換後画素に対応する変換前画素の座標を求める。

そして、第１補正手段１３１は、式（１）により算出された全ての変換前画素Ｐ１（ｘ'、ｙ'）について輝度値を求める。輝度値の求め方の手法は公知の技術を用いればよい。第１補正手段１３１は、求められた変換前画素の輝度値を、対応する変換後画素の輝度値として設定する。

例えば、上記式（１）から、注目した変換後画素が（１、１）である場合には、注目した変換後画素（１、１）に対応する変換前画素（３、３）を求め、該変換前画素（３、３）の輝度値を求める。該求められた変換前画素（３、３）の輝度値を変換後画素（１、１）に設定する。このようにして、第１補正手段１３１は、補正後の画像を生成できる。

また、第１補正手段１３１は、全ての変換後画素に対応する変換前画素を求めた後に、該全ての変換前画素の輝度値を求めるようにしてもよい。また、変換後画素に対応する変換前画素を１つ求めた後に、該求められた変換前画素の輝度値を求めるようにしてもよい。また、所定数、変換後画素に対応する変換前画素を求め、該所定数求められた変換前画素の輝度値を全て求め、この処理を繰り返すことで、全ての変換前画素の輝度値を求めるようにしてもよい。

＜画像処理装置の処理について＞
次に、実施例１の画像処理装置の処理について説明する。図７にＣＰＵ２２の機能構成例を示す。また、図８に、画像処理装置の主な処理フローを示す。

まず、ステップＳ２において、制御ユニット２６は、撮像装置３０１０のフレーム画像伝送手段１４２から送信された画像データを記憶手段２３に展開する。次に、ステップＳ４では、判定手段１０２は、展開された画像データの中から人物画像を検出する。ここで、人物画像を人物の顔画像（以下、単に「顔画像」という。）とする。判定手段１０２の検出処理は、ユーザによる操作により行なうようにしてもよく、所定時間ごとに行なうようにしてもよい。図９（Ａ）に展開された画像データについての画像の一例を示す。図９（Ａ）の例では、レンズ１１が広角レンズであるため、画像は歪んでいる。

顔画像検出の手法として、例えば、テンプレートマッチングを用いればよい。以下では、テンプレートマッチングを用いた場合について説明する。テンプレートマッチング処理の詳細については、例えば、特許４２１９５２１などに記載されている。

テンプレートマッチング処理について簡単に説明する。テンプレートマッチング処理を行なう場合には、顔の特徴データ群（テンプレート）を予め記憶手段２３に記憶させておく。特徴データ群とは、顔の種類などごとに、顔の輪郭、顔の構成部品（例えば、顎、口、眼、鼻、輪郭など）などの特徴量を定めたデータである。また、顔の種類とは、大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種、黒色人種などの顔の種類である。以下では、会議に参加している人物を黄色人種、つまり、顔色が肌色であるとして説明する。

そして、判定手段１０２は、画像を複数の領域に分割する。ここで、領域の形状は、矩形状、円形状、楕円形状など、何れの形状でもよい。ここでは、領域の形状は、矩形状であるとする。判定手段１０２は、矩形領域内の画像の特徴量と、特徴データ群と、の類似度を算出する。類似度が算出された矩形領域を検査領域という。判定手段１０２は、算出した類似度が、予め定められた閾値以上であるか否かを判断する。判定手段１０２が閾値以上であると判断すると、判定手段１０２は、検査領域が、顔画像の領域（以下、「顔画像領域」という。）であると判断し、つまり、顔画像を検出したと判断する。

更に判定手段１０２は、顔画像領域内の肌色領域以外の領域を可能な限り小さくするように、顔画像領域の大きさを変更する。判定手段１０２は当該変更することにより、顔画像の大きさに応じた顔画像領域を生成することが出来る。

そして、ステップＳ６で、判定手段１０２は、検査領域が顔画像領域であるか否かを判断する。判定手段１０２が、検査領域が顔画像領域であると判断すると（ステップＳ６のＹｅｓ）、ステップＳ７、Ｓ８、Ｓ９、Ｓ１０（後述する）の処理を行なう。また、判定手段１０２が、検査領域が顔画像領域ではないと判断すると（ステップＳ６のＮｏ）、ステップＳ１２に移行する。

ステップＳ１２では、判定手段１０２が画像の全領域を検査したか否かを判断する。判定手段１０２が、画像の全領域を検査したと判断すると（ステップＳ１２のＹｅｓ）、ステップＳ１４に移行する。また、判定手段１０２が、未だ、画像の全領域を検査していないと判断すると、ステップＳ４に戻る。

このようにして、判定手段１０２は、展開された画像データの画像（図９（Ａ）参照）内に人物画像（ここでは、顔画像）が存在するか否かを判定する。また、判定手段１０２が、テンプレートマッチング処理を用いる場合には、人物画像を顔画像としたが、判定手段１０２が。テンプレートマッチング処理以外の処理で人物画像検出を行なう場合、または、当該画像処理装置がテレビ会議システム以外の他の用途で用いられる場合などには、人物画像を、人物の顔以外の画像としてもよい。

図９（Ａ）に、撮像装置３０１０により撮像された画像の一例を示す。図９（Ａ）の例では、レンズ１１が広角レンズであるため、画像は歪んでいる。次に、ステップＳ４で判定手段１０２は、顔の特徴データ群を用いて、顔画像検出を行う。

ステップＳ７では、測定手段１０６は、人物画像の大きさを測定する。ここで、人物画像の大きさを、顔画像領域のｙ軸方向の長さとする。つまり、測定手段１０６は、顔画像領域のｙ軸方向の長さを測定する。顔画像領域のｙ軸方向の長さとは、例えば、顔画像領域のｙ軸方向のピクセル数である。また、人物画像の大きさとして、例えば、顔画像の面積、つまり、顔の輪郭内の肌色部分の面積などとしてもよい。

図９（Ａ）には、２つの顔画像Ａ、Ｂが存在している。また、顔画像Ａ、Ｂについての領域を、それぞれ、顔画像領域Ａ、Ｂとする。また、顔画像領域Ｒ_Ａのｙ軸方向の長さをｈ_Ａとし、顔画像領域Ｒ_Ｂのｙ軸方向の長さｈ_Ｂとする。測定手段１０６は、顔画像領域Ｒ_Ａのｙ軸方向の長さｈ_Ａを測定する。また、測定手段１０６は、顔画像領域Ｒ_Ｂのｙ軸方向の長さｈ_Ｂを測定する。また、以下では、人物画像の大きさを「顔画像の長さ」という。

ステップＳ８では、認識手段１０８が、画像の全領域に対して、顔画像領域の位置を認識する。ここで、認識手段１０８の顔画像領域の位置の認識とは、例えば、「撮像装置３０１０が撮像した画像の中央Ｃ（図９（Ａ）参照）から、顔画像領域の中心（重心）までの距離Ｌ」を算出することをいう。図９（Ａ）の例では、中央Ｃから、顔画像領域Ｒ_Ａの中心までの距離をＬ_Ａとし、中央Ｃから、顔画像領域Ｒ_Ｂの中心までの距離をＬ_Ｂとする。

ステップＳ７、Ｓ８の処理は、どちらを先に行なってもよく、並列的におこなってもよい。

ところで、理想的には、測定手段１０６は、撮像装置３０１０から人物までの距離に対応するように、当該人物についての顔画像領域の高さを測定することが好ましい。例えば、撮像装置３０１０のレンズ１１から等距離にある複数の顔画像領域については、当該複数の顔画像についての顔画像領域の高さは全て等しいものとして当該顔画像領域の高さを測定することが好ましい。

換言すると、図９（Ａ）に示すように、撮像装置３０１０で撮像された画像は、歪んでいるために、測定手段１０６が測定した顔画像の高さｈ_Ａ、ｈ_Ｂと、実際の人物の顔の高さとは対応したものとならない。そこで、ステップＳ９で、第２補正手段１０４は、顔画像の高さを補正することが好ましい。

ステップＳ９では、認識手段１０８が認識した人物画像の位置に基づいた補正を、測定手段１０６が測定した人物画像の大きさ（顔画像の高さ（ピクセル数））に対して行なう。ここで、第２補正手段１０４の補正手法について説明する。例えば、「撮像装置３０１０が撮像した画像の中央Ｃ（図９（Ａ）参照）から、顔画像（顔画像領域）までの距離Ｌ」と、「人物画像の大きさｈに乗算する倍率ｇ」と、を対応付けた倍率テーブルを用いる。当該倍率テーブルは、実験的に求められるものであり、予め記憶手段２３に記憶されているものである。

図１０に倍率テーブルの一例を示す。図１０の例では、距離Ｌと倍率ｇとが対応付けられている。図１０の例では、例えば、距離Ｌ_１に対応する倍率は、ｇ_１となる。第２補正手段１０４は、倍率テーブルを参照して、距離Ｌ_Ａに対応する倍率ｇ_Ａを求める。また、第２補正手段１０４は、倍率テーブルを参照して、距離Ｌ_Ｂに対応する倍率ｇ_Ｂを求める。

そして、第２補正手段１０４は、顔画像領域の高さｈに対して、求められた倍率ｇを乗算する。図９（Ａ）の例では、ｈ_Ａ'＝ｈ_Ａ・ｇ_Ａ、および、ｈ_Ｂ'＝ｈ_Ｂ・ｇ_Ｂを演算することにより、顔画像領域の高さｈを補正する。ただし、ｈ_Ａ'、ｈ_Ｂ'は補正後の顔画像領域の高さである。図９（Ｂ）にｈ_Ａ'、ｈ_Ｂ'について示す。

また、倍率テーブルを用いずとも、予め、ｇ＝Ｆ_１（Ｌ）となる関数Ｆ_１（・）を求めておき、当該関数を用いて、距離Ｌ_Ａに対応する倍率ｇ_Ａを求めるようにしてもよい。

ステップＳ１０で、生成手段１１０は、認識手段１０８が認識した人物画像の位置と、測定手段１０６が測定した（補正後の）人物画像の大きさと、に基づいて、位置情報を生成する。ここで、位置情報とは、人物画像に係る人物の、撮像装置３０１０からの位置を示す情報である。図９（Ｃ）、（Ｄ）に人物画像Ａ、Ｂについての人物をＨ_Ａ、Ｈ_Ｂを示す。

ここで、図９（Ｄ）に示すように、人物の位置情報とは、撮像装置３０１０から人物までの距離Ｐと、撮像装置３０１０からの水平方向の人物の角度θとを含むものとする。また、撮像装置３０１０からの水平方向角度θとは、真上から見て、撮像装置３０１０のレンズ１１の中心と人物（例えば、Ｈ_Ａ、Ｈ_Ｂ）とを結ぶ直線と、レンズ１１の光軸であるｙ軸と、がなす角度である。

まず、生成手段１１０、距離Ｐの算出手法について説明する。第２補正手段１０４により補正された顔画像領域の高さｈ'と、距離Ｐと、の対応を示す距離テーブルを、予め求めておき、記憶手段２３に記憶させる。図１１に距離テーブルの一例を示す。図１１の例では、顔画像領域の高さｈ'が５０ピクセルの場合には、撮像装置３０１０から当該顔画像の人物までの距離Ｐは、５０ｃｍとなる。

生成手段１１０は、当該距離テーブルを参照して、第２補正手段１０４が求めた顔画像領域の高さｈ'に対応する距離Ｐを求める。また、距離テーブルを用いずとも、Ｐ＝Ｆ_２（ｈ'）となる関数Ｆ_２（・）を予め算出し、当該関数を用いて、距離Ｐを求めるようにしてもよい。

次に、撮像装置３０１０からの水平方向の角度θの求め方について説明する。距離Ｌと、水平方向角度θと、の対応を示す角度テーブルを予め求めておき、記憶手段２３に記憶させる。図１２に角度テーブルの一例を示す。図１２では、例えば、距離Ｌ_１に対応する水平方向角度はθ_１である。

第２補正手段１０４は、当該角度テーブルを参照して、距離Ｌに対応する水平方向角度θを求める。また、距離テーブルを用いずとも、θ＝Ｆ_３（Ｌ）となる関数Ｆ_３（・）を予め算出し、当該関数を用いて、水平方向角度θを求めるようにしてもよい。

一般的に、撮像装置３０１０に撮像される画像の特性は、レンズ１１の設計により異なる。また、方向性のあるレンズを除き、通常のレンズはレンズ中央から遠ざかる同心円上で同じ特性がある。このことから、レンズの設計による特性が分かれば、画像内の人物画像の位置により、撮像装置３０１０からの水平方向角度θは決定される。

図９（Ｄ）に、人物Ｈ_Ａ、Ｈ_Ｂについての位置情報を示す。人物Ｈ_Ａについては、撮像装置３０１０からの距離はＬ_Ａとなり、水平方向の角度はθ_Ａとなる。また、人物Ｈ_Ｂについては、撮像装置３０１０からの距離はＬ_Ｂとなり、水平方向の角度はθ_Ｂとなる。

このようにして、生成手段１１０は、撮像装置３０１０からの距離Ｌと、水平方向角度θと、を含む位置情報を生成する。また、位置情報の他の例として、撮像装置３０１０を上から見て、当該撮像装置３０１０を原点（０、０）とした場合の、各人物Ｈ_Ａ、Ｈ_Ｂの座標（ｘ_Ａ、ｙ_Ａ）、（ｘ_Ａ、ｙ_Ｂ）としてもよい。

また、ステップＳ１１において、検出手段１１２が、水平方向角度θが所定範囲内であるか否かを検出することが好ましい。これは換言すれば、検出手段１１２は予め定められた所定領域内に人物がいるか否かを検出することである。所定領域とは、水平方向角度の所定範囲内の領域をいう。図１３に、所定領域Ｍ（ハッチング部分）について示す。また、所定領域以外の領域を所定外領域Ｎという。図１３の例では、所定領域Ｍとは、水平角度（画角）が１００度、つまり、−５０度〜＋５０度の領域である。

ステップＳ１２でＹｅｓと判断されると、ステップＳ１４では、生成手段１１０が生成した位置情報、及び、検出手段１１２の検出結果に基づいて、決定手段１１４は、補正率β（上記式（１）参照）を決定する。決定手段１１４の決定手法について説明する。決定手段１１４は、補正率テーブルを用いて補正率β（補正データ）を決定する。

まず、人物画像が２つ以上ある場合について説明する。この場合には、決定手段１１４は、撮像装置３０１０から最も遠い人物と撮像装置３０１０から最も近い人物との奥行き方向の距離差Ｄを求める。最も遠い人物と最も近い人物の判断は、決定手段１１４は、距離Ｐの大小を比較すればよい。また、奥行き方向とは、撮像装置３０１０の画角の中心線であるｙ軸方向をいう。

図９（Ｄ）の例では、撮像装置３０１０から最も遠い人物は人物Ｈ_Ａであり、撮像装置３０１０から最も近い人物は人物Ｈ_Ｂである。そして、決定手段１１４は、以下の式（２）により距離差Ｄを求めることが出来る。
Ｄ＝Ｐ_Ａｃｏｓθ_Ａ−Ｐ_Ｂｃｏｓθ_Ｂ （２）
更に、決定手段１１４は、検出手段１１２の検出結果を解析することにより、１以上の人物の水平方向の角度が、所定角度（図１３参照）内であるか否かを判断する。これは換言すると、所定外領域Ｎに人物が存在するか否かを判断するものである。

そして、決定手段１１４は、奥行き方向の差Ｄおよび検出結果と、に対応する補正率βを求める。例えば、人物Ｈ_Ａ、Ｈ_Ｂについての奥行き方向の距離差Ｄ＝６０ｃｍとし、人物Ｈ_Ａ、Ｈ_Ｂが共に、所定外領域Ｎに存在しない（人物Ｈ_Ａ、Ｈ_Ｂが所定領域Ｍに存在する）場合には、決定手段１１４は、補正率βを９０％（＝０．９）と決定する。また、人物Ｈ_Ａ、Ｈ_Ｂについての奥行き方向の距離差Ｄ＝６０ｃｍとし、人物Ｈ_Ａ、Ｈ_Ｂの何れか一方が、所定外領域Ｎに存在する場合には、決定手段１１４は、補正率βを８０％と決定する。また、人物Ｈ_Ａ、Ｈ_Ｂについての奥行き方向の距離差Ｄ＝１００ｃｍである場合には、人物Ｈ_Ａ、Ｈ_Ｂが所定領域Ｍに存在するか否かに関らず、決定手段１１４は、補正率βを８０％と決定する。

また、人物画像が３以上である場合には、当該３以上の人物のうち、撮像装置３０１０から最も離れた人物と、撮像装置３０１０から最も近い人物との奥行き方向の距離差Ｄを決定手段１１４は求める。撮像装置３０１０から最も離れた人物と、撮像装置３０１０から最も近い人物との定め方は、３以上の人物画像それぞれの距離Ｐの大小を、決定手段１１４は比較するようにすればよい。

また、人物画像が１である場合には、決定手段１１４は、奥行き方向の距離差Ｄ＝０であるとして補正率βを決定する。

このように判定手段１０２は人物画像の数を計測するようにし、人物画像が「１」の場合と、人物画像が「２以上」の場合とで、補正率βは異なる。

また、記憶手段２３に補正率テーブルを記憶させずとも、β＝Ｆ_４（Ｄ）となる関数Ｆ_４（・）を定めて、当該関数を用いるようにしてもよい。

決定手段１１４が決定した補正率α、βを、補正率伝送手段２１１（図４参照）は、補正率設定手段１３２に送信する。そして、第１補正手段１３１は、補正率設定手段１３２により設定された補正率α、βを用いて、フレーム画像を補正する。

また、図８のステップＳ７〜Ｓ１１の処理の説明では、顔画像Ａ、Ｂについて同時に説明したが、図８では、ステップＳ６で１つの顔画像があると判定されるごとに、ステップＳ７〜Ｓ１１の処理は行なわれる。

＜実験結果＞
次に、実験結果について説明する。図１５（Ａ）に、撮像装置３０１０が撮像した元画像を示す。図１５（Ｂ）に、補正率α、βを共に「１００％」として、元画像を補正した場合の画像を示す。図１５（Ｃ）に、図８の例に示す処理フローにより決定した補正率β、（α＝１００％）で元画像を補正した場合の画像を示す。

図１５（Ａ）は、レンズ１１による歪曲収差が発生し、両端の人物の姿勢が曲がったり、蛍光灯などが上下に歪み、不自然な画像になっている。図１５（Ｂ）では、補正率α、βを共に「１００％」とした結果、中心から離れるに従い、画像が引き伸ばされる。従って、縦横の本来直線である部分は直線になっているが、特に両端の人物が引き伸ばされる影響を受けて、横長になってしまい、不自然な画像になる。また遠近感が非常に強調されている。

一方、図１５（Ｃ）は、垂直方向の補正率を人物の配置に合せて調節したことから、水平方向にやや歪みが残るが、垂直方向の直線が保たれるとともに、人物も自然な画像になっている。当実験から明らかなように、実施例１の画像処理装置で決定された補正率を用いて補正することで、ユーザにとって違和感の無い画像に補正できる。

図１４記載の補正率テーブルでは、２人以上の人物において奥行き方向の距離Ｄが長い場合には、奥行き方向の距離Ｄが短い場合と比較して、補正率βを小さく設定している。これにより、奥行き方向の遠近感の強調を軽減することが出来る。

また、奥行き方向の距離Ｄが小さい場合でも、所定範囲外の領域Ｎに人物が存在する場合の補正率βは、所定範囲外の領域Ｎに人物が存在しない場合の補正率βよりも低く設定している。これにより、後述する図１５（Ｃ）に示すように、画像両端の人物は引き伸ばされるという現象を緩和することが出来る。つまり、決定手段１１４は、検出手段１１２の検出結果を用いることにより、更に、違和感の無い画像に補正することが出来る。

［実施例２］
次に、実施例２におけるテレビ会議システムについて説明する。実施例２では、撮像装置から人物までの距離を求めるのに、人物画像のコントラスト量を用いる。これにより、距離測定の精度を向上させることができる。

カメラはレンズの位置により、ピントの合う距離が変動する。この変動を利用して被写体とピントが合ったときのレンズの位置を知ることで、被写体とカメラの位置を求めることができる。実施例２では、この手法を用いて距離を測定する。

また、いつピントが合っているかを判定するために、実施例２では画像のコントラスト量を用いる。一般にピントがあっているときにはコントラスト量が最大になる。

実施例２におけるテレビ会議システムの概略構成は、図１に示す構成と同様であり、実施例２におけるテレビ会議端末の機能構成は、図２に示す構成と同様である。なお、実施例２では、撮像装置と画像処理装置とについて、それぞれ符号５０１０、５０２０を用いて説明する。

＜撮像装置と画像処理装置のハードウェア構成例について＞
図１６は、実施例２における撮像装置５０１０と画像処理装置５０２０のハードウェア構成例を示す。実施例２における撮像装置５０１０と、画像処理装置５０２０とのハードウェアについて、図３と同様のものは同じ符号を付す。以下では、実施例１と異なる処理を行うハードウェアを主に説明する。

実施例２における撮像装置５０１０は、フォーカス制御ユニット１５を有する。フォーカス制御ユニット１５は、レンズ１１の位置を調整する。

実施例２における画像処理装置５０２０のＣＰＵ２８は、種々の処理を実行する。また、ＣＰＵ２８は、実施例１と異なり、人物画像のコントラスト量に基づいて、撮像措置５０１０から人物までの距離を測定する。

＜撮像装置と画像処理装置とが用いる情報について＞
次に、撮像装置５０１０と画像処理装置５０２０との各機能部が用いる情報の詳細について説明する。図１７は、各装置が用いる情報の一例を示す。実施例１と同様の処理を行う機能部には、図４に示す機能と同じ符号を付す。図１７では、実施例１と異なる機能や情報について主に説明する。

フォーカス制御ユニット１５は、画像処理装置５０２０のＣＰＵ２８からの信号によりレンズ１１の位置を変動させる。画像取得手段１２１は、レンズ１１の各位置で撮影されたフレーム画像を取得する。この各フレーム画像に対して以降の処理が施される。なお、第１補正手段１３１による補正は、実施例１と同様である。

ＣＰＵ２８は、フレーム画像伝送手段１４２から伝送された各フレーム画像からコントラスト量を算出する。ＣＰＵ２８は、コントラスト量に基づいて距離を算出し、補正率を算出する。ＣＰＵ２８の詳細な処理については後述する。

＜画像処理装置の処理について＞
次に、実施例２における画像処理装置５０２０の処理について説明する。図１８は、実施例２におけるＣＰＵ２８の機能構成の一例を示す図である。

図１８に示す機能において、図７に示す機能と同様のものは同じ符号を付す。実施例２におけるＣＰＵ２８は、コントラスト測定手段２０２及び生成手段２０４を有する。

コントラスト測定手段２０２は、各フレーム画像に対し、判定手段１０２により検出された人物画像のコントラスト量を計算する。以降では、人物画像として、例えば人物の顔領域の画像（顔画像）を用いるが、これに限られない。コントラスト測定手段２０２は、顔画像のコントラスト量として、顔画像内の最大輝度と最小輝度の差を用いてもよいし、顔画像内の輝度の分散を用いてもよい。

生成手段２０４は、実施例１と異なり、顔画像のコントラスト量が最大になるレンズ１１の位置から人物（例えば顔）までの距離を算出する。生成手段２０４は、レンズ１１の位置と実際の距離とを対応付けたレンズ位置−距離テーブルを予め作成しておく。このレンズ位置−距離テーブルは、例えば記憶手段２３などに記憶され、生成手段２０４により適宜読み出される。

図１９は、レンズ位置−距離テーブルの一例を示す。図１９に示す例では、レンズ位置Ｓと距離Ｐとが対応付けられている。距離Ｐは、例えば、撮像装置５０１０から人物までの距離である。図１９に示す例では、例えば、レンズ位置Ｓ_１１に対する距離は、Ｐ_１１である。生成手段２０４は、図１９に示すようなレンズ位置−距離テーブルを参照して、レンズ位置に対応する距離Ｐを求める。

また、生成手段２０４は、レンズ位置−距離テーブルを用いずとも、Ｐ＝Ｆ_３（Ｓ）となる関数Ｆ_３（・）を予め算出し、当該関数を用いて、距離Ｐを求めるようにしてもよい。

図２０は、画像処理装置５０２０の主な処理フローを示す。図２０に示すステップＳ１０１で、判定手段１０２は、顔認識処理を行う。ステップＳ１０１の処理は、図８に示すステップＳ２〜Ｓ４の処理と同様である。

ステップＳ１０２で、コントラスト測定手段２０２、生成手段２０４などは、認識された顔画像から距離Ｐを算出する。ステップＳ１０２の詳細な処理は、図２１を用いて後述する。

ステップＳ１０３で、決定手段１１４は、奥行き方向の差Ｄを用いて、補正率βを決定する。ステップＳ１０３の処理は、図８に示すステップＳ１４の処理と同様である。

次に、ステップＳ１０２の処理を説明する。図２１は、実施例２における距離測定フローの一例を示す。図２１に示すステップＳ２０１で、コントラスト測定手段２０２は、対象のフレーム画像内で、判定手段１０２により認識された顔画像数が１以上であるか否かを判定する。顔画像数が１以上であれば（ステップＳ２０１−Ｙｅｓ）ステップＳ２０２に移行する。顔画像数が１以上でなければ（ステップＳ２０１−Ｎｏ）距離測定処理を終了する。

ステップＳ２０２で、コントラスト測定手段２０２は、顔画像を含むフレーム画像を取得する。

ステップＳ２０３で、コントラスト測定手段２０２は、取得したフレーム画像内の顔画像ごとに、コントラスト量を計算する。コントラスト量は、顔画像のコントラスト量として、顔画像内の最大輝度と最小輝度の差を用いてもよいし、顔画像内の輝度の分散を用いてもよい。

ステップＳ２０４で、コントラスト測定手段２０２は、現在のレンズ位置、顔画像ＩＤ（例えば顔画像Ａ、Ｂ）、コントラスト量をメモリに保存する。メモリは、例えば記憶手段２３などである。

ステップＳ２０５で、コントラスト測定手段２０２は、全てのレンズ位置で処理を行ったか否かを判定する。全てのレンズ位置か否かの判定は、コントラスト測定手段２０２が、レンズ１１の可動範囲を知っておけばよい。全てのレンズ位置が終われば（ステップＳ２０５−Ｙｅｓ）ステップＳ２０７に移行し、全てのレンズ位置が終わっていなければ（ステップＳ２０５−Ｎｏ）ステップＳ２０６に移行する。

ステップＳ２０６で、ＣＰＵ２８は、レンズ１１の位置をずらすための信号をフォーカス制御ユニット１５に送信する。ＣＰＵ２８は、撮像装置５０１０のフォーカス制御ユニット１５を制御し、レンズ１１の位置を調整する。ステップＳ２０６の後はステップＳ２０２に戻り、別のレンズ位置において、ステップＳ２０２〜Ｓ２０４の処理が行われる。

ステップＳ２０７で、生成手段２０４は、顔画像ごとにコントラスト量が最大となるレンズ１１の位置を求める。生成手段２０４は、保存されたコントラスト量を顔画像ごとに比較することで、最大となるコントラスト量のレンズ位置を求めることができる。

ステップＳ２０８で、生成手段２０４は、顔画像ごとに、最大となるレンズ位置から、レンズ位置−距離テーブルを参照することで距離Ｐを求める。

生成手段２０４は、距離Ｐを求めた後、認識手段１０８が認識した顔画像の位置と、距離Ｐとを含む位置情報を生成する。

生成手段２０４により位置情報が求められれば、検出手段１１２、決定手段１１４により、実施例１と同様の処理が行われる。よって、補正率βが決定手段１１４により決定される。

＜実施例２における距離測定の手順＞
次に、実施例２における距離測定の手順を図２２〜図２５を用いて説明する。図２２は、実施例２における距離測定の手順（その１）を示す。図２２に示すように、判定手段１０２は、（１）画像取得手段１２１からのフレーム画像で、例えば顔認識を行う。判定手段１０２は、認識結果情報をメモリに保存する。メモリは、記憶手段２３でもよいし、他の記憶部でもよい。例えば、図２２に示す場合、判定手段１０２は、顔Ａ、Ｂの矩形の座標、サイズをメモリに保存する。

図２３は、実施例２における距離測定の手順（その２）を示す。図２３に示すように、撮像装置５０１０は、（２）レンズ１１の位置を移動させながら、画像を連続で撮影する。これは、ＣＰＵ２８が、フォーカス制御ユニット１５を制御して、レンズの位置を移動させる。ここで、全てのレンズ位置での撮影が終了した後に、次の（３）の処理が行われてもよいし、一枚撮影される毎に（３）の処理が行われてもよい。

また、この例では、簡単のため、レンズを１つとして説明するが、複数のレンズが用いられてもよい。撮像装置５０１０が、複数のレンズを有する場合、複数のレンズそれぞれに対してコントラスト量を測定するようにすればよい。

コントラスト測定手段２０２は、（３）各画像の顔画像ごとに、コントラスト量を測定する。コントラスト測定手段２０２は、測定したコントラスト量と、レンズの位置と、顔画像とを対応付けてメモリに保存しておく。メモリは、例えば記憶手段２３であり、その他の記憶部でもよい。

図２４は、実施例２における距離測定の手順（その３）を示す。図２４に示すように、生成手段２０４は、（４）各顔画像に対し、コントラスト量が最大となるレンズ位置を求める。生成手段２０４は、例えば、顔画像Ａのコントラスト量が最大となる画像からレンズ位置ｌｅｎｓＡ（ｍｍ）を求め、顔画像Ｂのコントラスト量が最大となる画像からレンズ位置ｌｅｎｓＢ（ｍｍ）を求める。

図２５は、実施例２における距離測定の手順（その４）を示す。図２５に示すように、生成手段２０４は、（５）レンズ位置Ｓと事前に求めておいた関係式Ｆ_３から実際の距離を求める。レンズ位置と実際の距離の関係式Ｆ_３は、事前に実験などにより求めておく。また、実際の距離の正確性を向上させるために、カメラ正面からの角度ごとに関係式Ｆ_３が用意されていてもよい。また、関係式Ｆ_３は、図２５に示す線形になるとは限らず、二次関数などで表されてもよい。

以上、実施例２によれば、ピント調整を用いて距離を求め、この距離を用いて決定された補正率により補正をすることで、ユーザにとって違和感の無い画像に補正できる。

また、本実施形態の画像処理装置によれば、撮像装置からの人物の位置を示す位置情報に応じて、垂直成分の補正率を決定する。つまり、人物の配置に応じて、垂直成分の補正率を決定し、換言すると、歪みを一部残存させる補正を行なう補正率を決定する。従って、ユーザにとって違和感の無い画像に補正できる補正率を決定することが出来る。

また、図４、図１８に示す例では、撮像装置３０１０、５０１０が第１補正手段１３１を有していたが、画像処理装置３０２０、５０２０が、第１補正手段１３１を有するようにして、画像処理装置３０２０、５０２０が、上記式（１）の補正を行なうようにしてもよい。

なお、上記の各実施例を組み合わせて、いずれの処理も可能なようにし、実施例１の処理を行うか、実施例２の処理を行うかをユーザが切替できるようにしてもよい。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。

１１・・・・レンズ
１２・・・・センサ
１３・・・・画像処理ユニット
１４・・・・Ｉ／Ｆ手段
２１・・・・Ｉ／Ｆ手段
２２、２８・ＣＰＵ
２３・・・・記憶手段
２４・・・・映像出力ユニット
２５・・・・通信ユニット
２６・・・・制御ユニット
２７・・・・バス
１０２・・・判定手段
１０４・・・第２補正手段
１０６・・・測定手段
１０８・・・認識手段
１１０・・・生成手段
１１２・・・検出手段
１１４・・・決定手段
１３１・・・第１補正手段
１３２・・・補正率設定手段
１４１・・・変換済みフレーム画像伝送手段
１４２・・・フレーム画像伝送手段
２０２・・・コントラスト生成手段
３０１０・・撮像装置
３０２０・・画像処理装置

特許第４２７９６１３号

Claims (8)

1. 撮像装置で撮像された画像内に人物画像が存在するか否かを判定する判定手段と、
   前記判定手段が、前記画像内に前記人物画像が存在すると判定すると、当該人物画像の大きさ又はコントラスト量を測定する測定手段と、
   前記判定手段が、前記画像内に前記人物画像が存在すると判定すると、当該画像内の当該人物画像の位置を認識する認識手段と、
   前記認識手段が認識した前記人物画像の位置と、前記測定手段が測定した前記人物画像の大きさ又はコントラスト量とに基づいて、当該人物画像に係る人物の、前記撮像装置からの位置を示す位置情報を生成する生成手段と、
   前記生成手段が生成した前記位置情報に基づいて、前記画像を補正するための補正率を決定する決定手段と、
   前記認識手段が認識した前記人物画像の位置に基づいた補正を、前記測定手段が測定した前記人物画像の大きさに対して行なう補正手段を有し、
   前記生成手段は、前記認識手段が認識した前記人物画像の位置と、前記補正手段が補正を行なった前記人物画像の大きさと、に基づいて、前記位置情報を生成する画像処理装置。
2. 前記判定手段は、前記画像に存在する人物画像の数を計数するものであり、
   前記判定手段が計数した人物画像の数が２以上である場合には、
   前記決定手段は、
   当該２以上の人物画像それぞれに係る人物において、前記撮像装置から最も遠い人物と前記撮像装置から最も近い人物との奥行き方向の距離差と、に基づいて補正率を決定する請求項１の画像処理装置。
3. 前記判定手段が計数した人物画像の数が１である場合には、
   前記決定手段は、前記奥行き方向の距離差が０であるとして、補正率を決定する請求項２記載の画像処理装置。
4. 前記撮像装置のレンズの中心と、前記人物画像に係る人物と、を結ぶ直線と、
   前記撮像装置の光軸と、
   がなす角度が、所定範囲内であるか否かを検出する検出手段を有し、
   前記決定手段は、前記位置情報および前記検出手段の検出結果に基づいて、補正率を決定する請求項１〜３何れか１項記載の画像処理装置。
5. 前記人物画像の大きさは、当該人物画像に係る人物の顔画像のｙ軸方向の長さである請求項１〜４何れか１項記載の画像処理装置。
6. 前記決定手段は、
   前記画像のｙ軸方向成分の歪みを残存させるように補正するための補正率を決定する請求項１〜５何れか１項記載の画像処理装置。
7. 前記測定手段は、
   レンズの位置を変えて撮像された複数の画像内の前記人物画像のコントラスト量を測定し、
   前記生成手段は、
   前記コントラスト量が最大となる画像のレンズの位置に基づいて、前記撮像装置から人物までの距離を求める請求項１記載の画像処理装置。
8. 撮像装置で撮像された画像内に人物画像が存在するか否かを判定する判定工程と、
   前記判定工程により、前記画像内に前記人物画像が存在すると判定されると、当該人物画像の大きさ又はコントラスト量を測定する測定工程と、
   前記判定工程により、前記画像内に前記人物画像が存在すると判定されると、当該画像内の当該人物画像の位置を認識する認識工程と、
   前記認識工程により認識された前記人物画像の位置に基づいた補正を、前記測定工程により測定された前記人物画像の大きさに対して行なう補正工程と、
   前記認識工程により認識された前記人物画像の位置と、前記測定工程により測定された前記人物画像の大きさ又はコントラスト量とに基づいて、当該人物画像に係る人物の、前記撮像装置からの位置を示す位置情報を生成する生成工程と、
   前記生成工程により生成された前記位置情報に基づいて、前記画像を補正するための補正率を決定する決定工程と、を有し、
   前記生成工程において、前記認識工程により認識された前記人物画像の位置と、前記補正工程により補正された前記人物画像の大きさと、に基づいて、前記位置情報が生成される画像処理方法。