JP2013219544A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】画像補正の要否を判断して画像処理のオンオフを切り替えることにより、画像補正処理による遅延を抑制する。
【解決手段】画像処理装置（１０及び２０）は、撮像レンズによって結像された撮像対象の画像を取得する画像取得部１２１と、画像取得部によって取得された画像から顔情報を検出する顔検出部２２１と、顔検出部によって検出された顔情報を包含する顔情報包含部位の画角を算出する画像画角算出部２２２と、画像画角算出部によって算出された画角と撮像レンズの歪曲特性とに基づいて、画像に対する歪曲収差補正の要否を判断する補正要否判断部２２３と、を有する。
【選択図】図４

Description

本発明は、リアルタイムで画像を処理するテレビ会議システムに好適な画像処理装置、画像処理方法、及び画像処理プログラムに関し、特に、画像補正の要否を判断して画像処理のオンオフを切り替えることにより、画像補正処理による遅延を抑制することが可能な
画像処理装置、画像処理方法、及び画像処理プログラムに関する。

テレビ会議システムにおいては、各拠点に配置されている端末に接続されたカメラにより、各拠点の画像を撮像している。ＴＶ会議中、会議の参加者をカメラの撮像範囲内に収めるために、参加者自身が適宜カメラを操作して、パン・チルト・ズーム等を設定する必要がある。
この操作の自動化のため特許文献１においては、音源方向検出部により音源の方向、即ち発言者の方向を検出して自動的に発言者の方向に撮像レンズが向くようにカメラをパン・チルト制御すると共に、撮像された画像から人物の顔を抽出し、抽出された人物の顔が画面内の所定の位置及び大きさとなるように、パン・チルト・ズーム制御するカメラ制御装置について記載されている。

特許文献１に記載されたようなカメラ制御装置においては、撮像した画像を最適化するための処理がよく行われる。例えば広角レンズが搭載されたカメラを用いて撮像された画像の場合、画像の周辺部で歪曲収差が顕著に発生するため、歪曲を補正するための処理が行われる。
仮に発言者が画面中心部に映っている場合は、発言者の画像部分に大きな歪みが発生している訳ではない。特に、発言者のみを拡大して表示するような場合は、画像周辺部の歪曲収差を補正しなくても画像品質上の問題はない。しかし、従来技術においては歪曲収差補正の要否を判断することなく、歪曲収差が発生した画像全体に補正処理を施していたため、実際には画面上に表示されない部分の画像についても処理が行われ、画像補正処理による遅延が発生するという問題があった。
本発明は、上述の事情に鑑みてなされたものであり、画像補正の要否を判断して画像処理のオンオフを切り替えることにより、画像補正処理による遅延を抑制し、処理の高速化が可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、撮像レンズによって結像された撮像対象の画像を取得する画像取得部と、該画像取得部によって取得された前記画像から顔情報を検出する顔検出部と、前記画像のうち、前記顔検出部によって検出された前記顔情報を包含する顔情報包含部位の画角を算出する画像画角算出部と、該画像画角算出部によって算出された前記画角と前記撮像レンズの歪曲特性とに基づいて、前記画像に対する歪曲収差補正の要否を判断する補正要否判断部と、を有することを特徴とする。

本発明によれば、撮像された画像内の顔情報を含む部分の画角に応じて歪曲収差補正の要否を判断し、自動的に歪曲収差補正処理のオン／オフを切り替えるので、画像品質を保持しつつ、歪曲収差補正処理による遅延を抑制することができる。

本発明の一実施形態に係るテレビ会議システムの概略構成図である。 テレビ会議システムを構成するテレビ会議端末の一例を示した斜視図である。 テレビ会議端末の画像処理装置を示したハードウェア構成図である。 図３に示す画像処理装置の機能ブロック図である。 本発明の一実施形態に係るテレビ会議端末における画像処理例を示したフローチャートである。 画角の算出方法について説明するための図である。 （ａ）〜（ｃ）は、画角と歪曲収差補正の要否との関係について説明するための図である。 （ａ）〜（ｄ）は、処理装置における処理例を示す図である。 （ａ）、（ｂ）は、撮像装置の画像補正部による処理例を示す図である。 （ａ）〜（ｄ）は、処理装置における処理例を示す図である。 （ａ）〜（ｃ）は、撮像装置の画像補正部による処理例を示す図である。 本発明の他の実施形態に係る画像処理装置の機能ブロック図である。

以下、本発明の実施の形態を説明する。本実施形態は、テレビ会議システムを構成する撮像装置から出力された画像を処理するに際し、画像内に写る人物の顔を検出して、検出された人物の顔がディスプレイに大きく表示されるように画角を調整する際に、その画角の大きさに応じて自動的に歪曲収差補正処理のオン／オフを行う点に特徴がある。

図１は、本発明の一実施形態に係るテレビ会議システムの概略構成図である。テレビ会議システム１は、複数のテレビ会議端末１００（１００ａ、１００ｂ、１００ｃ・・・）と、これらテレビ会議端末１００を相互に接続するネットワークＮとを有している。
テレビ会議端末１００は、自拠点の画像（静止画像又は動画像）を撮像する撮像装置１０と、撮像装置１０により撮像された画像に対して所定の処理を施す処理装置２０と、を備えている。
また、テレビ会議端末１００は、周囲の音声を収音するマイク３１、他拠点にて収音された音声を出力するスピーカ３２、及び自拠点又は他拠点の撮像装置１０によって撮像された画像を表示するディスプレイ３３等も備えている。マイク３１、スピーカ３２、及びディスプレイ３３は、撮像装置１０と同様に処理装置２０に接続されている。画像や音声等の各種データは、ネットワークＮを介して複数のテレビ会議端末１００間で送受信される。
例えば、拠点Ａのテレビ会議端末１００ａの撮像装置１０により撮影された画像は、テレビ会議端末１００ａ内の処理装置２０により歪曲収差補正等の所定の画像補正処理が施されて、ディスプレイ３３に表示されると共に、補正処理後の画像がネットワークＮを介して他拠点（拠点Ｂと拠点Ｃ）のテレビ会議端末１００ｂ、１００ｃに伝送されて、そのディスプレイ３３にも夫々表示される。

また、拠点Ａのテレビ会議端末１００ａにおいてズームイン／ズームアウト指示がなされた場合、テレビ会議端末１００ａの処理装置２０によりデジタルズーム処理が施されて、処理後の画像がディスプレイ３３に表示される。また、同時にデジタルズーム処理後の画像がネットワークＮを介して他拠点のテレビ会議端末１００ｂ、１００ｃに伝送されて、それらのディスプレイ３３にも夫々表示される。
このように、本テレビ会議システム１においては、ネットワークＮによって互いに接続された複数のテレビ会議端末１００間で、デジタルズーム処理や歪曲収差補正処理の施された画像を送受信し、夫々のディスプレイ３３においてリアルタイムに表示する。

上記テレビ会議端末１００の外観の一例について説明する。図２は、テレビ会議端末の一例を示した斜視図である。図２においては、アーム５０及びカメラハウジング５２を収容した状態におけるテレビ会議端末１００の長手方向をＸ軸方向とし、短手方向をＹ軸方向（幅方向）とし、Ｘ軸方向およびＹ軸方向に直交する方向（鉛直方向、又は高さ方向）をＺ軸方向として説明する。
テレビ会議端末１００は、概略直方体状の筐体４０と、筐体４０に対して折り畳み収納自在に構成されたアーム５０と、アーム５０の先端に取り付けられると共に撮像装置１０が内蔵されたカメラハウジング５２と、を備えている。

筐体４０の短手方向一端部側の側面４１には、テレビ会議端末１００周辺の音声を取り込むマイク用開口４２が貫通形成されている。マイク用開口４２を通過した音声は、筐体４０内に収容されたマイク３１（図１参照）によって収音される。
筐体４０の短手方向他端部側の側面には、撮像装置１０によって撮像された自拠点の画像、又はネットワークＮを介して他のテレビ会議端末１００から伝送された画像を外部表示装置としてのディスプレイ３３に出力する映像出力端子（不図示）が配置されている。映像出力端子とディスプレイ３３とはケーブル３３ａによって接続される。
筐体４０の上面４３中央部には、テレビ会議端末１００の電源をオン／オフする電源スイッチ４４が配置されている。また、筐体４０の上面４３の短手方向一端部側には、音声を出力するスピーカ用開口４５が貫通形成されており、筐体４０内に収容されたスピーカ３２（図１参照）から出力された音声は、スピーカ用開口４５を介して外部に出力される。
筐体４０の上面４３の短手方向他端部側には、アーム５０及びカメラハウジング５２を収容する収容部４６が形成されている。収容部４６は、アーム５０及びカメラハウジング５２がぴったりと嵌まるように形成された凹所であり、アーム５０及びカメラハウジング５２を折り畳んだときに、筐体４０上面が略水平となるように形成されている。

アーム５０は、筐体４０の短手方向他端部側に配置されている。アーム５０の一部は、筐体４０によって所定の角度範囲（チルト角ω１の範囲）にて正逆自在に回転するようトルクヒンジ５１（回転軸）によって支持されている。アーム５０は、図中Ｙ軸周り（上下方向）に回転する。チルト角ω１＝０度のときは、アーム５０が収容部４６に収容された状態である。図２には、収容状態から９０度回転させて（チルト角ω１＝９０度）、筐体４０に対してアーム５０を垂直に立ち上げた状態を示している。チルト角ω１の範囲は、０度から、例えば１３５度のように設定することができる。
カメラハウジング５２は、アーム５０の他部（先端部）に配置されている。カメラハウジング５２内には、撮像装置１０が内蔵されている。撮像装置１０により、人物（例えば、テレビ会議の参加者）や、書類に記載された文字や記号、会議室内などを撮影することができる。
カメラハウジング５２は、２軸のトルクヒンジ５３（回転軸）を介してアーム５０に取り付けられている。カメラハウジング５２は、パン角ω２の範囲で図中Ｚ軸周り（水平方向）に正逆自在に回転するよう支持されている。また、チルト角ω３の範囲で図中Ｙ軸周り（上下方向）に正逆自在に回転するよう支持されている。例えば、図２に示す状態がパン角ω２＝０度、チルト角ω３＝０度、であるとすると、パン角ω２の範囲を±１８０度、チルト角ω３の範囲を±４５度のように設定することができる。このように、カメラハウジング５２はアーム５０に対し、所定の角度範囲内で上下左右方向に回転可能に構成されている。

なお、図２に示したテレビ会議端末１００は、あくまでも一例であり、他の形態や構成を有する装置をテレビ会議端末１００としてもよい。例えば、ＰＣ（Personal Computer）に撮像装置１０やスピーカ３２、マイク３１等を外部接続することにより、テレビ会議端末１００を構築してもよい。また、撮像装置１０やスピーカ３２、マイク３１等が内蔵されたスマートフォン等の携帯型端末をテレビ会議端末１００として使用してもよい。ＰＣやスマートフォン等をテレビ会議端末１００として使用する場合は、これら各機器をテレビ会議端末１００として機能させるためのソフトウェア（プログラム）を機器内部で動作させればよい。

図３は、テレビ会議端末の画像処理装置を示したハードウェア構成図である。本実施形態において画像処理装置は、少なくとも撮像装置１０と処理装置２０と、を含んで構成される。
撮像装置１０は、被写体像が入射する撮像レンズ１１と、撮像レンズ１１によって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を有し、アナログ電気信号からデジタル信号である画像データ（フレーム画像）を生成する画像センサ１２と、画像センサ１２にて生成されたフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor）等から構成される画像処理ユニット１３と、フレーム画像、その他のデータ、及び制御信号等を処理装置２０との間で送受信するＩ／Ｆユニット１４等を備えて構成される。
撮像レンズ１１には、例えば広角レンズを使用することができる。広角レンズを用いた場合には、スペースの限られている空間（例えば会議室内）をより広く写すことができるので、テレビ会議端末１００に用いるには好適である。

処理装置２０は、撮像装置１０との間でフレーム画像、補正済みフレーム画像、その他のデータ、及び制御信号等を送受信するＩ／Ｆユニット２１と、種々の処理を実行するＣＰＵ（Central Processing Unit）２２と、ＣＰＵ２２の処理に必要な各種ソフトウェアやデータ、フレーム画像や補正済みフレーム画像等を格納するメモリ２３と、処理装置２０に接続されたディスプレイ３３（図１参照）などに映像信号を伝送する映像出力ユニット２４と、映像信号等をネットワークＮに接続された他のテレビ会議端末との間で送受信する通信ユニット２５と、処理装置２０全体の動作を制御する制御ユニット２６と、上記各ユニットを接続するバス２７などを含んで構成される。なお、処理装置２０は、ユーザからの操作指示を受け付ける操作指示受付ユニット等も備えているが、図３では図示を省略している。処理装置２０は、例えば一般的なコンピュータ装置から構成することができる。

また、撮像装置１０と処理装置２０の間は有線（USB等）又は無線で接続される。
ここで、メモリ２３は、揮発性メモリであるＲＡＭ（Random Access Memory）、不揮発性メモリであるＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）等から構成されており、本実施形態においてはこれらを総称してメモリと表現する。
処理装置２０のＣＰＵ２２は、撮像装置１０によって撮像された画像内から人物を検出し、人物が写っている画像の範囲に基づいて歪曲収差補正の要否を判断し、画像処理ユニット１３に対して歪曲収差補正のオン／オフ指示を行う。画像処理ユニット１３は、処理装置２０からの歪曲収差補正のオン／オフ指示に基づいて歪曲収差補正を行う機能を有する。詳しくは後述する。

図４は、図３に示す画像処理装置の機能ブロック図である。以下、撮像装置１０と処理装置２０について、夫々機能ブロックごとに説明する。
撮像装置１０の機能ブロックについて説明する。
画像センサ１２は、撮像レンズ１１によって結像された撮像対象の光学像を光電変換し、動画像を構成する静止画である画像データ（フレーム画像）を取得する画像取得部１２１を有している。画像取得部１２１によって取得されたフレーム画像（補正前のフレーム画像）は、画像処理ユニット１３の画像補正部１３１と、Ｉ／Ｆユニット１４の画像伝送部１４２に夫々伝送される。

画像処理ユニット１３は、画像取得部１２１によって取得されたフレーム画像に対して所定の補正処理を施す画像補正部１３１と、フレーム画像に対して歪曲収差補正を行うか否かの指示内容を設定する歪曲収差補正オン／オフ設定部１３２と、フレーム画像に対する画角の指示内容（画角パラメータ）を設定する画角設定部１３３と、歪曲収差補正オン／オフ設定部１３２及び画角設定部１３３からの設定内容を記憶するメモリ１３４と、を備えている。
画像補正部１３１は、メモリ１３４内に設定されている画角パラメータと、歪曲収差補正オン／オフの指示に基づいて、フレーム画像を補正して補正済みフレーム画像を生成する。具体的には、歪曲収差補正がオンに設定されている場合には、画像取得部１２１から伝送されたフレーム画像に対して少なくとも歪曲収差補正が施され、必要に応じて更に画角調整が施された補正済みフレーム画像を生成する。歪曲収差補正がオフに設定されている場合には、画角調整のみを施した補正済みフレーム画像を生成する。ここで、画角調整は、フレーム画像に対して行う画像の切り出し処理と拡大処理を含む処理である。生成された補正済みフレーム画像は、Ｉ／Ｆユニット１４内の補正画像伝送部１４１に伝送される。

ここで、画角パラメータは、補正前のフレーム画像から切り出される部分の画像サイズを示した情報であり、横画素数と縦画素数の情報を含んでいる。横画素数は、画像取得部１２１によって取得された補正前のフレーム画像のうち、必要な情報が映し出されている画像部分の横方向の画素数である。また、縦画素数は、当該横画素数に対して、補正前のフレーム画像のアスペクト比を維持できるような縦方向の画素数である。例えば必要な情報が人物の顔情報である場合、画角パラメータは、フレーム画像から抽出された人物の顔領域に対して所定の幅を余裕分として加えた範囲に設定される。従って、横画素数と縦画素数は、夫々補正前のフレーム画像の横画素数と縦画素数と同数か、それよりも小さい数値である。
歪曲収差補正オン／オフ設定部１３２は、処理装置２０内の画角・補正オン／オフ伝送部２１１から伝送された歪曲収差補正のオン／オフ指示を、メモリ１３４内に設定する。
画角設定部１３３は、処理装置２０内の画角・補正オン／オフ伝送部２１１から伝送された画角パラメータを、メモリ１３４内に設定する。メモリ１３４は、揮発性メモリから構成することができるが、その他のメモリを用いても構わない。

Ｉ／Ｆユニット１４は、画像補正部１３１によって補正された補正済みフレーム画像を処理装置２０の映像出力ユニット２４及び通信ユニット２５に伝送する補正画像伝送部１４１と、画像取得部１２１によって取得された補正前のフレーム画像をそのまま処理装置２０の顔検出部２２１に伝送する画像伝送部１４２と、を備えている。
補正画像伝送部１４１は、画像処理ユニット１３内の画像補正部１３１と並行して動作し、画像補正部１３１によって生成された補正済みフレーム画像を遅滞なく映像出力ユニット２４及び通信ユニット２５に伝送する。
画像伝送部１４２によって顔検出部２２１に伝送された補正前のフレーム画像は、顔検出部２２１にて画角パラメータの算出や、歪曲収差補正の要否を判断するために利用される。このため、画像伝送部１４２が伝送するデータは、画像取得部１２１によって取得された画像の全範囲の情報を含む。従って、原則として補正画像伝送部１４１によって伝送される情報は、画像伝送部１４２によって伝送される情報よりも少なく、補正済みフレーム画像の伝送は補正前のフレーム画像の伝送よりも高速に行われる。

処理装置２０の機能ブロックについて説明する。
Ｉ／Ｆユニット２１は、画像処理ユニット１３の歪曲収差補正オン／オフ設定部１３２と画角設定部１３３に対して、夫々歪曲収差補正オン／オフ指示及び画角パラメータを伝送する画角・補正オン／オフ伝送部２１１を備える。

ＣＰＵ２２は、画像伝送部１４２から受信した補正前のフレーム画像から人物の顔情報を検出する顔検出部２２１と、顔検出部２２１によって検出されたフレーム画像内の全ての顔情報が包含される画角を算出する画像画角算出部２２２と、画像画角算出部２２２によって算出された画角から、その画角範囲の画像に対して歪曲収差補正が必要か否かを判断する歪曲収差補正要否判断部２２３と、を備える。
画像画角算出部２２２は、顔検出部２２１によって検出された人物の顔情報に対して所定の幅を余裕分として加えた範囲を、必要な画角（画角パラメータ）として算出する。
歪曲収差補正要否判断部２２３は、歪曲収差補正が必要な場合は歪曲収差補正オン信号を出力し、歪曲収差補正が不要な場合は歪曲収差補正オフ信号を出力する。
画角パラメータと歪曲収差補正オン／オフ信号は、夫々Ｉ／Ｆユニット２１の画角・補正オン／オフ伝送部２１１に伝送される。

以下、撮像装置１０と処理装置２０の動作について、データの処理・伝送順に説明する。
撮像装置１０においては、画像取得部１２１がフレーム画像を取得する。取得されたフレーム画像は、画像処理ユニット１３の画像補正部１３１とＩ／Ｆユニット１４の画像伝送部１４２に伝送される。画像伝送部１４２は、処理装置２０のＣＰＵ２２の顔検出部２２１にフレーム画像を伝送する。
処理装置２０においては、顔検出部２２１が、画像伝送部１４２から受信したフレーム画像から人物の顔情報を検出し、検出された全ての人物の顔情報が包含されるような画角（画角パラメータ）を算出する。算出された画角パラメータは、Ｉ／Ｆユニット２１の画角・補正オン／オフ伝送部２１１に伝送される。また、歪曲収差補正要否判断部２２３は、算出された画角範囲内の画像に対して歪曲収差補正が必要か否かを判断し、歪曲収差オン／オフ指示を画角・補正オン／オフ伝送部２１１に伝送する。

画角・補正オン／オフ伝送部２１１は、画像画角算出部２２２から伝送された画角パラメータを、撮像装置１０の画像処理ユニット１３の画角設定部１３３に伝送する。また、画角・補正オン／オフ伝送部２１１は、歪曲収差補正要否判断部２２３から伝送された歪曲収差補正オン／オフ指示を、画像処理ユニット１３の歪曲収差補正オン／オフ設定部１３２に伝送する。
撮像装置１０において、画角設定部１３３は画角パラメータをメモリ１３４内に設定し、歪曲収差補正オン／オフ設定部１３２は歪曲収差補正オン／オフ指示をメモリ１３４内に設定する。
画像補正部１３１は、メモリ１３４内に設定された画角パラメータと歪曲収差補正オン／オフ指示を読み出して、メモリ１３４内に設定されている指示内容に応じて画像の切り出し処理と拡大処理、又は歪曲収差補正処理の少なくとも一方の処理を行って、補正済みフレーム画像を生成する。生成された補正済みフレーム画像は、補正画像伝送部１４１に伝送される。補正画像伝送部１４１は、補正済みフレーム画像を処理装置２０の映像出力ユニット２４と、通信ユニット２５の夫々に伝送する。
処理装置２０において、映像出力ユニット２４は、受信した補正済みフレーム画像を処理装置２０に接続されたディスプレイ３３等の映像出力装置に表示する。また、通信ユニット２５は、補正済みフレーム画像をネットワークＮにて接続された他拠点のテレビ会議端末１００（図１参照）に送信する。

テレビ会議端末における画像処理手順について説明する。図５は、本発明の一実施形態に係るテレビ会議端末における画像処理例を示したフローチャート図である。
初めに撮像装置１０の画像センサ１２の画像取得部１２１がフレーム画像を取得する（ステップＳ１）。
画像取得部１２１によって取得されたフレーム画像は、Ｉ／Ｆユニット１４の画像伝送部１４２から処理装置２０のＣＰＵ２２の顔検出部２２１に伝送される。顔検出部２２１は、フレーム画像から顔情報を検出する（Ｓ２）。顔情報の検出には、既存の顔情報検出技術を用いることができる。
フレーム画像から顔情報が検出されなかった場合は（ステップＳ３にてＮｏ）、画像画角算出部２２２による画角算出処理を行わずに、歪曲収差補正をオンにする（ステップＳ４）。その後、撮像装置１０の画像処理ユニット１３の画像補正部１３１において歪曲収差補正を行う（ステップＳ５）。
フレーム画像から顔情報が検出された場合（ステップＳ３にてＹｅｓ）、画像画角算出部２２２は、検出された全ての顔情報が画像内に入るような画角を算出する（ステップＳ６）。
画像画角算出部２２２によって算出された画角パラメータを、処理装置２０のＩ／Ｆユニット２１の画角・補正オン／オフ伝送部２１１が撮像装置１０の画像処理ユニット１３の画角設定部１３３に伝送する。画角設定部１３３は、メモリ１３４内に画角を設定する（ステップＳ７）。

歪曲収差補正要否判断部２２３は、画像画角算出部２２２によって算出された画角範囲の画像が、補正前のフレーム画像において歪曲収差が大きい部分を含んでいるか否かを判断する（ステップＳ８）。この処理では、撮像装置１０の撮像レンズ１１の特性に合わせて、歪曲収差補正が必要な画角の下限値を事前に決定しておき、算出した画角パラメータがこの下限値を越えていれば歪曲収差補正が必要と判断し、越えていなければ歪曲収差補正は必要ない、と判断する。
歪曲収差補正要否判断部２２３による判断結果は、画角・補正オン／オフ伝送部２１１に伝送される。画角・補正オン／オフ伝送部２１１は、判断内容を歪曲収差補正オン／オフ設定部１３２に伝送する。歪曲収差補正オン／オフ設定部１３２は、歪曲収差補正が必要な場合（ステップＳ８にてＹｅｓ）は、歪曲収差補正オンの指示を出す（ステップＳ９）。

歪曲収差補正が不要な場合（ステップＳ８にてＮｏ）は、歪曲収差補正オフの指示を出す（ステップＳ１２）。画像補正部１３１は、画角パラメータに従って、補正前のフレーム画像から、設定された画角範囲の画像の切り出し及び拡大処理を行う（ステップＳ１３）。
画像補正部１３１は、歪曲収差補正を行い（ステップＳ１０）、画角パラメータに従って、補正前のフレーム画像から、設定された画角範囲の画像の切り出し及び拡大処理を行う（ステップＳ１１）。
ステップＳ５、Ｓ１０、Ｓ１１、Ｓ１３において、画像補正部１３１によって補正された補正済みフレーム画像は、撮像装置１０のＩ／Ｆユニット１４から処理装置２０の映像出力ユニット２４及び通信ユニット２５に向けて伝送される（ステップＳ１４）。

ここで、顔検出部２２１による顔情報検出処理（ステップＳ２）について説明する。
顔情報検出には、既存の顔情報検出技術を用いることができる。例えば、非特許文献１に記載されたＧＭＭによる肌モデルを利用しての顔情報検出が可能である。非特許文献１における顔情報検出を用いる場合の処理概要は以下通りである。
まず、事前処理として肌モデルを作成しておく必要がある。具体的には、肌領域のみを含むサンプリング画像をＲＧＢ表色系（赤、緑、青）から、ＨＳＶ表色系（色相、彩度、明度）へ変換し、Ｈ、Ｓ成分のみを用いて複数の肌モデルを作成する。肌モデルの作成には、ＧＭＭ（混合正規分布モデル）を使用する。
顔検出部２２１は、上述のように予め作成された肌モデルを利用して顔情報を検出する（ステップＳ２の処理）。具体的には、画像伝送部１４２から伝送されたフレーム画像をＲＧＢ表色系からＨＳＶ表色系に変換する。フレーム画像の全画素から肌色候補を抽出する。このときＧＭＭを用い、所定の尤度を満たす画素を肌色候補とする。抽出された肌色候補に関して、予め作成しておいた複数の肌モデルから最適な肌モデルを選択する。最適な肌モデルを用いて、フレーム画像の各画素に対して肌色・非肌色判定を行う。このようにしてフレーム画像から肌色部分、すなわち人物の顔を検出できる。

この他にも、画像から顔のエッジ部分を抽出することにより顔情報を検出する方法や、事例のサンプリング及び学習を行って顔情報を識別する方法なども利用することができる。

画像画角算出部２２２における画角の算出方法について説明する。図６は、画角の算出方法について説明するための図である。図中左側に位置する人物の情報については符号ｐ、左側に位置する人物の情報については符号ｑを付している。以下、左右の情報を特に区別しない場合は、符号ｐ、ｑを省略して説明する。また、主として図中左側に位置する人物に関する情報の処理について説明するが、図中左側に位置する人物に関する情報の処理も同様に行われる。
図示する補正前のフレーム画像６０については、顔検出部２２１によって人物の顔が検出されている（顔情報部分６１）。以下では、顔情報部分６１を含んだ矩形を対象に処理を進める。
検出された全ての顔情報部分６１（６１ｐ、６１ｑ）に対し、これを取り囲む第一矩形６２（６２ｐ、６２ｑ）を夫々設定する。フレーム画像６０中に複数の顔情報が検出された場合には、複数個の第一矩形が設定される。
第一矩形６２は、例えば顔情報部分６１の上下左右端の画素を含む図形である。第一矩形６２のフレーム画像６０内における位置及び範囲は、第一矩形６２の左上の点Ｚ０（Ｚ０ｐ、Ｚ０ｑ）の座標と第一矩形６２の大きさ（横画素数と縦画素数）にて特定することができる。
ここで、座標の表現形式には、例えば画像左上部分を原点（０，０）として右下に行くにつれて座標値が増大するような形式を用いることができる。なお、図示するフレーム画像の大きさはｘ×ｙであり、図中左側に位置する人物の顔情報部分６１ｐを含む第一矩形６２ｐの大きさは、Ｘｐ０×Ｙｐ０である。

次に、第一矩形６２を拡大した第二矩形６３（６３ｐ、６３ｑ）を設定する。具体的には、第一矩形６２ｐの場合、その左右を夫々α×Ｘｐ０拡大し、上下に夫々β×Ｙｐ０拡大した矩形を得る。第一矩形６２に対して拡大された部分は、顔情報部分６１を含む画像をディスプレイに拡大表示したときに、顔情報部分６１をディスプレイの端部からある程度離間させた位置に表示するための余裕分となる。ここでα、βは拡大率であり、例えばα＝０．３、β＝０．２のように設定することができる。なお、拡大率は、本実施形態の画角調整機能が搭載されるテレビ会議端末の各部の特性に応じて決定される数値である。
このようにして拡大された第二矩形６３ｐの大きさは、Ｘｐ１×Ｙｐ１と表現できる。ただし、Ｘｐ１＝（１＋２α）Ｘｐ０、Ｙｐ１＝（１＋２β）Ｙｐ０である。

続いて、フレーム画像中の全ての第二矩形６３を包含する１つの第三矩形６４（Ｘ１×Ｙ１）を設定する。図６においては、２人の人物の顔情報が検出されているので、フレーム画像中に２つの第二矩形６３ｐ（Ｘｐ１×Ｙｐ１）と、第二矩形６３ｑ（Ｘｑ１×Ｙｑ１）が検出されており、第三矩形６４は双方の矩形を包含するものとなっている。なお、フレーム画像６０中に人物の顔情報が１人分だけ検出された場合、第三矩形６４は第二矩形６３と同一となる。

最後に、フレーム画像６０のアスペクト比を保持するように第三矩形６４を拡大して、第四矩形６５（Ｘ×Ｙ）を得る。第四矩形６５は、画像補正部１３１（図４参照）によって切り出し・拡大処理される範囲である。本実施形態においては、フレーム画像の横画素数ｘ、縦画素数ｙであるので、アスペクト比はｘ：ｙである。ここで、第四矩形６５の大きさは、以下のようにして算出できる。
［パターン１］Ｘ１／Ｙ１＜ｘ／ｙのとき、Ｘ＝Ｙ１×ｘ／ｙ、Ｙ＝Ｙ１
フレーム画像に比して第三矩形が縦長の場合である。この場合、第三矩形の左右を均等に拡大して第四矩形とする。
［パターン２］Ｘ１／Ｙ１＝ｘ／ｙのとき、Ｘ＝Ｘ１、Ｙ＝Ｙ１
第三矩形のアスペクト比がフレーム画像と同一の場合である。この場合は、第三矩形を第四矩形とする。
［パターン３］Ｘ１／Ｙ１＞ｘ／ｙのとき、Ｘ＝Ｘ１、Ｙ＝Ｘ１×ｙ／ｘ
フレーム画像に比して第三矩形が横長の場合である。この場合、第三矩形を下方に拡大して第四矩形とする（図６に示すパターン）。もちろん、上方に拡大してもよい。
このようにして得られた第四矩形６５に基づいて、画角パラメータを設定する。画角パラメータは前述の通り、少なくとも第四矩形６５の横画素数Ｘと縦画素数Ｙの情報を含んでいる。さらに、第四矩形６５の図中左上に位置する点Ａの座標（ｘａ，ｙａ）の情報を含んでいてもよい。

続いて、画角の算出方法について説明する。図７（ａ）〜（ｃ）は、画角の算出方法について説明するための図である。
撮像装置によって撮像可能な画角と、撮像された画像の歪曲収差特性は、使用する撮像レンズによって決まる。このため、歪曲収差補正が必要な画角も撮像レンズによって決まる。例えば、（ａ）に示すように、撮像可能な画角（補正前フレーム画像６０の画角）が８０°であり、画角６０°以上の範囲で歪曲収差が顕著に現れる撮像レンズを使用したとする。この場合、画角６０°以上の部分を含む画像について歪曲収差補正が必要であり、画角６０°に満たない部分のみを含む画像に対する歪曲収差補正は不要である。そこで、歪曲収差補正要否判断部２２３は、画像の切り出し範囲である第四矩形６５（顔情報包含部位）の画角が歪曲収差補正の必要な画角か否かを判断する。
撮像装置１０によって撮影可能な全画角をｚａ、歪曲収差補正が必要な画角の下限値をｚｂとする。また、第四矩形の横画素数をＸとし、フレーム画像の横画素数をｘとする。歪曲収差補正要否判断部２２３は、ｚｂ／ｚａ＞Ｘ／ｘ を満たすときは歪曲収差補正オフ指示を出し（図７（ｂ））、満たさないときは歪曲収差補正オン指示を出す（図７（ｃ））。

上述のように決定された画像の切り出し範囲と、歪曲収差補正オン／オフ指示に基づいて画像補正部１３１によって行われる補正について、具体的に説明する。
図８（ａ）〜（ｄ）は、処理装置における処理例を示す図であり、図９（ａ）、（ｂ）は、撮像装置の画像補正部による処理例を示す図である。この図は、歪曲収差補正のみを行う例を示している。
まず、処理装置２０においては、図８（ａ）に示す補正前のフレーム画像６０から、顔検出部２２１が人物の顔情報を検出する。（ｂ）には、検出された顔情報部分について第一矩形６２が設定されている様子を示している。画像画角算出部２２２は、（ｃ）に示すように、フレーム画像６０から切り出す画像の範囲（第四矩形６５）を算出する。なお、この例では、第一矩形６２に対して所定の余裕分を加えた矩形がフレーム画像６０の解像度を超えるので、画像の切り出しは行われない。

また、歪曲収差補正要否判断部２２３は、第四矩形６５の画角が歪曲収差補正の必要な画角であるか否かを判断する。（ｃ）に示すように、第四矩形６５は歪曲収差補正の必要な画角を越えているので、歪曲収差補正要否判断部２２３は歪曲収差補正オン指示を出す。
画像補正部１３１では、図９（ａ）に示す補正前のフレーム画像に対して、歪曲収差補正のみを行って、（ｂ）に示す補正済みフレーム画像を生成する。生成された補正済みフレーム画像は、補正画像伝送部１４１によって映像出力ユニット２４と通信ユニット２５に伝送される。

図１０（ａ）〜（ｄ）は、処理装置における他の処理例を示す図であり、図１１（ａ）〜（ｃ）は、撮像装置の画像補正部による他の処理例を示す図である。この図は、画像の切り出し、及び拡大を行い、歪曲収差補正を行わない例を示している。
まず、図１０（ａ）に示す補正前のフレーム画像から、顔検出部２２１が人物の顔情報を検出する。（ｂ）には、検出された顔情報部分について第一矩形６２が設定されている様子を示している。画像画角算出部２２２は、（ｃ）に示すように、フレーム画像から切り出す画像の範囲（第四矩形６５）を算出する。また、歪曲収差補正要否判断部２２３は、第四矩形６５の画角が歪曲収差補正の必要な画角であるか否かを判断する。（ｃ）では、第四矩形６５は歪曲収差補正の必要な画角を越えていないので、歪曲収差補正要否判断部２２３は歪曲収差補正オフ指示を出す。
画像補正部１３１では、図１１（ａ）に示す補正前のフレーム画像に対して、（ｂ）に示すように画像の切り出しを行い、さらに切り出した画像の拡大処理を行って、（ｃ）に示す補正済みフレーム画像を生成する。生成された補正済みフレーム画像は、補正画像伝送部１４１によって映像出力ユニット２４と通信ユニット２５に伝送される。
以上のように本実施形態によれば、補正前のフレーム画像内に写る人物の顔がディスプレイに大きく表示されるように画角を調整する際に、補正前のフレーム画像から検出された顔情報を含む画像部分の画角が、歪曲収差補正の必要な画角を越えているか否かによって自動的に歪曲収差補正処理のオン／オフを切り替えるので、画像品質を保持しつつ、歪曲収差補正処理による遅延を抑制することができる。

本発明の他の実施形態に係る画像処理装置について説明する。図１２は、本発明の他の実施形態に係る画像処理装置の機能ブロック図である。画像処理装置は、第一の実施形態と同様に、少なくとも撮像装置１０と処理装置２０と、を含んで構成されている。本実施形態においては、処理装置にて歪曲収差補正処理等を行う点に特徴がある。上記実施形態と同一の部材には同一の符号を付して説明する。
撮像装置１０は、フレーム画像を取得する画像取得部１２１を有する画像センサ１２と、画像取得部１２１によって取得されたフレーム画像を処理装置２０の顔検出部２２１に伝送する画像伝送部１４２を有するＩ／Ｆユニット１４と、を備えている。

処理装置２０のＣＰＵ２２は、画像伝送部１４２から受信したフレーム画像内に写る人物の顔情報を検出する顔検出部２２１と、顔検出部２２１によって検出されたフレーム画像内の全ての顔情報が包含される画角を算出する画像画角算出部２２２と、画像画角算出部２２２によって算出された画角から、その画角範囲の画像に対して歪曲収差補正が必要か否かを判断する歪曲収差補正要否判断部２２３と、画像画角算出部２２２によって算出された画角と歪曲収差補正要否判断部２２３からの歪曲収差補正オン／オフの指示に基づいて、フレーム画像を補正して補正済みフレーム画像を生成する画像補正部２２４と、を備える。
このように、本実施形態においては、画像補正部２２４を撮像装置１０ではなく、処理装置２０側に備えている。各部の動作は、第一の実施形態と同一であるため、その説明を省略する。
以上のように本実施形態によれば、歪曲収差補正機能を備えていない撮像装置１０を利用した場合にも、歪曲収差補正の要否を判断して自動的に歪曲収差補正処理のオン／オフを切り替えるので、画像品質を保持しつつ、歪曲収差補正処理による遅延を抑制することができる。

１…テレビ会議システム、１００…テレビ会議端末、１０…撮像装置、１１…撮像レンズ、１２…画像センサ、１２１…画像取得部、１３…画像処理ユニット、１３１…画像補正部、１３２…歪曲収差補正オン／オフ設定部、１３３…画角設定部、１３４…メモリ、１４…Ｉ／Ｆユニット、１４１…補正画像伝送部、１４２…画像伝送部、２０…処理装置、２１…Ｉ／Ｆユニット、２１１…オフ伝送部、２２…ＣＰＵ、２２１…顔検出部、２２２…画像画角算出部、２２３…歪曲収差補正要否判断部、２２４…画像補正部、２３…メモリ、２４…映像出力ユニット、２５…通信ユニット、２６…制御ユニット、２７…バス、３１…マイク、３２…スピーカ、３３…ディスプレイ、３３ａ…ケーブル、４０…筐体、４１…側面、４２…マイク用開口、４３…上面、４４…電源スイッチ、４５…スピーカ用開口、４６…収容部、５０…アーム、５１…トルクヒンジ、５２…カメラハウジング、５３…トルクヒンジ、６０…フレーム画像、６０…補正前フレーム画像、６１…顔情報部分、６２…第一矩形、６３…第二矩形、６４…第三矩形、６５…第四矩形

特開２００３−２３００４９公報

「ＧＭＭによる肌モデルを用いた背景にロバストな人物検出」電子情報通信学会技術研究報告，vol．105，no．375，PRMU2005-99，pp．37-42，October 2005．

Claims (5)

1. 撮像レンズによって結像された撮像対象の画像を取得する画像取得部と、
   該画像取得部によって取得された前記画像から顔情報を検出する顔検出部と、
   前記画像のうち、前記顔検出部によって検出された前記顔情報を包含する顔情報包含部位の画角を算出する画像画角算出部と、
   該画像画角算出部によって算出された前記画角と前記撮像レンズの歪曲特性とに基づいて、前記画像に対する歪曲収差補正の要否を判断する補正要否判断部と、
   を有することを特徴とする画像処理装置。
2. 前記補正要否判断部は、前記顔情報包含部位の画角が所定値以上の場合に、前記画像の歪曲収差補正が必要であると判断することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正要否判断部によって前記画像の歪曲収差補正が必要であると判断された場合に、前記画像に対して歪曲収差補正を行う画像補正部を備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像取得部が、撮像レンズによって結像された撮像対象の画像を取得するステップと、
   顔検出部が、前記画像取得部によって取得された前記画像から顔情報を検出するステップと、
   画像画角算出部が、前記画像のうち、前記顔検出部によって検出された前記顔情報を包含する顔情報包含部位の画角を算出するステップと、
   補正要否判断部が、前記画像画角算出部によって算出された前記画角と前記撮像レンズの歪曲特性とに基づいて、前記画像に対する歪曲収差補正の要否を判断するステップと、
   を有することを特徴とする画像処理方法。
5. 画像処理装置を、
   撮像レンズによって結像された撮像対象の画像を取得する手段、
   取得された前記画像から顔情報を検出する手段、
   前記画像のうち、検出された前記顔情報を包含する顔情報包含部位の画角を算出する手段、及び、
   算出された前記画角と前記撮像レンズの歪曲特性とに基づいて、前記画像に対する歪曲収差補正の要否を判断する手段、として機能させるための画像処理プログラム。

Images