JP6047919B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年、携帯端末装置（携帯電話装置、スマートフォン、タブレット端末、カメラ付パーソナルコンピュータ等）においては、撮影機能を有する画像処理装置による画像処理が行われる。特に、ディスプレイ装置の表示画面の少なくとも１つがカメラと同じ向きに設置されているタイプの装置の場合、カメラで撮影した画像の左右を反転して該表示画面に表示する画像処理方法が一般的に行われている。この画像処理方法は、撮影対象が本人自身であり、かつ本人が撮影した画像を見る場合を想定したものであり、画像の左右を反転し、鏡を使った場合と同じ画像とすることで、撮影者にとって違和感の無い見慣れた画像とするためである。

この分野の公知例技術として、例えば特許文献１には、撮影対象を撮影するレンズと撮像素子を含むカメラを搭載した携帯端末装置が開示されている。即ち、携帯端末で相手を撮影するときに相手側から見える第１の画面に鏡に写ったように画像を表示あるいは撮影状態を表すステータスを表示すると共に、撮影者から見える第２の画面に画像を表示するものである。また、撮影時に被撮影者が撮影される画像や撮影状態の確認を可能にしている。具体的な構造としては、レンズを設けた側と同じ側に設けた第１の画面と、レンズを設けた側と異なる側に設けた第２の画面と、被撮影対象にレンズを向けて撮影した画像を第１の画面および第２の画面に表示する手段を備える、ものとしている。

また、例えば特許文献２には、カメラを搭載するデジタルフォトフレームにおいて面倒な操作を必要とせずに記憶されている画像を表示する通常表示モードと撮影した画像を鏡像表示する鏡像表示モードとを切り替える技術が開示されている。具体的には、近接センサにより近接物が感知されなかったときには、内蔵メモリやメモリカードに保存されている画像ファイルを表示パネルに表示する通常表示モードを実行する。しかし、近接センサにより近接物の近接が感知されると共にカメラにより撮影された画像の中から顔認識処理により人物の顔が認識されたときには、撮影された画像を鏡のように左右反転して表示する鏡像表示モードを実行する、ものとしている。

また、例えば特許文献３には、使用者が意識することなく、また煩わしい操作せずに、ディスプレイ等の視認性を確保すると共に、照明の消灯状態を含み継続的な顔の検出動作を不要とし一層の省電力化を実現可能な情報端末の照明制御装置が開示されている。具体的には、正面カメラ部を搭載する情報端末の照明制御装置であって、操作部の操作により一定時間の照明の点灯を開始する。一定時間の満了時に、正面カメラ部の撮像画像に顔画像が検出された場合に一定時間の照明の点灯を再開始して点灯を継続する照明制御を行う、ものとしている。

さらに、例えば特許文献４には、カメラ付携帯電話機の表示画面をミラー代わりに使用して自身の顔等を観察するときの画像品質を高める技術が開示されている。これは、撮影レンズを通して被写体像を固体撮像素子に入射させ、該被写体像を表す画像信号を得る撮像装置である。具体的な構造としては、被写体に合焦するように撮影レンズの焦点位置を変更する合焦手段と、画像信号に基づく画像を表示する表示画面を備える。また、撮影者自身の顔を含む被写体像を撮影しているときに、撮影者が自らの顔画像を視認できる方向に表示面を向けられる表示画面を備える。さらに、固体撮像素子の撮像領域に対する顔画像の大きさの比が所定閾値以上になったとき、中景または遠景の被写体に合焦させるモードから近景の被写体に合焦させるモードに合焦手段を自動的に切り替える制御部を備える、ものとしている。

特許第４００５１１９号公報 特開２００９−２０４８１７号公報 特開２００９−２５２６５０号公報 特開２０１０−１６１７０２号公報

ところで、上記背景技術で述べた従前の画像処理装置にあっては、前述のとおり、携帯端末装置（携帯電話、スマートフォン、タブレット端末、カメラ付パーソナルコンピュータ等）に適用されている。この場合、特に、ディスプレイ装置の表示画面の少なくとも１つが、カメラと同じ向きに設置されているタイプの装置にあっては、前述のとおり、カメラで撮影した画像の左右を反転して該表示画面に表示することが多い。これは、本人自身が撮影対象であり、かつ本人が撮影した画像を見る場合を想定したものであり、鏡を使った場合と同様の画像を表示することで、撮影者が感じる違和感を無くし、見慣れた画像とするためである。

しかしながら、上記の画像処理方法では、撮影画像の鏡像のみを固定的に表示するため、文字が判別不能となるといった問題点が有った。また、人物の顔を検出した場合、誰が撮影画像を確認するかを検証しないで、一方的に左右を反転するため、撮影対象の人物以外に対しては違和感を与えるといった問題点が有った。即ち、常に鏡像表示とする場合、画像に文字が含まれていると、文字を判読できないという問題が有り、また、撮影者以外の対象物を撮影すると、表示画像と実画像とが異なるので、撮影者が両画像を見比べた場合に違和感を覚えるという問題点が有った。

本発明の目的は、上述した課題を解決する画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明の第１の形態によると、画像を表示可能な画像表示部と、画像表示部と同じ向きに設けられた撮像部とを具備する電子機器に組み込まれて画像処理を行う画像処理装置であって、撮像部にて撮像された被写体に対応する画像を生成する画像生成部と、画像生成部が生成した画像から人物の顔を検出する顔検出部と、顔検出部が人物の顔を検出した場合に、被写体と撮像部との間の距離を検出すると共に、距離が所定範囲内であるか否かを判定する距離検出部と、距離が所定範囲内であると距離検出部が判定した場合に、画像生成部が生成した画像の左右を反転させた鏡像画像を生成する鏡像画像生成部とを備え、距離が所定範囲内であると距離検出部が判定した場合には、鏡像画像生成部が生成した鏡像画像を画像表示部に表示し、距離が所定範囲内ではないと距離検出部が判定した場合には、画像生成部が生成した画像を画像表示部に表示する。

本発明の第２の形態によると、画像を表示可能な画像表示部と、画像表示部と同じ向きに設けられた撮像部とを具備する電子機器に組み込まれる画像処理装置における画像処理方法であって、撮像部にて撮像された被写体に対応する画像を生成する画像生成段階と、画像生成段階にて生成された画像から人物の顔を検出する顔検出段階と、顔検出段階にて人物の顔が検出された場合に、被写体と撮像部との間の距離を検出すると共に、距離が所定範囲内であるか否かを判定する距離検出段階と、距離が所定範囲内であると距離検出段階にて判定された場合に、画像生成段階にて生成された画像の左右を反転させた鏡像画像を生成する鏡像画像生成段階とを含み、距離が所定範囲内であると距離検出段階にて判定された場合には、鏡像画像生成段階にて生成された鏡像画像を画像表示部に表示し、距離が所定範囲内ではないと距離検出段階にて判定された場合には、画像生成段階にて生成された画像を画像表示部に表示する。

本発明の第３の形態によると、画像を表示可能な画像表示部と、画像表示部と同じ向きに設けられた撮像部とを具備する電子機器に組み込まれて画像処理を行う画像処理装置としてコンピュータを機能させるプログラムであって、コンピュータを、撮像部にて撮像された被写体に対応する画像を生成する画像生成部、画像生成部が生成した画像から人物の顔を検出する顔検出部、顔検出部が人物の顔を検出した場合に、被写体と撮像部との間の距離を検出すると共に、距離が所定範囲内であるか否かを判定する距離検出部、距離が所定範囲内であると距離検出部が判定した場合に、画像生成部が生成した画像の左右を反転させた鏡像画像を生成する鏡像画像生成部として機能させ、距離が所定範囲内であると距離検出部が判定した場合には、鏡像画像生成部が生成した鏡像画像を画像表示部に表示し、距離が所定範囲内ではないと距離検出部が判定した場合には、画像生成部が生成した画像を画像表示部に表示する。

以上説明したように、本発明によれば、画像撮影部に付属するカメラと、画像表示部に付属する少なくとも１つの表示画面とが、同じ向きに設置されているタイプの装置の場合に、撮影者が意識することなく、違和感のない自然な画像表示を行うことができる。

本発明の実施形態に係る画像処理装置の全体構成を示す構成図である。 本発明の実施形態に係る画像処理装置の画像処理方法のイメージを示す説明図である。 本発明の実施形態に係る画像処理装置の処理手順を示すフローチャート図である。

以下、本発明の画像処理装置及び画像処理方法並びにコンピュータプログラムの実施形態について、図面を参照して詳細に説明する。図１は、本発明の実施形態に係る画像処理装置の全体構成を示す構成図である。同図において、本実施形態の画像処理装置は、画像撮影部１００、顔検出部１１０、距離検出部１２０、鏡像生成部１３０、及び画像表示部１４０を、具備する。

本実施形態の画像処理装置は、外観図は省略するが、画像表示部１４０に付属するディスプレイ装置には、画像撮影部１００に付属するカメラと同じ向きに設置されている表示画面が、少なくとも１つは存在するタイプの装置であるものとする。また、本実施形態の画像処理装置は、撮影画像データの送信機能を有する携帯端末装置に組み込むことが可能であり、また、撮影画像データの送信機能を有しないデジタル機器にも組み込むことが可能である。ここで、撮影画像データの送信機能を有する携帯端末装置とは、例えば、デジカタルカメラ、携帯電話装置、スマートフォン、タブレット端末、ゲーム機器、カメラ付パーソナルコンピュータ等である。また、撮影画像データの送信機能を有しないデジタル機器とは、例えば、デジタルカメラ、ゲーム機器等である。

以下、本実施形態の画像処理装置の各構成要素について説明する。画像撮影部１００は、画像データを生成可能なデジタルカメラ等の機器である。顔検出部１１０は、画像撮影手部００で生成した画像データから人物の顔を検出する。顔検出部１１０は、ハードウェアであっても、ソフトウェアであってもよい。距離検出部１２０は、撮影対象物とカメラとの間の距離を検出する。距離検出部１２０は、画像撮影部１００が決定した焦点距離を検出する方法で撮影対象物との距離を検出するか、若しくは画像データを分析する方法で撮影対象物との距離を検出するものとする。鏡像生成部１３０は、画像撮影部１００で生成した画像データを左右反転した鏡像を生成する。画像表示部１４０は、画像データを表示可能なＬＣＤ等の機器である。

本実施形態の画像処理装置では、画像撮影部１００のカメラと、画像表示部１４０のディスプレイとが同じ向きに設置されている装置とする。この場合、顔検出部１１０と、距離検出部１２０と、鏡像生成部１３０との連携処理によって表示画像の制御を行うことで、撮影者が意識することなく、違和感のない画像表示を行う。このため、まず、顔検出部１１０が、撮影した画像データに人物の顔が含まれているかを確認する。次に、距離検出部１２０が、撮影対象までの距離を確認することで、撮影の対象となった人物と、画像を確認する人物とが同一人物であるか否かを判断する。

以下、この判断方法を、より具体的に説明する。撮影した画像データで検出した人物の顔と本装置との間の距離が、所定の距離範囲以内であれば、撮影の対象となった人物と、画像を確認する人物とが同一人物であると判断する。撮影した画像データで検出した人物の顔と本装置との間の距離が、所定の距離範囲以内であれば、撮影の対象となった人物と、画像を確認する人物（一般には撮影者）とが同一人物ではないと判断する。これとは逆に、撮影の対象となった人物と、画像を確認する人物とが同一人物であると判断した場合は、鏡像生成部１３０が、受け取った画像データの左右を反転して鏡像を生成する。撮影の対象となった人物と、画像を確認する人物とが同一人物でないと判断した場合には、受け取った画像データのままとする。

図２は、本発明の実施形態に係る画像処理装置の画像処理方法のイメージを示す説明図である。同図に示すように、カメラ（画像撮影部１００に付属するカメラ）で撮影した撮影対象（ここでは人物）の撮影画像を鏡像生成部１３０にて反転処理し、ディスプレイ（画像表示部１４０に付属する表示装置）に表示する。このイメージに限るならば、従前の画像処理方法と同様であり、よって、撮影方法にも実質的な差異は無い。

図３は、本発明の実施形態に係る画像処理装置の処理手順を示すフローチャート図である。以下、図１，２を参照しながら、図３に示すフローチャートを使用して、本実施形態に係る画像処理装置の処理手順について説明する。（ステップＳ３００）：まず、ステップＳ３００では、起動済の画像撮影部１００が、撮影対象の画像データを生成し、顔検出部１１０に送出する。（ステップＳ３０１）：次に、ステップＳ３０１では、顔検出部１１０が、送出された画像データに含まれる人物の顔を検出する。人物の顔を検出した場合には当該画像データを距離検出部１２０に送出し、ステップＳ３０３に進む。また、人物の顔が検出されない場合には当該画像データを画像表示部１４０に送出し、ステップＳ３０６に移る。

（ステップＳ３０３）：ステップＳ３０３では、距離検出部１２０が、送出された画像データにおいて、画像撮影部１００に付属するカメラと撮影対象物との間の距離を検出する。（ステップＳ３０４）：ステップＳ３０４では、距離検出部１２０が、検出した距離が、予め設定されたしきい値以下か否かを検証する。検出した距離が、予め設定されたしきい値以下の場合（即ち、撮影の対象となった人物と、画像を確認する人物とが同一人物であると判断される場合）には、当該画像データを鏡像生成部１３０に送出し、ステップＳ３０５に進む。また、検出した距離が、予め設定されたしきい値以下ではない場合には、そのままステップＳ３０６に移る。（ステップＳ３０５）：ステップＳ３０５では、鏡像生成部１３０が、受け取った画像データの左右を反転して鏡像を生成し、画像表示部１４０に送出する。（ステップＳ３０６）：ステップＳ３０６では、画像表示部１４０が、受け取った画像データを表示する。

このように、画像撮影部１００付属のカメラと、画像表示部１４０付属の少なくとも１つの表示画面とが同じ向きに設置されているタイプの装置において、顔検出部１１０と、距離検出部１２０と、鏡像生成部１３０との連携処理によって表示画像の制御を行う。これにより、撮影者が意識することなく、違和感のない自然な画像表示を行うことが可能となる効果が有る。即ち、顔検出部１１０が、撮影した画像データに人物の顔が含まれているかを確認する。また、距離検出部１２０が、撮影対象までの距離を確認することで、撮影の対象となった人物と、画像を確認する人物（一般には撮影者）とが同一人物であるか否かを判断する。撮影の対象となった人物と、画像を確認する人物とが同一人物である場合は、鏡像生成部１３０が、受け取った画像データの左右を反転して鏡像を生成する。

なお、本発明に係る画像処理装置の各構成要素の処理の少なくとも一部をコンピュータ制御により実行するものとする。かつ、上記処理を、図３のフローチャートで示した手順によりコンピュータに実行せしめるプログラムは、半導体メモリを始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータ読み取り可能な記録媒体に格納して配付してもよい。そして、少なくともマイクロコンピュータ、パーソナルコンピュータ、汎用コンピュータを範疇に含むコンピュータが、上記の記録媒体から上記プログラムを読み出して、実行するものとしてもよい。

１００ 画像撮影部
１１０ 顔検出部
１２０ 距離検出部
１３０ 鏡像生成部
１４０ 画像表示部

Claims (8)

1. 画像を表示可能な画像表示部と、前記画像表示部と同じ向きに設けられた撮像部とを具備する電子機器に組み込まれて画像処理を行う画像処理装置であって、
   前記撮像部にて撮像された被写体に対応する画像を生成する画像生成部と、
   前記画像生成部が生成した画像から人物の顔を検出する顔検出部と、
   前記顔検出部が人物の顔を検出した場合に、前記被写体と前記撮像部との間の距離を検出すると共に、前記距離が所定範囲内であるか否かを判定する距離検出部と、
   前記距離が所定範囲内であると前記距離検出部が判定した場合に、前記画像生成部が生成した画像の左右を反転させた鏡像画像を生成する鏡像画像生成部と
   を備え、
   前記距離が所定範囲内であると前記距離検出部が判定した場合には、前記鏡像画像生成部が生成した鏡像画像を前記画像表示部に表示し、前記距離が所定範囲内ではないと前記距離検出部が判定した場合には、前記画像生成部が生成した画像を前記画像表示部に表示する
   ことを特徴とする画像処理装置。
2. 前記距離検出部は、前記画像生成部が決定した焦点距離により前記距離を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記距離検出部は、前記画像生成部が生成した画像を分析することにより前記距離を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記顔検出部が人物の顔を検出した場合には、前記鏡像画像生成部が生成した鏡像画像を前記画像表示部に表示し、前記顔検出部が人物の顔を検出しなかった場合には、前記画像生成部が生成した画像を前記画像表示部に表示する
   ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記電子機器として画像の送信機能を有する携帯端末装置に組み込まれる
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記電子機器として画像の送信機能を有しないデジタル機器に組み込まれる
   ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
7. 画像を表示可能な画像表示部と、前記画像表示部と同じ向きに設けられた撮像部とを具備する電子機器に組み込まれる画像処理装置における画像処理方法であって、
   前記撮像部にて撮像された被写体に対応する画像を生成する画像生成段階と、
   前記画像生成段階にて生成された画像から人物の顔を検出する顔検出段階と、
   前記顔検出段階にて人物の顔が検出された場合に、前記被写体と前記撮像部との間の距離を検出すると共に、前記距離が所定範囲内であるか否かを判定する距離検出段階と、
   前記距離が所定範囲内であると前記距離検出段階にて判定された場合に、前記画像生成段階にて生成された画像の左右を反転させた鏡像画像を生成する鏡像画像生成段階と
   を含み、
   前記距離が所定範囲内であると前記距離検出段階にて判定された場合には、前記鏡像画像生成段階にて生成された鏡像画像を前記画像表示部に表示し、前記距離が所定範囲内ではないと前記距離検出段階にて判定された場合には、前記画像生成段階にて生成された画像を前記画像表示部に表示する
   ことを特徴とする画像処理方法。
8. 画像を表示可能な画像表示部と、前記画像表示部と同じ向きに設けられた撮像部とを具備する電子機器に組み込まれて画像処理を行う画像処理装置としてコンピュータを機能させるプログラムであって、
   前記コンピュータを、
   前記撮像部にて撮像された被写体に対応する画像を生成する画像生成部、
   前記画像生成部が生成した画像から人物の顔を検出する顔検出部、
   前記顔検出部が人物の顔を検出した場合に、前記被写体と前記撮像部との間の距離を検出すると共に、前記距離が所定範囲内であるか否かを判定する距離検出部、
   前記距離が所定範囲内であると前記距離検出部が判定した場合に、前記画像生成部が生成した画像の左右を反転させた鏡像画像を生成する鏡像画像生成部
   として機能させ、
   前記距離が所定範囲内であると前記距離検出部が判定した場合には、前記鏡像画像生成部が生成した鏡像画像を前記画像表示部に表示し、前記距離が所定範囲内ではないと前記距離検出部が判定した場合には、前記画像生成部が生成した画像を前記画像表示部に表示する
   ことを特徴とするプログラム。

Images