JP4892071B2 - 画像生成装置、画像加工方法、および、プログラム - Google Patents

Description

本発明は、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる画像生成装置、画像加工方法、および、プログラムに関する。

近年、ノート型のパソコン（パーソナルコンピュータ）等において、カメラ（ＣＣＤ等の撮像ユニット）を備えた製品が販売されている。このカメラは、例えば、表示部（液晶等のディスプレイ）を支える枠の上部等に組み込まれており、ユーザ（顔等）を撮影可能となっている。
このようなカメラは、例えば、ビデオチャットを行う際に利用される。つまり、通信可能に接続された各パソコンにおいて、カメラで撮影された画像が相互に送られるため、各ユーザは相手の顔等を見ながら、チャットを行うことができるようになっている。

最近では、携帯型のゲーム装置等にも、このようなカメラが組み込まれた製品が販売されている。また、最初からカメラが組み込まれていなくとも、周辺機器のカメラをプレイヤが取り付けて使用できるゲーム装置が知られている。

このようなビデオチャットが行えるゲーム装置等において、一方のユーザ端末で映像に同期して発声した音声等を、他方のユーザ端末で映像に同期させて出力する技術も開示されている（例えば、特許文献１参照）。

特開２００７−２２２４１１号公報 （第９−１９頁、第３図）

上述したビデオチャットが行えるゲーム装置等では、一般に、カメラ機能のオン／オフをユーザが設定できるようになっている。そのため、自分の顔を相手に見せたくないような場合には、ユーザがカメラ機能をオフに設定することで、音声だけを相手側へ送ることができる。
しかしながら、相手側のユーザにとっては、音声だけで画像がないと、相手の様子が掴みにくく、ビデオチャットの長所が生かされないものとなっていた。

そもそも、ビデオチャットにおいて、ユーザがカメラ機能をオフにするのは、自分の顔を相手側に知られたくないという極端な場合を除いて、都合の悪い今の状態（顔や肌の現状等）を見せたくないという場合がほとんどである。例えば、女性ユーザの場合では、化粧を落としているときや、肌荒れ等が気になっているときなどに、カメラ機能をオフにしてしまう。また、男性ユーザであっても、寝起きで身支度を整えていないときや、寝不足等で目の下に隈ができているときなどに、カメラ機能をオフにしてしまう。
つまり、従来では、カメラ機能のオンかオフしか選べないため、自分の顔を見せるのにほんの少しでも不都合がある状況では、カメラ機能をオフにしてしまうユーザが多かった。

そのため、このようなほんの少し不都合な状況において、ユーザのプライバシを保護しつつも、コミュニケーションに必要な表情の把握を可能とするゲーム装置（画像生成装置）等の開発が求められていた。

本発明は、上記実状に鑑みてなされたもので、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる画像生成装置、画像加工方法、および、プログラムを提供することを目的とする。

本発明の第１の観点に係る画像生成装置は、検出部、画像抽出部、画像加工部、及び、画像生成部を備えて構成される。

まず、検出部は、例えば、カメラ等により撮影された撮影画像から人物を検出する。また、画像抽出部は、検出された当該人物の人物画像を、当該撮影画像から抽出する。また、画像加工部は、抽出された当該人物画像を、例えば、ぼかし加工する。そして、画像生成部は、加工された当該人物画像を、例えば、人物の写っていない背景画像上に合成した加工撮影画像を生成する。

すなわち、本願発明では、撮影画像から人物画像（ユーザの画像）を抽出し、ぼかしなどの加工を施す。そして、加工した人物画像を背景画像上に合成して、加工撮影画像を生成する。このため、ユーザが顔や肌の詳細等を見せたくない場合でも、ぼかしなどの加工を施した加工撮影画像により、その詳細を隠しつつも、表情までは把握可能にできる。また、人物画像を背景画像と合成するため、例えば、撮影時のユーザの背後等に、見られては不都合のあるものが写っていたとしても、ユーザの画像以外は抽出されないため、その不都合のあるものを適切に隠すことができる。
この結果、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる。

本発明の第２の観点に係る画像生成装置は、画像記憶部、撮影部、検出部、画像抽出部、画像加工部、画像生成部、及び、画像送信部を備えて構成される。

まず、画像記憶部は、例えば、人物の写っていない背景画像を記憶する。また、撮影部は、人物を含む撮影画像を撮影する。また、検出部は、撮影された撮影画像から、顔認識により当該人物の顔画像を検出する。また、画像抽出部は、検出された当該顔画像と周囲の画像とに基づいて、当該撮影画像から当該人物の人物画像を抽出する。また、画像加工部は、抽出された当該人物画像を、例えば、ぼかし加工する。また、画像生成部は、加工された当該人物画像を、記憶された当該背景画像上に合成（例えば、半透明合成）した加工撮影画像を生成する。そして、画像送信部は、生成された当該加工撮影画像を、他の装置に送信する。

すなわち、本願発明では、撮影画像から検出した顔画像等に基づいて人物画像（ユーザの画像）を抽出し、ぼかしなどの加工を施す。そして、加工した人物画像を背景画像上に合成して加工撮影画像を生成し、他の装置に送信する。このため、ユーザが顔や肌の詳細等を見せたくない場合でも、ぼかしなどの加工を施した加工撮影画像により、その詳細を隠すことができ、一方、相手側（他の装置）にとっては、加工撮影画像からユーザの表情までは把握できる。また、人物画像を背景画像と合成するため、例えば、撮影時のユーザの背後等に、見られては不都合のあるものが写っていたとしても、ユーザの画像以外は抽出されないため、その不都合のあるものを適切に隠すことができる。
この結果、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる。

画像加工部は、抽出された当該人物画像をぼかし加工し、
画像生成部は、ぼかし加工された当該人物画像を当該背景画像上に半透明合成した加工撮影画像を生成してもよい。
この場合、ぼかし加工された人物画像により、ユーザの顔や肌の詳細等が適切に隠され、また、加工された人物画像を背景画像に適切になじませる（とけ込ませる）ことができる。

上記画像生成装置は、順次撮影された撮影画像から、当該人物の動き量を測定する測定部を更に備え、
画像加工部は、測定された当該動き量に基づいて、ぼかし度合いを変更して、当該人物画像をぼかし加工してもよい。例えば、画像加工部は、測定された動き量が大きいほど、ぼかし度合いを小さくし、逆に、動き量が小さいほど、ぼかし度合いを大きくして、ぼかし加工する。つまり、ユーザの動き量が大きい場合には、その動きによって、ユーザの顔や肌の詳細等が適切に隠されるため、ぼかし度合いを小さくする。逆に、ユーザの動き量が小さい場合には、静止時と同様に、ユーザの顔や肌の詳細が明らかとなってしまうため、ぼかし度合いを大きくし、その詳細を隠すようにする。
この場合、ユーザの動きに応じて、ユーザの画像を適切に加工することができる。

上記画像生成装置は、順次撮影された撮影画像から、当該人物の身仕度の度合いを測定する測定部を更に備え、
画像加工部は、測定された身仕度の度合いに基づいて、ぼかし度合いを変更して、当該人物画像をぼかし加工してもよい。例えば、画像加工部は、測定部が測定した身仕度の度合いが高まるにつれて、ユーザの詳細を隠す必要がなくなって来るため、ぼかし度合いを小さくする。その際、画像加工部は、身仕度が整った箇所についてだけ、ぼかし度合いを小さくしても良い。例えば、ユーザが上着を羽織った場合には、服のぼかしを小さくし、また、ユーザが口紅を付けたら、口元のぼかしを小さくし、更に、ユーザが髪を整えた場合には、髪のぼかしを小さくする加工を行う。
この場合、ユーザの身仕度の度合いに応じて、ユーザの画像を適切に加工することができる。

本発明の第３の観点に係る画像加工方法は、検出部と、画像抽出部と、画像加工部と、画像生成部とを有する画像生成装置における画像加工方法であって、検出ステップ、画像抽出ステップ、画像加工ステップ、及び、画像生成ステップを備えて構成される。

まず、検出ステップでは、例えば、カメラ等により撮影された撮影画像から人物を検出する。また、画像抽出ステップでは、検出された当該人物の人物画像を、当該撮影画像から抽出する。また、画像加工ステップでは、抽出された当該人物画像を、例えば、ぼかし加工する。そして、画像生成ステップでは、加工された当該人物画像を、例えば、人物の写っていない背景画像上に合成した加工撮影画像を生成する。

すなわち、本願発明では、撮影画像から人物画像（ユーザの画像）を抽出し、ぼかしなどの加工を施す。そして、加工した人物画像を背景画像上に合成して、加工撮影画像を生成する。このため、ユーザが顔や肌の詳細等を見せたくない場合でも、ぼかしなどの加工を施した加工撮影画像により、その詳細を隠しつつも、表情までは把握可能にできる。また、人物画像を背景画像と合成するため、例えば、撮影時のユーザの背後等に、見られては不都合のあるものが写っていたとしても、ユーザの画像以外は抽出されないため、その不都合のあるものを適切に隠すことができる。
この結果、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる。

本発明の第４の観点に係るプログラムは、コンピュータ（電子機器を含む。）を、上記の画像生成装置として機能させるように構成する。

このプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。

上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。

本発明によれば、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる。

本実施形態に係るゲーム装置の外観を示す模式図である。 本実施形態に係るゲーム装置の概要構成を示すブロック図である。 本実施形態に係る画像生成装置の構成を示すブロック図である。 （ａ），（ｂ）共に、背景画像の一例を示す模式図である。 （ａ），（ｂ）共に、人物（ユーザ）を検出する様子を説明するための模式図である。 （ａ）〜（ｃ）全て、人物画像を抽出する様子を説明するための模式図である。 （ａ）が、ぼかし加工した人物画像の一例を示す模式図であり、（ｂ）が、絵画調加工した人物画像の一例を示す模式図である。 （ａ），（ｂ）共に、生成した加工撮影画像の一例を示す模式図である。 （ａ），（ｂ）に、表示部に表示されるビデオチャット画面の一例を示す模式図である。 本実施形態に係る画像加工処理を説明するためのフローチャートである。 他の実施形態に係る画像生成装置の構成を示すブロック図である。 （ａ）〜（ｅ）全て、顔の動き量を求める様子を説明するための模式図である。 特徴部位が合成された加工撮影画像の一例を示す模式図である。

以下に本発明の実施形態を説明する。以下では、理解を容易にするため、携帯型ゲーム機（ゲーム装置）に本発明が適用される実施形態を説明するが、各種のコンピュータ、ＰＤＡ、携帯電話などの情報処理装置においても同様に本発明を適用することができる。すなわち、以下に記載する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

（実施形態１）
図１は、本発明の実施の形態に係る画像生成装置が実現される典型的なゲーム装置の外観を示す模式図である。このゲーム装置１は、一例として、携帯型のゲーム機器であって、第１の表示部１８と、第２の表示部１９とを有しており、それらの間に、カメラ２１が配置されている。また、第２の表示部１９の前面にはタッチパネル２０が配置されている。

図２は、このゲーム装置１の概要構成を示す模式図である。以下、本図を参照してゲーム装置１について説明する。

ゲーム装置１は、処理制御部１０と、コネクタ１１と、カートリッジ１２と、無線通信部１３と、通信コントローラ１４と、サウンドアンプ１５と、スピーカ１６と、操作キー１７と、第１の表示部１８と、第２の表示部１９と、タッチパネル２０と、カメラ２１とを備える。

処理制御部１０は、ＣＰＵ（Central Processing Unit）コア１０ａと、画像処理部１０ｂと、ＤＭＡ（Direct Memory Access）コントローラ１０ｃと、ＶＲＡＭ（Video Random Access Memory）１０ｄと、ＷＲＡＭ（Work RAM）１０ｅと、ＬＣＤ（Liquid Crystal Display）コントローラ１０ｆと、タッチパネルコントローラ１０ｇとを備える。

ＣＰＵコア１０ａは、ゲーム装置１全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。具体的には、カートリッジ１２がコネクタ１１に装着された状態で、カートリッジ１２内のＲＯＭ（Read Only Memory）１２ａに記憶されたプログラムやデータを読み出して、所定の処理を実行する。

画像処理部１０ｂは、カートリッジ１２内のＲＯＭ １２ａから読み出されたデータや、ＣＰＵコア１０ａにて処理されたデータを加工処理した後、これをＶＲＡＭ １０ｄに格納する。例えば、ＷＲＡＭ １０ｅに記憶された画像を加工して、ＶＲＡＭ １０ｄに格納する。

ＤＭＡコントローラ１０ｃは、カメラ２１によって撮影された撮影画像をＷＲＡＭ １０ｅ等に転送する。

ＶＲＡＭ １０ｄは、表示用の情報を記憶するメモリであり、画像処理部１０ｂ等により加工された画像情報を記憶する。
ＷＲＡＭ １０ｅは、ＣＰＵコア１０ａがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
また、ＷＲＡＭ １０ｅは、ＤＭＡコントローラ１０ｃから転送された画像を一時的に記憶する。

ＬＣＤコントローラ１０ｆは、第１の表示部１８および、第２の表示部１９を制御し、所定の表示用画像を表示させる。例えば、ＬＣＤコントローラ１０ｆは、ＶＲＡＭ １０ｄに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、第１の表示部１８に出力する。また、ＬＣＤコントローラ１０ｆは、同様に、第２の表示部１９に所定の表示用画像を表示する。

タッチパネルコントローラ１０ｇは、タッチペンやプレイヤの指によって、タッチパネル２０が押下されると、その座標（入力座標）を取得する。

コネクタ１１は、カートリッジ１２と脱着自在に接続可能な端子であり、カートリッジ１２が接続された際に、カートリッジ１２との間で所定のデータを送受信する。

カートリッジ１２は、ＲＯＭ １２ａと、ＲＡＭ（Random Access Memory）１２ｂとを備える。
ＲＯＭ １２ａには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
ＲＡＭ １２ｂには、ゲームの進行状況等を示す種々のデータが記憶される。

無線通信部１３は、他のゲーム装置１の無線通信部１３との間で、無線通信を行うユニットであり、図示せぬアンテナ（内蔵アンテナ等）を介して所定のデータを送受信する。
なお、無線通信部１３は、所定の無線アクセスポイントとの間で、無線通信を行うこともできる。また、無線通信部１３には、固有のＭＡＣ（Media Access Control）アドレスが採番されている。

通信コントローラ１４は、無線通信部１３を制御し、所定のプロトコルに沿って、処理制御部１０と他のゲーム装置１の処理制御部１０との間で行われる無線通信の仲立ちをする。
また、ゲーム装置１が、近傍の無線アクセスポイント等を介してインターネットに接続する際には、無線ＬＡＮに準拠したプロトコルに沿って、処理制御部１０と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。

サウンドアンプ１５は、処理制御部１０にて生成された音声信号を増幅し、スピーカ１６に供給する。
スピーカ１６は、例えば、ステレオスピーカ等からなり、サウンドアンプ１５にて増幅された音声信号に従って、所定の楽曲音や効果音等を出力する。

操作キー１７は、ゲーム装置１に適宜配置された複数のキースイッチ等からなり、ユーザの操作に従って、所定の指示入力を受け付ける。

第１の表示部１８および、第２の表示部１９は、ＬＣＤ等からなり、ＬＣＤコントローラ１０ｆに制御され、ゲーム画像等を適宜表示する。

タッチパネル２０は、第２の表示部１９の前面に重畳して配置され、タッチペンやプレイヤの指による入力を検出する。
例えば、タッチパネル２０は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧（押下）を検知し、その座標に応じた情報（信号等）を出力する。

カメラ２１は、一例として、単焦点のレンズ及び、所定画素数の撮像素子（ＣＭＯＳやＣＣＤ等）を含んで構成される。そして、カメラ２１は、第１の表示部１８の正面方向を光軸として所定の撮影範囲の画像を撮影する。例えば、ビデオチャットを行うユーザ等の被写体を撮影する。

このような構成において、ＲＯＭ １２ａにビデオチャット用のプログラムおよびデータが記録されたカートリッジ１２が装着され、ゲーム装置１の電源が投入されると、当該プログラムが実行され、本実施形態に係る画像生成装置が実現される。
以下、このようなゲーム装置１によって実現される画像生成装置について説明する。

（画像生成装置の概要）
図３は、本実施の形態に係る画像生成装置１００の概要構成を示すブロック図である。この画像生成装置１００は、一例として、所定のネットワークを介して接続された他の画像生成装置１００との間で、ビデオチャットを行うために用いられる装置であり、上述した第１の表示部１８等に、相手側のユーザ等の画像を表示しつつ、カメラ２１で撮影した自分（ユーザ自身）の画像を送信可能な装置である。以下、このようなビデオチャットが行われる場合を一例として、本図を参照して画像生成装置１００について説明する。

図３に示すように、画像生成装置１００は、撮影部１１０と、画像記憶部１２０と、検出部１３０と、画像抽出部１４０と、画像加工部１５０と、画像生成部１６０と、通信部１７０と、表示制御部１８０と、表示部１９０とを備える。

まず、撮影部１１０は、所定の被写体を撮影した撮影画像を撮影する。例えば、ビデオチャットを行うユーザ（人物）を含む撮影画像を撮影する。
具体的に撮影部１１０は、ビデオチャットを行う際に、ユーザを含む画像を順次撮影し、撮影した撮影画像（一例として、動画）を、検出部１３０等に供給する。
また、撮影部１１０は、ビデオチャットを行う前に、ユーザが写っていない背景画像（一例として、静止画）を撮影し、撮影した背景画像を画像記憶部１２０に供給する。
なお、上述したカメラ２１が、このような撮影部１１０として機能しうる。

画像記憶部１２０は、予めカメラ２１によって撮影された画像を記憶する。例えば、ビデオチャットを行う前にカメラ２１によって撮影された、図４（ａ）に示すようなユーザが写っていない背景画像ＨＧ１を記憶する。
なお、画像記憶部１２０は、カメラ２１によって撮影された背景画像だけでなく、他の背景画像を記憶してもよい。例えば、所定の撮影装置（デジタルカメラ等）によって撮影された背景画像や、３Ｄグラフィック等により生成された、図４（ｂ）に示すような架空の背景画像ＨＧ２を記憶してもよい。
そして、上述したカートリッジ１２のＲＡＭ １２ｂ等が、このような画像記憶部１２０として機能しうる。

図３に戻って、検出部１３０は、撮影部１１０によって撮影された撮影画像からユーザ（人物）を検出する。
例えば、検出部１３０は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。具体的に検出部１３０は、図５（ａ）に示すような撮影画像ＳＧから、肌色の領域Ａ１〜Ａ４をサーチし、それらの領域内から人間の顔の特徴部位が抽出できるかどうかを判断する。この場合、図５（ｂ）に示すように、領域Ａ１内から、少なくとも、両眼、口を含む特徴部位が抽出でき、人間の顔面として認識できるため、検出部１３０は、ユーザの顔画像Ｇ１を検出する。
なお、このようなユーザ（人物）を検出する手法は、一例であり、他の手法を用いてもよい。例えば、前後の撮影画像から変化（動き等）のある領域を判別し、その領域から人間の有する特徴部位が抽出できるかどうかを判断して、ユーザを検出してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような検出部１３０として機能しうる。

図３に戻って、画像抽出部１４０は、検出部１２０により検出されたユーザの人物画像を、撮影画像から抽出する。
例えば、画像抽出部１４０は、検出された顔画像と周囲の画像とに基づいて、撮影画像からユーザの人物画像を抽出する。
具体的に画像抽出部１４０は、図６（ａ）に示すような顔画像Ｇ１とその周囲の画像から、頭部（髪の毛）に相当する位置の画素を所定数特定し、それらの画素と近似する色を基準としたエッジ検出を行う。そして、図６（ｂ）に示すような頭部を含めた人物画像Ｇ２を特定する。
更に、画像抽出部１４０は、人物画像Ｇ２とその周囲の画像から、胴体部に相当する位置の画素を所定数特定し、それらの画素と近似する色を基準としたエッジ検出を行う。そして、図６（ｃ）に示すような胴体までを含めた人物画像Ｇ３を特定する。
画像抽出部１４０は、このように特定した人物画像Ｇ３を撮影画像から抽出する。
なお、このようなユーザの人物画像を抽出する手法は、一例であり、他の手法を用いてもよい。例えば、検出部１３０が、前後の撮影画像の変化（動き等）から人物全体を検出している場合には、その人物全体をそのまま撮影画像から抽出してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像抽出部１４０として機能しうる。

図３に戻って、画像加工部１５０は、画像抽出部１４０により抽出された人物画像を加工する。
例えば、画像加工部１５０は、抽出された人物画像をぼかし加工する。具体的に画像加工部１５０は、人物画像の各画素の色を、隣接する画素（一例として、上下左右斜めに隣接する８つの画素）の色の平均値に置き換えて、図７（ａ）に示すようなぼかしを施した人物画像ＢＧに加工する。
なお、このようなぼかし加工は、一例であり、他の加工を人物画像に施してもよい。例えば、画像加工部１５０は、人物画像を絵画調に変換してもよい。例えば、画像加工部１５０は、絵画調（一例として、水彩画調）へ変換するフィルタ演算により、図７（ｂ）に示すような絵画調に変換した人物画像ＫＧに加工する。
また、これらのようなぼかし加工や、絵画調変換の加工手法は一例であり、他の手法を用いてぼかし加工や、絵画調変換を行うようにしてもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像加工部１５０として機能しうる。

図３に戻って、画像生成部１６０は、画像加工部１５０により加工された人物画像を、画像記憶部１２０から読み出した背景画像上に合成して、加工撮影画像を生成する。
例えば、画像生成部１６０は、上述した図７（ａ）のぼかし加工された人物画像ＢＧを、上述した図４（ａ）の背景画像上に合成して、図８（ａ）に示すような加工撮影画像を生成する。
また、画像生成部１６０は、合成する際に、人物画像を半透明化させて合成してもよい。例えば、画像生成部１６０は、同図７（ａ）の人物画像ＢＧ全体のアルファ値（各画素のアルファ値）を適宜下げた後に、同図４（ａ）の背景画像上に半透明合成（アルファブレンディング）することにより、図８（ｂ）に示すような加工撮影画像を生成する。
そして、画像生成部１６０は、生成した加工撮影画像を通信部１７０及び表示制御部１８０に供給する。
なお、これらのような合成手法は、一例であり、他の手法により加工撮影画像を生成してもよい。例えば、画像生成部１６０は、人物画像の外縁部のアルファ値だけを下げた後に、背景画像上に半透明合成することにより、人物画像と背景画像との境目を目立たなくした加工撮影画像を生成してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような画像生成部１６０として機能しうる。

図３に戻って、通信部１７０は、所定のネットワークを介して接続された他の画像生成装置１００との間の通信を制御する。
具体的に、通信部１７０は、画像送信部１７１と画像受信部１７２とを含んで構成される。
画像送信部１７１は、画像生成部１６０により生成された加工撮影画像を、他の画像生成装置１００に送信する。つまり、ユーザの人物画像を加工して背景画像を合成した加工撮影画像を、ビデオチャット相手の画像生成装置１００に送信する。
一方、画像受信部１７２は、他の画像生成装置１００から送信された画像を受信する。つまり、ビデオチャット相手の画像生成装置１００でも、同様に加工撮影画像が生成されていれば、その加工撮影画像を受信する。
なお、上述した無線通信部１３や通信コントローラ１４等が、このような通信部１７０として機能しうる。

表示制御部１８０は、画像受信部１７２によって受信された画像と、画像生成部１６０によって生成された加工撮影画像とを合成したビデオチャット画面を表示部１９０に表示する。
例えば、表示制御部１８０は、画像受信部１７２が受信した画像をメインとし、その一部に、画像生成部１６０が生成した加工撮影画像を適宜縮小して合成する。具体的に表示制御部１８０は、図９（ａ）に示すように、ビデオチャットの相手からの画像ＡＴＧ１の右上に、縮小した加工撮影画像ＫＳＧ１を合成したビデオチャット画面を生成する。
なお、表示制御部１８０の合成手法は、一例であり、他の手法により両画像を合成してもよい。例えば、図９（ｂ）に示すように、ビデオチャットの相手からの画像ＡＴＧ２と、中央をトリミングした加工撮影画像ＫＳＧ２とを並べて合成してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような表示制御部１８０として機能しうる。

表示部１９０は、表示制御部１８０により合成されたビデオチャット画面を表示する。つまり、上述した図９（ａ），（ｂ）等に示すようなビデオチャット画面を表示する。
なお、上述した第１の表示部１８や第２の表示部１９が、このような表示部１９０として機能しうる。

（画像生成装置の動作の概要）
以下、このような構成の画像生成装置１００の動作について図面を参照して説明する。一例として、ビデオチャット時における処理動作を、図１０を参照して説明する。図１０は、画像生成装置１００にて実行される画像加工処理の流れを示すフローチャートである。なお、画像記憶部１２０には、背景画像が記憶されているものとする。

まず、画像生成装置１００は、ユーザを含む撮影画像を撮影する（ステップＳ２０１）。
すなわち、撮影部１１０は、ビデオチャットを行うユーザを含む画像を順次撮影し、撮影した撮影画像（一例として、動画）を検出部１３０に供給する。

画像生成装置１００は、撮影された撮影画像からユーザ（人物）を検出する（ステップＳ２０２）。
すなわち、検出部１３０は、顔認識によって、撮影画像に写っているユーザの顔画像を検出する。つまり、上述した図５（ａ），（ｂ）に示すように、ユーザの顔画像を検出する。

画像生成装置１００は、検出されたユーザの人物画像を、撮影画像から抽出する（ステップＳ２０３）。
すなわち、画像抽出部１４０は、検出された顔画像と周囲の画像とに基づいて、撮影画像からユーザの人物画像を抽出する。つまり、上述した図６（ａ）〜（ｃ）に示すように人物画像を特定し、特定した人物画像を撮影画像から抽出する。

画像生成装置１００は、抽出された人物画像を加工する（ステップＳ２０４）。
すなわち、画像加工部１５０は、ぼかし加工により、上述した図７（ａ）に示すような人物画像ＢＧに加工する。この他にも、画像加工部１５０は、絵画調変換により、上述した図７（ｂ）に示すような人物画像ＫＧに加工してもよい。

画像生成装置１００は、加工した人物画像を、背景画像上に合成して、加工撮影画像を生成する（ステップＳ２０５）。
すなわち、画像生成部１６０は、ぼかし加工された人物画像を、画像記憶部１２０から読み出した背景画像上に合成して、上述した図８（ａ）に示すような加工撮影画像を生成する。その際、画像生成部１６０は、半透明合成により、上述した図８（ｂ）に示すような加工撮影画像を生成してもよい。

画像生成装置１００は、生成した加工撮影画像を他の画像生成装置１００に送信し、また、他の画像生成装置１００から送られる画像を受信する（ステップＳ２０６）。
すなわち、画像送信部１７１は、画像生成部１６０により生成された加工撮影画像を、ビデオチャット相手の画像生成装置１００に送信する。一方、画像受信部１７２は、ビデオチャット相手の画像生成装置１００から送信された画像を受信する。

画像生成装置１００は、受信した画像と生成した加工撮影画像とを適宜合成して表示する（ステップＳ２０７）。
すなわち、表示制御部１８０は、画像受信部１７２によって受信された画像と、画像生成部１６０によって生成された加工撮影画像とを合成し、上述した図９（ａ），（ｂ）に示すようなビデオチャット画面を表示部１９０に表示する。

画像生成装置１００は、ビデオチャットが終了したか否かを判別する（ステップＳ２０８）。
画像生成装置１００は、ビデオチャットが終了していないと判別すると（ステップＳ２０８；Ｎｏ）、ステップＳ２０１に処理を戻し、上述したステップＳ２０１〜Ｓ２０８の処理を繰り返し実行する。
一方、ビデオチャットが終了したと判別した場合に（ステップＳ２０８；Ｙｅｓ）、画像生成装置１００は、画像加工処理を終える。

このような画像加工処理において、画像生成装置１００は、撮影画像から検出した顔画像等に基づいて人物画像（ユーザの画像）を抽出し、ぼかしなどの加工を施す。そして、加工した人物画像を背景画像上に合成して加工撮影画像を生成し、他の装置に送信する。このため、ユーザが顔や肌の詳細等を見せたくない場合でも、ぼかしなどの加工を施した加工撮影画像によって、その詳細を隠すことができる。一方、相手側（他の画像生成装置１００のユーザ）にとっては、送られた加工撮影画像からユーザの表情までは把握できるため、送信元のユーザの様子等を知ることができ、ビデオチャットの長所が妨げられない。
また、抽出した人物画像を背景画像と合成するため、例えば、ビデオチャット時のユーザの背後等に、見られては不都合のあるものが写っていたとしても、ユーザ画像以外は抽出されないため、そのような不都合のあるものも適切に隠すことができる。
この結果、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる。

（他の実施形態）
上記の実施形態では、撮影画像から抽出した人物画像を、画像加工部１５０により、一様に加工する場合について説明したが、撮影されるユーザの動きが大きい場合などでは、加工しなくとも、その動きによってユーザの顔や肌等の詳細が見え難くなる。そのため、ユーザの動き量に応じて、加工の程度（度合い）を適宜変更するようにしてもよい。
以下、このように、ユーザの動き量に応じて、加工の程度を適宜変更することを特徴とする他の実施形態について、図面を参照して説明する。

図１１は、本発明の他の実施形態に係る画像生成装置３００の概要構成を示すブロック図である。この画像生成装置３００は、上述した図３の画像生成装置１００に、測定部３１０を加えた構成となっている。
つまり、撮影部１１０〜表示部１９０の構成は、図３の画像生成装置１００と同様である。

測定部３１０は、順次撮影された撮影画像から、ユーザの顔の動き量を測定する。例えば、測定部３１０は、検出部１３０により順次検出される顔画像の位置や顔画像の向きの変化から、ユーザの顔の動き量を測定する。
具体的に測定部３１０は、図１２（ａ）に示すように、検出された顔画像ＫＧの特徴点となる両眼の位置（Ｐ１，Ｐ２）や口の位置（Ｐ３）を求め、以前に求めた位置との差分から、顔の動き量を測定する。つまり、顔画像の特徴点の位置を時系列に所定数記憶しておき、過去の特徴点の位置との差分からユーザの顔の動き量を測定する。なお、特徴点として、両眼や口の位置を求めるようにしているが、他の部位（鼻や耳等）を特徴点としてその位置を求め、顔の動き量を測定してもよい。

また、測定部３１０は、図１２（ｂ）に示すように、検出された顔画像ＫＧの特徴点となる両眼及び口を結んだ平面（具体的には三角形）Ｆ１から顔の向きを求め、以前に求めた顔の向きとの差分から、顔の動き量（ひねり等）を測定する。つまり、平面Ｆ１の場合、図１２（ｃ）に示すように、両眼及び口の配置（バランス）から、ユーザの顔の向きが真正面の方向ＧＬ１であることが求められる。一方、図１２（ｄ）に示すような歪んだ平面Ｆ２が得られた場合、図１２（ｅ）に示すように、ユーザの顔の向きが斜め方向の方向ＧＬ２であることが求められる。そのため、測定部３１０は、このような顔の向きを時系列に所定数記憶しておき、過去の顔の向きとの差分からユーザの顔の動き量を測定する。なお、この場合も、両眼と口を結んだ平面から顔の向きを求めているが、他の部位（鼻や耳等）を特徴点とした平面から顔の向きを求め、顔の動き量を測定してもよい。
そして、上述した処理制御部１０のＣＰＵコア１０ａや画像処理部１０ｂ等が、このような測定部３１０として機能しうる。

図１１に戻って、このような測定部３１０により、ユーザの顔の動き量が測定されると、画像加工部１５０は、測定された動き量に基づいて、加工の程度を変更して、人物画像を加工する。
例えば、画像加工部１５０は、測定された動き量が大きいほど、ぼかし度合いを小さくし、逆に、動き量が小さいほど、ぼかし度合いを大きくして、人物画像を加工する。つまり、ユーザの動き量が大きい場合には、その動きによって、ユーザの顔や肌の詳細等が適切に隠されるため、ぼかし度合いを小さくする。逆に、ユーザの動き量が小さい場合には、静止時と同様に、ユーザの顔や肌の詳細が明らかとなってしまうため、ぼかし度合いを大きくし、その詳細を隠すようにする。
また、画像加工部１５０は、人物画像を絵画調に変換する加工を行う場合に、測定された動き量に基づいて、変換の程度を同様に変更してもよい。
これらの場合、ユーザの動きに応じて、ユーザの画像を適切に加工することができる。

上記の他の実施形態では、ユーザの動き量に応じて、加工の程度を適宜変更する場合について説明したが、ユーザの動き量以外でも、加工の程度を適宜変更してもよい。
例えば、ユーザの顔や肌等の詳細を隠す必要がなくなって来た場合には、加工の程度を小さくする（緩める）ようにしてもよい。
具体的に測定部３１０は、ユーザの画像を適宜蓄積し、以前の画像と比較して、現在の画像の身仕度の度合いを測定する。一例として、服を着替えたり（上着を羽織ったり）、化粧をしたり（女性が口紅を付けたり）、髪を整えたりなどのように、以前の画像と比較して身仕度が整うにつれて、数値を高く測定する。
そして、画像加工部１５０は、測定部３１０が測定した身仕度の度合いが高まるにつれて、ユーザの詳細を隠す必要がなくなって来るため、ぼかし度合いを小さくする。
その際、画像加工部１５０は、身仕度が整った箇所についてだけ、ぼかし度合いを小さくしても良い。例えば、ユーザが上着を羽織った場合には、服のぼかしを小さくし、また、ユーザが口紅を付けたら、口元のぼかしを小さくし、更に、ユーザが髪を整えた場合には、髪のぼかしを小さくする加工を行う。
この場合、ユーザの身仕度の度合いに応じて、ユーザの画像を適切に加工することができる。

上記の実施形態では、加工した人物画像全体を、背景画像上に合成する場合について説明したが、合成するのは人物画像全体にが限られず、人物画像の一部だけを、背景画像上に合成してもよい。
例えば、ユーザの顔の一部を抽出して、背景画像上に合成してもよい。すなわち、ユーザの表情が把握できる顔の部位だけを抽出して、背景画像上に合成する。
具体的には、検出部１３０は、上述した図５（ｂ）のように、ユーザの顔の特徴部位（一例として、眉毛、目、鼻、耳、口）を抽出する。
そして、画像生成部１６０は、検出部１３０により抽出されたユーザの顔の特徴部位画像を、画像記憶部１２０から読み出した背景画像上に合成して、加工撮影画像を生成する。すなわち、画像生成部１６０は、図１３に示すように、特徴部位画像ＴＢを背景画像上に合成した加工撮影画像を生成する。
この場合、特徴部位画像ＴＢにより、表情だけが浮いているように見え、また、特徴部位画像ＴＢから、ユーザの表情を適切に把握できる。

上記の実施形態では、携帯型のゲーム装置１に、本願の画像生成装置１００，３００が適用される場合について説明したが、このような携帯型のゲーム装置１に限られず、例えば、ノート型のパソコン等であってもよい。

以上説明したように、本発明によれば、ユーザのプライバシを保護しつつ、表情の把握を可能とする画像を生成できる画像生成装置、画像加工方法、および、プログラムを提供することができる。

１ ゲーム装置
１０ 処理制御部
１１ コネクタ
１２ カートリッジ
１３ 無線通信部
１４ 通信コントローラ
１５ サウンドアンプ
１６ スピーカ
１７ 操作キー
１８ 第１の表示部
１９ 第２の表示部
２０ タッチパネル
２１ カメラ
１００，３００ 画像生成装置
１１０ 撮影部
１２０ 画像記憶部
１３０ 検出部
１４０ 画像抽出部
１５０ 画像加工部
１６０ 画像生成部
１７０ 通信部
１８０ 表示制御部
１９０ 表示部
３１０ 測定部

Claims (5)

1. 撮影画像から人物を検出する検出部と、
   検出された当該人物の人物画像を、当該撮影画像から抽出する画像抽出部と、
   順次撮影された撮影画像から、当該人物の動き量を測定する測定部と、
   抽出された当該人物画像を加工する画像加工部と、
   加工された当該人物画像を所定の背景画像上に合成した加工撮影画像を生成する画像生成部と、を備え、
   前記画像加工部は、前記測定部にて測定された前記動き量が大きいほどぼかし度合いを小さくし、前記動き量が小さいほどぼかし度合いを大きくして、前記人物画像をぼかし加工する、
   ことを特徴とする画像生成装置。
2. 所定の背景画像を記憶する画像記憶部と、
   人物を含む撮影画像を撮影する撮影部と、
   撮影された撮影画像から、顔認識により当該人物の顔画像を検出する検出部と、
   検出された当該顔画像と周囲の画像とに基づいて、当該撮影画像から当該人物の人物画像を抽出する画像抽出部と、
   順次撮影された撮影画像から、当該人物の動き量を測定する測定部と、
   抽出された当該人物画像を加工する画像加工部と、
   加工された当該人物画像を、記憶された当該背景画像上に合成した加工撮影画像を生成する画像生成部と、
   生成された当該加工撮影画像を、他の装置に送信する画像送信部と、を備え、
   前記画像加工部は、前記測定部にて測定された前記動き量が大きいほどぼかし度合いを小さくし、前記動き量が小さいほどぼかし度合いを大きくして、前記人物画像をぼかし加工する、
   ことを特徴とする画像生成装置。
3. 請求項１又は２に記載の画像生成装置であって、
   前記画像加工部は、抽出された当該人物画像をぼかし加工し、
   前記画像生成部は、ぼかし加工された当該人物画像を当該背景画像上に半透明合成した加工撮影画像を生成する、
   ことを特徴とする画像生成装置。
4. 検出部と、画像抽出部と、測定部と、画像加工部と、画像生成部とを有する画像生成装置における画像加工方法であって、
   前記検出部が、撮影画像から人物を検出する検出ステップと、
   前記画像抽出部が、検出された当該人物の人物画像を、当該撮影画像から抽出する画像抽出ステップと、
   前記測定部が、順次撮影された撮影画像から、当該人物の動き量を測定する測定ステップと、
   前記画像加工部が、抽出された当該人物画像を加工する画像加工ステップと、
   前記画像生成部が、加工された当該人物画像を所定の背景画像上に合成した加工撮影画像を生成する画像生成ステップと、を備え、
   前記画像加工ステップでは、前記測定ステップにて測定された前記動き量が大きいほどぼかし度合いを小さくし、前記動き量が小さいほどぼかし度合いを大きくして、前記人物画像をぼかし加工する、
   ことを特徴とする画像加工方法。
5. コンピュータを、
   撮影画像から人物を検出する検出部、
   検出された当該人物の人物画像を、当該撮影画像から抽出する画像抽出部、
   順次撮影された撮影画像から、当該人物の動き量を測定する測定部、
   抽出された当該人物画像を加工する画像加工部、
   加工された当該人物画像を所定の背景画像上に合成した加工撮影画像を生成する画像生成部、として機能させ、
   前記画像加工部は、前記測定部にて測定された前記動き量が大きいほどぼかし度合いを小さくし、前記動き量が小さいほどぼかし度合いを大きくして、前記人物画像をぼかし加工する、ように機能させることを特徴とするプログラム。

Images