JP6002058B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。

ユーザーが試着したい衣服の画像（衣服画像）を、ユーザーを撮影した撮影画像に合成した試着画像を表示する画像処理装置がある。このような画像処理装置では、例えば、カメラ付きのデジタルサイネージの前に立つユーザーを当該カメラで撮影した撮影画像をデジタルサイネージに表示する。ユーザーが選択した衣服画像を、当該撮影画像中のユーザー領域の対応する部分に合成した試着画像を表示する。

しかしながら、ユーザーが自分自身の試着画像を確認できるためには、ユーザーはデジタルサイネージに対して向き合った状態で立つ必要がある。そのため、従来の仮想試着装置では、後ろ半身の衣服画像を撮影画像に合成する場合、ユーザーの前半身に合成することとなり、違和感のある試着画像となってしまう。

特開２０１２−１０８８０５号公報 特開２００６−１３５８７６号公報

発明が解決しようとする課題は、ユーザーの向きに関わらず、違和感なく衣服画像を合成した試着画像を生成することができる画像処理装置、方法、及びプログラムを提供することである。

上記課題を解決するために、本発明の一の実施形態に係る画像処理装置は、取得部と、検出部と、変更部と、算出部と、合成部とを備える。

取得部は、ユーザーを含む撮影画像を取得する。検出部は、前記撮影画像における前記ユーザーの領域を検出する。変更部は、前記撮影画像において、前記ユーザーの向きが判別できないように、前記領域を変更した変更画像を得る。算出部は、前記撮影画像中における前記領域の位置を算出する。合成部は、衣服の背面側の画像を、前記変更画像の前記領域の位置において合成する。

第１の実施形態に係る画像処理装置１の利用形態の一例図。 画像処理装置１を表すブロック図。 格納部５１に格納されている画像データの一例図。 画像処理装置１の処理を表すフローチャート。 ユーザーＰを含む撮影画像の一例図。 ユーザー領域の輝度を変更した撮影画像の一例図。 試着画像を表す一例図。 表示部４が表示する表示画像を表す一例図。 第２の実施形態に係る画像処理装置５を表すブロック図。 格納部５２に格納されている画像データの一例図。

以下、本発明の実施形態について図面を参照して詳細に説明する。本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１の利用形態の一例図である。画像処理装置１は、ユーザーＰを撮影した撮影画像に、ユーザーＰが試着したい衣服の画像（衣服画像）を合成して提示する仮想試着システム１０に好適である。仮想試着システム１０は、衣服販売の店舗等に設置されるカメラ付きのデジタルサイネージ等に用いられ得る。

画像処理装置１は、仮想試着システム１０のユーザーＰを正面から撮影した撮影画像において、ユーザーＰの向きが判別できないように、当該ユーザーＰの領域の輝度を変更した変更画像を得る。画像処理装置１は、撮影画像中でのユーザーの位置を算出し、第２画像上に、衣服の背面側の画像（背面衣服画像）を合成した試着画像を生成する。これにより、ユーザーＰの向きに関わらず、違和感のない試着画像を生成することができる。

図２は、仮想試着システム１０を表すブロック図である。仮想試着システム１０は、画像処理装置１と、撮影部２と、入力受付部３と、表示部４とを備える。撮影部２は、仮想試着システム１０に対して向き合って立つユーザーＰを撮影し、撮影画像を得る。撮影部２は、所定時間毎にユーザーＰを撮影してよい。撮影部２は、撮影時刻の異なる撮影画像を、順次、画像処理装置１に供給する。撮影部２が、連続してユーザーＰを撮影し、その撮影画像を画像処理装置１へ供給することで、画像処理装置１は、撮像時刻の異なる複数の撮影画像を含む動画像を取得できる。

表示部４は、後述する画像処理装置１が合成した試着画像を表示する。入力受付部３は、ユーザーＰが、試着したい衣服画像を指定する入力や、他の入力操作を受け付ける。

画像処理装置１は、取得部１１と、検出部１２と、変更部１３と、算出部１４と、選択部１５と、合成部１６と、記憶部５１とを備える。取得部１１と、検出部１２と、変更部１３と、算出部１４と、選択部１５と、合成部１６とは、中央演算処理装置（ＣＰＵ）及びＣＰＵが用いるメモリにより実現されてよい。記憶部５１は、ＣＰＵが用いるメモリや補助記憶装置により実現されてよい。

取得部１１は、撮影部２が撮影した撮影画像を取得する。

検出部１２は、取得された撮影画像中におけるユーザーＰの領域（ユーザー領域）を検出する。例えば、検出部１２は、ユーザーＰの顔領域を判定することにより、ユーザー領域を検出してもよい。あるいは、検出部１２は、ユーザーＰを含まない状態で予め撮影された背景画像と、取得された撮影画像とをピクセル毎に比較し、撮影画像中のユーザー領域を検出してよい。あるいは、仮想試着システム１０からユーザーＰまでの距離を測定可能な距離センサ（不図示）を用いて、ユーザー領域を検出してもよい。その他、画像中の人物領域を検出する技術を用いてよい。

変更部１３は、ユーザーＰの向きが判別不能となるようにユーザー領域の輝度を変更する。

算出部１４は、撮影画像におけるユーザー領域の位置を算出する。本実施形態では、算出部１４は、後述する選択部１５が選択した背面衣服画像の種類に応じて、ユーザーＰの特徴領域（例えば、肩の領域や腰の領域等）の位置をユーザー領域の位置として算出する。

格納部５１は、衣服の背面側の画像（背面衣服画像）を複数格納している。図３は、格納部５１に格納されている画像データの一例図である。各画像データには、「画像ＩＤ」と、画像データが表す衣服の「種類」と、画像データが表す衣服の「商品名」と、画像データが表す衣服の「向き」とが対応付けられている。ここで、向きが「背面」となっている画像データが背面衣服画像である。本実施形態の格納部５１は、背面衣服画像とともに、衣服の正面側の画像である正面衣服画像も格納している。図３において、向きが「正面」となっている画像データが正面衣服画像である。

選択部１５は、入力受付部３でのユーザーＰからの入力操作に応じて、格納部５１から、画像データを選択して、抽出する。本実施形態では、ユーザーＰの入力操作により、選択部１５は、格納部５１から背面衣服画像を抽出する例を説明する。

合成部１６は、抽出された背面衣服画像を、算出されたユーザー領域の位置に対応する変更画像の位置において合成し、試着画像を生成する。

以上、画像処理装置１の構成について説明した。

図４は、画像処理装置１の処理を表すフローチャートである。取得部１１は、撮影部２が撮影した撮影画像を取得する（Ｓ１０１）。図５は、ユーザーＰを含む撮影画像の一例図である。本実施形態では、図１に示すように、撮影部２と表示部４とが一体になった仮想試着システム１０を想定している。そのため、ユーザーＰは、仮想試着システム１０に対して正面を向いた状態で撮影されるものとする。

取得部１１は、撮影画像を、検出部１２と変更部１３と算出部１４とに供給する。

検出部１２は、取得された撮影画像中におけるユーザー領域を検出する（Ｓ１０２）。検出部１２は、検出したユーザー領域の情報を変更部１３と、算出部１４とに供給する。

変更部１３は、ユーザーＰの向きが判別不能となるようにユーザー領域の輝度を変更する（Ｓ１０３）。図６は、ユーザー領域の輝度を変更した撮影画像の一例図である。図６に示す斜線部の領域が、輝度を変更したユーザー領域である。例えば、変更部１３は、撮影画像中のユーザー領域を黒色等の単一色にシルエット化するように、その輝度を変更してもよい。

あるいは、変更部１３は、撮影画像中のユーザー領域の一方からもう一方に向けて輝度が連続的に変化するように、その輝度を変更しても構わない。あるいは、変更部１３は、撮影画像中のユーザー領域を白黒の縞状や格子状となるように、その輝度を変更しても構わない。あるいは、変更部１３は、ユーザーの凹凸を陰影で表すように、その輝度を変更しても構わない。

これら以外にも、ユーザーＰの向きが判別不能となれば、変更部１３はどのようにユーザー領域の輝度を変更しても構わない。

選択部１５は、ユーザーＰの入力操作（例えば、商品名の指定）により、格納部５１から対応する背面衣服画像を選択し、抽出する（Ｓ１０４）。

算出部１４は、撮影画像におけるユーザー領域の位置を算出する（Ｓ１０４）。本実施形態では、算出部１４は、ユーザーＰの特徴領域の位置をユーザー領域の位置として算出する。ユーザーＰの特徴領域とは、ユーザーＰの形状を推定可能な領域である。ユーザーＰの特徴領域には、人体の肩に対応する肩領域や、腰に対応する腰領域や、脚に対応する脚領域等があるが、これらに限られない。

また、本実施形態では、算出部１４は、選択部１５が選択した背面衣服画像に対応する衣服の種類に基づく、ユーザーＰ特徴領域の位置を算出する。例えば、選択部１５が「コート」の背面衣服画像を抽出した場合、算出部１４は、肩領域の位置を特徴領域とする。

合成部１６は、抽出された背面衣服画像を、算出されたユーザー領域の位置に対応する変更画像の位置において合成し、試着画像を生成する（Ｓ１０６）。本実施形態では、合成部１６は、選択部１５が抽出した背面衣服画像の特徴領域と、変更画像におけるユーザーＰの特徴領域とが一致するように、当該背面衣服画像を当該変更画像に合成し、試着画像を生成する。合成部１６は、生成した試着画像を表示部４に供給する。

図７は、試着画像を表す一例図である。図７に示すように、ユーザー領域の輝度を変更した撮影画像に背面衣服画像を合成することにより、正面を向いたユーザーの撮影画像であっても、違和感なく背面衣服画像を合成した試着画像を生成することができる。

以上、画像処理装置１の処理について説明した。

なお、画像処理装置１は、ユーザーＰが後ろを向いた際に、ユーザーＰの背面画像を記録する記録部（不図示）をさらに備え、変更部１３は、撮影画像のユーザー領域に、記録された背面画像を合成してもよい。ユーザーＰが背面を向いたか否かは、撮影部２で取得した撮影画像に対して、顔画像認識を行うことで判定可能である。

また、撮影部２においてデプスセンサ等の距離センサを用いてユーザーＰの奥行き情報（３次元情報）を取得できる場合、変更部１３は、撮影位置から仰角や俯角をつけた位置からユーザーＰを観察した背面画像を生成することも可能である。

また、本実施形態では、撮影部２で取得した撮影画像を表示時に左右反転して表示部４に表示することより、ユーザーＰは、自分自身が後ろから撮影された様子を観察できる例について示したが、撮影画像を表示時に左右反転しなくてもよい。この場合、ユーザーＰは、正面の撮影部２に背を向け、首だけ正面を振り返って自分自身の様子を観察している状態に相当する。

入力受付部３は、ユーザーが各種の入力操作を行うための手段である。入力受付部３には、例えば、マウス、ボタン、リモコン、キーボード、マイク等の音声認識装置、及び画像認識装等を組み合せたもの等が挙げられる。また、入力受付部３として、上記画像認識装置を採用する場合には、入力受付部３の前に対峙するユーザーの身振り手振り等を、ユーザーの各種入力操作として受け付ける装置としてもよい。この場合には、該画像認識装置では、身振りや手振り等の各動きに対応する指示情報を予め記憶し、認識した身振りや手振りに対応する指示情報を読み取ることで、ユーザーによる入力操作を受け付ければよい。

また、入力受付部３は、携帯端末等の各種情報を送信する外部装置から、ユーザーの入力操作を示す信号を受け付ける通信装置であってもよい。この場合には、入力受付部３は、当該外部装置から受信した入力操作を示す信号を、ユーザーによる入力操作として受け付ければよい。

なお、入力受付部３及び表示部４は、一体的に構成されていてもよい。具体的には、入力受付部３及び表示部４は、入力機能及び表示機能の双方を備えたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部として構成されていてもよい。ＵＩ部には、タッチパネル付ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等がある。

なお、本実施形態では人物であるユーザーＰを撮影画像の被写体であるとして説明したが、これに限られない。被写体は、衣服を試着する対象であればよい。被写体は、衣服を試着する対象であればよく、生物であってもよいし、非生物であってもよい。該生物には、例えば、人物が挙げられるが、人物に限られず、犬や猫等のペットであってもよい。また、該非生物には、人体やペットの形状を模したマネキンや、衣服、その他の物体等が挙げられるが、これに限られない。また、被写体は、衣服を着用した状態の生物や非生物であってもよい。

また、衣服とは、被写体が着用可能な品物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。

本実施形態によれば、ユーザーの向きに関わらず、違和感なく衣服画像を合成した試着画像を生成することができる。

（変形例）
図８は、表示部４が表示する表示画像を表す一例図である。図８に示すように、表示部４は、正面を向いたユーザーＰの撮影画像に正面衣服画像を合成した第１画像と、本実施形態に従って生成した第２画像（上述の試着画像）とを同時に表示しても構わない。

この場合、第２画像に関しては、上述の処理と同様に生成されてよい。第１画像については、変更部１４によるユーザー領域の輝度の変更は行わない。

選択部１５は、ユーザーＰの入力操作により、格納部５１から、互いに対応する背面衣服画像と正面衣服画像とを選択し、抽出する。

合成部１６は、正面を向いたユーザーＰの撮影画像に、抽出された正面衣服画像を合成して第１画像を生成する。合成部１６は、ユーザー領域の輝度が変更された撮影画像に、抽出された背面衣服画像を合成して第２画像を生成する、合成部１６は、第１画像と第２画像とを表示部４に供給する。表示部１４は、第１画像と第２画像とを同時に表示する。

本変形例によれば、ユーザーは正面の試着画像である第１画像と、背面の試着画像である第２画像とを同時に観察することができる。

なお、表示部４は、第１画像と第２画像とのうち、いずれかの背景領域（ユーザー領域以外の領域）の輝度を変更してもよい。これにより、第１画像と第２画像とが同じ背景領域を有するという違和感についても軽減することができる。

（第２の実施形態）
第２に実施形態に係る画像処理装置５は、撮影画像におけるユーザーＰの向きに応じた背面衣服画像を合成して試着画像を生成する点が、前実施形態の場合と異なる。

図９は、画像処理装置５を表すブロック図である。画像処理装置５は、画像処理装置１における、算出部１４が算出部２４に置き換わる。選択部１５が選択部２５に置き換わる。格納部５１が格納部５２に置き換わる。以下、算出部２４と選択部２５と格納部５２とについて説明する。

算出部２４は、撮影画像におけるユーザー領域の位置及び向きを算出する。例えば、算出部２４は、顔検出技術により、ユーザーＰの顔の向きを、ユーザー領域の向きとして求めてもよい。あるいは、ユーザーＰの右肩領域と左肩領域との上下方向の差から、ユーザー領域の向きを算出してもよい。あるいは、仮想試着システム１０からユーザーＰまでの距離を測定可能な距離センサ（不図示）を用いて、ユーザーＰの右肩領域までの距離と、ユーザーＰの左肩領域までの距離との差により、ユーザー領域の向きを求めてもよい。

図１０は、格納部５２に格納されている画像データの一例図である。図１０に示すように、格納部５２は、「正面」（０°）や「背面」（１８０°）以外の向きの衣服画像を、その「向き」と対応付けて格納している。なお、本実施形態では、向きが１８０°の衣服画像ではなく、１５０°の衣服画像であっても背面衣服画像と称する。すなわち、本実施形態における背面衣服画像とは、衣服の背面部分が観察できる画像であればよい。

選択部２５は、ユーザーＰからの指定により選択された同じ商品名の衣服画像のうち、算出部２４が算出したユーザーＰの向きに対応する背面衣服画像を選択して抽出する。例えば、算出されたユーザーＰの向きと反対の向きの背面衣服画像を選択して抽出してよい。

本実施形態によれば、ユーザーの向きに関わらず、違和感なく衣服画像を合成した試着画像を生成することができる。

なお、上述の実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、取得部１１と、検出部１２と、変更部１３と、算出部１４（算出部２４）と、選択部１５（選択部２５）と、合成部１６は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、取得部１１と、検出部１２と、変更部１３と、算出部１４（算出部２４）と、選択部１５（選択部２５）と、合成部１６と、格納部５１（格納部５２）は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。また、格納部５１（格納部５２）は、ネットワークのサーバ上に設けられても構わない。

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、５・・・画像処理装置
２・・・撮影部
３・・・入力受付部
４・・・表示部
１０・・・仮想試着システム
１１・・・取得部
１２・・・検出部
１３・・・変更部
１４、２４・・・算出部
１５、２５・・・選択部
１６・・・合成部
５１、５２・・・格納部

Claims (8)

1. ユーザーを含む撮影画像を取得する取得部と、
   前記撮影画像における前記ユーザーの領域を検出する検出部と、
   前記撮影画像において、前記ユーザーの向きが判別できないように、前記領域を変更した変更画像を得る変更部と、
   前記撮影画像中における前記領域の位置を算出する算出部と、
   衣服の背面側の画像を、前記変更画像の前記領域の位置において合成する合成部と
   を備える画像処理装置。
2. 前記変更部は、前記領域の輝度を変更して、前記変更画像を得る、
   請求項１記載の画像処理装置。
3. 前記変更部は、前記撮影画像の前記領域を単色化した前記変更画像を得る、
   請求項２記載の画像処理装置。
4. 前記衣服の背面側の画像を格納する格納部と、
   前記ユーザーからの入力操作に応じて、前記格納部から前記画像を選択して抽出する選択部とをさらに備える、
   請求項３記載の画像処理装置。
5. 前記算出部は、前記選択部が選択した前記画像が表す前記衣服の種類に基づいて、前記撮影画像中における前記領域の位置を算出する、
   請求項４記載の画像処理装置。
6. 前記算出部は、前記撮影画像中における前記領域の向きをさらに算出し、
   前記選択部は、前記格納部から、算出された向きに対応する前記画像を選択して抽出する、
   請求項４記載の画像処理装置。
7. ユーザーを含む撮影画像を取得し、
   前記撮影画像における前記ユーザーの領域を検出し、
   前記撮影画像において、前記ユーザーの向きが判別できないように、前記領域を変更した変更画像を得、
   前記撮影画像中における前記領域の位置を算出し、
   衣服の背面側の画像を、前記変更画像の前記領域の位置において合成する、
   画像処理方法。
8. コンピュータを、
   ユーザーを含む撮影画像を取得する手段と、
   前記撮影画像における前記ユーザーの領域を検出する手段と、
   前記撮影画像において、前記ユーザーの向きが判別できないように、前記領域を変更した変更画像を得る手段と、
   前記撮影画像中における前記領域の位置を算出する手段と、
   衣服の背面側の画像を、前記変更画像の前記領域の位置において合成する手段
   として機能させる、画像処理プログラム。

Images