JP2013190974A - 情報処理装置および情報処理方法、ならびに、プログラム - Google Patents
情報処理装置および情報処理方法、ならびに、プログラム Download PDFInfo
- Publication number
- JP2013190974A JP2013190974A JP2012056379A JP2012056379A JP2013190974A JP 2013190974 A JP2013190974 A JP 2013190974A JP 2012056379 A JP2012056379 A JP 2012056379A JP 2012056379 A JP2012056379 A JP 2012056379A JP 2013190974 A JP2013190974 A JP 2013190974A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- unit
- skeleton
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】洋服のゆれやふくらみやしわなどが、ユーザの動きに対してリアルな仮想試着体験を提供する。
【解決手段】情報取得装置11または12は、試着対象となる洋服を着用したモデルや、それらの洋服の仮想試着を行おうとするユーザの、画像情報、関節の座標位置を示す情報を取得する。表示画像制御装置13は、モデルの骨格情報とモデルの画像情報を対応付けて、対応情報として記憶とともに、ユーザの骨格情報と対応情報とのマッチング処理を行い、仮想試着状態に対応する表示画像を生成する。表示装置14
は、仮想試着状態に対応する画像を表示する。
【選択図】図1
【解決手段】情報取得装置11または12は、試着対象となる洋服を着用したモデルや、それらの洋服の仮想試着を行おうとするユーザの、画像情報、関節の座標位置を示す情報を取得する。表示画像制御装置13は、モデルの骨格情報とモデルの画像情報を対応付けて、対応情報として記憶とともに、ユーザの骨格情報と対応情報とのマッチング処理を行い、仮想試着状態に対応する表示画像を生成する。表示装置14
は、仮想試着状態に対応する画像を表示する。
【選択図】図1
Description
本発明は、情報処理装置および情報処理方法、ならびに、プログラムに関する。
服が購入される際、カタログを参考にするか、実店舗で試着することにより、それぞれの好みに応じた服が選択されて、購入される。ここで、実店舗で試着することにより購入する服を選択しようとした場合、購買者と服との多数の組み合わせを確認するには時間がかかってしまう。一方、購入する服をカタログで選択しようとした場合、カタログでは購入者自身が服を着たイメージがわきづらいことが多いと思われる。
これらを解決するために、例えば、試着者の画像から取得した試着者の体型(身長、体重、輪郭等)を用いて衣服を変形して、試着者が実際に衣服を着たときの様子に近い画像を生成することができる技術がある(例えば、特許文献1など)。
また、例えば、画像上の動き情報から過去の姿勢と現在の姿勢との変化を算出し、過去の姿勢に変化を加算して現在の姿勢を推定することができる技術がある(例えば、非特許文献1など)。
また、例えば、あらかじめ衣服のCGデータを生成し、カメラで撮影された購入者の動画像に、衣服のCGデータを合成して表示させ、購入者がカメラの前で動けば、購入者が衣服を着用した(すなわち、試着した)状態で同じ動きをする画像を見ることができる技術がある(例えば、特許文献2、特許文献3など)。
また、例えば、あらかじめ衣服のCGデータを生成し、カメラで撮影された購入者の静止画像をCG化し、これに、衣服のCGデータを合成して表示させることができる技術がある(例えば、非特許文献2など)。
星野准一、斉藤啓史:ビデオ映像とCGの合成によるヴァーチャルファッションの実現、情報処理学会誌、Vol. 42、No. 5、2001
渡辺弥寿夫、美濃 導彦、坂口 嘉之:自分に合った衣服をオーダーする : 仮想服飾オーダーメイドシステム、電子情報通信学会誌 82(4),404-411, 1999
しかしながら、例えば、特許文献1などに記載の技術では、試着者の体型情報を取得して体型はある程度シミュレートしているが、試着者の動き(姿勢)を衣服に反映させることはできない。そのため、実際の試着のように衣服を着用して動いて、様々な姿勢のときの様子を再現することはできない。
また、非特許文献1などに記載の技術では、画像から、変化、すなわち、人の動きを順次加算しているため、変化の推定誤差が蓄積する。そのため、非特許文献1などに記載の技術では、長時間の追跡を行うと推定に失敗する。
また、非特許文献2、特許文献2、または、特許文献3などに記載の技術では、あらかじめCGデータが生成されている衣服しか着用の仮想体験はできず、CGデータの生成および合成には膨大な演算量が必要であることから、これらの技術を用いて仮想的な試着体験を行うためには、大変な時間や労力がかかるうえ、服のねじれや動きに伴って発生するしわ等のリアリティが出せないといった不具合が発生してしまう恐れがある。
本発明はこのような状況に鑑みてなされたものであり、より少ない演算量で、動きに伴って発生する服の動き、ふくらみ、しわ、ねじれなどをリアルに表現可能なようにすることができるようにするものである。
上記課題を解決するために、本発明の一側面においては、第1の人物を含む第1の画像情報と、第1の人物の骨格情報である第1の骨格情報とを対応付けて記憶し、第2の人物を含む第2の画像情報と、第2の人物の骨格情報である第2の骨格情報とを取得し、記憶手段に記憶されている第1の骨格情報のうち、第2の骨格情報に類似した第1の骨格情報を検出する。
また、本発明の他の側面では、第1の画像情報を解析することにより第1の骨格情報が取得される。
また、本発明の他の側面では、赤外線が対象物に対して照射発光され、赤外線が撮像され、撮像された情報に基づいて、第1の骨格情報が取得される。
また、本発明の他の側面では、第1の画像情報の取得時間を示す情報が、第1の画像情報および第1の骨格情報とにさらに対応付けられて記憶される。
また、本発明の他の側面では、記憶されている第1の画像情報の取得時間を示す情報に基づいて、第1の画像情報および第1の骨格情報と対応付けられて記憶されている第1の骨格情報のうち、第2の骨格情報に類似した第1の骨格情報が検出される。
また、本発明の他の側面では、検出された第1の画像情報が画像処理されて、その表示が制御される。
また、本発明の他の側面では、検出された第1の画像情報に含まれる第1の人物の背景に他の背景が合成される。
また、本発明の他の側面では、検出された第1の画像情報に含まれる第1の人物の顔の部分の画像が、第2の人物の顔の画像に入れ替えられて合成される。
また、本発明の他の側面では、検出された第1の画像情報に含まれる第1の人物の画像が、第2の人物の体形に合わせて拡大または縮小される。
また、本発明の他の側面では、第1の人物および第2の人物がそれぞれ撮像され、第1の画像情報および第2の画像情報は、撮像されて得られるものとされ、検出された第1の画像情報に含まれる第1の人物の画像は、第1の人物と撮像手段との位置関係と、第2の人物と撮像手段との位置関係と基づいて、平行移動、拡大、または、縮小される。
また、本発明の他の側面では、第1の人物を含む第1の画像情報が、上半身と下半身とに分けて記憶されるとともに、第1の人物の骨格情報である第1の骨格情報も、上半身と下半身とのそれぞれの第1の画像情報に対応付けられて記憶され、第2の人物を含む第2の画像情報と、第2の人物の骨格情報である第2の骨格情報とが、上半身と下半身それぞれ個別に取得されるとともに、上半身と下半身それぞれの第1の骨格情報のうち、上半身と下半身それぞれの第2の骨格情報に類似した第1の骨格情報が検出される。
以下、本発明の一実施の形態の仮想試着画像表示システム1について、図1〜図13を参照しながら説明する。
図1は、仮想試着画像表示システム1の概要を示す図である。仮想試着画像表示システム1は、情報取得装置11または12、表示画像制御装置13、および、表示装置14を含んで構成される。
情報取得装置11または12は、試着対象となる洋服を着用したモデルや、それらの洋服を仮想的に着用、すなわち、仮想試着を行おうとするユーザの、画像情報および関節の座標位置を示す情報を取得し、表示画像制御装置13に供給するものである。情報取得装置11の詳細については図2、情報取得装置12の詳細については図4を用いて後述する。
表示画像制御装置13は、情報取得装置11または12から取得されたモデルの関節の座標位置を示す情報、または、モデルの関節の座標位置を示す情報から演算されるモデルの関節の角度情報を含むモデルの骨格情報とモデルの画像情報とを対応付けて、対応情報として記憶する。さらに、表示画像制御装置13は、情報取得装置11または12から取得されたユーザの関節の座標位置を示す情報、または、ユーザの関節の座標位置を示す情報から演算されるユーザの関節の角度情報と、すでに記憶されている対応情報とのマッチング処理を行い、その結果に基づいて、仮想試着状態に対応する表示画像を生成し、表示装置14への表示を制御する。
表示画像制御装置13の詳細については、図5を用いて後述する。
表示装置14は、表示画像制御装置13の制御に基づいて、仮想試着状態に対応する画像を表示する。
次に、図2を参照して、情報取得装置11について説明する。
情報取得装置11は、画像入力部21、フレーム処理部22、赤外線照射発光部23、赤外線カメラ24、および、関節座標情報生成部25で構成されている。
画像入力部21は、例えば、カメラやビデオカメラによって構成され、試着対象となる洋服を着用したモデルや、仮想試着を行おうとするユーザの動画像または静止画像を取得し、表示画像制御装置13に出力する。また、画像入力部21は、取得された画像が動画像である場合、取得された動画像をフレーム処理部22に供給する。また、画像入力部21が取得するモデルやユーザの画像は、全身のみではなく、例えば、上半身のみであるなど、その体のうちの一部分のみであってもかまわないことは言うまでもない。
また、画像入力部21を用いて撮像処理をする場合、例えば、青や緑色のクロマキーカーテンを用いて対象となる人物を撮像することにより、予め、人物と背景を分離しやすい画像データを容易に作成することができるようにしても良い。
フレーム処理部22は、画像入力部21から供給された動画像から、所定のフレームレート(例えば、30枚/秒)の静止画像を取得し、表示画像制御装置13に出力する。
赤外線照射発光部23は、近赤外光パターンを広範囲にレーザー照射する。
赤外線カメラ24は、レーザー照射された近赤外光パターンを撮影することにより、撮影対象(ここでは、モデルまたはユーザ)の、奥行き、すなわち、カメラからの距離や、撮影対象の動きなどを計算する、3D奥行きカメラである。
なお、赤外線照射発行部23と赤外線カメラ24を用いた場合、撮像対象の奥行きに関する情報を取得することができるので、この情報を、後述する表示画像制御装置13の画像処理部49が実行する画像処理時に用いることにより、モデルやユーザと、それらの背景部分とを容易に分離することが可能となる。
関節座標情報生成部25は、画像入力部21から得られる画像情報、および、赤外線カメラ24から得られた情報に基づいて、撮影対象の関節座標を生成し、表示画像制御装置13に出力する。
画像入力部21、赤外線照射発光部23、赤外線カメラ24、および、関節座標情報生成部25は、例えば、マイクロソフト製のゲーム機「Xbox360」向けの入力デバイスである「Kinect」などを用いて構成しても良い。Kinectとは、人の体の動きや音声を認識して、それをゲームのコントローラとして利用できる、いわゆる、「家庭用で気軽に使えるモーション・キャプチャ機器」といえるものである。
画像入力部21、赤外線照射発光部23、赤外線カメラ24、および、関節座標情報生成部25を、Kinectを用いて構成した場合、Kinectの公式プログラミングガイドによると、図3に示される計20点の骨格情報を取得することができる。
次に、図4を参照して、情報取得装置12について説明する。
情報取得装置12は、画像入力部21、フレーム処理部22、関節位置推定処理部31、および、関節座標情報生成部32で構成されている。
画像入力部21およびフレーム処理部22については、図2を用いて説明した場合と同様の機能を有するものであるので、その説明は省略する。
関節位置推定処理部31は、画像入力部21およびフレーム処理部22から得られる画像情報を用いて、撮影対象の関節位置を推定し、関節座標情報生成部に供給する。
関節座標情報生成部32は、関節位置推定処理部31から供給された、撮影対象の関節位置の推定結果に基づいて、関節座標情報を生成し、表示画像制御装置13に出力する。
なお、図4を用いて説明した情報取得装置12により生成された、撮影画像を用いて推定した関節位置の推定結果に基づく関節座標情報は、図2を用いて説明した情報取得装置11により生成された関節座標情報より誤差が大きい可能性があり、また、処理の速度も、情報取得装置11の方が情報取得装置12より高速である。しかしながら、多くのセンサーを必要としない情報取得装置12のほうが、情報取得装置11よりも、ハードウェア的には部品点数等が少なくて済み、安価である可能性が高い。
したがって、例えば、演算速度を気にしないでよい、試着対象となる洋服を着用したモデルの撮影(例えば、図11を用いて後述する登録処理1など)においては、情報取得装置11を用い、演算速度が重要な、仮想試着を行おうとするユーザの撮影(例えば、図12および図13を用いて後述する参照処理1など)においては、情報取得装置12を用いるようにしてもよいことは言うまでもない。
以下、試着対象となる洋服を着用したモデルの撮影と、その対応情報の生成および記憶に関する処理を登録処理と称し、仮想試着を行おうとするユーザの撮影と、対応情報のマッチング処理およびマッチング処理結果を含む表示画面の生成、表示に関する処理を参照処理と称する。
次に、図5を用いて、表示画像制御装置13について説明する。
表示画像制御装置13は、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、タイマー45、一時記憶部46、対応情報記憶部47、マッチング処理部48、画像処理部49、および、表示制御部50により構成されている。
画像データ取得部41は、情報取得装置11または12から出力される静止画像を取得するとともに、必要に応じて、情報取得装置11または12から出力される動画像を取得し、登録処理においては対応情報記憶部47に供給するとともに、参照処理においては、一時記憶部46に供給する。
関節座標情報取得部42は、情報取得装置11または12から出力される関節座標情報を取得し、関節角度情報算出部43に供給する。
関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報を用いて、モデル、または、ユーザの、所定の関節の角度を算出し、骨格情報を生成して、登録処理においては対応情報記憶部47に供給するとともに、参照処理においては一時記憶部46に供給する。関節角度情報算出部43は、例えば、数式1に示されるような方法で、関節座標情報から、関節の角度を算出することが可能である。
数式1
この場合、後述するマッチング処理部48におけるマッチング処理は、骨格情報に基づいて、すなわち、関節の角度の一致に基づいて実行される。
ここで、関節角度情報算出部43が算出可能なすべての関節の角度を算出したほうが、後述するマッチング処理部48が実行する処理におけるマッチング精度が高くなることは言うまでもない。しかしながら、算出可能なすべての関節の角度を算出してしまうと、計算量が増えてしまう。そこで、関節角度情報算出部43が角度を算出する関節の数は、その全部であっても一部であっても良く、その関節の位置は、実験的経験的に、設計者または使用者が選択決定可能なようにしても良い。
また、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報を、関節の角度の算出結果とともに、骨格情報として、登録処理においては対応情報記憶部47に供給するとともに、参照処理においては、一時記憶部46に供給するものとしても良い。この場合、後述するマッチング処理部48におけるマッチング処理は、関節の角度の一致、または、関節座標の一致に基づいて実行される。
さらに、関節角度情報算出部43は、関節の角度の算出を実行すること無しに、関節座標情報取得部42から供給された関節座標情報のみを、骨格情報として、登録処理においては対応情報記憶部47に供給するとともに、参照処理においては、一時記憶部46に供給するものとしても良い。この場合、後述するマッチング処理部48におけるマッチング処理は、関節座標の一致に基づいて実行される。
入力部44は、例えば、キーボード、タッチパネル、ボタン、スイッチ等の入力デバイスによって構成されている。そして、入力部44は、登録処理において、モデルが着用している洋服の種類を示す情報の入力を受け、対応情報記憶部47に供給する。また、入力部44は、参照処理においては、ユーザが仮想試着したい洋服の種類を示す情報の入力を受け、マッチング処理部48に供給する。
タイマー45は、必要に応じて、現在時刻情報を、対応情報記憶部47およびマッチング処理部48に供給する。
一時記憶部46は、参照処理において、画像データ取得部41から供給されたユーザの画像データ、および、関節角度情報算出部43から供給されたユーザの骨格情報を、現在マッチング処理が実行されているフレームと、そのフレームより所定数前のフレームを含む所定のフレーム数だけ一時記憶し、マッチング処理部48の要求に基づいて、これを供給する。すなわち、一時記憶部46には、FIFO(first in first out)メモリを用いることができる。
対応情報記憶部47は、登録処理において、画像データ取得部41から供給されたモデルの画像データ、関節角度情報算出部43から供給されたモデルの骨格情報、および、入力部44から供給されたモデルが着用している洋服の種類を示す情報を、それぞれ対応付けて記憶し、マッチング処理部48の要求に基づいて、これを供給する。
対応情報記憶部47は、画像データと骨格情報が対応付けられていれば、どのような形態で対応情報としても良い。対応情報記憶部47は、例えば、画像データ取得部41から供給された画像データ1フレームに対して、それぞれ、対応する骨格情報および洋服の種類を示す情報を対応付けて、1ファイルの対応情報として記憶しても良いし、画像データ取得部41から供給された画像データ1フレームに対して骨格情報を対応付けて1ファイルの対応情報とし、洋服の種類を示す情報ごとに、フォルダ分類して記憶しても良い。
マッチング処理部48は、登録処理において、一時記憶部46にユーザの骨格情報を要求する。そして、マッチング処理部48は、入力部44から供給されたユーザが仮想試着したい洋服の種類を示す情報を参照し、対応情報記憶部47に記憶されている対応情報のうち、入力部44から供給されたユーザが仮想試着したい洋服の種類に合致する対応情報に含まれて記憶されている骨格情報を読み出して、マッチング処理を実行する。
骨格情報が関節座標情報であるとき、マッチング処理部48は、マッチング処理において一定の誤差を許可しても良い。すなわち、マッチング処理部48は、例えば、複数の関節座標情報のそれぞれが、全て、三次元座標上において所定の誤差範囲である場合、それらの骨格情報がマッチングしていると判断しても良いし、複数の関節座標情報の誤差の合計値が所定の誤差範囲である場合、それらの骨格情報がマッチングしていると判断しても良い。
骨格情報が関節角度情報であるとき、また、マッチング処理部48は、マッチング処理において一定の誤差を許可しても良い。すなわち、マッチング処理部48は、例えば、複数の関節角度情報のそれぞれが、全て、所定の誤差範囲である場合、それらの骨格情報がマッチングしていると判断しても良いし、複数の関節角度情報の誤差の合計値が所定の誤差範囲である場合、それらの骨格情報がマッチングしていると判断しても良い。
さらに、マッチング処理部48は、複数の対応情報がマッチングしている場合、一時記憶部46に記憶されている、現在マッチング処理を実行しているフレームより時間的に前のフレームの骨格情報を用いてマッチング処理を実行し、後者のマッチング処理においてマッチングした骨格情報に対応する対応情報に含まれている画像の撮像時刻に対してより近い(さらに、時間方向も合致すると好適である)対応情報を、前者のマッチング処理における最良のマッチング結果とすることができる。
例えば、図6の上部、時刻情報t1から時刻情報t10として示されるモデル画像が対応情報として対応情報記憶部47に記憶されている場合について考察する。マッチング処理部48は、一時記憶部46から、図6の下部、時刻情報rt0に示されるユーザの画像の骨格情報の供給を受けたとき、図6の上部、時刻情報t4と時刻情報t8として示される対応情報をマッチング結果として得ることができる。時刻情報t4に対応するのは、片手を振り上げている途中に対応し、時刻情報t8に対応するのは、片手を振り下げている途中に対応する。これらそれぞれの衣服の動きは異なるものとなるのはもちろんである。
そのような場合、マッチング処理部48は、一時記憶部46から、図6の下部、時刻情報rt−1に示されるユーザの画像の骨格情報の供給を受け、図6の上部、時刻情報t1から時刻情報t10として示される対応情報の骨格情報とのマッチング処理を実行し、時刻情報t7として示される対応情報をマッチング結果として得る。そして、マッチング処理部48は、時刻情報t4と時刻情報t8として示される対応情報のうち、時刻情報t7に近い時刻情報t8の対応情報を最良のマッチング結果として得ることができる。
さらに、マッチング処理部48は、骨格情報として関節角度情報が用いられている場合、所定箇所の複数の関節角度情報に基づいてマッチング処理を実行可能なようにすると好適である。
例えば、撮影範囲が上半身のみであって、その場合にモデルまたはユーザが腕をどちらの方向に上げているか下げているかは、図3を用いて説明した検出可能な関節のうち、ELBOW_RIGHTとSHOULDER_SENTERとELBOW_LEFTとにおいて、SHOULDER_SENTERを中心とした角度を算出することによって、容易に検出される。しかしながら、これらの情報だけでは、図7に示されるように、上体が右に傾いたり左に傾いたりしていることは検出不能である。
そこで、マッチング処理部48は、図3を用いて説明した検出可能な関節のうち、例えば、SHOULDER_SENTERとSPINEとにより構成される線分と、所定位置の水平面および垂直面とがなす角度を算出し、骨格情報のみならず、これも用いてマッチング処理をするものとすると好適である。
マッチング処理部48は、このようにして得られたマッチング結果に対応するユーザ画像およびモデル画像を画像処理部49に供給する。
画像処理部49は、マッチング処理部48から供給された、ユーザ画像およびモデル画像を画像処理し、処理済の表示用画像データを生成して、表示制御部50に供給する。
画像処理部49は、例えば、図8に示されるように、ユーザの画像を一方に表示するとともに、他方に、そのユーザの動きにマッチングしたモデル画像を表示するようにしても良い。このようにすることにより、ユーザは、自分自身の動きと同様に動くモデルの画像を参照することができ、その動きによってできる洋服のねじれやしわ、ふくらみやゆれなどを、確認することができる。
また、画像処理部49は、ユーザの動きにマッチしたモデルの画像の背景を自由に変化させることができるようにしても良い。画像処理部49は、例えば、インテルが開発・公開したオープンソースのコンピュータビジョン向けライブラリであるOpenCVなどを用いて、背景差分を得、背景を濃淡画像に変換し、二値化を実行し、ノイズを除去し、背景と人物との画像を合成することにより、図9左側に示される背景合成前の画像に対して、図9右側に示される背景合成後の画像を生成する。
このとき、上述したように、あらかじめ、青や緑色のクロマキーカーテンを用いて、ユーザまたはモデルの撮像を行うようにしておいたり、赤外線照射発行部23と赤外線カメラ24を用いて撮像対象の奥行き情報を予め取得するようにすることにより、容易に人物と背景を分離することができるようにしてもよいことは言うまでもない。
さらに画像処理部49は、背景として、静止画像のみならず、動画像を合成することができるものとしても良い。
このようにすることにより、ユーザは、背景を、例えば、街中、オフィス、レストランなどにすることにより、いろいろなシチュエーションにおいてその洋服を着用した場合のイメージを、容易に得ることか可能となる。
また、画像処理部49は、ユーザの動きにマッチしたモデルの顔の画像を、ユーザの顔の画像に置き換えて合成することができるようにしても良い。画像処理部49は、例えば、上述したOpenCVを利用することなどにより、オブジェクト検出ができるものとする。そして、画像処理部49は、マッチング処理部48から供給されたユーザ画像から顔の部分を検出して抽出するとともに、モデル画像の顔の部分も検出する。そして、画像処理部49は、図10に示されるように、モデル画像の顔の部分に抽出されたユーザの顔の部分の画像を合成する。
このとき、画像処理部49は、1枚のユーザの顔画像を、マッチング結果としてマッチング処理部48から供給されたモデル画像のそれぞれのフレームに合成することができるものとしても良いが、マッチング処理部48から供給されたそれぞれのフレームのユーザ画像から顔の部分を検出して抽出し、1フレームごとに画像合成を行うようにすると、仮想試着対象の服を着た体の動きと顔の向きや視線の向きが不自然でなくなり、好適である。
このようにすることにより、画像処理部49は、図10の右側に示されるように、ユーザ自身が仮想試着を希望する服を着て動いているかのような画像を生成することが可能となる。
また、画像処理部49は、例えば、マッチング処理部48から供給されたユーザの画像に基づいて、モデルの画像を縦横に自在に伸縮させ、ユーザとモデルの体形を擬似的に似せることができるものとしても良い。これによって、仮想試着する洋服をユーザ自身が着た場合を、さらにリアルに表現することが可能となり、例えば、上述したように、モデルの顔の部分にユーザの顔を合成するようにした場合、あたかもユーザ自身がその洋服を試着して動いているようにユーザに感じさせることができるようになる。
さらに、ユーザとモデルとの体形が異なる場合のみならず、例えば、登録されたモデルの立ち位置と、参照するユーザの立ち位置とが、画像入力部21に対して異なる場合、画像処理部49は、マッチング処理部48から供給されたユーザの画像に基づいて、モデルの画像を縦横に自在に伸縮させたり、平行移動させることができるものとしても良い。
登録されたモデルの立ち位置と参照するユーザの立ち位置とが、画像入力部21に対して異なるか否かは、例えば、撮像された画像を解析することによっても判断可能であり、また、赤外線照射発行部23と赤外線カメラ24を用いて検出可能な関節位置のうち、例えば、図3を用いて説明した「SPINE」など、予め定められたいずれかの関節(手足よりも胴体部分の関節のほうがより良いであろうことは言うまでもない)位置を比較することによっても判断可能である。
例えば、登録されたモデルの立ち位置と、参照するユーザの立ち位置とが、上下左右斜め方向にずれていた場合、画像処理部49は、対応する方向へ、モデルの画像を平行移動させる。また、例えば、登録されたモデルの立ち位置と、参照するユーザの立ち位置とが、奥行き方向(前後)にずれていた場合、画像処理部49は、撮像時のそれぞれの被写体とカメラとの距離感が同じ程度になるように、モデルの画像を拡大または縮小させる。
表示制御部50は、画像処理部49により生成された表示画像データの、表示装置14への表示を制御する。
なお、表示画像制御部において、上述したように、画像処理部49が、各種画像処理を行う機能を多く有することができた場合、仮想試着画像表示システムを、仮想試着以外の他の方法で利用し、ユーザにさまざまなアプリケーションを提供することが可能となる。
例えば、モデルが、マントを装着したヒーローや、ひらひらとしたレースやフリルがたくさん付いたドレスなどを着用したお姫様などのキャラクターに扮し、仮想試着画像表示システムの表示画像制御装置13が、登録処理において、その対応情報を対応情報記憶部47に記憶しておいた場合、仮想試着画像表示システムの表示画像制御装置13は、参照処理において取得されるユーザの画像と、そのユーザの動きに合致したキャラクターの画像を合成することが可能となる。これにより、ヒーローやお姫様などのキャラクターが、ユーザと同様の動きを行うようなアプリケーションや、ユーザ自身がヒーローやお姫様などのキャラクターになりきった画像を見て楽しむことができるアプリケーションを、ユーザに提供することが可能となる。
例えば、画像処理部49が、マッチング処理部48から供給されたユーザの画像に基づいて、モデルの画像を縦横に自在に伸縮させ、ユーザとモデルの体形を擬似的に似せることができる場合、仮想試着画像表示システムは、いろいろな体形の子供に対して、自分と同じぐらいの大きさのキャラクターが、自分のまねをして動くアプリケーションを提供することができる。
そのアプリケーションにおいては、ユーザの動きに応じて、同時に表示されるヒーローのマントやお姫様のドレスの動きを、非常に自然に表現することが可能となる。
また、画像処理部49が、マッチング処理部48から供給されたユーザの画像に基づいて、モデルの画像を縦横に自在に伸縮させ、ユーザとモデルの体形を擬似的に似せることができるのみならず、さらに、顔画像の合成処理を行うことができる場合、仮想試着画像表示システムは、ユーザの動きと同一の動きをする、ユーザの体形でユーザの顔が合成されたキャラクターを表示するアプリケーションを提供することができる。
そのアプリケーションでは、ユーザは、キャラクターになりきったような仮想体験を得ることができる。例えば、ユーザがヒーローになりきって変身ポーズを行ったり、パンチやキックを繰り出したとき、仮想試着画像表示システムによって表示される画像においては、ヒーロー(すなわちユーザ)が着用しているマントやマフラーなどが動きに応じて非常に自然に動く。また、例えば、ユーザが、お姫様になりきって、鏡の前にいるような気分でくるりと回転した場合、仮想試着画像表示システムによって表示される画像においては、お姫様(すなわちユーザ)が着用しているドレスのすそや、飾りのリボンなどが動きに応じて非常に自然に動く。したがって、ユーザは、表示される画像に不自然な感じを覚えることなく、キャラクターになりきってさまざまな動作を行う仮想体験を得ることができる。
また、画像処理部49が、さらに背景画像の合成を行うことが可能な場合、仮想試着画像表示システムは、ユーザがなりきるキャラクターの世界観においてありがちなシチュエーションの背景が合成され、ユーザと同様に動作するキャラクターの動画像をユーザに提示することができる。
ユーザがキャラクターとしてヒーローを選択した場合、画像処理部49は、例えば、背景として、敵が攻撃を仕掛けてくる動画像を、ユーザの動きにあわせて動くキャラクターの画像の背景として合成する。ユーザは、その画像を参照して、襲ってくる敵に対してパンチやキックを繰り出して、敵を倒すヒーローになりきることができる。
そして、このようなアプリケーションと、既存の動き検出機能を有するデバイスを組み合わせることなどにより、仮想試着画像表示システムを利用したアクションゲームを提供することが可能となる。
ユーザがキャラクターとしてお姫様を選択した場合、画像処理部49は、例えば、背景として、お城で舞踏会が行われている状況に対応する背景と、ユーザの動きにあわせて動く王子様の画像とを合成する。ユーザは、その画像を参照して、王子様と華麗にダンスをするお姫様になりきることができる。
そして、このようなアプリケーションと、既存の動き検出機能を有するデバイスを組み合わせることなどにより、仮想試着画像表示システムを利用したダンスゲームを提供することが可能となる。
さらに、例えば、仮想試着画像表示システム1の機能を応用し、対応情報において、モデルの画像と対応付けて記憶される情報を、モデルの動きを示す骨格情報以外の情報とすることにより、仮想試着画像表示システムを、仮想試着以外の他の方法で利用し、ユーザにさまざまなアプリケーションを提供することが可能となる。
例えば、他のアプリケーションで利用可能な仮想試着画像表示システムにおいては、登録処理時に、情報取得装置11または12が、モデルの頭部の画像と、目・鼻・口・あご・耳などの顔の部位の座標情報を、既存の技術を利用することなどにより取得し、表示画像制御装置13が、モデルの頭部画像情報と、それらの目・鼻・口・あご・耳などの顔の部位の座標情報を対応付けて対応情報として対応情報記憶部47に記憶することができるようにするとともに、参照処理時に、対応情報記憶部47に記憶されている対応情報と、ユーザの目・鼻・口・あご・耳などの顔の部位の座標情報とのマッチング処理を行うことができるようにしても良い。
登録処理時、モデルは、頭を各方向に振ったり、体ごと一回転したり、髪を片手や両手でさまざまに掻き上げるなどのしぐさを行う。情報取得装置11または12は、既存の技術を利用することなどにより、モデルの頭部の画像と、目・鼻・口・あご・耳などの顔の部位の座標情報を取得し、表示画像制御装置13は、モデルの頭部の画像情報と、それらの目・鼻・口・あご・耳などの顔の部位の座標情報を対応付けて、入力部44から入力される髪型の種類を示す情報とともに、対応情報として対応情報記憶部47に記憶する。
参照処理時、ユーザは、試してみたい髪形の種類を示す情報を入力部44から入力し、自分が試してみたいように、頭部を動かしたり、髪を掻き上げるしぐさなどを行う。仮想試着画像表示システムの表示画像制御装置13は、参照処理において取得されるユーザの目・鼻・口・あご・耳などの顔の部位の座標情報と、そのユーザが希望する髪形に対応する対応情報に含まれる目・鼻・口・あご・耳などの顔の部位の座標情報とのマッチング処理を実行し、マッチング結果に基づいて、表示画像を生成し、表示装置14への表示を制御する。ユーザは、表示装置14に表示される画像を参照することにより、なりたい髪型が自分に似合うか、動きによってどのように変化するかを仮想的に体験することができる。
次に、図11のフローチャートを参照して、仮想試着画像表示システム1が、よりリアルな仮想試着の実現をユーザに提供する場合における登録処理の一例である登録処理1について説明する。
ステップS1において、情報取得装置11または情報取得装置12の画像入力部21は、静止画、または、動画の撮影を開始し、撮影により得られた画像データを表示画像制御装置13に供給する。表示画像制御装置13の画像データ取得部41は、供給された画像データを対応情報記憶部47に供給する。
また、登録処理において、画像入力部21を用いてモデルを撮像する場合、例えば、青や緑色のクロマキーカーテンを用いてモデルを撮像することにより、人物と背景を分離しやすい画像データを容易に作成することができるので好適である。
ステップS2において、情報取得装置11または情報取得装置12の画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS2において撮像されているのは動画ではないと判断された場合、処理は、ステップS4に進む。
ステップS2において撮像されているのは動画であると判断された場合、ステップS3において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、表示画像制御装置13に供給する。表示画像制御装置13の画像データ取得部41は、供給された画像データを対応情報記憶部47に供給する。
情報取得装置11が適用されており、ステップS2において撮像されているのは動画ではないと判断された場合、または、ステップS3の処理の終了後、ステップS4において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、モデルを検出する。また、情報取得装置12が適用されており、ステップS2において撮像されているのは動画ではないと判断された場合、または、ステップ3の処理の終了後、ステップS4において、関節位置推定処理部31は、画像入力部21から供給される画像データに基づいて、モデルを検出する。
情報取得装置11が適用されている場合、ステップS5において、関節座標情報生成部25は、検出されたモデルの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置13に供給する。また、情報取得装置12が適用されている場合、ステップS5において、関節位置推定処理部31は、検出されたモデルの関節位置を、画像処理により推定し、関節座標情報生成部32に供給する。関節座標情報生成部32は、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置13に供給する。表示画像制御装置13の関節座標情報取得部42は、供給された関節座標情報を、関節角度情報算出部43に供給する。
ステップS6において、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報に基づいて、所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、骨格情報として、対応情報記憶部47に供給する。
なお、情報取得装置11が適用されている場合、赤外線照射発行部23と赤外線カメラ24が用いられて撮像対象の奥行きに関する情報を取得することができるので、この情報を、撮像された画像とともに対応情報記憶部47に供給して記憶させておくことにより、表示画像制御装置13の画像処理部49が実行する後述する画像処理において、モデルとその背景部分とを容易に分離することが可能となり、好適である。
ステップS7において、対応情報記憶部47は、関節の座標情報・算出された角度などの骨格情報と、その骨格情報を得た基となる画像情報と、さらに、必要に応じて、タイマー45を参照することにより得られるその画像情報の取得時刻情報とを、関連付けて、対応情報として記憶する。
ステップS8において、対応情報記憶部47は、画像の撮影が終了したか否かを判断する。ステップS8において、画像の撮影が終了していないと判断された場合、処理は、ステップS2に戻り、それ以降の処理が繰り返される。
ステップS8において、画像の撮影が終了したと判断された場合、ステップS9において、対応情報記憶部47は、入力部44から供給される洋服の種類を判別するためのタグを、対応情報に関連付けて記憶し、処理が終了される。
このような処理により、表示画像制御部の対応情報記憶部47に、対応情報が記憶される。
次に、図12および図13のフローチャートを参照して、仮想試着画像表示システムが、よりリアルな仮想試着の実現をユーザに提供する場合における参照処理の一例である参照処理1について説明する。
ステップS21において、入力部44は、仮想試着を実施する洋服の種類を示す情報の入力を受け、マッチング処理部48に供給する。マッチング処理部48は、対応情報記憶部47に記憶されている対応情報のうち、入力された洋服の種類を示す情報に対応する対応情報をマッチング処理に用いる。
ステップS22において、情報取得装置11または情報取得装置12の画像入力部21は、静止画、または、動画の撮影を開始し、撮影により得られた画像データを表示画像制御装置13に供給する。表示画像制御装置13の画像データ取得部41は、供給された画像データを一時記憶部46に供給する。
ステップS23において、情報取得装置11または情報取得装置12の画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS23において撮像されているのは動画ではないと判断された場合、処理は、ステップS25に進む。
ステップS23において撮像されているのは動画であると判断された場合、ステップS24において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、表示画像制御装置13に供給する。表示画像制御装置13の画像データ取得部41は、供給された画像データを一時記憶部46に供給する。
情報取得装置11が適用されており、ステップS23において撮像されているのは動画ではないと判断された場合、または、ステップ24の処理の終了後、ステップS25において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、ユーザを検出する。また、情報取得装置12が適用されており、ステップS23において撮像されているのは動画ではないと判断された場合、または、ステップ24の処理の終了後、ステップS25において、関節位置推定処理部31は、画像入力部21から供給される画像データに基づいて、ユーザを検出する。
情報取得装置11が適用されている場合、ステップS26において、関節座標情報生成部25は、検出されたユーザの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置13に供給する。また、情報取得装置12が適用されている場合、ステップS26において、関節位置推定処理部31は、検出されたユーザの関節位置を、画像処理により推定し、関節座標情報生成部32に供給する。関節座標情報生成部32は、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置13に供給する。表示画像制御装置13の関節座標情報取得部42は、供給された関節座標情報を、関節角度情報算出部43に供給する。
ステップS27において、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報に基づいて、所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、骨格情報として、一時記憶部46に供給する。
ステップS28において、一時記憶部46は、関節角度情報算出部43から供給された、関節の座標情報および算出された角度などの骨格情報と、画像情報取得部から供給された、その骨格情報を得た基となる画像情報とを、関連付けて一時記憶する。
ステップS29において、マッチング処理部48は、一時記憶された骨格情報と、仮想試着を実施する洋服の種類を示す情報に対応するタグに関連付けられた対応情報に含まれて対応情報記憶部47に記憶されている骨格情報との第1のマッチング処理を実行する。
ステップS30において、マッチング処理部48は、ステップS29で実行された第1のマッチング処理において、一時記憶部46に一時記憶された骨格情報に合致する、対応情報に含まれて対応情報記憶部47に記憶されている骨格情報が存在したか否かを判断する。ステップS30において、骨格情報が存在しないと判断された場合、処理は、ステップS25に戻り、それ以降の処理が繰り返される。
ステップS30において、骨格情報が存在したと判断された場合、ステップS31において、マッチング処理部48は、ステップS29で実行された第1のマッチング処理の結果、合致する骨格情報が複数存在したか否かを判断する。
ステップS31において、第1のマッチング処理の結果、合致する骨格情報が複数存在していないと判断された場合、ステップS32において、マッチング処理部48は、対応情報記憶部47に記憶されている対応情報のうち、第1のマッチング処理において合致した骨格情報に対応する画像を読み出して、画像処理部49に供給し、処理は、ステップS38に進む。
ステップS31において、第1のマッチング処理の結果、合致する骨格情報が複数存在したと判断された場合、ステップS33において、マッチング処理部48は、一時記憶部46に記憶されている情報のうち、ユーザの現フレーム(すなわち、ステップS29の第1のマッチング処理に用いられた画像フレーム)の一つ前のフレームの骨格情報を読み出す。
ステップS34において、マッチング処理部48は、ステップS33の処理により読み出したフレームの骨格情報と、対応情報に含まれて対応情報記憶部47に記憶されている骨格情報との第2のマッチング処理を実行する。
ステップS35において、マッチング処理部48は、第2のマッチング処理において、合致する骨格情報が存在したか否かを判断する。
ステップS35において、合致する骨格情報が存在しないと判断された場合、ステップS36において、マッチング処理部48は、一時記憶部46に記憶されている情報のうち、さらに1つ前のフレームの骨格情報を読み出して、処理は、ステップS34に戻り、それ以降の処理が繰り返される。
ステップS35において、合致する骨格情報が存在したと判断された場合、ステップS37において、マッチング処理部48は、例えば、図6を用いて説明したように、複数存在した第1のマッチング処理において合致した骨格情報に対応する画像のうち、第2のマッチング処理において合致した骨格情報に対応する時刻に対してより近い(さらに、時間方向も合致すると好適である)画像を選択して、対応情報記憶部47から読み出して、画像処理部49に供給する。
ステップS38において、画像処理部49は、例えば、図8、図9、および、図10を用いて説明したように、必要な画像処理を実行し、生成した表示画像を表示制御部50に供給する。
ステップS39において、表示制御部50は、画像処理部49から供給された、ステップS38で画像処理部49により生成された画像の、表示装置14への表示を制御する。
ステップS40において、マッチング処理部48は、画像の撮影が終了したか否かを判断する。
ステップS40において、画像の撮影が終了していないと判断された場合、処理は、ステップS23に戻り、それ以降の処理が繰り返される。ステップS40において、画像の撮影が終了したと判断された場合、処理が終了される。
このような処理により、仮想試着画像表示システム1は、ユーザに対して、所望の洋服を試着し、自分の動きにあわせて試着している洋服も動いたり、広がったり、しわがよっているような仮想体験を提供することができる。
なお、仮想試着画像表示システム1は、複数の装置により構成されるものとして説明していたが、例えば、図14に示されるように、1つの仮想試着画像作成・表示装置61を用いて、同様の処理を実行可能なようにしても良い。
図14の仮想試着画像生成・表示装置61は、図1の情報取得装置11または12と同様の機能を有する情報取得部71と、図1の表示画像制御装置13と同様の機能を有する表示画像制御部72と、図1の表示装置14と同様の機能を有する表示部73により構成されている。
また、登録処理を行うことが可能な装置、参照処理における一部の処理を行うことが可能な装置、および、対応情報記憶部47に対応する記憶装置であって、対応情報を記憶可能なデータサーバなどを一箇所に集約し、複数の場所に配置された装置と情報を授受することにより、多くのユーザに、仮想的な試着体験を提供することが可能なシステムを構築することができる。
例えば、図15に示されるように、このシステムでは、対応情報生成装置81、データサーバ82、および、マッチング処理装置84が1箇所に集約され、マッチング処理装置84は、複数の仮想試着画像生成・表示装置83−1,83−2,83−2と、例えば、インターネットなどの広域ネットワークや、専用の独立ネットワークなどで接続され、それぞれ情報が授受可能なようになされている。
仮想試着画像生成・表示装置83は、図14における場合と同様の情報取得部71および表示部73と、図18を用いて後述する、表示画像および通信制御部91によって構成されている。
図16を参照して、図15の対応情報生成装置81について説明する。
図16において、画像入力部21およびフレーム処理部22は、図2または図4を用いて説明した場合と同様の機能を有するものであるので、その説明を省略する。また、図16において、赤外線照射発光部23、赤外線カメラ24、および、関節座標情報生成部25は、図4を用いて説明した場合と同様の機能を有するものであるので、その説明を省略する。また、入力部44および関節角度情報算出部43は、図5を用いて説明した場合と同様の機能を有するものであるので、その説明を省略する。
対応情報生成部101は、画像入力部21およびフレーム処理部22から供給された画像データ、関節角度情報算出部43から供給されたモデルの骨格情報、および、入力部44から供給されたモデルが着用している洋服の種類を示す情報を、それぞれ対応付けて対応情報を生成し、データサーバ82に供給して、記憶させる。
次に、図17を参照して、マッチング処理装置84について説明する。
マッチング処理装置84は、ユーザ情報取得制御部111、対応情報取得制御部112、マッチング処理部48、タイマー45、および、マッチング対応情報出力制御部113によって構成されている。
ここで、マッチング処理部48、および、タイマー45は図5を用いて説明した場合と同様の構成を有するものであるので、その説明は省略する。
ユーザ情報取得制御部111は、いずれかの仮想試着画像生成・表示装置83からネットワークを介して送信されるユーザに関する情報の取得を制御し、マッチング処理部48に供給する。
対応情報取得制御部112は、マッチング処理部48の要求に基づいて、データサーバ82に記憶されている対応情報の取得およびマッチング処理部48への供給を制御する。
マッチング対応情報出力制御部113は、マッチング処理の結果得られる画像情報および対応する骨格情報の、対応する仮想試着画像生成・83へのネットワークを介した出力を制御する。
次に、図18を参照して、仮想試着画像生成・表示装置83の表示画像および通信制御部91の構成について説明する。
表示画像および通信制御部91は、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、一時記憶部46、画像処理部49、表示制御部50、および、データ通信制御部で構成されている。
ここで、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、一時記憶部46、画像処理部49、および、表示制御部50は、それぞれ、図5を用いて説明した場合と同様の機能を有するものであるので、その説明は省略する。
データ通信制御部は、参照処理において、一時記憶部46にユーザの骨格情報を要求する。そして、データ通信制御部は、入力部44から供給されたユーザが仮想試着したい洋服の種類を示す情報と、一時記憶部46から供給されたユーザの骨格情報とを、ネットワークを介して、マッチング処理装置84に供給する。
そして、データ通信制御部は、ネットワークを介してマッチング処理装置84から供給される、マッチング処理により得られたモデルの画像データおよび骨格情報を取得し、一時記憶部46から読み出したユーザの画像情報および骨格情報とともに、画像処理部49に供給し、画像処理を実行させるとともに、表示制御部50に表示部への表示を制御させる。
次に、図19および図20のフローチャートを参照して、図15を用いて説明した、多くのユーザに仮想的な試着体験を提供することが可能なシステムが実行する処理について説明する。
ステップS51において、対応情報生成装置81の画像入力部21は、静止画、または、動画の撮影を開始し、撮影により得られた画像データを対応情報せ生成部に供給する。
ステップS52において、画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS52において撮像されているのは動画ではないと判断された場合、処理は、ステップS54に進む。
ステップS52において撮像されているのは動画であると判断された場合、ステップS53において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、対応情報生成部101に供給する。
ステップS52において撮像されているのは動画ではないと判断された場合、または、ステップ53の処理の終了後、ステップS54において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、モデルを検出する。
ステップS55において、関節座標情報生成部25は、検出されたモデルの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、関節角度情報算出部43に供給する。
ステップS56において、関節角度情報算出部43は、関節座標情報生成部25から供給された関節座標情報に基づいて、所定の関節の角度を算出し、関節座標情報生成部25から供給された関節座標情報と算出された関節の角度情報とを、骨格情報として、対応情報生成部101に供給する。
ステップS57において、対応情報生成部101は、関節の座標情報・算出された角度などの骨格情報と、その骨格情報を得た基となる画像情報とを、関連付けて、対応情報とし、データサーバ82に供給する。
ステップS58において、対応情報生成部101は、画像の撮影が終了したか否かを判断する。ステップS58において、画像の撮影が終了していないと判断された場合、処理は、ステップS52に戻り、それ以降の処理が繰り返される。
ステップS58において、画像の撮影が終了したと判断された場合、ステップS59において、対応情報生成部101は、入力部44から供給される洋服の種類を判別するためのタグを、対応情報に関連付けてデータサーバ82に記憶させる。
ステップS60において、データサーバ82は、対応情報生成装置81の対応情報生成部101から供給された対応情報と洋服の種類を判別するためのタグとを記憶する。
ステップS61において、仮想試着画像生成・表示装置83の表示画像および通信制御部91の入力部44は、仮想試着を実施する洋服の種類を示す情報の入力を受ける。
ステップS62において、画像取得部の画像入力部21は、静止画、または、動画の撮影を開始し、撮影により得られた画像データを表示画像および通信制御部91に供給する。表示画像および通信制御部91の画像データ取得部41は、供給された画像データを一時記憶部46に供給する。
ステップS63において、画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS63において撮像されているのは動画ではないと判断された場合、処理は、ステップS65に進む。
ステップS63において撮像されているのは動画であると判断された場合、ステップS64において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、表示画像および通信制御部91に供給する。表示画像および通信制御部91の画像データ取得部41は、供給された画像データを一時記憶部46に供給する。
ステップS63において撮像されているのは動画ではないと判断された場合、または、ステップ64の処理の終了後、ステップS65において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、ユーザを検出する。
ステップS66において、関節座標情報生成部25は、検出されたユーザの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、表示画像および通信制御部91に供給する。表示画像および通信制御部91の関節座標情報取得部42は、供給された関節座標情報を、関節角度情報算出部43に供給する。
ステップS67において、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報に基づいて、所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、骨格情報として、一時記憶部46に供給する。
ステップS68において、一時記憶部46は、関節角度情報算出部43から供給された、関節の座標情報および算出された角度などの骨格情報と、画像データ取得部41から供給された、その骨格情報を得た基となる画像情報とを、一時記憶する。一時記憶部46は、必要に応じて、その画像情報の取得時刻の情報を、さらに関連付けて一時記憶するようにしても良い。
ステップS69において、データ通信制御部は、一時記憶部46に一時記憶された骨格情報と、入力部44により入力された仮想試着を実施する洋服の種類を示す情報とを、ネットワークを介して、マッチング処理装置84へ送信する。
ステップS70において、マッチング処理装置84のユーザ情報取得制御部111は、仮想試着画像生成・表示装置83から送信された骨格情報と仮想試着を実施する洋服の種類を示す情報とを、ネットワークを介して受信し、マッチング処理部48に供給する。また、ユーザ情報取得制御部111は、仮想試着を実施する洋服の種類を示す情報を、対応情報取得制御部112に供給する。
ステップS71において、マッチング処理部48は、仮想試着画像生成・表示装置83から受信した情報から、1フレーム目に対応するユーザの骨格情報を読み出す。
ステップS72において、対応情報取得制御部112は、仮想試着を実施する洋服の種類を示す情報に対応するタグに関連付けられた対応情報を、データサーバ82から読み出して、マッチング処理部48に供給する。マッチング処理部48は、読み出された骨格情報と、データサーバ82に記憶されていた対応情報に含まれて記憶されている骨格情報とのマッチング処理を実行する。
ステップS73において、マッチング処理部48は、ステップS72で実行されたマッチング処理において、仮想試着画像生成・表示装置83から受信した骨格情報に合致する骨格情報が存在したか否かを判断する。
ステップS73において、合致する骨格情報が存在したと判断された場合、ステップS74において、マッチング処理部48は、マッチング処理において合致した骨格情報に対応する画像データを、マッチング対応情報出力制御部113に供給する。マッチング対応情報出力制御部113は、供給された画像データを、ネットワークを介して、仮想試着画像生成・表示装置83に送信する。
ステップS73において、合致する骨格情報が存在しなかったと判断された場合、または、ステップS74の処理の終了後、ステップS75において、マッチング処理部48は、ユーザ情報取得制御部111が仮想試着画像生成・表示装置83から受信した情報から、次のフレームに対応する骨格情報を読み出して、処理は、ステップS72に戻り、それ以降の処理が繰り返される。
ステップS76において、仮想試着画像生成・表示装置83の表示画像および通信制御部91のデータ通信制御部は、ネットワークを介して、マッチング処理装置84から、マッチング処理の結果得られた画像データを受信して、画像処理部49に供給する。
ステップS77において、画像処理部49は、例えば、図8、図9、および、図10を用いて説明したように、必要な画像処理を実行し、生成した表示画像を表示制御部50に供給する。
ステップS78において、表示制御部50は、画像処理部49から供給された、ステップS778で画像処理部49により生成された画像の、表示装置14への表示を制御する。マッチング処理装置84から受信された全ての画像データに対して、ステップS76,77および78の処理が実行されて、処理は終了される。
このような処理により、一箇所に集約されて記憶された対応情報とマッチング処理装置84に対して、いろいろな場所に設置された仮想試着画像生成・表示装置83がアクセスして、多くのユーザに仮想的な試着体験を提供することができる。
また、このようなシステムを実現することにより、例えば、マッチング処理装置84へのアクセス回数などに応じて課金処理などを行い、ビジネスモデルとして応用することも可能となる。
さらに、上述したような技術を応用して、例えば、多くの時間をとることができなかったり、拘束時間が永くなればなるほどコストがかかるような、そして、宣伝効果の高い、著名なモデルや女優等を、長時間拘束すること無しに、このような著名なモデルや女優等が、さまざまな服を着て自由に動く動画像を表示することが可能な、いわゆる仮想電子カタログを生成することが可能となる。
このような仮想電子カタログの作成を実現するためには、例えば、宣伝したい洋服を着用した洋服販売店の店員等の映像を取得し、骨格情報を得て、対応情報を生成して記憶させるとともに、さらに、著名なモデルや女優等に、1種類の洋服を着てさまざまな動作を行ってもらい、その映像を取得し、骨格情報を得て第2の対応情報を生成して記憶させ、それらを用いてマッチング処理を実行させる必要がある。
図21を参照して、このような仮想電子カタログの作成を実現するための仮想試着合成画像生成システム151について説明する。
仮想試着合成画像生成システム151は、図1における場合と同様の情報取得装置11または12と、図22を用いて後述する合成画像生成装置161と、外部記録装置または各種記録媒体のドライブ162で構成されている。
情報取得装置11または12は、図1における場合と同様の機能を有するものであるので、その詳細な説明については後述する。
外部記録装置または各種記録媒体のドライブ162は、例えば、ハードディスクやUSBメモリなどの外部記録装置や、CD(compact disk)、DVD(Digital Versatile Disc)、または、ブルーレイディスクなどの記録媒体に情報を記録可能なドライブなどで構成されており、合成画像生成装置161において生成された合成画像を記録するか、もしくは記録を制御するものである。
次に、図22を参照して、合成画像生成装置161について説明する。
合成画像生成装置161は、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、タイマー45、対応情報記憶部47、マッチング処理部48、画像処理部49、第2の対応情報記憶部171、および、記録制御部172により構成されている。
合成画像生成装置161の画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、タイマー45、対応情報記憶部47、マッチング処理部48、および画像処理部49のそれぞれの機能は、図5を用いて説明した場合と同様であるので、その詳細な説明は省略する。なお、ここで、対応情報記憶部47が記憶する対応情報は、店員などが広告したい洋服を着用した場合における画像情報、対応する骨格情報、および、入力部44から供給された店員などが着用している洋服の種類を示す情報である。
第2の対応情報記憶部171は、画像データ取得部41から供給されたモデルや女優などの画像データ、および、関節角度情報算出部43から供給されたモデルや女優などの骨格情報を、それぞれ対応付けて記憶し、マッチング処理部48の要求に基づいて、これを供給する。
マッチング処理部48は、第2の対応情報記憶部171に記憶されたモデルや女優などの骨格情報と合致する、対応情報記憶部47に記憶されている対応情報を、マッチング処理により選択して読み出し、これらの骨格情報に対応する画像データを画像処理部49に供給する。画像処理部49は、広告したい洋服を着用した店員等の顔画像に、対応するモデルや女優などの顔画像を合成し、モデルや女優などが、広告したい洋服を着用して動いているかのような画像を生成し、記録制御部172に供給する。
記録制御部172は、画像処理部49により生成された表示画像、すなわち、著名なモデルや女優などが、広告したい洋服を着用して動いているように見える合成画像の供給を受け、外部記録装置または記録媒体のドライブへの記録を制御する。
仮想試着合成画像生成システム151は、図11を用いて説明した場合と同様の対応情報生成処理を行い、対応情報を生成する。さらに、仮想試着合成画像生成システム151は、図23のフローチャートに示される第2の対応情報生成処理を実行する。
図23のフローチャートを参照して、第2の対応情報生成処理について説明する。
ステップS101において、情報取得装置11または情報取得装置12の画像入力部21は、著名なモデルや女優等(以下、使用モデルと称する)の、静止画、または、動画の撮影を開始し、撮影により得られた画像データを合成画像生成装置161に供給する。合成画像生成装置161の画像データ取得部41は、供給された画像データを第2の対応情報記憶部171に供給する。
ステップS102において、情報取得装置11または情報取得装置12の画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS102において撮像されているのは動画ではないと判断された場合、処理は、ステップS104に進む。
ステップS102において撮像されているのは動画であると判断された場合、ステップS103において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、合成画像生成装置161に供給する。合成画像生成装置161の画像データ取得部41は、供給された画像データを第2の対応情報記憶部171に供給する。
情報取得装置11が適用されており、ステップS102において撮像されているのは動画ではないと判断された場合、または、ステップS103の処理の終了後、ステップS104において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、使用モデルを検出する。また、情報取得装置12が適用されており、ステップS102において撮像されているのは動画ではないと判断された場合、または、ステップS103の処理の終了後、ステップS104において、関節位置推定処理部31は、画像入力部21から供給される画像データに基づいて、使用モデルを検出する。
情報取得装置11が適用されている場合、ステップS105において、関節座標情報生成部25は、検出されたモデルの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、合成画像生成装置161に供給する。また、情報取得装置12が適用されている場合、ステップS105において、関節位置推定処理部31は、検出されたモデルの関節位置を、画像処理により推定し、関節座標情報生成部32に供給する。関節座標情報生成部32は、関節位置情報に基づいて、関節の座標情報を算出して、合成画像生成装置161に供給する。合成画像生成装置161の関節座標情報取得部42は、供給された関節座標情報を、関節角度情報算出部43に供給する。
ステップS106において、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報に基づいて、所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、骨格情報として、第2の対応情報記憶部171に供給する。
ステップS107において、第2の対応情報記憶部171は、使用モデルの関節の座標情報・算出された角度などの骨格情報と、その骨格情報を得た基となる使用モデルの画像情報とを、関連付けて、第2の対応情報として記憶し、処理が終了される。
このような処理により、第2の対応情報記憶部171に、使用モデルの関節の座標情報・算出された角度などの骨格情報と、その骨格情報を得た基となる使用モデルの画像情報とが、関連付けられて、第2の対応情報として記憶される。
次に、図24のフローチャートを参照して、仮想試着合成画像生成システム151の合成画像生成装置161において実行される画像合成処理について説明する。
ステップS121において、入力部44は、仮想試着を実施する洋服の種類を示す情報の入力を受け、マッチング処理部48に供給する。マッチング処理部48は、対応情報記憶部47に記憶されている対応情報のうち、入力された洋服の種類を示す情報に対応する対応情報をマッチング処理に用いる。
ステップS122において、マッチング処理部48は、第2の対応情報として記憶された骨格情報と、仮想試着を実施する洋服の種類を示す情報に対応するタグに関連付けられた対応情報に含まれて対応情報記憶部47に記憶されている骨格情報との第3のマッチング処理を実行する。
ステップS123において、マッチング処理部48は、ステップS122で実行された第3のマッチング処理において、第2の対応情報記憶部171に記憶された骨格情報に合致する、対応情報に含まれて対応情報記憶部47に記憶されている骨格情報が存在したか否かを判断する。ステップS123において、骨格情報が存在しないと判断された場合、処理は、ステップS122に戻り、それ以降の処理が繰り返される。
ステップS123において、骨格情報が存在したと判断された場合、ステップS124において、マッチング処理部48は、ステップS122で実行された第3のマッチング処理の結果、合致する骨格情報が複数存在したか否かを判断する。
ステップS124において、第3のマッチング処理の結果、合致する骨格情報が複数存在していないと判断された場合、ステップS125において、マッチング処理部48は、対応情報記憶部47に記憶されている対応情報のうち、第3のマッチング処理において合致した骨格情報に対応する画像を読み出して、画像処理部49に供給し、処理は、ステップS131に進む。
ステップS124において、第3のマッチング処理の結果、合致する骨格情報が複数存在したと判断された場合、ステップS126において、マッチング処理部48は、第2の対応情報記憶部171に記憶されている第2の対応情報のうち、処理中フレーム(すなわち、ステップS122の第3のマッチング処理に用いられた画像フレーム)の一つ前のフレームの骨格情報を読み出す。
ステップS127において、マッチング処理部48は、ステップS126の処理により読み出したフレームの骨格情報と、対応情報に含まれて対応情報記憶部47に記憶されている骨格情報との第4のマッチング処理を実行する。
ステップS128において、マッチング処理部48は、第4のマッチング処理において、合致する骨格情報が存在したか否かを判断する。
ステップS128において、合致する骨格情報が存在しないと判断された場合、ステップS129において、マッチング処理部48は、第2の対応情報記憶部171に記憶されている第2の対応情報のうち、さらに1つ前のフレームの骨格情報を読み出して、処理は、ステップS127に戻り、それ以降の処理が繰り返される。
ステップS128において、合致する骨格情報が存在したと判断された場合、ステップS130において、マッチング処理部48は、例えば、図6を用いて説明したように、複数存在した第3のマッチング処理において合致した骨格情報に対応する画像のうち、第4のマッチング処理において合致した骨格情報に対応する時刻に対してより近い(さらに、時間方向も合致すると好適である)画像を選択して、対応情報記憶部47から読み出して、画像処理部49に供給する。
ステップS131において、画像処理部49は、例えば、図8、図9、および、図10を用いて説明したように、必要な画像処理を実行し、生成した表示画像を記録制御部172に供給する。
ステップS39において、記録制御部172は、画像処理部49から供給された、ステップS130で画像処理部49により生成された画像の、外部記録装置または記録媒体のドライブへの記録を制御し、処理が終了される。
このような処理により、外部記録装置または記録媒体に記録された合成画像を用いて、著名なモデルや女優などが、実際に数多くの洋服を着て動いているかのように不自然無く感じられる動画像を含む電子カタログやウェブコマーシャルなどを作成することができる。また、例えば、このような処理により生成される動画像の使用に対して課金を行うことなどにより、ビジネスモデルとして応用することも可能となる。
例えば、身体の全部または略全部、すなわち、下半身部分の少なくとも一部を含んで対応情報を生成し、マッチング処理を行った場合、上半身の骨格情報が合致しても下半身の骨格情報が合致しなかった場合や、逆に、下半身の骨格情報が合致しても上半身の骨格情報が合致しなかった場合、その骨格情報はマッチングしないものとされる。また、対応情報を生成するとき、モデルの上半身に着用される洋服とモデルの下半身に着用される洋服との組み合わせのそれぞれ全ての組み合わせにおいて対応情報を生成する必要がある。
これに対して、上半身と下半身をそれぞれ別にマッチング処理させることができると、マッチング精度が上がる。また、上半身と下半身をそれぞれ別にマッチング処理させることができると、モデルの上半身に着用される洋服1種類に対して1回、下半身に着用される洋服1種類に対して1回だけ、組み合わせの最小パターンのみで対応情報を生成すればよくなる。
次に、図26,27,28、および、図29を参照して、上述したような技術を応用することにより、上半身と下半身をそれぞれ別にマッチング処理させることができる仮想試着画像表示システムについて説明する。
上半身と下半身をそれぞれ別にマッチング処理させることができる仮想試着画像表示システムは、図1を用いて説明した仮想試着画像表示システムの情報取得装置11または12に代わって、図26を用いて説明する情報取得装置201を含み、表示画像制御装置13に代わって、図27を用いて後述する表示画像制御装置221を含み、また、図1を用いて説明した場合と同様の機能を有する表示装置14を含んで構成される。
なお、ここでは、複数の装置によって構成されるシステムによって、登録処理および参照処理が行われるものとして説明するが、同様の機能を1つの装置を用いて実現するものとしても良いことは言うまでもなく、また、登録処理および対応情報の記憶を一箇所に集約するものとしてさらに応用してもよいことは言うまでもない。
図26を参照して、上半身と下半身をそれぞれ別にマッチング処理させることができる情報取得装置201について説明する。
情報取得装置201は、画像入力部21、フレーム処理部22、赤外線カメラ24、赤外線照射発光部23、上下半身分割部211、および、関節座標情報生成部212によって構成されている。ここで、画像入力部21、フレーム処理部22、赤外線カメラ24、および、赤外線照射発光部23については、図2を用いて説明した場合と同様の機能を有するものであるので、その説明は省略する。
上下半身分割部211は、画像入力部21およびフレーム処理部22から画像データの供給を受け、これを解析し、上半身部分と下半身部分とに分割し、表示画像制御装置221に供給するとともに、関節座標情報生成部212に供給する。
関節座標情報生成部212は、上下半身分割部211から得られる上下半身が分割された画像情報、および、赤外線カメラ24から得られた情報に基づいて、撮影対象の関節座標を、上半身と下半身とに区別して生成し、表示画像制御装置221に出力する。
次に、図27を参照して、上半身と下半身をそれぞれ別にマッチング処理させることができる表示画像制御装置221について説明する。
表示画像制御装置221は、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、タイマー45、一時記憶部46、半身ごとの対応情報記憶部231、マッチング処理部232、画像処理部233、および、表示制御部50により構成されている。ここで、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、タイマー45、一時記憶部46、および、表示制御部50においては、図5を用いて説明した場合と同様の機能を有するものであるので、その説明は省略する。
半身ごとの対応情報記憶部231は、登録処理において、画像データ取得部41から供給された半身ごとの画像データ、関節角度情報算出部43から供給された半身ごとのモデルの骨格情報、および、入力部44から供給されたモデルが着用している洋服の種類を示す情報を、それぞれ半身ごとに対応付けて記憶し、マッチング処理部232の要求に基づいて、これを供給する。
マッチング処理部232は、登録処理において、一時記憶部46にユーザの骨格情報を要求する。画像データ取得部41から一時記憶部46に供給されるのは、半身ごとの画像データであり、角度情報算出部から供給される骨格情報も、半身ごとである。すなわち、一時記憶部46には、ユーザの半身ごとの画像データと骨格情報が一時記憶され、マッチング処理部232に供給するようになされている。そして、マッチング処理部232は、入力部44から供給されたユーザが仮想試着したい洋服の種類を示す情報を参照し、半身ごとの対応情報記憶部231に記憶されている、半身ごとの対応情報のうち、入力部44から供給されたユーザが仮想試着したい洋服の種類に合致する、半身ごとの対応情報に含まれて記憶されている骨格情報を読み出して、マッチング処理を実行する。
マッチング処理部232が実行するマッチング処理においては、誤差の許可や、複数マッチングされた場合の処理などについては、図5を用いて説明したマッチング処理部48と同様の処理が実行されるので、その説明は省略する。
マッチング処理部232は、このようにして得られたマッチング結果に対応する、半身ごとのユーザ画像および半身ごとのモデル画像を、画像処理部233に供給する。
画像処理部233は、マッチング処理部232から供給された、半身ごとのユーザ画像および半身ごとのモデル画像を、例えば、関節座標情報を参照するなどして、上半身と下半身とが不自然でなく連続するように合成し、図5の画像処理部49と同様なさまざまな画像処理を施して、処理済の表示用画像データを生成して、表示制御部50に供給する。
なお、上述した仮想電子カタログの作成を実現するための仮想試着合成画像生成システム151においても、半身ごとに、第1の対応情報および第2の対応情報を生成、記憶し、マッチング処理を実行するようにしてもよいことは言うまでもない。
次に、図27のフローチャートを参照して、半身ごとに別々に対応情報を生成し記憶する場合の、登録処理2について説明する。
ステップS151において、情報取得装置201の画像入力部21は、静止画、または、動画の撮影を開始し、撮影により得られた画像データを上下半身分割部211に供給する。
ステップS152において、情報取得装置201の画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS152において撮像されているのは動画ではないと判断された場合、処理は、ステップS154に進む。
ステップS152において撮像されているのは動画であると判断された場合、ステップS153において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、上下半身分割部211に供給する。
ステップS152において撮像されているのは動画ではないと判断された場合、または、ステップS3の処理の終了後、ステップS154において、関節座標情報生成部212は、赤外線カメラ24から供給された情報に基づいて、モデルを検出する。
ステップS155において、上下半身分割部211は、供給された画像データに画像処理を施して、モデルの上半身と下半身とを検出し、供給された画像データの上半身と下半身とを分割して、関節座標情報生成部212、および、表示画像制御装置221に供給する。表示画像制御装置221の画像データ取得部41は、供給された上半身と下半身とに分割された画像データを、半身ごとの対応情報記憶部231に供給する。
ステップS156において、関節座標情報生成部212は、検出されたモデルの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報、および、上下半身が分割された画像データに基づいて、上半身下半身それぞれの関節の座標情報を算出して、表示画像制御装置221に供給する。表示画像制御装置221の関節座標情報取得部42は、供給された上半身下半身それぞれの関節座標情報を、関節角度情報算出部43に供給する。
ステップS157において、関節角度情報算出部43は、関節座標情報取得部42から供給された上半身下半身それぞれの関節座標情報に基づいて、上半身下半身それぞれの所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、上半身下半身それぞれの骨格情報として、半身ごとの対応情報記憶部231に供給する。
ステップS158において、半身ごとの対応情報記憶部231は、上半身下半身それぞれの関節の座標情報・算出された角度などの骨格情報と、その骨格情報を得た基となる上半身下半身それぞれの画像情報と、さらに、必要に応じて、タイマー45を参照することにより得られるその画像情報の取得時刻情報とを、関連付けて、対応情報として記憶する。
ステップS159において、半身ごとの対応情報記憶部231は、画像の撮影が終了したか否かを判断する。ステップS159において、画像の撮影が終了していないと判断された場合、処理は、ステップS152に戻り、それ以降の処理が繰り返される。
ステップS159において、画像の撮影が終了したと判断された場合、ステップS160において、半身ごとの対応情報記憶部231は、入力部44から供給される洋服の種類を判別するためのタグを、半身ごとの対応情報に関連付けて記憶し、処理が終了される。
このような処理により、表示画像制御装置221の半身ごとの対応情報記憶部231に、半身ごとの対応情報が記憶される。
次に、図29および図30のフローチャートを参照して、仮想試着画像表示システムが、よりリアルな仮想試着の実現をユーザに提供する場合における参照処理の一例である参照処理2について説明する。
ステップS171において、入力部44は、仮想試着を実施する洋服の種類を示す情報の入力を受け、マッチング処理部232に供給する。マッチング処理部232は、半身ごとの対応情報記憶部231に記憶されている半身ごとの対応情報のうち、入力された洋服の種類を示す情報に対応する半身ごとの対応情報をマッチング処理に用いる。
ステップS172において、情報取得装置201の画像入力部21は、静止画、または、動画の撮影を開始する。
ステップS173において、情報取得装置201の画像入力部21は、撮像されているのは動画であるか否かを判断する。ステップS173において撮像されているのは動画ではないと判断された場合、処理は、ステップS175に進む。
ステップS173において撮像されているのは動画であると判断された場合、ステップS174において、画像入力部21は、フレーム処理部22に撮像された動画像を供給する。フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、上下半身分割部211に供給する。
ステップS173において撮像されているのは動画ではないと判断された場合、または、ステップ174の処理の終了後、ステップS175において、関節座標情報生成部212は、赤外線カメラ24から供給された情報に基づいて、ユーザを検出する。
ステップS176において、上下半身分割部211は、供給された画像データに画像処理を施して、ユーザの上半身と下半身とを検出し、供給された画像データの上半身と下半身とを分割して、関節座標情報生成部212、および、表示画像制御装置221に供給する。表示画像制御装置221の画像データ取得部41は、供給された上半身と下半身とに分割された画像データを、一時記憶部46に供給する。
ステップS177において、関節座標情報生成部212は、検出されたユーザの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報、および、上下半身が分割された画像データに基づいて、上半身下半身それぞれの関節の座標情報を算出して、表示画像制御装置221に供給する。表示画像制御装置221の関節座標情報取得部42は、供給された上半身下半身それぞれの関節座標情報を、関節角度情報算出部43に供給する。
ステップS178において、関節角度情報算出部43は、関節座標情報取得部42から供給された上半身下半身それぞれの関節座標情報に基づいて、上半身下半身それぞれの所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、上半身下半身それぞれの骨格情報として、一時記憶部46に供給する。
ステップS179において、一時記憶部46は、関節角度情報算出部43から供給された、関節の座標情報および算出された角度などの、上半身下半身それぞれの骨格情報と、画像情報取得部から供給された、その骨格情報を得た基となる上半身下半身それぞれの画像情報とを、関連付けて一時記憶する。
ステップS180において、マッチング処理部232は、一時記憶された半身ごとの骨格情報と、仮想試着を実施する洋服の種類を示す情報に対応するタグに関連付けられた対応情報に含まれて半身ごとの対応情報記憶部231に記憶されている半身ごとの骨格情報との第5のマッチング処理を実行する。
ステップS181において、マッチング処理部232は、ステップS180で実行された第5のマッチング処理において、一時記憶部46に一時記憶された半身ごとの骨格情報に合致する、半身ごとの対応情報に含まれて半身ごとの対応情報記憶部231に記憶されている半身ごとの骨格情報が存在したか否かを判断する。ステップS181において、骨格情報が存在しないと判断された場合、処理は、ステップS175に戻り、それ以降の処理が繰り返される。
ステップS181において、骨格情報が存在したと判断された場合、ステップS182において、マッチング処理部232は、ステップS180で実行された第5のマッチング処理の結果、合致する半身ごとの骨格情報が複数存在したか否かを判断する。
ステップS182において、第5のマッチング処理の結果、合致する骨格情報が複数存在していないと判断された場合、ステップS183において、マッチング処理部232は、半身ごとの対応情報記憶部231に記憶されている半身ごとの対応情報のうち、第5のマッチング処理において合致した半身ごとの骨格情報に対応する半身ごとの画像を読み出して、画像処理部233に供給し、処理は、ステップS189に進む。
ステップS182において、第5のマッチング処理の結果、合致する骨格情報が複数存在したと判断された場合、ステップS184において、マッチング処理部232は、一時記憶部46に記憶されている情報のうち、ユーザの現フレーム(すなわち、第5のマッチング処理に用いられた画像フレーム)の一つ前のフレームの半身ごとの骨格情報を読み出す。
ステップS185において、マッチング処理部232は、ステップS184の処理により読み出したフレームの半身ごとの骨格情報と、半身ごとの対応情報に含まれて半身ごとの対応情報記憶部231に記憶されている半身ごとの骨格情報との第6のマッチング処理を実行する。
ステップS186において、マッチング処理部232は、第6のマッチング処理において、合致する半身ごとの骨格情報が存在したか否かを判断する。
ステップS186において、合致する骨格情報が存在しないと判断された場合、ステップS187において、マッチング処理部232は、一時記憶部46に記憶されている情報のうち、さらに1つ前のフレームの半身ごとの骨格情報を読み出して、処理は、ステップS185に戻り、それ以降の処理が繰り返される。
ステップS186において、合致する骨格情報が存在したと判断された場合、ステップS188において、マッチング処理部232は、例えば、図6を用いて説明したように、複数存在した第5のマッチング処理において合致した半身ごとの骨格情報に対応する半身ごとの画像のうち、第6のマッチング処理において合致した半身ごとの骨格情報に対応する時刻に対してより近い(さらに、時間方向も合致すると好適である)半身ごとの画像を選択して、半身ごとの対応情報記憶部231から読み出して、画像処理部233に供給する。
ステップS189において、画像処理部233は、供給された半身ごとの画像データを上下半身で合成するとともに、例えば、図8、図9、および、図10を用いて説明したように、必要な画像処理を実行し、生成した表示画像を表示制御部50に供給する。
なお、画像処理部233は、マッチング処理部232から、所定のフレームにおいて、上下半身のいずれかしか供給を受けなかった場合、そのフレームより前のフレームで、かつ、最も近い時刻にマッチングした他方の半身画像との合成を行うようにしても良い。
ステップS190において、表示制御部50は、画像処理部233から供給された、ステップS38で画像処理部233により生成された画像の、表示装置14への表示を制御する。
ステップS191において、マッチング処理部232は、画像の撮影が終了したか否かを判断する。
ステップS191において、画像の撮影が終了していないと判断された場合、処理は、ステップS173に戻り、それ以降の処理が繰り返される。ステップS191において、画像の撮影が終了したと判断された場合、処理が終了される。
このような処理により、仮想試着画像表示システムは、上下半身のそれぞれにおいてマッチング処理を行うことができるので、マッチングの精度が上がるとともに、ユーザに対して、所望の洋服を試着し、自分の動きにあわせて試着している洋服も動いたり、広がったり、しわがよっているような仮想体験を提供するために、モデルに上下それぞれ異なる洋服の全ての組み合わせにおいて登録処理を行うことなく、容易に全ての組み合わせにおける仮想試着体験を提供することができる。
以上説明した技術においては、フレーム画像の一枚ごとにマッチング処理を実行するものとして説明したが、上述した場合と同様に、衣服のふくらみやねじれやしわなどがユーザの動きに対して自然なものであり、かつ、上述した場合よりも、さらに滑らかな動きをする仮想試着画像をユーザに提供するために、例えば、所定のフレーム数単位で対応情報を生成し、その所定のフレーム数単位でマッチング処理を実行し、所定のフレーム数に対応する動画像を合成することができるようにしても良い。
次に、図31,32,33,34、35、および、36を参照して、さらに滑らかな動きをする仮想試着画像をユーザに提供することができる仮想試着画像表示システムについて説明する。
さらに滑らかな動きをする仮想試着画像をユーザに提供することができる仮想試着画像表示システムは、図1を用いて説明した仮想試着画像表示システムの情報取得装置11または12に代わって、図31、または、図32を用いて説明する情報取得装置191または192を含み、表示画像制御装置13に代わって、図33を用いて後述する表示画像制御装置211を含み、また、図1を用いて説明した場合と同様の機能を有する表示装置14を含んで構成される。
なお、ここでは、複数の装置によって構成されるシステムによって、登録処理および参照処理が行われるものとして説明するが、同様の機能を1つの装置を用いて実現するものとしても良いこと、登録処理および対応情報の記憶を一箇所に集約するものとしてさらに応用してもよいこと、さらに、上下半身を分割してそれぞれにおいて処理を実行してもよいことは言うまでもない。
図31を参照して、情報取得装置191について説明する。
情報取得装置191は、動画像入力部201、フレーム処理部22、赤外線カメラ24、赤外線照射発光部23、上下半身分割部211、および、関節座標情報生成部25によって構成されている。ここで、フレーム処理部22、赤外線カメラ24、赤外線照射発光部23、および関節座標情報生成部25については、図2を用いて説明した場合と同様の機能を有するものであるので、その説明は省略する。
動画像入力部201は、例えば、ビデオカメラなどによって構成され、試着対象となる洋服を着用したモデルや、仮想試着を行おうとするユーザの動画像を取得し、所定のフレーム数に対応する動画像を、表示画像制御装置211、フレーム処理部22、関節情報生成部に供給する。また、動画像入力部201が取得するモデルやユーザの動画像は、全身のみではなく、例えば、上半身のみであるなど、その体のうちの一部分のみであってもかまわないことは言うまでもない。
次に、図32を参照して、情報取得装置192について説明する。
情報取得装置192は、動画像入力部201、フレーム処理部22、関節位置推定処理部31、および、関節座標情報生成部32で構成されている。
動画像入力部201については、図31を用いて説明した場合と同様の機能を有するものであり、フレーム処理部22、関節位置推定処理部31、および、関節座標情報生成部32については、図4を用いて説明した場合と同様の機能を有するものであるので、その説明は省略する。
次に、図33を用いて、表示画像制御装置211について説明する。
表示画像制御装置211は、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、タイマー45、ユーザの複数フレームセット一時記憶部221、複数フレームセット対応情報記憶部222、動画像マッチング処理部223、動画像処理部224、および、表示制御部225により構成されている。
なお、画像データ取得部41、関節座標情報取得部42、関節角度情報算出部43、入力部44、および、タイマー45については、図5を用いて説明した場合と同様の機能を有するものであるので、その詳細な説明は省略する。
ユーザの複数フレームセット一時記憶部221は、参照処理において、画像データ取得部41から供給された動画像における所定フレーム数に対応する動画像データと、関節角度情報算出部43から供給された、動画像に対応する複数フレーム分のユーザの骨格情報とを、ユーザの複数フレームセットとして、現在マッチング処理が実行されている複数フレームセットと、そのフレームセットより所定数前のフレームセットを含む所定のフレームセット数だけ一時記憶し、動画像マッチング処理部223の要求に基づいて、これを供給する。
複数フレームセット対応情報記憶部222は、登録処理において、画像データ取得部41から供給された動画像における所定フレーム数に対応する動画像データ、関節角度情報算出部43から供給された供給された、動画像に対応する複数フレーム分のモデルの骨格情報、および、入力部44から供給されたモデルが着用している洋服の種類を示す情報を、それぞれ対応付けて、複数フレームセット対応情報として記憶し、動画像マッチング処理部223の要求に基づいて、これを供給する。
なお、ユーザの複数フレームセット一時記憶部221および複数フレームセット対応情報記憶部222において記憶される複数フレーム分の情報は、例えば、時刻t1〜t5までの情報に続いて、時刻t6〜t10、時刻t11〜t15・・・というように、フレームが重ならないようにしても良いし、例えば、時刻t1〜t5までの情報に続いて、時刻t4〜t8、時刻t7〜t11・・・というように、少なくとも1つのフレームがかさなるようにしてもよい。
動画像マッチング処理部223は、登録処理において、ユーザの複数フレームセット一時記憶部221に、ユーザの複数フレーム分の骨格情報を要求する。そして、動画像マッチング処理部223は、入力部44から供給されたユーザが仮想試着したい洋服の種類を示す情報を参照し、複数フレームセット対応情報記憶部222に記憶されている複数フレームセット対応情報のうち、入力部44から供給されたユーザが仮想試着したい洋服の種類に合致する複数フレームセット対応情報に含まれて記憶されている複数フレーム分の骨格情報を読み出して、マッチング処理を実行する。
動画像マッチング処理部223が実行するマッチング処理においては、誤差の許可や、複数マッチングされた場合の処理などについては、図5を用いて説明したマッチング処理部48と同様の処理が実行されるので、その説明は省略する。
動画像処理部224は、動画像マッチング処理部223から供給された、複数フレームに対応するユーザの動画像およびモデルの動画像を画像処理し、図5の画像処理部49と同様なさまざまな画像処理を施して、処理済の表示用動画像データを生成して、表示制御部255に供給する。
表示制御部225は、動画像処理部224により生成された表示用動画像データの、表示装置14への表示を制御する。
なお、図31、図32、および、図33を用いて説明した場合においても、複数フレームセット対応情報を生成して記憶し、マッチング処理を行う機能を1箇所に集約して設けるようにしても良いし、さらに、複数フレームセット対応情報を生成して記憶し、マッチング処理を行う機能を、上半身と下半身のそれぞれにおいて可能なようにしてもよいことは言うまでもない。
さらに、図21を参照して説明した仮想電子カタログの作成を実現するための仮想試着合成画像生成システム151においても、図31、図32、および、図33を用いて説明した場合のように、複数フレーム分をまとめてマッチング処理をし、動画像を合成処理するようにしてもよいことは言うまでもない。
次に、図34のフローチャートを参照して、動画像を合成する場合の登録処理3について説明する。
ステップS211において、情報取得装置191または情報取得装置192の動画像入力部201は、動画の撮影を開始し、撮影により得られた動画像データを表示画像制御装置211に供給するとともに、フレーム処理部22に供給する。表示画像制御装置211の画像データ取得部41は、供給された動画像データを複数フレームセット対応情報記憶部222に供給する。
ステップS212において、複数フレームセット対応情報記憶部222は、所定のフレーム数に対応する動画像とその取得時刻情報とを記憶する。
ステップS213において、フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、表示画像制御装置211に供給する
情報取得装置191が適用されている場合、ステップS214において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、モデルを検出する。また、情報取得装置192が適用されている場合、ステップS214において、関節位置推定処理部31は、動画像入力部201から供給される画像データに基づいて、モデルを検出する。
情報取得装置191が適用されている場合、ステップS215において、関節座標情報生成部25は、検出されたモデルの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置211に供給する。また、情報取得装置192が適用されている場合、ステップS215において、関節位置推定処理部31は、検出されたモデルの関節位置を、画像処理により推定し、関節座標情報生成部32に供給する。関節座標情報生成部32は、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置211に供給する。表示画像制御装置211の関節座標情報取得部42は、供給された関節座標情報を、関節角度情報算出部43に供給する。
ステップS216において、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報に基づいて、所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、所定の複数フレーム分まとめて骨格情報として、複数フレームセット対応情報記憶部222に供給する。
ステップS217において、複数フレームセット対応情報記憶部222は、関節角度情報算出部43から供給される情報に基づいて、所定の複数フレーム分の関節の角度算出処理が終了したか否かを判断する。ステップS217において、所定の複数フレーム分の関節の角度算出処理が終了していないと判断された場合、処理は、ステップS214に戻り、それ以降の処理が繰り返される。
ステップS217において、所定の複数フレーム分の関節の角度算出処理が終了したと判断された場合、ステップS218において、複数フレームセット対応情報記憶部222は、所定の複数フレーム分の関節の座標情報・算出された関節の角度などの複数フレーム分の骨格情報と、その骨格情報を得た基となる複数フレームに対応する動画像情報と、さらに、必要に応じて、タイマー45を参照することにより得られるその動画像情報の取得時刻情報とを、関連付けて、複数フレームセット対応情報として記憶する。
ステップS219において、複数フレームセット対応情報記憶部222は、画像の撮影が終了したか否かを判断する。ステップ219において、画像の撮影が終了していないと判断された場合、処理は、ステップS212に戻り、それ以降の処理が繰り返される。
ステップS219において、画像の撮影が終了したと判断された場合、ステップS220において、複数フレームセット対応情報記憶部222は、入力部44から供給される洋服の種類を判別するためのタグを、複数フレームセット対応情報に関連付けて記憶し、処理が終了される。
このような処理により、表示画像制御部の複数フレームセット対応情報記憶部222に、動画像を構成する複数フレームごとにマッチング処理を行うための複数フレームセット対応情報が記憶される。
次に、図35および図36のフローチャートを参照して、仮想試着画像表示システムが、よりリアルな仮想試着の実現をユーザに提供する場合における参照処理の一例である参照処理3について説明する。
ステップS241において、情報取得装置191または情報取得装置192の動画像入力部201は、動画の撮影を開始し、撮影により得られた動画像データを表示画像制御装置211に供給するとともに、フレーム処理部22に供給する。表示画像制御装置211の画像データ取得部41は、供給された動画像データをユーザの複数フレームセット一時記憶部221に供給する。
ステップS242において、ユーザの複数フレームセット一時記憶部221は、所定のフレーム数に対応する動画像とその取得時刻情報とを記憶する。
ステップS243において、フレーム処理部22は、供給された動画像から所定のフレーム数で静止画像を生成し、表示画像制御装置211に供給する
情報取得装置191が適用されている場合、ステップS244において、関節座標情報生成部25は、赤外線カメラ24から供給された情報に基づいて、ユーザを検出する。また、情報取得装置192が適用されている場合、ステップS244において、関節位置推定処理部31は、動画像入力部201から供給される画像データに基づいて、ユーザを検出する。
情報取得装置191が適用されている場合、ステップS245において、関節座標情報生成部25は、検出されたユーザの関節位置を、例えば、図3を用いて説明したように推定し、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置211に供給する。また、情報取得装置192が適用されている場合、ステップS245において、関節位置推定処理部31は、検出されたユーザの関節位置を、画像処理により推定し、関節座標情報生成部32に供給する。関節座標情報生成部32は、関節位置情報に基づいて、関節の座標情報を算出して、表示画像制御装置211に供給する。表示画像制御装置211の関節座標情報取得部42は、供給された関節座標情報を、関節角度情報算出部43に供給する。
ステップS246において、関節角度情報算出部43は、関節座標情報取得部42から供給された関節座標情報に基づいて、ユーザの所定の関節の角度を算出し、関節座標情報取得部42から供給された関節座標情報と算出された関節の角度情報とを、所定の複数フレーム分まとめて骨格情報として、ユーザの複数フレームセット一時記憶部221に供給する。
ステップS247において、ユーザの複数フレームセット一時記憶部221は、関節角度情報算出部43から供給される情報に基づいて、所定の複数フレーム分の関節の角度算出処理が終了したか否かを判断する。ステップS247において、所定の複数フレーム分の関節の角度算出処理が終了していないと判断された場合、処理は、ステップS244に戻り、それ以降の処理が繰り返される。
ステップS248において、所定の複数フレーム分の関節の角度算出処理が終了したと判断された場合、ステップS218において、ユーザの複数フレームセット一時記憶部221は、所定の複数フレーム分の関節の座標情報・算出された関節の角度などの複数フレーム分の骨格情報と、その骨格情報を得た基となる複数フレームに対応する動画像情報と、さらに、必要に応じて、タイマー45を参照することにより得られるその動画像情報の取得時刻情報とを、関連付けて、ユーザの複数フレームセット情報として一時記憶する。
ステップS249において、動画像マッチング処理部223は、一時記憶された複数フレーム分の骨格情報と、仮想試着を実施する洋服の種類を示す情報に対応するタグに関連付けられた複数フレームセット対応情報に含まれて複数フレームセット対応情報記憶部222に記憶されている骨格情報との第7のマッチング処理を実行する。
ステップS250において、動画像マッチング処理部223は、ステップS249で実行された第7のマッチング処理において、ユーザの複数フレームセット一時記憶部221に一時記憶された複数フレーム分の骨格情報に合致する、複数フレームセット対応情報に含まれて複数フレームセット対応情報記憶部222に記憶されている骨格情報が存在したか否かを判断する。ステップS250において、骨格情報が存在しないと判断された場合、処理は、ステップS242に戻り、それ以降の処理が繰り返される。
ステップS250において、骨格情報が存在したと判断された場合、ステップS251において、動画像マッチング処理部223は、ステップS250で実行された第7のマッチング処理の結果、合致する複数フレーム分の骨格情報が複数存在したか否かを判断する。
ステップS251において、第7のマッチング処理の結果、合致する骨格情報が複数存在していないと判断された場合、ステップS252において、動画像マッチング処理部223は、複数フレームセット対応情報記憶部222に記憶されている複数フレームセット対応情報のうち、第7のマッチング処理において合致した複数フレームの骨格情報に対応する動画像を読み出して、動画像処理部224に供給し、処理は、ステップS258に進む。
ステップS251において、第7のマッチング処理の結果、合致する骨格情報が複数存在したと判断された場合、ステップS253において、動画像マッチング処理部223は、ユーザの複数フレームセット一時記憶部221に記憶されている情報のうち、ユーザの現フレームセット(すなわち、第7のマッチング処理に用いられたフレームセット)の一つ前のフレームセットの骨格情報を読み出す。
ステップS254において、動画像マッチング処理部223は、ステップS253の処理により読み出した複数フレームセットの骨格情報と、複数フレームセット対応情報に含まれて複数フレームセット対応情報記憶部222に記憶されている複数フレーム分の骨格情報との第8のマッチング処理を実行する。
ステップS255において、動画像マッチング処理部223は、第8のマッチング処理において、合致する骨格情報が存在したか否かを判断する。
ステップS255において、合致する骨格情報が存在しないと判断された場合、ステップS256において、動画像マッチング処理部223は、ユーザの複数フレームセット一時記憶部221に記憶されている情報のうち、さらに1つ前のユーザの複数フレームセットの骨格情報を読み出して、処理は、ステップS254に戻り、それ以降の処理が繰り返される。
ステップS255において、合致する骨格情報が存在したと判断された場合、ステップS257において、動画像マッチング処理部223は、例えば、図6を用いて説明した場合を応用して、複数存在した第7のマッチング処理において合致した複数フレーム分の骨格情報に対応する動画像のうち、第8のマッチング処理において合致した複数フレーム分の骨格情報に対応する時刻に対してより近い(さらに、時間方向も合致すると好適である)複数フレームセット対応情報に含まれている動画像を選択して、複数フレームセット対応情報記憶部222から読み出して、動画像処理部224に供給する。
ステップS258において、動画像処理部224は、必要な画像処理を実行し、生成した表示用の動画像を表示制御部225に供給する。
ステップS259において、表示制御部225は、動画像処理部224から供給された動画像の、表示装置14への表示を制御する。
ステップS260において、動画像マッチング処理部223は、動画像の撮影が終了したか否かを判断する。
ステップS260において、動画像の撮影が終了していないと判断された場合、処理は、ステップS242に戻り、それ以降の処理が繰り返される。ステップS260において、動画像の撮影が終了したと判断された場合、処理が終了される。
このような処理により、仮想試着画像表示システムは、ユーザに対して、所望の洋服を試着し、自分の動きにあわせて試着している洋服も動いたり、広がったり、しわがよっているような仮想体験を、さらに滑らかな動きを持たせて提供することができる。
なお、動画像を合成することができる仮想試着画像表示システムは、複数の装置により構成されるものとして説明していたが、例えば、1つの仮想試着画像作成・表示装置を用いて、同様の処理を実行可能なようにしても良いことは言うまでもない。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1…仮想試着画像表示システム 、11または12…情報取得装置 、13…表示画像制御装置 、25または32…関節座標情報生成部 、43…関節角度情報算出部 、46…一時記憶部 、47…対応情報記憶部 、48…マッチング処理部 、49…画像処理部 、81…対応情報生成装置 、82…データサーバ 、83…マッチング処理装置 、211…上下半身分割部 、231…半身ごとの対応情報記憶部 、221…ユーザの複数フレームセット記憶部 、222…複数フレームセット対応情報記憶部
Claims (13)
- 第1の人物を含む第1の画像情報と、上記第1の人物の骨格情報である第1の骨格情報とを対応付けて記憶する記憶手段と、
第2の人物を含む第2の画像情報と、上記第2の人物の骨格情報である第2の骨格情報とを取得し、前記記憶手段に記憶されている前記第1の骨格情報のうち、上記第2の骨格情報に類似した上記第1の骨格情報を検出する検出手段と
を備えることを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記第1の画像情報を解析することにより前記第1の骨格情報を取得する第1の取得手段
をさらに備えることを特徴とする情報処理装置。 - 請求項2に記載の情報処理装置において、
赤外線を対象物に対して照射発光する赤外線照射発光手段と、
前記赤外線照射発光手段により照射発光された赤外線を撮像する奥行き測定用赤外線カメラと、
前記前記奥行き測定用赤外線カメラにより撮像された情報に基づいて、前記第1の骨格情報を取得する第2の取得手段
をさらに備えることを特徴とする情報処理装置。 - 請求項1〜3のいずれかに記載の情報処理装置において、
前記記憶手段は、前記第1の画像情報の取得時間を示す情報を、前記第1の画像情報および前記第1の骨格情報とに、さらに対応付けて記憶する
ことを特徴とする情報処理装置。 - 請求項4に記載の情報処理装置において、
前記検出手段は、前記記憶手段に記憶されている前記第1の画像情報の取得時間を示す情報に基づいて、前記記憶手段に上記第1の画像情報および前記第1の骨格情報と対応付けられて記憶されている前記第1の骨格情報のうち、前記第2の骨格情報に類似した上記第1の骨格情報を検出する
ことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記検出手段により検出された前記第1の画像情報を画像処理する画像処理手段と、
前記画像処理手段により画像処理されて生成された情報の表示を制御する表示制御手段と
をさらに備えることを特徴とする情報処理装置。 - 請求項6に記載の情報処理装置において、
前記画像処理手段は、前記検出手段により検出された前記第1の画像情報に含まれる前記第1の人物の背景を他の背景に合成する
ことを特徴とする情報処理装置。 - 請求項6に記載の情報処理装置において、
前記画像処理手段は、前記検出手段により検出された前記第1の画像情報に含まれる前記第1の人物の顔の部分の画像を、前記第2の人物の顔の画像を入れ替えて合成する
ことを特徴とする情報処理装置。 - 請求項6に記載の情報処理装置において、
前記画像処理手段は、前記検出手段により検出された前記第1の画像情報に含まれる前記第1の人物の画像を、前記第2の人物の体形に合わせて拡大または縮小させる
ことを特徴とする情報処理装置。 - 請求項6に記載の情報処理装置において、
前記第1の人物および前記第2の人物をそれぞれ撮像する撮像手段をさらに備え、
前記第1の画像情報および前記第2の画像情報は、前記撮像手段により撮像されて得られるものであり、
前記画像処理手段は、前記検出手段により検出された上記第1の画像情報に含まれる上記第1の人物の画像を、上記第1の人物と上記撮像手段との位置関係と、上記第2の人物と上記撮像手段との位置関係とに基づいて、平行移動、もしくは、拡大または縮小させる
ことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
前記第1の記憶手段は、前記第1の人物を含む前記第1の画像情報を、上半身と下半身とに分けて記憶するとともに、上記第1の人物の骨格情報である第1の骨格情報を、上半身と下半身とのそれぞれの第1の画像情報に対応付けて記憶し、
前記検出手段は、前記第2の人物を含む前記第2の画像情報と、上記第2の人物の骨格情報である第2の骨格情報とを、上半身と下半身それぞれ個別に取得するとともに、前記記憶手段に記憶されている上半身と下半身それぞれの前記第1の骨格情報のうち、上半身と下半身それぞれの上記第2の骨格情報に類似した上記第1の骨格情報を検出する
ことを特徴とする情報処理装置。 - 第1の人物を含む第1の画像情報と、上記第1の人物の骨格情報である第1の骨格情報とを対応付けて記憶する記憶ステップと、
第2の人物を含む第2の画像情報と、上記第2の人物の骨格情報である第2の骨格情報とを取得する取得ステップと、
前記記憶ステップの処理により記憶されている前記第1の骨格情報のうち、前記取得ステップの処理により取得された前記第2の骨格情報に類似した上記第1の骨格情報を検出する検出ステップと
を含むことを特徴とする情報処理方法。 - 第1の人物を含む第1の画像情報と、上記第1の人物の骨格情報である第1の骨格情報とを対応付けて記憶する記憶ステップと、
第2の人物を含む第2の画像情報と、上記第2の人物の骨格情報である第2の骨格情報とを取得する取得ステップと、
前記記憶ステップの処理により記憶されている前記第1の骨格情報のうち、前記取得ステップの処理により取得された前記第2の骨格情報に類似した上記第1の骨格情報を検出する検出ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラム。
を含む処理を行わせるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056379A JP2013190974A (ja) | 2012-03-13 | 2012-03-13 | 情報処理装置および情報処理方法、ならびに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012056379A JP2013190974A (ja) | 2012-03-13 | 2012-03-13 | 情報処理装置および情報処理方法、ならびに、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013190974A true JP2013190974A (ja) | 2013-09-26 |
Family
ID=49391157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012056379A Pending JP2013190974A (ja) | 2012-03-13 | 2012-03-13 | 情報処理装置および情報処理方法、ならびに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013190974A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530903A (zh) * | 2013-10-28 | 2014-01-22 | 智慧城市***服务(中国)有限公司 | 一种虚拟试衣间的实现方法及实现*** |
JP2015076099A (ja) * | 2013-10-07 | 2015-04-20 | 智仁科技開發股▲ふん▼有限公司 | 人体上に装身具を配置するための方法 |
JP2015180987A (ja) * | 2014-03-03 | 2015-10-15 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
JP2016004519A (ja) * | 2014-06-19 | 2016-01-12 | 株式会社バンダイ | 遊戯システム及び遊戯方法並びにプログラム |
WO2016151691A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社 東芝 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
CN108734758A (zh) * | 2017-04-25 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种形象模型配置方法、装置和计算机存储介质 |
US10152829B2 (en) | 2014-10-21 | 2018-12-11 | Samsung Electronics Co., Ltd. | Virtual fitting device and virtual fitting method thereof |
CN111833420A (zh) * | 2020-07-07 | 2020-10-27 | 北京奇艺世纪科技有限公司 | 基于真人的图画自动生成方法、装置、***及存储介质 |
JP7023558B1 (ja) * | 2021-06-22 | 2022-02-22 | 株式会社Vrc | 情報処理装置、3dシステム、及び情報処理方法 |
WO2023012915A1 (ja) * | 2021-08-03 | 2023-02-09 | 富士通株式会社 | 姿勢特定プログラム、姿勢特定方法および情報処理装置 |
WO2023218861A1 (ja) * | 2022-05-12 | 2023-11-16 | 株式会社Nttドコモ | シミュレーション装置 |
-
2012
- 2012-03-13 JP JP2012056379A patent/JP2013190974A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015076099A (ja) * | 2013-10-07 | 2015-04-20 | 智仁科技開發股▲ふん▼有限公司 | 人体上に装身具を配置するための方法 |
US9460528B2 (en) | 2013-10-07 | 2016-10-04 | Teknowledge Development Corp. | Method for collocating clothing accessories on human body |
CN103530903A (zh) * | 2013-10-28 | 2014-01-22 | 智慧城市***服务(中国)有限公司 | 一种虚拟试衣间的实现方法及实现*** |
JP2015180987A (ja) * | 2014-03-03 | 2015-10-15 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
JP2016004519A (ja) * | 2014-06-19 | 2016-01-12 | 株式会社バンダイ | 遊戯システム及び遊戯方法並びにプログラム |
US10152829B2 (en) | 2014-10-21 | 2018-12-11 | Samsung Electronics Co., Ltd. | Virtual fitting device and virtual fitting method thereof |
WO2016151691A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社 東芝 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JPWO2016151691A1 (ja) * | 2015-03-20 | 2017-06-15 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
US10366533B2 (en) | 2015-03-20 | 2019-07-30 | Kabushiki Kaisha Toshiba | Image processing device and image processing method |
CN108734758A (zh) * | 2017-04-25 | 2018-11-02 | 腾讯科技(深圳)有限公司 | 一种形象模型配置方法、装置和计算机存储介质 |
CN111833420A (zh) * | 2020-07-07 | 2020-10-27 | 北京奇艺世纪科技有限公司 | 基于真人的图画自动生成方法、装置、***及存储介质 |
CN111833420B (zh) * | 2020-07-07 | 2023-06-30 | 北京奇艺世纪科技有限公司 | 基于真人的图画自动生成方法、装置、***及存储介质 |
JP7023558B1 (ja) * | 2021-06-22 | 2022-02-22 | 株式会社Vrc | 情報処理装置、3dシステム、及び情報処理方法 |
WO2022269741A1 (ja) * | 2021-06-22 | 2022-12-29 | 株式会社Vrc | 情報処理装置、3dシステム、及び情報処理方法 |
WO2023012915A1 (ja) * | 2021-08-03 | 2023-02-09 | 富士通株式会社 | 姿勢特定プログラム、姿勢特定方法および情報処理装置 |
WO2023218861A1 (ja) * | 2022-05-12 | 2023-11-16 | 株式会社Nttドコモ | シミュレーション装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013190974A (ja) | 情報処理装置および情報処理方法、ならびに、プログラム | |
US10573091B2 (en) | Systems and methods to create a virtual object or avatar | |
Achenbach et al. | Fast generation of realistic virtual humans | |
US20200380333A1 (en) | System and method for body scanning and avatar creation | |
US9348950B2 (en) | Perceptually guided capture and stylization of 3D human figures | |
CN106170083B (zh) | 用于头戴式显示器设备的图像处理 | |
US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
JP5468047B2 (ja) | デジタル顔モデルのアニメーション化のためのシステム及び方法 | |
JP6276882B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
Tome et al. | Selfpose: 3d egocentric pose estimation from a headset mounted camera | |
CN105955456B (zh) | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 | |
US9990764B2 (en) | Virtual try on simulation service | |
KR101455403B1 (ko) | 얼굴 모션 데이터 캡쳐링 및 처리 | |
US8941642B2 (en) | System for the creation and editing of three dimensional models | |
US20180024626A1 (en) | Technique for controlling virtual image generation system using emotional states of user | |
Nogueira | Motion capture fundamentals | |
JP2021534516A (ja) | 眼鏡用仮想試着システム及び方法 | |
US20090079743A1 (en) | Displaying animation of graphic object in environments lacking 3d redndering capability | |
CN105528799A (zh) | 虚拟试衣装置及其虚拟试衣方法 | |
CN102201099A (zh) | 基于运动的交互式购物环境 | |
WO2014081394A1 (en) | Method, apparatus and system for virtual clothes modelling | |
KR102009400B1 (ko) | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 | |
JP2011113421A (ja) | 3次元モデリングシステム | |
JP2013501284A (ja) | 複雑なおよび/または変形可能なオブジェクトの表現および着用できるオブジェクトの仮想フィッティング | |
Mok et al. | Design and development of virtual dressing room system based on kinect |