JP2015162050A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】障害物の写り込みを排除した対象物の画像を負荷が抑制された画像処理によって生成することが可能な画像処理装置、画像処理方向、および画像処理プログラムを提供する。【解決手段】データ取得部３１は、障害物による隠れ部分が存在しない複数の異なる姿勢の対象物の画像データを取得し、データ識別部３２が、データ取得部が取得した任意の姿勢の対象物の画像データから障害物データを検出したとき、データ生成部３３は、対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて任意の姿勢の対象物の３次元モデルデータを生成し、障害物データを任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、任意の姿勢で撮像された対象物の画像データとして生成する。【選択図】図２

Description

本発明は、撮像された対象物の画像データを生成する画像処理装置、画像処理方法、および画像処理プログラムに関する。

従来から、対象物を撮像して、その対象物の３次元モデルデータを生成し、対象物を表示する際に３次元モデルデータから画像データを生成して、表示装置に対象物を画像表示させることが行われている。このように対象物を撮像して３次元モデルデータを生成する方法として、対象物に複数のセンサーを取り付け、取り付けたセンサーの動きを複数のカメラで撮像し、撮像したセンサーの画像データから対象物の３次元モデルデータを生成する方法（所謂モーションキャプチャ）がある（例えば、特許文献１参照）。また、近年では、赤外線やレーザー光を利用して撮像手段から対象物までの距離データ（深度データ）を含む画像データ（Ｒ，Ｇ，Ｂデータ）を取得し、取得した画像データから３次元モデルデータを生成することも行われる。

特開２００９−５０６４４２号公報

ところで、こうした３次元モデルデータを生成する対象物に可動部が存在する場合、その可動部が移動することによって対象物の姿勢が変化する。このため、この変化する各姿勢の対象物について、その３次元モデルデータを生成する必要がある。

この姿勢が変化する対象物の３次元モデルデータを生成する方法の一つとして、可動部を少しずつ移動させて対象物を撮像することによって３次元モデルデータを生成する方法が一般的に知られている。この方法は、可動部を少しずつ移動させるという面倒な作業が必要であり、可動部の移動軌跡が長い場合には、可動部を移動軌跡に沿って移動させる回数が多くなるために、大きな作業負荷を伴うという課題がある。また、生成する３次元モデルデータのデータ量が多くなり、処理負荷やデータの記憶容量も大きくなるという課題もある。

そこで、例えば可動部が移動した姿勢の対象物を表示装置に表示させる場合、人が可動部を動かすことによって、所望する可動部が移動した姿勢の対象物を撮像手段に撮像させて、表示装置に表示する画像データを生成することが考えられる。こうすれば、可動部が少しずつ移動した姿勢の対象物の３次元モデルデータを生成しておく必要がなく、処理負荷が軽減する。

しかしながら、可動部を人が動かす場合は、例えば可動部に人の手が障害物として写り込んでしまう確率が高い。このため、可動部が移動した姿勢の対象物の画像から障害物の写り込みが排除された対象物のみの画像データを負荷の抑制された画像処理で生成する技術が望まれている。

なお、こうした実情は、少なくとも、姿勢が変化する対象物の画像を表示する画像データを生成する画像処理装置、画像処理方法、および画像処理プログラムにおいては、概ね共通するものであった。

本発明は、上記実情に鑑みてなされたものであり、障害物の写り込みを排除した対象物の画像を負荷が抑制された画像処理によって生成することが可能な画像処理装置、画像処理方向、および画像処理プログラムを提供することを主な目的とする。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する画像処理装置は、姿勢が変化する対象物を撮像手段に撮像させ当該対象物の画像データを取得するデータ取得部と、取得した前記画像データを用いて前記対象物の３次元モデルデータを生成するデータ生成部と、前記取得した前記対象物の画像データに含まれる当該対象物を隠す障害物を示す障害物データを検出して当該障害物を識別するデータ識別部と、を備え、前記データ取得部は、前記障害物による隠れ部分が存在しない複数の異なる姿勢の前記対象物の画像データを取得し、前記データ識別部が、前記データ取得部が取得した任意の姿勢の前記対象物の画像データから前記障害物データを検出したとき、前記データ生成部は、前記対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて前記任意の姿勢の対象物の３次元モデルデータを生成し、前記障害物データを前記任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、前記任意の姿勢で撮像された前記対象物の画像データとして生成する。

この構成によれば、人の手などの障害物が写りこんだ対象物の画像から、障害物の写り込みを排除した対象物の画像を、障害物の画像部分を３次元デルデータから生成される画像で置き換える、負荷が抑制された処理によって生成することが可能である。

上記画像処理装置において、前記対象物は、回転および直線の少なくとも一つの移動によって姿勢が変化する可動部を有し、前記データ取得部は、前記可動部が当該可動部の移動軌跡内に位置する姿勢を前記対象物の複数の異なる姿勢として、前記対象物の画像データを取得することが好ましい。

この構成によれば、可動部を有する対象物について、可動部を少しずつ動かして撮像させた画像データを用いることなく、移動軌跡内の任意の姿勢の対象物について障害物の写り込みを排除した画像を負荷が抑制された処理によって生成することが可能である。

上記画像処理装置において、前記対象物の任意の姿勢は、前記可動部が前記移動軌跡内のいずれかに位置する姿勢であり、前記データ生成部は、前記移動軌跡の両端のうちの少なくとも片端に前記可動部が位置する前記対象物の頂点を示す頂点データ含む３次元モデルデータを生成し、前記可動部の頂点が前記移動軌跡を描くように前記頂点データを補正して、前記任意の姿勢の対象物の３次元モデルデータを生成することが好ましい。

この構成によれば、移動軌跡に沿った可動部の頂点データの補正処理によって任意の姿勢の対象物の画像データが得られるので、障害物の写り込みを排除した対象物の画像を負荷が抑制された処理によって生成することが可能である。

上記画像処理装置において、前記データ生成部は、前記移動軌跡を複数に分割する分割位置に前記可動部の頂点が位置する分割姿勢の前記対象物の３次元モデルデータを生成し、前記分割姿勢の対象物の３次元モデルデータに基づいて生成される画像データのうち、前記任意の姿勢の対象物の画像データが示す前記対象物の頂点の位置とのずれ量が最も少ない頂点位置を有する画像データを、前記任意の姿勢の対象物の画像データとして生成することが好ましい。

この構成によれば、可動部を有する対象物について、可動部の移動軌跡における分割位置ごとの補正処理によって任意の姿勢の対象物の画像データが得られるので、障害物の写り込みを排除した対象物の画像を負荷が抑制された処理によって生成することが可能である。

上記画像処理装置において、前記データ生成部は、複数の異なる姿勢の前記対象物の画像データを用いて、当該対象物の表面のテクスチャデータを含む前記３次元モデルデータを生成し、前記任意の姿勢の対象物の画像データに含まれる障害物データを、前記３次元モデルデータに基づいて生成される画像データに含まれる前記テクスチャデータに置き換えた前記補正画像データを生成することが好ましい。

この構成によれば、手などの障害物が写りこんだ対象物の画像から、障害物の写り込みを排除した対象物の画像を、対象物の表面のテクスチャ（例えば色や模様）に補正して生成することができる。

上記画像処理装置において、前記データ識別部は、前記任意の姿勢で撮像された対象物の画像データのうち、前記データ生成部が生成した前記任意の姿勢の対象物の画像データの色相を示すデータ値に対する差分が閾値以上となるデータ値を有する画像データを、前記障害物データとして検出することが好ましい。

この構成によれば、障害物を画像データの色相を示すデータ値（例えばＲ，Ｇ，Ｂの各データ値）によって識別するので、障害物の写り込みを排除した対象物の画像を負荷が抑制された処理によって生成することが可能である。

上記画像処理装置において、前記データ取得部は、前記撮像手段からの距離を示す深度データを含む前記対象物の画像データを取得し、前記データ識別部は、前記任意の姿勢で撮像された前記対象物の画像データのうち、前記データ生成部が生成した前記任意の姿勢の対象物の３次元モデルデータから得られる深度データのデータ値との差分が閾値以上となるデータ値を有する深度データを含む画像データを、前記障害物データとして検出することが好ましい。

この構成によれば、障害物を画像データの深度データ値によって識別するので、障害物の写り込みを排除した対象物の画像を負荷が抑制された処理によって生成することが可能である。

上記画像処理装置において、前記データ取得部は、複数の任意の姿勢の対象物を時系列で連続的に前記撮像手段に撮像させて前記複数の任意の姿勢の対象物の画像データを取得し、前記データ生成部は、前記複数の任意の姿勢の対象物の画像データに含まれる前記障害物データを前記対象物の３次元モデルデータから生成される画像データに置き換えた前記補正画像データを生成し、生成した当該補正画像データを時系列で連続的に出力することが好ましい。

この構成によれば、対象物の姿勢を変化させながら動画形式で撮像した動画像データから、障害物の写り込みを排除した対象物の動画像データを負荷が抑制された処理によって生成することが可能である。

上記課題を解決する画像処理装置が行う画像処理方法は、姿勢が変化する対象物を撮像手段に撮像させ当該対象物の画像データを取得するデータ取得ステップと、取得した前記画像データを用いて前記対象物の３次元モデルデータを生成するデータ生成ステップと、取得された前記対象物の画像データに含まれる当該対象物を隠す障害物を示す障害物データを検出して当該障害物を識別するデータ識別ステップと、を備え、前記データ取得ステップでは、前記障害物による隠れ部分が存在しない複数の異なる姿勢の前記対象物の画像データを取得し、前記データ識別ステップにおいて、前記データ取得ステップで取得した任意の姿勢の前記対象物の画像データから前記障害物データを検出したとき、前記データ生成ステップでは、前記対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて前記任意の姿勢の対象物の３次元モデルデータを生成し、前記障害物データを前記任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、前記任意の姿勢で撮像された前記対象物の画像データとして生成する。

この方法によれば、人の手などの障害物が写りこんだ対象物の画像から、障害物の写り込みを排除した対象物の画像を、障害物の画像部分のみを３次元デルデータから生成される画像で置き換える負荷が抑制された処理によって生成することが可能である。

上記課題を解決する画像処理プログラムは、姿勢が変化する対象物を撮像手段に撮像させ当該対象物の画像データを取得するデータ取得機能と、取得した前記画像データを用いて前記対象物の３次元モデルデータを生成するデータ生成機能と、取得した前記対象物の画像データに含まれる当該対象物を隠す障害物を示す障害物データを検出して当該障害物を識別するデータ識別機能と、をコンピューターに実現させ、前記データ取得機能では、前記障害物による隠れ部分が存在しない複数の異なる姿勢の前記対象物の画像データを取得し、前記データ識別機能において、取得した任意の姿勢の前記対象物の画像データから前記障害物データを検出したとき、前記データ生成機能では、前記対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて前記任意の姿勢の対象物の３次元モデルデータを生成し、前記障害物データを前記任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、前記任意の姿勢で撮像された前記対象物の画像データとして生成することをコンピューターに実行させる。

このプログラムによれば、人の手などの障害物が写りこんだ対象物の画像から、障害物の写り込みを排除した対象物の画像を、障害物の画像部分のみを３次元デルデータから生成される画像で置き換える負荷が抑制された処理によって生成することが可能である。

実施形態の画像処理装置を含むシステムの構成を模式的に示す斜視図。 実施形態の画像処理装置の機能構成を説明するブロック図。 画像処理装置が行う画像処理を示すフローチャート。 画像処理装置が行う画像処理を示すフローチャート。 画像処理装置が行う画像処理を示すフローチャート。 （ａ）は可動部が移動した異なる姿勢の対象物を示す斜視図、（ｂ）は３次元モデルデータ化された対象物を示す模式図、（ｃ）は可動部の移動軌跡を示す３次元モデルデータ化された対象物の斜視図。 （ａ），（ｂ）は可動部が移動軌跡内の分割位置に位置した分割姿勢の対象物の３次元モデルデータを算出する方法を示す説明図。 （ａ）は障害物が写り込んだ状態で撮像された対象物の動画像を示す模式図、（ｂ）は撮像された対象物の３次元モデルデータと生成された３次元モデルデータとを示す模式図、（ｃ）は写り込んだ障害物が排除された対象物の動画像を示す斜視図。

以下、画像処理装置の一実施形態について、図を参照しながら説明する。
図１に示すように、本実施形態の画像処理装置を含むシステム構成として、可動部の移動によって姿勢が変化する対象物５０を撮像可能な３つの撮像手段１２と、キーボードなどの入力機器１４や表示モニター１５が接続された制御装置１３と、制御装置１３に接続されたハードディスクなどの記憶手段１６と、を備えている。

本実施形態では、対象物５０は、画像や文字などを表示する表示パネル５１ａを有する略直方体形状の可動部５１が、操作ボタン５２ａを有する略直方体形状の基台部５２に対して、回転軸５３を中心に図１において曲線矢印で示すように回転（揺動）可能な二つ折形式の携帯電話機である。また、制御装置１３は中央演算素子（ＣＰＵ）や記憶素子（ＲＡＭ，ＲＯＭ）を備えた所謂コンピューターであり、予め記憶素子に記憶されたプログラムや、例えば外部媒体１７や、無線通信手段１８を介して入力されて記憶素子に記憶されたプログラムに従って動作することによって、画像処理装置として機能する。

各撮像手段１２は、発射部１２ａから発射した赤外線やレーザー光を受光部１２ｂで受け、受光部１２ｂ（撮像手段１２）から対象物５０の各部分までの距離（深度）を計測可能な深度センサーと、カラー画像を写すカメラ１２ｃとを有している。したがって撮像手段１２が対象物５０を撮像することによって、その対象物５０の各部分の深度データを含むＲ，Ｇ，Ｂの画像データが取得される。すなわと、取得される対象物５０の画像データは、撮像場所の空間領域における対象物５０を３次元の直交座標系の座標値で示した３次元データである。なお、本実施形態では、撮像手段１２は異なる３つの位置（方向）から対象物５０を撮像することによって、その対象物５０について撮像されない部分が生じないようにしている。

制御装置１３は、各撮像手段１２に撮像させて取得した対象物５０の画像データを用いて演算を行い、その対象物５０の３次元モデルデータを算出して生成する。そして、制御装置１３は、生成した対象物５０の３次元モデルデータを、記憶手段１６に出力して記憶させる。

また、制御装置１３は、撮像手段１２が撮像した対象物５０の画像に、対象物５０を隠す障害物（例えば人の手）が重なって写っている場合は、記憶手段１６に記憶した対象物５０の３次元モデルデータを用いて、人の手によって隠れた部分に相当する対象物５０の画像を生成する。そして、生成した画像を対象物５０の隠れ部分の画像として補完し、人の手などの障害物の写り込みが排除された対象物５０の画像に作り変える画像の補正処理を行う。補正処理された画像は、処理状態の確認など必要に応じて表示モニター１５に表示可能とされている。

また、本実施形態では、制御装置１３は、撮像手段１２が撮像した対象物５０の画像データから、表面のテクスチャ（色や模様や形状など）を示すテクスチャデータを、対象物５０の全ての表面について取得する。そして、制御装置１３は、取得したテクスチャデータを、対象物５０の３次元モデルデータとともに、記憶手段１６に出力して記憶させる。

次に、画像処理装置として機能する制御装置１３の機能構成について説明する。
図２に示すように、制御装置１３は、データ取得部３１と、データ識別部３２と、データ生成部３３と、を備える。各部は、制御装置１３が、装置内部に記憶された画像処理プログラムに従って動作することにより機能する。

データ取得部３１は、対象物５０を撮像手段１２に撮像させ、その撮像手段１２からの距離を示す深度データを含む対象物５０の画像データを取得する。また、データ取得部３１は、姿勢が変化する対象物５０を時系列で連続的に撮像手段１２に撮像させて複数の異なる姿勢の対象物５０の画像データを取得する。

データ識別部３２は、データ生成部３３が生成した３次元モデルデータを用いてデータ取得部３１が取得した対象物５０の画像データに含まれる当該対象物５０を隠す障害物を示す障害物データを検出して障害物を識別する。そして、識別結果をデータ生成部３３へ出力する。

データ生成部３３は、データ取得部３１が取得した画像データを用いて対象物５０のテクスチャデータを含む３次元モデルデータを生成し、生成した３次元モデルデータを記憶手段１６に記憶する。また、データ識別部３２の出力結果に応じて、障害物を示す障害物データを置き換える補完用の画像データを、記憶した３次元モデルデータから生成する。そして、障害物データを補完用の画像データに置き換えた補正画像データを、対象物５０の画像データとして出力し、表示モニター１５などに表示させる。

次に、以上のように機能構成された本実施形態の制御装置１３の作用、すなわち画像処理プログラムによる画像処理動作について、図を参照して説明する。なお、本実施形態では、画像処理動作は、制御装置１３の使用者が、入力機器１４から処理動作の開始を示す命令データを入力することによって開始される。

図３に示すように、画像処理が開始されると、まず、ステップＳ１にて、対象物の３次元モデルデータの事前生成処理を行う。この処理は、可動部５１の移動に伴って姿勢が変化する対象物５０について、可動部５１がその移動軌跡に沿って移動することによって変化する複数の姿勢の対象物５０の３次元モデルデータを生成する処理である。

図４に示すように、ステップＳ１の処理では、まずステップＳ１１にて、障害物が写らない状態で、可動部が移動軌跡内に位置する複数の異なる姿勢で、対象物を撮像処理する。ここでは、画像処理装置の使用者が、対象物５０を、複数の異なるそれぞれの姿勢にして撮像場所に設置した状態で、制御装置１３に所定の撮像命令データを入力する。これにより、データ取得部３１は撮像手段１２に対象物５０を撮像させ、複数の異なるそれぞれの姿勢の対象物５０の画像データを取得する。

図６（ａ）に示すように、本実施形態では、対象物５０は、可動部５１が移動軌跡の両端と移動軌跡途中に位置する合計３つの異なる姿勢で撮像場所に設置される。すなわち、対象物５０は、可動部５１が移動軌跡の一端側に位置する最も開いた開状態の姿勢の対象物５０Ａと、可動部５１が移動軌跡の中間に相当する回転の途中状態の姿勢の対象物５０Ｂと、可動部５１が基台部５２に重なるように移動軌跡の他端側に位置する閉じた閉状態の姿勢の対象物５０Ｃと、の３つの姿勢で設置される。もとより、各対象物５０Ａ，５０Ｂ，５０Ｃは、人の手などの障害物は存在しない状態で撮影場所に設置される。

図４に戻り、続くステップＳ１２にて、撮像によって取得された画像データから、各姿勢の対象物の頂点データおよび対象物のテクスチャデータを含む３次元モデルデータを生成処理する。ここでは、データ生成部３３が、対象物５０の画像データを用いて、対象物５０において直方体形状を構成している互いに交差する３つの表面で作られる頂点の位置データつまり頂点データを算出して生成する。また、対象物５０の画像データを用いて直方体形状を構成する各表面（ここでは合計１２個の表面）のテクスチャ（色や模様や形状など）を示すテクスチャデータを生成する。

図６（ｂ）に、生成された対象物５０の３次元モデルデータを示す。すなわち、３次元モデルデータは、可動部５１に対応する頂点Ｐ１〜Ｐ８の各頂点データが生成される。このうち、頂点Ｐ３，Ｐ４は回転軸５３に対応する。また、基台部５２対応する頂点Ｐ３，Ｐ４，Ｐ９〜Ｐ１４の各頂点データが生成される。さらに、例えば、頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４のそれぞれを四隅の各頂点とする表面Ｔ１や、頂点Ｐ３，Ｐ４，Ｐ１１，Ｐ１２のそれぞれを四隅の各頂点とする表面Ｔ２のように、４つの頂点のそれぞれを四隅の各頂点とする１２個の表面について、それぞれテクスチャデータが生成される。そして、各頂点データは、対象物５０Ａ，５０Ｂ，５０Ｃのそれぞれについての姿勢状態に応じた座標値で生成される。

図４に戻り、次に、ステップＳ１３にて、各姿勢の対象物の頂点データから、可動部の移動軌跡を特定処理する。ここでは、データ生成部３３が、可動部５１の回転軸５３とは反対の移動端側の一つの頂点について、異なる３つの姿勢の対象物５０における頂点データを記憶手段１６から読み出す。そして読み出した３つの頂点データが示す点を通る一つの円弧が一義的に算出され、データ生成部３３は、この算出された円弧を可動部５１の移動軌跡として特定する。

図６（ｃ）に、特定された可動部５１の移動軌跡を円弧矢印で示す。図示するように、可動部５１における回転軸５３と反対の移動端（揺動端）側に位置する頂点Ｐ１の移動軌跡Ｋ１および頂点Ｐ２の移動軌跡Ｋ２のうち少なくとも一つが算出される。本実施形態では、対象物５０Ａ，５０Ｂ，５０Ｃのそれぞれの姿勢における各頂点Ｐ１、つまり頂点Ｐ１ａ，Ｐ１ｂ，Ｐ１ｃを通る円弧データが算出され、算出された円弧データで規定される円弧が可動部５１の移動軌跡Ｋとして特定される。

図４に戻り、次のステップＳ１４にて、可動部の移動軌跡の一端の頂点と、移動軌跡途中の頂点との間の移動軌跡における中間点を算出処理する。そして、続くステップＳ１５にて、算出した中間点を可動部の移動端側の頂点とする対象物の３次元モデルデータを生成処理する。ここでは、データ生成部３３が、開状態にある可動部５１の移動端側の頂点Ｐ１（Ｐ１ａ）を移動軌跡の一端の頂点とし、移動軌跡途中の頂点つまり途中状態にある可動部５１の移動端側の頂点Ｐ１（Ｐ１ｂ）までの移動軌跡を半分に分割する分割位置となる中間点を算出処理する。そして、データ生成部３３は、移動端側の頂点Ｐ１が移動軌跡を描くように移動して、算出した中間点に位置するように、可動部５１の各頂点の頂点データを補正する。この補正により、移動軌跡における分割位置に可動部５１の移動端側の頂点が位置する分割姿勢の対象物の３次元モデルデータが生成される。

図７（ａ）に、可動部５１の移動端側の頂点Ｐ１が、算出した中間点に位置する分割姿勢の対象物５０Ｄについて、生成された３次元モデルデータを二点鎖線で示す。すなわち、対象物５０Ｄの３次元モデルデータは、移動軌跡Ｋの両端のうちの片端（一端）に可動部５１が位置する対象物５０Ａの３次元モデルデータが補正されて生成される。詳しくは、可動部５１の移動端側の頂点Ｐ１が対象物５０Ａの頂点Ｐ１ａの位置から符号Ｐ１ｄで示す中間点（図中黒の丸点）へ移動軌跡Ｋを描いて回転移動するように、対象物５０Ａの可動部５１の各頂点（例えば頂点Ｐ５，Ｐ７など）の頂点データが補正（回転補正）される。

図４に戻り、次のステップＳ１６にて、可動部の移動端側の頂点の数は設定された個数以上か否かを判定処理する。ここでは、データ生成部３３が、設定値として記憶素子に記憶された数値と比較して判定する。判定の結果、頂点の数は設定された個数より少ない場合、つまり可動部５１の移動位置が異なっている対象物５０の姿勢数が設定数よりも少ない場合は（ステップＳ１６：ＮＯ）、ステップＳ１７にて、移動軌跡において隣り合う頂点間の中間点を算出処理して、再びステップＳ１５およびステップＳ１６の処理を繰り返す。一方、判定の結果、中間点によって増加する可動部５１の移動端側の頂点の数が設定された個数以上である場合は（ステップＳ１６：ＹＥＳ）、ステップＳ１８に進む。

図７（ａ）に、ステップＳ１７での処理によって算出された２つの中間点Ｐ１ｅを二重丸の記号で示す。すなわち、ステップＳ１７にて算出される２つの中間点Ｐ１ｅは、３次元モデルデータとして既に生成されている可動部５１の移動端側の複数の頂点Ｐ１（この場合は３つの頂点Ｐ１ａ，Ｐ１ｄ，Ｐ１ｂ）のうちの移動軌跡Ｋにおいて隣り合う頂点間の中間点である。したがって、ステップＳ１７とステップＳ１５の処理が繰り返されるたびに中間点が２倍で増加することになる。そして増加したそれぞれの中間点を可動部５１の移動端側の頂点Ｐ１とする分割姿勢の対象物５０の３次元モデルデータが生成されることによって、開状態と途中状態との間においてそれぞれ姿勢の異なる複数の分割姿勢の対象物５０の三次元モデルデータが事前生成される。

図４に戻り、ステップＳ１８では、可動部の移動軌跡の他端の頂点と、移動軌跡途中の頂点との間の移動軌跡における中間点を算出処理する。そして、続くステップＳ１９にて、算出した中間点を可動部の移動端側の頂点とする対象物の３次元モデルデータを生成処理する。ここでは、データ生成部３３が、閉状態にある可動部５１の移動端側の頂点Ｐ１（Ｐ１ｃ）を移動軌跡の他端の頂点とし、移動軌跡途中の頂点つまり途中状態にある可動部５１の移動端側の頂点Ｐ１（Ｐ１ｂ）からの移動軌跡における中間点を算出処理する。そして、データ生成部３３は、移動端側の頂点Ｐ１が移動軌跡を描くように移動して算出した中間点に位置するように、可動部５１の各頂点の頂点データを補正する。この補正により、移動軌跡における分割位置に可動部５１の移動端側の頂点が位置する分割姿勢の対象物の３次元モデルデータが生成される。

図７（ｂ）に、算出した中間点に可動部５１の移動端側の頂点が位置する分割姿勢の対象物５０Ｆについて、生成された３次元モデルデータを二点鎖線で示す。すなわち、対象物５０Ｆの３次元モデルデータは、可動部５１が移動軌跡Ｋの途中に位置する対象物５０Ｂの３次元モデルデータが補正されて生成される。詳しくは、可動部５１の移動端側の頂点Ｐ１が対象物５０Ｂの頂点Ｐ１ｂの位置から符号Ｐ１ｆで示す中間点（図中黒の丸点）へ移動軌跡Ｋを描いて回転移動するように、対象物５０Ｂの３次元モデルデータのうちの可動部５１の各頂点（例えば頂点Ｐ５，Ｐ７など）の頂点データが補正（回転補正）される。

あるいは、対象物５０Ｆの３次元モデルデータは移動軌跡Ｋの両端のうちの片端（他端）に可動部が位置する対象物５０Ｃの３次元モデルデータが補正されて生成されてもよい。詳しくは、可動部５１の移動端側の頂点Ｐ１が、対象物５０Ｃの頂点Ｐ１ｃの位置から符号Ｐ１ｆで示す中間点（図中黒の丸点）へ移動軌跡Ｋを描いて回転移動するように、対象物５０Ｆの可動部５１の各頂点（例えば頂点Ｐ５，Ｐ７など）の頂点データが補正（回転補正）される。

図４に戻り、次のステップＳ２０にて、可動部の移動端側の頂点の数は設定された個数以上か否かを判定処理する。ここでは、データ生成部３３が、設定値として記憶素子に記憶された数値と比較して判定する。判定の結果、頂点の数は設定された個数より少ない場合、つまり可動部５１の移動位置が異なっている対象物５０の姿勢数が設定数よりも少ない場合は（ステップＳ２０：ＮＯ）、ステップＳ２１にて、移動軌跡において隣り合う頂点間の中間点を算出処理して、再びステップＳ１９およびステップＳ２０の処理を繰り返す。一方、判定の結果、中間点の数は設定された個数以上である場合は（ステップＳ２０：ＹＥＳ）、ここでの処理を終了してステップＳ２へ進む。

図７（ｂ）に、ステップＳ２０での処理によって算出された２つの中間点Ｐ１ｇを二重丸の記号で示す。すなわち、ステップＳ２０にて算出される２つの中間点Ｐ１ｇは、３次元モデルデータとして既に生成されている可動部５１の移動端側の複数の頂点Ｐ１（この場合は３つの頂点Ｐ１ｂ，Ｐ１ｆ，Ｐ１ｃ）のうちの隣り合う頂点間の中間点である。したがって、ここでは詳しい説明を省略するが、ステップＳ２１とステップＳ１９の処理が繰り返されるたびに中間点が２倍で増加することになる。そして増加したそれぞれの中間点を可動部５１の移動端側の頂点とする分割姿勢の対象物５０の３次元モデルデータが生成されることによって、閉状態と途中状態との間において複数の分割姿勢の対象物５０の三次元モデルデータが事前生成される。

図３に戻り、次に、ステップＳ２にて、撮像手段により任意の姿勢の対象物の画像データを取得処理する。ここでは、データ取得部３１が、使用者が基台部５２を保持しながら可動部５１を手によって回転させて任意の姿勢とされた対象物５０を一つの撮像手段１２によって動画形式で撮像する。したがって、取得される各画像データは動画像データ、すなわち時系列の複数のフレーム画像の画像データである。なお、対象物５０の任意の姿勢は、可動部５１が移動軌跡Ｋ内のいずれかに位置する姿勢、つまり対象物５０Ａの姿勢と対象物５０Ｃの姿勢との間の姿勢である。

次に、ステップＳ３にて、事前生成した対象物の３次元モデルデータから、任意の姿勢の対象物の画像データを生成処理する。この生成処理は、データ取得部３１が取得した各フレーム画像に写っている任意の姿勢の対象物５０の画像データに最も近いデータを有する３次元モデルデータを、データ生成部３３が記憶手段１６に記憶されたデータの中から選択することによって行う。

図５に示すように、ステップＳ３の処理では、まずステップＳ３１にて、取得した画像データから対象物の頂点を取得処理する。ここでは、データ生成部３３が、対象物５０の画像データ（３次元データ）を用いて、対象物５０において互いに交差する３つの表面で作られる可動部５１および基台部５２の各頂点の位置（座標）を算出することによって取得する。

次に、ステップＳ３２にて、取得した対象物の頂点との位置誤差最小の頂点を有する３次元モデルデータを、事前生成された対象物の３次元モデルデータから選択処理する。ここでは、例えば、データ生成部３３が、３次元モデルデータにおける基台部５２の頂点Ｐ３，Ｐ４，Ｐ９〜Ｐ１４の位置データを、取得された対象物５０の基台部５２の頂点の位置データと等しくなるように補正する。このように基台部５２の頂点の位置データが補正された状態で、３次元モデルデータの可動部５１の各頂点の位置が、取得された可動部５１のそれぞれの頂点の位置に最も近い分割姿勢の対象物５０の３次元モデルデータを選択する。換言すれば、事前生成された対象物の３次元モデルデータから、任意の姿勢の対象物５０の頂点の位置とのずれ量が最も少ない頂点位置を有する３次元モデルデータが選択される。

続いて、ステップＳ３３にて、選択された対象物の３次元モデルデータから、撮像された任意の姿勢に相応する対象物の画像データを生成処理して、ステップＳ４へ戻る。ここでは、データ生成部３３が、選択された一つの分割姿勢の対象物５０の３次元モデルデータの各頂点データおよびテクスチャデータを、撮像されたフレーム画像に写っている対象物５０と同じ姿勢と大きさの画像となるように補正することによって、対象物の画像データを生成する。この結果、任意の姿勢の対象物５０の画像データとのずれ量が最も少ない画像データが、選択された対象物の３次元モデルデータから生成される。

図３に戻り、次に、ステップＳ４にて、取得した画像データと生成した画像データとを比較処理する。ここでは、データ識別部３２が、データ生成部３３が生成した各表面のテクスチャデータを有する画像データのうちの深度データと、データ取得部３１が取得した画像データのうちの深度データとを比較する。

次に、ステップＳ５にて、取得した対象物の画像データに障害物データが含まれるか否かを判定処理する。ここでは、データ識別部３２が、２つの画像データ間において、予め定められた閾値以上の深度差、あるいは、使用者のデータ入力によって設定された閾値以上の深度差を有する画像データを障害物データとし、取得した対象物の画像データからこの障害物データが検出されるか否かによって判定処理する。したがって、データ識別部３２は、検出した障害物データによって障害物を識別する。ちなみに、本実施形態では、人の手が障害物となるため、障害物データは、取得された対象物の画像データのうち、生成された対象物の画像データの深度データ値よりも撮像手段１２に近いことを示す浅い深度データ値の画像データ部分となる。

判定の結果、障害物データが含まれない場合、つまり対象物５０は人の手などによる隠れ部分が存在しない場合は（ステップＳ５：ＮＯ）、ステップＳ６にて、取得した対象物の画像データを出力して画像処理を終了する。一方、判定の結果、障害物データが含まれる場合は（ステップＳ５：ＹＥＳ）、次のステップＳ７にて、３次元モデルデータから障害物データに相当する部分の画像データを生成処理する。ここでは、データ生成部３３が、データ識別部３２によって検出された障害物データに重なる画像データ（テクスチャデータ）部分を切り出すことによって生成する。

そして、続くステップＳ８にて、障害物データを、生成した画像データで補正処理し、次のステップＳ９にて、補正した対象物の画像データを出力処理して画像処理を終了する。ここでは、データ生成部３３が、フレーム画像に写っている障害物を排除し、対象物５０の隠れ部分が存在しない画像に補正して、出力する。

図８（ａ），（ｂ），（ｃ）を参照してステップＳ２〜Ｓ９の処理による画像補正の一例を説明する。
まず図８（ａ）に示すように、使用者は基台部５２を保持して回転軸５３を中心に可動部５１を回転させることによって対象物５０を任意の姿勢にし、この任意の姿勢の対象物５０を撮像手段１２に撮像させて複数のフレーム画像ＦＧを取得する（ステップＳ２）。

次に、図８（ｂ）に示すように、それぞれのフレーム画像ＦＧについて、データ生成部３３によって、取得されたフレーム画像ＦＧの画像データから対象物５０の頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ９，Ｐ１２，Ｐ１３，Ｐ１４の合計１１個の頂点が取得される。そして、取得された画像データの１１個の頂点との位置関係が最も近い対象物５０Ｄの３次元モデルデータが選択され、選択された３次元モデルデータから対象物５０Ｄの画像データが生成される（ステップＳ３，Ｓ４）。

この場合、生成される対象物５０Ｄの画像データは、フレーム画像ＦＧに写っている対象物５０と同じ姿勢であって、頂点Ｐ１ｄ（Ｐ１），Ｐ２〜Ｐ７，Ｐ９，Ｐ１１〜Ｐ１４の合計１２個の頂点と、４つの頂点のそれぞれを四隅の各頂点とする表面Ｔ１〜Ｔ６の６つの表面のテクスチャデータが生成される。

そして、取得された任意の姿勢の対象物５０の画像データと生成された対象物５０Ｄの画像データとの間の深度データ値の差異によって、図８（ｂ）の左側に破線で示すように、対象物５０を隠す障害物（人の手）を示す障害物データが検出され、障害物の画像部分が識別される（ステップＳ４，Ｓ５）。

次に、図８（ｃ）に示すように、障害物データの部分を、対象物５０Ｄのテクスチャデータで置き換える画像処理により画像データの補正を行うことによって、人の手が写っていない対象物５０の画像（フレーム画像ＦＧ）が生成される。つまり、障害物の画像部分のみを３次元デルデータから生成される画像データのテクスチャデータで置き換える補正処理を行う（ステップＳ７，Ｓ８）。この画像データの補正処理は、時系列で撮像された全てのフレーム画像ＦＧについて行われ、データ生成部３３は、対象物５０から障害物の写り込みが排除されたフレーム画像ＦＧを、時系列順に出力することによって（ステップＳ９）、表示モニター１５などに動画像データとして出力する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）人の手などの障害物が写りこんだ対象物５０の画像から、障害物の写り込みを排除した対象物５０の画像を、障害物の画像部分を３次元デルデータから生成される画像で置き換える負荷が抑制された処理によって生成することが可能である。

（２）可動部５１を有する対象物５０について、可動部５１を少しずつ動かして撮像させた画像データを用いることなく、移動軌跡内の任意の姿勢の対象物５０について障害物の写り込みを排除した画像を負荷が抑制された処理によって生成することが可能である。

（３）移動軌跡Ｋに沿った可動部５１の頂点データの補正処理によって任意の姿勢の対象物５０の画像データが得られるので、障害物の写り込みを排除した対象物５０の画像を負荷が抑制された処理によって生成することが可能である。

（４）可動部５１を有する対象物５０について、可動部５１の移動軌跡における分割位置ごとの補正処理によって任意の姿勢の対象物５０の画像データが得られるので、障害物の写り込みを排除した対象物５０の画像を負荷が抑制された処理によって生成することが可能である。

（５）手などの障害物が写りこんだ対象物５０の画像から、障害物の写り込みを排除した対象物５０の画像を、対象物５０の表面のテクスチャ（例えば色や模様や形状など）に補正して生成することができる。

（６）障害物を画像データの深度データ値によって識別するので、障害物の写り込みを排除した対象物５０の画像を負荷が抑制された処理によって生成することが可能である。
（７）対象物５０の姿勢を変化させながら動画形式で撮像した動画像データから、障害物の写り込みを排除した対象物５０の動画像データを負荷が抑制された処理によって生成することが可能である。

なお、上記実施形態は以下のように変更してもよい。
・上記実施形態において、データ識別部３２は、任意の姿勢で撮像された対象物５０の画像データのうち、データ生成部３３が生成した任意の姿勢の対象物５０Ｄの画像データの色相を示すデータ値に対する差分が閾値以上となるデータ値を有する画像データを、障害物データとして検出するようにしてもよい。

例えば、対象物５０の色が障害物である人の手の色（肌色）と異なる場合は、それぞれの画像データにおいて画像（画素）の色を示すＲ，Ｇ，Ｂの各データ値が異なる。したがって、このような場合、Ｒ，Ｇ，Ｂのデータ値の差分が、予め定められた閾値以上、あるいは使用者のデータ入力によって設定された閾値以上となる画像データを有する画像部分を、障害物として識別することができる。

この変形例によれば、上記実施形態における効果（６）に替えて次の効果を奏する。
（８）障害物を、画像データの色相を示すデータ値（例えばＲ，Ｇ，Ｂの各データ値）によって識別するので、障害物の写り込みを排除した対象物５０の画像を負荷が抑制された処理によって生成することが可能である。

・上記実施形態において、データ取得部３１は、必ずしも対象物５０を時系列で連続して撮像手段１２に撮像させなくてもよい。例えば、任意の姿勢の対象物５０について１つの画像データを取得するようにしてもよい。もとより、この場合、データ生成部３３は、任意の姿勢の対象物５０の一つの画像データについて、障害物データを３次元モデルデータから生成される画像データに置き換えて補正することによって画像データの生成処理を行う。

・上記実施形態において、データ生成部３３は、必ずしも、任意の姿勢の対象物５０の画像データに含まれる障害物データをテクスチャデータに置き換える補正によって画像データを生成しなくてもよい。例えば、撮像によって取得された対象物５０の画像データにおいて、識別された障害物の画像部分に隣接する対象物５０の画像部分の画像データに置き換えるようにしてもよい。あるいは、黒色や灰色などの目立ちにくい色の画像データに置き換えるようにしてもよい。こうすれば、テクスチャデータに置き換える作業をすることなく、対象物５０の隠れ部分を目立ちにくく補正して表示させることが可能である。

・上記実施形態において、データ生成部３３は、必ずしも、分割姿勢の対象物５０の３次元モデルデータに基づいて生成される画像データのうち、任意の姿勢の対象物５０の画像データが示す対象物５０の頂点の位置とのずれ量が最も少ない頂点位置を有する画像データを、任意の姿勢の対象物の画像データとして生成しなくてもよい。たとえば、頂点の位置のずれ量が大きい場合は、補正された対象物５０の画像において障害物部分の画像部分の位置ずれが顕著になる。したがって、このような場合は、少なくとも２つの分割姿勢の対象物５０の３次元モデルデータを用いて補間処理によって任意の姿勢の対象物の画像データを生成することが好ましい。

・上記実施形態において、データ生成部３３は、必ずしも対象物５０の頂点を示す頂点データ含む３次元モデルデータを生成しなくてもよい。例えば、対象物５０において可動部５１と基台部５２に特徴的な形状部分が存在する場合は、その特徴的な形状部分を示す特異点データを含む３次元モデルデータを生成するようにしてもよい。また、対象物５０の表面が曲面（曲線）で形成されるために頂点データの生成が難しい場合は、例えばその曲面（曲線）上に等間隔で測定点を設け、設けた測定点の位置データを含む３次元モデルデータを生成するようにしてもよい。

・上記実施形態において、データ生成部３３は、必ずしも移動軌跡の両端のうちの少なくとも片端に可動部５１が位置する対象物５０（５０Ａ，５０Ｃ）の頂点を示す頂点データ含む３次元モデルデータを用いて、任意の姿勢の対象物の３次元モデルデータを生成しなくてもよい。例えば、図４のステップＳ１１での処理において、対象物５０を、可動部５１が移動軌跡途中に位置する姿勢で撮像する場合は、障害物が写っていない対象物５０の３次元モデルデータは、可動部５１が移動軌跡の両端よりも手前の移動軌跡途中に位置する姿勢である。したがって、この場合は、可動部５１が移動軌跡途中に位置する姿勢の対象物５０の３次元モデルデータを用いて、任意の姿勢の対象物５０の３次元モデルデータを生成する。なお、この場合は、移動軌跡途中から移動軌跡の端部側においても移動軌跡に沿って中間点に相当する分割位置を設け、その分割位置に可動部５１の移動端側の頂点が位置する分割姿勢の対象物５０の３次元モデルデータを生成することが好ましい。

・上記実施形態において、対象物５０は、可動部５１が直線移動する構成であってもよいし、回転と直線の双方の移動が可能な構成であってもよい。なお、可動部５１が直線移動する場合は、データ取得部３１は、可動部５１がその移動軌跡の両端に位置する２つの姿勢を対象物５０の複数の異なる姿勢として、その対象物５０の画像データを取得するようにすればよい。また、可動部５１が回転移動する場合であっても、その回転中心が判明している場合は、直線移動と同様に、可動部５１がその移動軌跡の両端に位置する２つの姿勢を対象物５０の複数の異なる姿勢として、その対象物５０の画像データを取得するようにすればよい。

・上記実施形態において、対象物５０は可動部５１が回転移動や直線移動以外の移動によって姿勢が変化するものであってもよい。例えば、弾性変形可能な変形部分を有し、その変形部分の捩れによって姿勢が変化する対象物や、その変形部分の膨張や収縮によって姿勢が変化する対象物であってもよい。

・上記実施形態において、撮像手段１２は３つに限らず、２つでもよいし、４つ以上であってもよい。なお、対象物５０について、例えば、障害物の画像を補正する際に、底面のテクスチャデータ、つまり頂点Ｐ９，Ｐ１０，Ｐ１２，Ｐ１４を四隅とする表面のテクスチャデータを用いる必要がない場合は、２つの撮像手段１２で対象物５０撮像するようにしてもよい。

・上記実施形態において、分割姿勢の対象物５０において可動部５１の移動端側の頂点Ｐ１が位置する分割位置は、移動軌跡において隣り合う頂点間の中間点としたが、これに限らず、移動軌跡において予め設定された数で分割された分割点としてもよい。

・上記実施形態においては、図４のステップ１６およびステップＳ２０において、可動部５１の移動端側の頂点Ｐ１の数を予め設定された数以上になるまで中間点を繰り返し算出することとしたが、これに限らない。例えば、隣り合う分割位置間の移動軌跡に沿う長さが定められた値よりも小さくなるまで中間点を繰り返し算出するようにしてもよい。こうすれば、撮像によって取得された対象物５０の姿勢と、３次元モデルデータから生成された対象物５０の姿勢との差異を抑制することができる。

・上記実施形態において、対象物５０は携帯電話機に限らず、可動部を備えるものであればよい。例えば、対象物は、可動部として備える手や足などが規則的な移動を行うことによってその姿勢が変化する樹脂製や布製の人形などであってもよい。さらに、布や糸であっても、定められた曲率で規則的に変化する可動部を有するものであれば、対象物として採用可能である。

１２…撮像手段、３１…データ取得部、３２…データ識別部、３３…データ生成部、５０，５０Ａ，５０Ｂ，５０Ｃ，５０Ｄ，５０Ｆ…対象物、５１…可動部、Ｋ，Ｋ１，Ｋ２…移動軌跡、Ｔ１〜Ｔ６…表面、Ｐ１〜Ｐ１４，Ｐ１ａ，Ｐ１ｂ，Ｐ１ｃ，Ｐ１ｄ…頂点。

Claims (10)

1. 姿勢が変化する対象物を撮像手段に撮像させ当該対象物の画像データを取得するデータ取得部と、取得した前記画像データを用いて前記対象物の３次元モデルデータを生成するデータ生成部と、前記取得した前記対象物の画像データに含まれる当該対象物を隠す障害物を示す障害物データを検出して当該障害物を識別するデータ識別部と、を備え、
   前記データ取得部は、前記障害物による隠れ部分が存在しない複数の異なる姿勢の前記対象物の画像データを取得し、
   前記データ識別部が、前記データ取得部が取得した任意の姿勢の前記対象物の画像データから前記障害物データを検出したとき、
   前記データ生成部は、前記対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて前記任意の姿勢の対象物の３次元モデルデータを生成し、前記障害物データを前記任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、前記任意の姿勢で撮像された前記対象物の画像データとして生成する画像処理装置。
2. 前記対象物は、回転および直線の少なくとも一つの移動によって姿勢が変化する可動部を有し、
   前記データ取得部は、前記可動部が当該可動部の移動軌跡内に位置する姿勢を前記対象物の複数の異なる姿勢として、前記対象物の画像データを取得する請求項１に記載の画像処理装置。
3. 前記対象物の任意の姿勢は、前記可動部が前記移動軌跡内のいずれかに位置する姿勢であり、
   前記データ生成部は、前記移動軌跡の両端のうちの少なくとも片端に前記可動部が位置する前記対象物の頂点を示す頂点データを含む３次元モデルデータを生成し、当該頂点データを前記可動部の頂点が前記移動軌跡を描くように補正して、前記任意の姿勢の対象物の３次元モデルデータを生成する請求項２に記載の画像処理装置。
4. 前記データ生成部は、
   前記移動軌跡を複数に分割する分割位置に前記可動部の頂点が位置する分割姿勢の前記対象物の３次元モデルデータを生成し、
   前記分割姿勢の対象物の３次元モデルデータに基づいて生成される画像データのうち、前記任意の姿勢の対象物の画像データが示す前記対象物の頂点の位置とのずれ量が最も少ない頂点位置を有する画像データを、前記任意の姿勢の対象物の画像データとして生成する請求項３に記載の画像処理装置。
5. 前記データ生成部は、
   複数の異なる姿勢の前記対象物の画像データを用いて、当該対象物の表面のテクスチャデータを含む前記３次元モデルデータを生成し、
   前記任意の姿勢の対象物の画像データに含まれる障害物データを、前記３次元モデルデータに基づいて生成される画像データに含まれる前記テクスチャデータに置き換えた前記補正画像データを生成する請求項１から３のいずれか一項に記載の画像処理装置。
6. 前記データ識別部は、
   前記任意の姿勢で撮像された対象物の画像データのうち、前記データ生成部が生成した前記任意の姿勢の対象物の画像データの色相を示すデータ値に対する差分が閾値以上となるデータ値を有する画像データを、前記障害物データとして検出する請求項１から４のいずれか一項に記載の画像処理装置。
7. 前記データ取得部は、前記撮像手段からの距離を示す深度データを含む前記対象物の画像データを取得し、
   前記データ識別部は、
   前記任意の姿勢で撮像された前記対象物の画像データのうち、前記データ生成部が生成した前記任意の姿勢の対象物の３次元モデルデータから得られる深度データのデータ値との差分が閾値以上となるデータ値を有する深度データを含む画像データを、前記障害物データとして検出する請求項１から４のいずれか一項に記載の画像処理装置。
8. 前記データ取得部は、複数の任意の姿勢の対象物を時系列で連続的に前記撮像手段に撮像させて前記複数の任意の姿勢の対象物の画像データを取得し、
   前記データ生成部は、前記複数の任意の姿勢の対象物の画像データに含まれる前記障害物データを前記対象物の３次元モデルデータから生成される画像データに置き換えた前記補正画像データを生成し、生成した当該補正画像データを時系列で連続的に出力する請求項１から７のいずれか一項に記載の画像処理装置。
9. 画像処理装置が行う画像処理方法であって、
   姿勢が変化する対象物を撮像手段に撮像させ当該対象物の画像データを取得するデータ取得ステップと、取得した前記画像データを用いて前記対象物の３次元モデルデータを生成するデータ生成ステップと、取得された前記対象物の画像データに含まれる当該対象物を隠す障害物を示す障害物データを検出して当該障害物を識別するデータ識別ステップと、を備え、
   前記データ取得ステップでは、前記障害物による隠れ部分が存在しない複数の異なる姿勢の前記対象物の画像データを取得し、
   前記データ識別ステップにおいて、前記データ取得ステップで取得した任意の姿勢の前記対象物の画像データから前記障害物データを検出したとき、
   前記データ生成ステップでは、前記対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて前記任意の姿勢の対象物の３次元モデルデータを生成し、前記障害物データを前記任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、前記任意の姿勢で撮像された前記対象物の画像データとして生成する画像処理方法。
10. 姿勢が変化する対象物を撮像手段に撮像させ当該対象物の画像データを取得するデータ取得機能と、取得した前記画像データを用いて前記対象物の３次元モデルデータを生成するデータ生成機能と、取得した前記対象物の画像データに含まれる当該対象物を隠す障害物を示す障害物データを検出して当該障害物を識別するデータ識別機能と、をコンピューターに実現させ、
    前記データ取得機能では、前記障害物による隠れ部分が存在しない複数の異なる姿勢の前記対象物の画像データを取得し、
    前記データ識別機能において、取得した任意の姿勢の前記対象物の画像データから前記障害物データを検出したとき、
    前記データ生成機能では、前記対象物の姿勢が異なる複数の画像データを用いて生成した３次元モデルデータに基づいて前記任意の姿勢の対象物の３次元モデルデータを生成し、前記障害物データを前記任意の姿勢の対象物の３次元モデルデータから生成される画像データに置き換えた補正画像データを、前記任意の姿勢で撮像された前記対象物の画像データとして生成することをコンピューターに実行させる画像処理プログラム。