JP6978838B2 - 画像処理装置 - Google Patents

Description

本発明は、３次元モデリングデータに基づく画像処理に関する。

３ＤＣＡＤやレーザスキャン等によって、仮想物体または現実物体の３次元形状を表すモデリングデータを生成する技術がある（いわゆるモデリング）。生成されたモデリングデータと視点の情報や光源の情報等に基づいて描画処理（いわゆる３Ｄレンダリング）を行うことで、様々な視点からみた当該物体の画像を画面に表示することができる。

特開２０１６−１７０４８８号公報

例えば、コンテンツ作成者が作成したモデリングデータに基づく物体を表す画像コンテンツをインターネット上で公開する場合、一般的に、コンテンツ作成者のサーバがユーザ端末から視点の指定を受付け、当該視点に対応する２次元画像をユーザに送信するプロセスが実行される。こうすることで、コンテンツ作成者は、モデリングデータ自体をユーザに引渡すことなく、当該画像コンテンツをユーザに楽しんでもらえることができる。
しかし、悪意のあるユーザによって、取得した複数の２次元画像データに対して補間処理などの画像処理を施すことによって、元のモデリングデータの復元が試みられる虞がある。モデリングデータが勝手に復元されてしまうと、著作物であるモデリングデータの保護を図ることが難しい。
モデリングデータの復元を阻止する一つの対策として、ユーザ端末に提供するデータを暗号化するなどして、ユーザが２次元データを加工・編集できないようにすることが考えられる。しかし、暗号化処理に起因した演算量の増加や通信リソースの増大という問題が生じる。
また、たとえ暗号化等の秘匿処理を行ったとしても、最終的にはユーザ端末の画面上に複数の画像が表示されるという事実は変えようがないので、例えばユーザ端末において画面をキャプチャして複数の画像に対応する２Ｄデータを生成し、この２次元画像データに基づいて元のモデリングデータの復元を試みる可能性は排除できない。
本発明は、複数の２次元画像データに基づくモデリングデータの復元処理を阻害することを目的とする。

本発明は、一の態様において、物体が位置する空間の照明環境を設定する設定手段と、前記物体の３次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す２次元画像データを複数生成する生成手段と、前記生成手段にて生成される複数の２次元画像データに含まれる第１の画像データと第２の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、前記生成手段にて生成された複数の２次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の２次元画像データのうちユーザが選択した２次元画像データを出力する出力手段とを有する画像処理装置を提供する。

本発明によれば、複数の２次元画像データに基づくモデリングデータの復元処理が阻害される。

画像処理システム１０の概要図。 画像処理サーバ１００の機能図。 特徴量の算出を説明するための図。 ユーザ端末２００の機能図。 ３Ｄデータから２Ｄデータを生成する処理を説明するための概念図。 視点と光源の位置関係の例を示す図（その１）。 視点と光源の位置関係の例を示す図（その２）。 視点と光源の位置関係の例を示す図（その３）。 視点と光源の位置関係の例を示す図（その４）。 視点と光源の位置関係の例を示す図（その５）。 １つの３Ｄデータから生成される２Ｄデータセットの構造の例。 画像処理システム１０の動作例。 ユーザ端末２００の画面に表示されるダウンロードサイトの例。 ユーザ端末２００にて画像表示アプリを実行した時に表示される画面例（その１）。 ユーザ端末２００にて画像表示アプリを実行した時に表示される画面例（その２）。 ユーザ端末２００にて画像表示アプリを実行した時に表示される画面例（その３）。 ユーザ端末２００にて画像表示アプリを実行した時に表示される画面例（その４）。 ユーザ端末２００にて画像表示アプリを実行した時に表示される画面例（その５）。 人形９００の秘匿対象部位ＳＰを示す図。 視点と光源の位置関係の例を示す図（その６）。 視点と光源の位置関係の例を示す図（その７）。 視点と光源の位置関係の例を示す図（その８）。 視点と光源の位置関係の例を示す図（その９）。 視点と光源の位置関係の例を示す図（その１０）。 画像処理システム１０の動作の他の例。 ユーザ端末２００にて画像表示アプリを実行した時に表示される画面例（その６）。

＜実施例＞
図１は画像処理システム１０の概要を示す。画像処理システム１０は、画像処理サーバ１００とユーザ端末２００とを含む。画像処理サーバ１００は例えば物体コンテンツの公開およびユーザ端末２００への提供を行う事業者によって管理されるサーバである。ユーザ端末２００は例えば汎用のパーソナルコンピュータである。３００は例えばインターネットや専用線である。画像処理サーバ１００およびユーザ端末２００は、３００を介して接続される

図２は画像処理サーバ１００の機能を表す。画像処理サーバ１００は、制御部１１０と、通信部１２０と、記憶部１３０と、表示部１４０と、部位指定部１５０含む。通信部１２０は、所定の通信規格に従って、ユーザ端末２００との間でデータを送受信するための通信インタフェースとして実装され、送信部１２１と受信部１２２とを含む。

受信部１２２は、物体の３次元形状を表すモデリングデータ（以下、「３Ｄデータ」という）を取得する。３Ｄデータとは、現実の物体または仮想の物体の３次元形状を示すデータであって、例えば、ＳＴＬ、ＯＢＪ、ＰＬＹ、ＯＦＦ、３ＤＳ、ＣＯＬＬＡＤＡ、ＰＴＸ、Ｖ３Ｄ、ＰＴＳ、ＡＰＴＳ、ＸＹＺ、ＧＴＳ、ＴＲＩ、ＡＳＣ、Ｘ３Ｄ、Ｘ３ＤＶ、ＶＲＭＬ、ＡＬＮ、ＤＸＦ、ＧＴＳ、Ｕ３Ｄ、ＩＤＴＦ、Ｘ３Ｄ等の形式のデータである。３Ｄデータは、３ＤＣＧソフトや３ＤＣＡＤソフト等で作成された仮想的な物体を表すデータであってもよいし、現実の物体を３Ｄスキャニングして得られたデータであってもよい。また、３Ｄデータ共有サイト等から入手したデータであってもよいし、その生成方法や取得方法は問わない。

この要求には、さらに、ユーザ端末２００のユーザによって指定された、物体の一部の指定が含まれてもよい。例えば、物体が人形であり、「顔」、「目」、「胴体」といった物体の一部分を指定する情報が含まれる。要するに、物体が占める３次元空間の一部の領域（座標の集合）である。例えば、ユーザが特定の部位を重点的に確認したいと考えた場合に、当該部位を指定することができる。

取得した３Ｄデータは記憶部１３０に記憶され、ユーザ端末２００から受付けた要求に応じて読み出される。この要求には、少なくとも表示対象の物体を指定する情報が含まれ、加えて、当該物体の方向（視点）に関する情報が含まれてもよい。方向は、例えば、物体が置かれた仮想空間上のある点を原点とする３次元空間上の位置（直交座標や極座標）として表わされる。あるいは、方向は、正面、背面、右側面、左側面という方向の範囲として定義されてもよい。

送信部１２１は、データ生成部１１２にて生成された一の３Ｄデータに対応する複数の２次元画像データ（以下、２Ｄデータという）を出力する。２Ｄデータは、例えば、ＪＰＥＧ、ＢＭＰ、ＰＤＦ、ＴＩＦ等の形式を有する。複数の２Ｄデータは、全部または一部を同時に出力してもよい。また、複数の２Ｄデータは、全部または一部を同時に出力する場合、ユーザから受けた要求に応じて全部または一部を出力してもよい。また、同時に出力には、出力タイミングが同じ場合の他、複数の２Ｄデータが特定の物体に関するデータであるものとして全部または一部を関連付けて送信されるものであれば、出力のタイミングが異なる場合も含まれる。

記憶部１３０は、ハードディスク、半導体メモリ、その等の記憶装置であって、制御部１１０にて実行されるプログラムおよび当該プログラムによって読み出される３Ｄデータを記憶する。

部位指定部１５０は、キーボード、タッチパネル、マウス、スタイラス等の画像処理サーバ１００の管理者によって操作される入力デバイス、または記憶部１３０に記憶される３Ｄデータの著作者等のコンテンツの改変や配布を管理するユーザが有する者の指示を受付けるためのデバイスないし当該著作者等の有する端末（図示せず）から指示を受付けるための通信インタフェースとして実装される。
部位指定部１５０は、物体の部位の指定を画像処理サーバ１００の管理者から受付ける。部位とは、例えば物体が人形である場合は、人形を構成する顔、腕、脚、手、目、鼻、口といったパーツであり、物体が多角形である場合は所定の一つの面である。これに限らず、本実施例における部位には、機能的または構造的一体性を有する必要はなく、一般的な名称が存在する必要もなく、広く、物体表面の任意の領域として定義されるものを含む。

特定の部位を指定する目的は、例えば、当該部位の形状や色彩などを他の部位に比べて意図的に秘匿ないし暈したいなど、部位によって３Ｄデータの復元可能性を異ならせるためである。例えば、画像処理サーバの管理者や３Ｄデータの著作者は、当該部位は物体の部位のうち特にその部位については３次元形状の復元を防止する優先度が高いと考えた場合、あるいは、物体の全体形状の概要はユーザに公開したいが、特定の部位の細部に形状等ついては高い精度では開示したくないと考えた場合、そのような部位を指定することができる。この指定は、３Ｄデータの復元性という観点からだけではなく、２Ｄデータに基づいて表示される画像を調整する目的で行われてもよい。例えば、指定された部位にはどの方向からみても光があたらないように光源位置を設定すれば、生成された２Ｄデータに基づいてユーザ端末２００にて表示される画像において当該部位の明度が本来の値よりも低い状態となり、ユーザに当該部位の詳細の把握を困難にさせることができる。

逆に、部位指定部１５０は、復元のリスクを相対的に許容できる部位の指定を受付けてもよい。
このように、特定の部位を指定することで、３Ｄデータの復元可能性や再現性を、みる方向によらずに一様に制御するだけでなく、見る方向や部位によって軽重がつけられる制御することが可能となる。

表示部１４０は、管理者に画像処理サーバ１００の動作状況等情報等を提示するための液晶ディスプレイ等の表示装置である。

画像処理サーバ１００は、１以上の、汎用のプロセッサ（ＣＰＵ等）および／または描画処理プロセッサ（ＧＰＵ）等の専用プロセッサとして実装され、特徴決定部１１１と、データ生成部１１２と、視点設定部１１３とを含む。

特徴決定部１１１は、３Ｄデータが表す物体に関する特徴量を取得してデータ生成部１１２または視点設定部１１３に出力する。
物体に関する特徴量は、特徴決定部１１１が、記憶部１３０から取得した３Ｄデータに基づいて、各方向についての特徴量を算出し、データ生成部１１２にて生成された２Ｄデータの方向に対応する特徴量を、視点設定部１１３にて生成された各２Ｄデータに付与してもよい。
あるいは、物体に関する特徴量は、データ生成部１１２にて生成された２Ｄデータに基づいて特徴決定部１１１が算出してもよい。２Ｄデータに基づいて算出する具体的方法としては、視点設定部１１３が、所定のアルゴリズムに従って、物体の構造的特徴および色彩（模様）的特徴の少なくともいずれかに基づいて決定する。その他の構造的特徴は、例えば物体表面のテクスチャ（凹凸の程度）や頂点や面の数によって定義される。色彩または模様に関する特徴は、例えば、使用されている色の多様性（バリエーション）として定義される。

図３は特徴量を説明するための図である。人形９００は、３Ｄデータによって表される物体の一例である。
同図（ａ）は人形９００を正面からみた画像、人形９００を水平面内（紙面左右方向）で４５°回転させた画像（視点が水平面面内で４５°回転した位置にある画像）、９０°回転させた画像、１３５°回転させた画像、１８０°回転させた画像を示す。

同図（ｂ）および（ｃ）は、各角度に対応して計算された特徴量を表すパラメータの例を示す。（ｂ）は２Ｄデータとしてθ＝０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°の２Ｄデータが生成された場合においてそれぞれ角度に応じて算出された特徴量を示す。この例では、正面側のほうが背面側よりも構造的に複雑であり、正面からみた画像が相対的に大きい特徴量を有すると判定されている。図（ｃ）は、３Ｄデータから直接、特徴量をθの関数として算出した例である。

物体に関する特徴量は、３Ｄデータや２Ｄデータとは別途独立に、取得されてもよい。例えば、正面側（−４５°〜−４５°）の範囲の視点の画像は重付けパラメータを＋Δｗ１、背面側（１３５°〜２２５°）を―Δｗ１、両側面側を０と定義する。この特徴量は、ユーザがユーザ端末２００に入力し、画像処理サーバ１００に送信されてもよい。例えば、人形９００の顔が向いている方向が「正面」であると定義され、データ生成部１１２にて生成された２Ｄデータで表わされる画像に対して画像解析を行って顔が映っているか否かを判定し、顔が映っている画像は顔が映っていない画像に比べて大きな特徴量を付与してもよい。

上述の例では、説明の便宜上、特徴量は１つの回転方向について算出したが、２つの角度パラメータθおよびφで表わされる任意の方向に対応する特徴量を算出することができる。例えば、紙面上下方向の向き（φ方向）に依存する特徴量についても、３Ｄデータや２Ｄデータから計算してもよいし、３Ｄデータや２Ｄデータとは別途独立に取得してもよい。例えば、同図（ａ）に示す人形の場合は、一般的に、真上（θ＝０°、φ＝９０°）や真下（θ＝０°、φ＝―９０°）からみた画像を表す２Ｄデータの特徴量は、正面（θ＝０°、φ＝０°）からみた画像を表す２Ｄデータの特徴量よりも小さくなる。

視点設定部１１３は、生成すべき２Ｄデータが人形９００をどの方向からみたものであるべきかを決定する。換言すると、視点設定部１１３は、人形９００を仮想的に撮影する方向または当該撮影の視点を決定する。
決定された方向を表す情報はデータ生成部１１２に出力される。例えば、視点設定部１１３は特徴決定部１１１から供給される特徴量に基づいて方向を決定してもよい。また、画像処理サーバ１００がユーザ端末２００から人形９００の部位の指定を受付けた場合、視点設定部１１３は、該指定された部位が１以上の画像に必ず現れるように、上記方向を決定してもよい。
あるいは、特徴量は画像処理サーバ１００以外の装置で決定され、画像処理サーバ１００に供給されてもよい。

照明設定部１１５は、照明制御部１１４の制御の下、物体が位置する空間の照明環境を設定する。具体的には、空間の照明環境を表す照明環境情報を生成してデータ生成部１１２に供給する。照明環境情報は、少なくとも１つ以上の光源の視点（カメラ）を基準とした位置関係を規定する。位置関係は、物体が存在する仮想空間と原点を共有する３次元座標として定義されてもよいし、カメラを基準とした相対的な３次元位置として定義されてもよい。あるいは、位置関係には方向に関する情報のみ含まれ、カメラまたは物体までの距離に関する情報が含まれなくてもよい。この場合、例えば、物体またはカメラから常に一定の距離だけ離れた位置に光源が配置されるように決定しておくことができる。

照明制御部１１４は、照明設定部１１５を制御する。具体的には、データ生成部１１２にて生成される複数の２Ｄデータに含まれる第１の２Ｄデータと第２の２Ｄデータと対して異なる照明環境が適用されるように、照明制御部１１４を制御する。照明制御部１１４による照明の制御は、第１の２Ｄデータと第２の２Ｄデータと対して異なる照明環境が適用されるように、光源の位置を、所定のアルゴリズムに従って、カメラ位置に応じて一意に決定してもよい。所定のアルゴリズムの内容は、例えば、各２Ｄデータに適用される光源の位置を、カメラ位置に対してランダムに決定してもよい。
要するに、データ生成部１１２において視点が異なる複数の２Ｄデータが同一の照明環境の下で生成されないように照明環境情報が生成される。
なお、照明制御部１１４は、光源の位置に替えてまたは加えて、仮想的に出射される光の波長特性（光学スぺクトル；色味）、強度、方向、指向性、前記光源の形状（点発光、面発光等）といった光学特性を表すパラメータのうち、少なくともいずれか一つを制御してもよい。
また、部位指定部１５０から物体の部位の指定が指示された場合に、照明制御部１１４は、当該部位のコントラストが他の部位よりも低くなるようにデータ生成部１１２にてシェーディングが実行することを規定する照明環境情報を生成する。
好ましい態様において、照明制御部１１４は、２００において１００から提供された複数の２Ｄデータに基づいて３Ｄデータを生成した場合に当該部位の再現性が他の部位の再現性よりも低下するように、照明設定部１１５を制御する。この際、２００においてコンピュータによる再現ができるだけ妨げられる一方、個別に２Ｄデータに基づく画像を視認したユーザができるだけ不自然な印象を受けない程度に照明環境情報が生成されることが好ましい。

データ生成部１１２は、１つの３Ｄデータに基づいて、照明設定部１１５によって決定された照明環境の下、各々、一の方向からみた人形９００を表す２Ｄデータを複数生成する。具体的には、所定のレンダリングアルゴリズムに従って、照明設定部１１５から供給される照明環境情報を用いて、視点設定部１１３から供給された視点の情報に基づいてレンダリング処理を行う。

レンダリング処理に際しては、特徴決定部１１１から供給された特徴量を用いてもよい。特徴量が２Ｄデータに基づいて生成される場合、まずデータ生成部１１２にて生成された２Ｄデータを特徴決定部１１１に出力し、特徴決定部１１１にて生成された特徴量を取得してもよい。

データ生成部１１２は、特徴量に応じて、生成された複数の２Ｄデータに含まれる１以上の２Ｄデータの解像度を決定してもよい。特徴に基づく解像度の設定の一例としては、特徴量が小さい２Ｄデータほど解像度を下げる処理を行う。このように相対的に特徴量が小さい画像（換言すると、その角度からみた物体には特徴があまりない、あるいはユーザにとっての重要性ないし関心度が低いと推定される視点からの画像）については、解像度を相対的に落とすことにより、複数の２Ｄデータセットに基づいて描画処理を行った場合にユーザに与える違和感の低下を抑えつつ、２Ｄデータ全体のデータ量を小さくすることができる。解像度は、例えば縦横のピクセル数によって規定される。
生成された２Ｄデータは、記憶部１３０または通信部１２０に供給される。

図４はユーザ端末２００の機能図である。ユーザ端末２００は、通信部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、画像処理部２５０とを含む。

記憶部２４０は、ハードディスク、半導体メモリその等の記憶装置であって、画像処理部２５０にて実行されるプログラムおよび画像処理サーバ１００から取得した２Ｄデータを記憶する。

入力部２２０は、キーボード、タッチパネル、マウス等のユーザ端末２００のユーザ（以下、単にユーザという）によって操作される入力デバイスであって、ユーザからの指示を受付ける。この指示には、表示すべき人形９００の方向が含まれる。また、この指示には、画像処理サーバ１００にて２Ｄデータを生成する際に用いられる情報が含まれていてもよい。

通信部２１０は所定の通信規格に従って、ユーザ端末２００との間でデータを送受信するための通信インタフェースとして実装される。具体的には、入力部２２０にて入力された、表示部２３０に表示するために必要な、表示対象の指定および表示対象の方向の指定を含む要求を画像処理サーバ１００に送信し、該要求に応じて画像処理サーバ１００から送信された２Ｄデータを受信して画像処理部２５０に供給する。

画像処理部２５０は、１以上の、汎用のプロセッサ（ＣＰＵ等）および／または描画処理プロセッサ（ＧＰＵ）等の専用プロセッサとして実装され、画像処理サーバ１００から受信した２Ｄデータおよび入力部２２０にて指示された方向に基づいて描画処理を行う。具体的には、記憶部２４０に記憶されている、１つの３Ｄデータに対応する複数の２Ｄデータのうち、入力部２２０にて指定された方向に対応する１または複数の２Ｄデータを特定し、必要なエンコード等の画像処理等を行って、描画命令とともに画像処理部２５０に出力する。

表示部２３０は液晶ディスプレイ等の表示装置であって、画像処理部２５０からの指令の下、画像を表示する。

図５は、３Ｄデータから２Ｄデータを生成する処理を説明するための概念図である。人形９００は、原点をＰとする３次元（ＸＹＺ）仮想空間上に配置される。人形９００の中心を貫く中心軸ＣＬを設定する。
画像処理サーバ１００は、所定の照明環境の下、仮想空間に設定された複数の視点からみた人形９００の２次元画像を、生成する。換言すると、仮想空間に設置された仮想的なカメラ（視点に相当；以下、単にカメラという）を用いて、当該仮想空間に設置された仮想的な光源（以下、単に「光源」という）の下で、人形９００を「撮影」することに相当する。

同図において、Ａ〜Ｎはカメラを表す。θはＸＹ平面内の角度、φはＸＺ平面内の角度である。Ｌ１〜Ｌ５は、カメラが配置される位置を規定し、φが異なるＸＹ平面である。換言すると、φはカメラの高さ（上下方向の角度）、θはカメラの平面内の角度を表す。なお、人形９００の顔が向いている方向（θ＝０°）が「正面」であると定義されていると仮定する。なお、正面など、人形９００の基準となる方向は、３Ｄデータの特徴量に基づいて決定されてもよいし、別途画像処理サーバ１００やユーザ端末２００が指定してもよい。この例では、全てのカメラはＰから等距離に配置される。
つまり、生成される複数の２Ｄデータは、人形９００から等距離にあって前記物体に対する方向が異なる位置を視点とする画像を表す。

同図において、ＬＴ１およびＬＴ２は光源を表す。この例では、人形９００の正面側やや右上方および左上方から光が人形９００の方向（具体的には原点Ｐに向かって）出射されている。
なお、この例では、光源ＬＴ１およびＬＴ２はＬ２上に位置しているが、この配置は例示に過ぎず、光源の位置（距離や方向）をカメラの位置とは独立に設定することが可能である。また、光源の個数も２に限らない。各光源の位置は独立に設定可能であり、例えば各光源の物体までの距離は異なってもよい。また、光源の光学特性も光源ごとに異ならせてもよい。

同図の通り、カメラは、Ｌ３にはＡ〜Ｈまでの計６個が配置され、Ｌ２には人形９００の上方やや斜めの位置にＩおよびＪが配置され、Ｌ１には人形９００の頭上付近にＫが配置され、Ｌ４においては、下方やや斜めの位置に配置され、ＬおよびＭが配置され、Ｌ５において足元付近にＮが配置された例を示す。この結果、１つの３Ｄデータにおいて視点位置をＡ〜Ｎに設定して得られる２Ｄデータが計１４個生成される。
同図に示すように、この例では、人形９００の正面に重点的にカメラが配置されている。より具体的には、θ＝−９０、φ＝０に近い位置においてはカメラが密に配置され、離れた位置（上方、下方、側面、背面）には疎に配置されている。これは、特徴決定部１１１において特徴量が正面側からみた画像が相対的に大きいと算出され、視点設定部１１３にて特徴量に基づいてカメラ位置が決定されたためである。

なお、図５に示す光源およびカメラの配置は一例に過ぎない。カメラや光源の数や位置は、物体（３Ｄデータ）の特徴、ユーザの好み、生成される２Ｄデータのデータサイズについての制約などの通信環境、画像処理サーバ１００に許容される処理負荷に関する条件など、ハードウェアリソースおよびソフトウェアリソースの少なくともいずれかに関する条件に応じて決定することができる。

カメラの数に関し、例えば、カメラの数が少ないほど生成される２Ｄデータ全体のデータ量は小さくなる一方、ユーザが選択できる視点が少なくなるので、３Ｄデータの再現性は低下するといえる。逆に、カメラの数が増えるほど、ユーザ端末２００のユーザに２Ｄデータセットに基づいて、補間処理を行うなどして元の３Ｄデータ（に近似するデータ）を生成されてしまうというリスクが高まる。

カメラの位置に関し、物体の特徴部分は、物体によって異なるし、ユーザがどこに着目しているかなどユーザの主観に依存し得る。例えば、物体に「正面」が観念できたとしても、正面から画像が最も重要であるとは限らない。また、物体の全体像を様々な方向から万遍なく確認したいという場合もありうる。このような場合は、視点設定部１１３は、特徴量を用いることなく、カメラの配置を決定してもよい。一例としては、各レイヤに配置される数を同一に設定する。そして、同一レイヤ上のカメラの間隔が等しくなるように設定する。例えば、レイヤに３０個、配置する場合は、θが１２°ずつずれた位置に配置され、計１５０枚分の２Ｄデータが生成される。

また、各カメラが全て基準点から等距離ある必要もない。例えば、物体表面からの距離がほぼ等距離になるようにカメラ位置を決定してもよい。原点Ｐの設定の仕方も図５に示した態様に限らない。Ｐは人形９００が占める空間の外に設定されてもよい。
なお、カメラは同一の性能である必要はない。例えば、画角やフォーカスが異なる複数のカメラを配置してもよい。
要するに、１つの３Ｄデータに基づいて各々一の視点に対応する２Ｄデータが複数個生成されればよい。

図６〜１０は、カメラ位置（Ａ〜Ｅ）に応じた２Ｄデータを生成する場合に、各２Ｄデータの生成に適用される照明環境の例を示す。この例では、照明環境は光源１および光源３によって決定される。具体的には、光源３は、人形９００の正面やや下方から人形９００を照らす位置に配置され、カメラ位置（撮影方向）が変化しても仮想空間上の位置（換言すると人形９００のちの位置関係）は一定である。これに対し光源１は、カメラと共にその位置が変化する。具体的には、光源１は、Ｌ３と同一平面内の角度θを有するＬ２内上の位置に配置される。換言すると、生成される５枚の２Ｄデータに基づく画像は全てカメラの上方に光源がある環境で「撮影」されることになる。

一般に、コンピュータによって撮影方向の異なる複数の２Ｄデータを補完処理等してモデリングデータの復元を試みる場合、２Ｄデータの生成にあたって用いられてレンダリング処理の内容を推定する必要がある。すなわち、少なくとも照明環境についての何らかの仮定または推定を行う必要がある。例えば、物体に対する光源の位置は固定であるという仮定を採用する。この仮定は、最も合理的であると考えられる。なぜなら、現実世界においては照明環境が変化する（目にする３次元物体は光源が動くと）いうような状況は相当考えにくいので、よりリアルな表現を追求するとすればレンダリング処理において光源は固定されているべきであるからである。そして、該仮定した照明環境に基づいて各２Ｄデータを画像解析して、用いられた光源の個数や位置を割り出すことを試みる。
光源の個数や位置の推定が正しければ、ある部位について撮影方向の違いによる明度の違い（例えば影ができる大きさや方向の変化）に基づいて、２Ｄデータには欠けているその部位の立体形状（例えば凹凸の程度）に関する情報を高い精度で復元することができる。
復元に用いる２Ｄデータの数や光源の個数、形状の複雑度、コンピュータの演算能力等にもよるが、２Ｄデータが同一位置の光源という条件で生成されたものであった場合は、ある程度の精度で物体の形状を推定することが可能である。

しかし、この実施例のように、光源の位置が「撮影」の方向によって変化した結果、例えばどの角度からみても影がほとんどできないような画像群が生成されると、上述したコンピュータによる推定を行うことが阻害される。
一方で、人間がこのような複数の２Ｄデータに基づく画像を視認した場合、光源位置が変化していることに気が付くことはなく、人形の全体像を何の問題なく認識することができる。これは、それが人形であると認知できる本能的・経験的な人間の能力が発揮され、光源位置が固定であるとした場合に生じする多少の矛盾は無意識のうちに瞬時に脳内で補正されるからである。
仮に、このような複数の２Ｄデータに基づく画像に対してなんとなく違和感を抱くことがあったとしても、少なくとも、人形を複数の方向からみた画像であることが理解できないとか、人形の全体形状が全く想像できないとか、その他認知上の重大な悪影響が生じるといったことは、極めて考えにくい。

このように、２Ｄデータ生成時の照明環境を制御することで、コンピュータにとっては「不自然」な２Ｄデータの集合が提供されることになる一方、人間にとってはコンテンツを楽しむのに特段不都合ない２Ｄデータが提供されることになる。すなわち、ユーザに提供されるコンテンツの質には実質的に影響を与えることなく、コンピュータによるモデリングデータの復元を阻害することができる。
特に、図５の概念図で生成される複数の２Ｄデータのように、人形９００から等距離にあって物体に対する方向が異なる位置を視点とする複数の画像を取得する場合、同一の物体に関する等距離で異なる方向の画像は、補完処理などの画像処理を施すこと等により、元のモデリングデータを復元し易いことから、２Ｄデータ生成時の照明環境を制御することで、コンピュータによるモデリングデータの復元を阻害する必要性が高い。

このような効果は、例えば光源位置をカメラの位置に関してランダムに決定した場合でも同様に生じる。
あるいは、光源位置とカメラ位置とを固定し、物体を仮想空間内において回転させて「撮影」することでも、同様の効果が生じる。このようにしても、物体を基準とした光源の位置が撮影ごとに変化している点で変わりないからである。

図１１は、１つの３Ｄデータから生成されるデータＤのデータ構造の一例を示す。同図（ａ）はデータの全体構造を示す。データＤは、ヘッダ部Ｄｈおよび複数の２Ｄデータからなる画像データ本体Ｄｍによって構成される。ヘッダ部Ｄｈは、生成元の３Ｄデータを識別するための識別子と、このデータの構造を定義する情報を含む。この情報は、画像データ本体Ｄｍに含まれる複数の２次元画像ファイルと複数の視点との関係を規定する。
（ｂ）は画像データ本体Ｄｍの詳細を示す。この例では、視点設定部１１３にて、５つのレイヤが設定され、レイヤごとに３０枚（１２°ごと）にカメラを配置された場合を示す。Ｄｍには、ＩＭ１−１〜ＩＭ５−３０の計１５０枚分の画像データが含まれ、これが、ヘッダ部Ｄｈに規定された順番（この例ではレイヤごとにまとまて）で配列されている。

なお、生成される２Ｄデータは、図１１に示すように全体として１つのファイルとして認識される形式でもよいし、個別の画像ファイルの集合として認識される形式でもよい。要するに、ユーザ端末２００において扱われた場合に、それぞれ元の１つの３Ｄデータに基づいて生成されたということが認識されるような形式であればよい。後者の場合、例えば、各２Ｄデータは、元の３Ｄデータの識別情報と視点を示す情報とをヘッダに含む、１つの独立した画像ファイルとして生成される。

図１２は画像処理システム１０の動作の一例である。ユーザ端末２００は、ウェブブラウザ等を起動し、画像処理サーバ１００が適用するウェブサイトにアクセスし、コンテンツを画像処理サーバ１００の画面上に表示する（Ｓ１０２）。
図１３は、ユーザ端末２００にて画像表示アプリを実行した時に表示される画面Ｗ２の例である。３Ｄデータで表わされる物体の代表となる２Ｄ画像（同図では正面からみた画像）がサムネイル表示される。
ユーザは、閲覧したい画像を指定する（Ｓ１０４）と、当該画像の識別情報を含む要求が画像処理サーバ１００に送信される（Ｓ１０６）。

画像処理サーバ１００は、指定された物体の３Ｄデータを取得し（Ｓ１０８）、当該３Ｄデータに基づいて２Ｄデータセットを生成する（Ｓ１１０）。生成された２Ｄデータセットは互いに関連付けられてユーザ端末２００に送信され（Ｓ１１２）、表示部２３０に記憶される。

ユーザ端末２００において、自動的にまたはユーザの指示により、描画アプリケーションが起動されると、２Ｄデータセットが読み込まれ、図１４に示すような画面Ｗ３が表示される。ここでは２Ｄデータセットのうち代表となる方向（ここでは正面）に対応する一つの２Ｄデータがデフォルトとして選択され、その画像が表示される（Ｓ１１４）。加えて、この画面Ｗ３にはユーザが見たい方向を指定することを促すメッセージが表示される。

ユーザが方向（例えば水平面内の４５°回転した位置）を指定すると、画像処理部２５０は指定された方向に対応する１つの２Ｄデータを読み出して表示する（Ｓ１１６）。この結果、例えばＷ４のような画面が表示される。なお、ユーザが指定した方向（例えば１４°回転した方向）に相当する２Ｄデータが存在しない場合は、そのような指定を無視するか、あるいは指定した方向に最も近い方向の２Ｄデータが抽出される。例えば、この状態から更に連続的に同一方向に４５°回転すること指示を受付けると、順にＷ５、Ｗ６、Ｗ７に示すような画面が連続して表示され、あたかも人形９００を回転させたごとくユーザには感じられる。

上記実施例によれば、ユーザ端末２００に複数の２Ｄデータを提供することで、あたかもユーザ端末２００が保有する３Ｄデータに基づいて演算した結果が表示されているような感覚をユーザに与えることができる。ここで、この２Ｄデータの生成に適用された照明環境は２Ｄデータごとに異なっているので、ユーザ端末２００にてモデリングデータを復元することを困難となる一方で、ユーザに実質的な違和感を与えることがない。
また、２Ｄデータを送信することで、元の３Ｄデータを送信する場合に比べてやり取りされるデータの量が小さくなり、画像処理サーバ１００とユーザ端末２００との間のレスポンスが向上する。加えて、端末に３Ｄデータに基づく描画機能を有するアプリケーションをインストールしておく必要もない。

＜その他の実施例＞
以下、部位指定部１５０を介して部位が指定された場合に照明制御部１１４および照明設定部１１５で実行される処理の内容について説明する。
図１９は、人形９００のうち秘匿対象とすべき部位として、鼻に相当する部位ＳＰが部位指定部１５０にて指定されたとする。この指定に基づき、照明設定部１１５は、図２０〜２４に示すような視点と光源の位置関係を規定する照明環境情報を生成する決定する。
すなわち、顔を正面から撮影する場合は（図２２）、顔全体が暗くなるように（影が顔面全体にできるように）、光源を頭部の後ろ側に配置する。顔を真横から撮影する場合は、顔全体が照らされて影ができにくいような正面やや上方の位置に光源を配置する（図２３、２４）。顔を斜めからみた場合は、光源は、カメラのほぼ真上に配置し、影がカメラと反対側の顔にできるようにする（図２０、２１）。これらの５枚の２次元画像から画像の明度（影のでき方）に基づいてコンピュータが立体形状を復元しようとした場合、本来周囲よりも盛り上がっている鼻が平坦になっている、あるいは逆に凹んでいるなど、表面の凹凸の状態をより誤認識しやすくなる。
このように、指定した部位に基づいて照明環境を制御することで、特定の部位について重点的に復元を阻害し、あるいは間違った立体形状への認識を積極的に誘導することができる。

２Ｄデータの提供方法は、図１２に示した態様に限られない。図１９は、画像処理システム１０の動作の他の例である。同図において、図１２と同一の符号は同一の動作内容を示す。この例において図１２の動作と異なるのは、ユーザ端末２００が２Ｄデータセットを一括して受信するのではなく、必要に応じて受信する点である。すなわち、ユーザは表示対象を指定する際に、１つの方向を更に指定する（Ｓ１０３）。具体的には、描画アプリケーションは、Ｗ３のように、ある３Ｄデータに関連付けられた１つの２Ｄデータを表示中に、ユーザから新たな方向の指定を受付けると、当該３Ｄデータの識別情報に加えて、当該方向を表す情報を画像処理サーバ１００に送信する（Ｓ１０６）。

画像処理サーバ１００では、当該３Ｄデータが記憶部１３０に記憶されていれば読み出し、記憶されていなければ新たに取得する（Ｓ１０８）。
続いて画像処理サーバ１００は、指定された方向に対応する１つの２Ｄデータを抽出する（Ｓ１２０）。そのようなデータが記憶部１３０に既に記憶されている場合は読み出す。具体的には、当該３Ｄデータに関連する２Ｄデータとして指定された方向と同一の方向からみた２Ｄデータが既に存在すればそのデータが読み出される。同一の角度のデータが存在しない場合は、最も近い角度の２Ｄデータが読み出される。あるいは、制御部１１０は新たに指定された方向からみた２Ｄデータを新たに生成してもよい。
抽出または生成された１つの２Ｄデータはユーザ端末２００に送信される（Ｓ１２２）。画像処理サーバ１００にて描画表示アプリケーションは、受信した２Ｄデータに基づいて描画処理を実行する。ユーザによって指定された方向に応じた画像が表示される点は上述の実施例と同様である。

例えば、図１２に示す動作例のように複数の角度に対応する複数の２Ｄデータを一度に受信した場合は、図２６に示す画面Ｗ８のように、一画面に複数の画像を表示してもよい。この場合、一画面に表示されるのは取得した２Ｄデータのうちの一部であってもよい。図２６の場合は、取得した１５０個の２Ｄデータのうち（θ＝０°〜１８０°、φ＝０）にある５つのデータのみを一度に表示している。すなわち、ユーザが表示を指定する方向は１つの方向に限らず、複数の方向または方向の範囲であってもよい。この指定方法は、図２５に示す２Ｄデータの提供の態様においても適用できる。

視点設定部１１３は、同一方向に２以上のカメラを配置してもよい。具体的には、ユーザは方向に加えて物体から視点までの距離を指定し、画像処理サーバ１００は指定された方向および距離（拡大／縮小率）に応じて２Ｄデータをユーザ端末２００に提供する。この結果、回転操作に加えてズーム操作を行っているような感覚をユーザに与えることができる。

要するに、本発明のシステムにおいては、物体が位置する空間の照明環境を設定する設定手段と、前記物体の３次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す２次元画像データを複数生成する生成手段と、前記生成手段にて生成される複数の２次元画像データに含まれる第１の画像データと第２の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、前記生成手段にて生成された複数の２次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の２次元画像データのうちユーザが選択した２次元画像データを出力する出力手段と、を有していればよい。

１００・・・画像処理サーバ、２００・・・ユーザ端末、１１０・・・制御部、１１１・・・特徴決定部、１１２・・・データ生成部、１１３・・・視点設定部、１１４・・・照明制御部、１１５・・・照明設定部、１３０・・・記憶部、１４０・・・表示部、１５０・・・部位指定部、１２０・・・通信部、１２１・・・送信部、１２２・・・受信部、２３０・・・表示部、２１０・・・通信部、２２０・・・入力部、２４０・・・記憶部、２５０・・・画像処理部

Claims (6)

1. 物体が位置する空間の照明環境を設定する設定手段と、
   前記物体の３次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す２次元画像データを複数生成する生成手段と、
   前記生成手段にて生成される複数の２次元画像データに含まれる第１の画像データと第２の画像データとに対して異なる照明環境が適用されるように、前記設定手段を制御する制御手段と、
   前記生成手段にて生成された２次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の２次元画像データのうちユーザが選択した２次元画像データを出力する出力手段と
   を有し、
   前記制御手段は、前記空間内に設けられる光源の位置を、前記２次元画像データの視点の位置に応じて決定する
   画像処理装置。
2. 前記複数の２次元画像データは、前記物体から等距離で且つ前記物体への方向が互いに異なる位置を視点とする画像である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記物体の部位の指定をユーザから受付ける受付手段を更に備え、
   前記制御手段は、該指定された部位のコントラストが他の部位よりも低くなるようにシェーディングが施されるように前記設定手段を制御する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記物体の部位の指定をユーザから受付ける受付手段を更に備え、
   前記制御手段は、情報処理装置において前記複数の２次元画像データに基づいてモデリングデータを生成した場合に当該部位の再現性が他の部位の再現性よりも低下するように、前記設定手段を制御する、
   ことを特徴とする請求項１ないし３のいずれか一つに記載の画像処理装置。
5. コンピュータに、
   物体が位置する空間の照明環境を設定するステップと、
   前記物体の３次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す２次元画像データを複数生成するステップと、
   前記生成される複数の２次元画像データに含まれる第１の画像データと第２の画像データと対して異なる照明環境が適用されるように、前記照明環境を制御するステップと、
   該生成された２次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の２次元画像データのうちユーザが選択した２次元画像データを出力するステップと
   を実行させるためのプログラムであって、
   前記空間内に設けられる光源の位置は、前記２次元画像データの視点の位置に応じて決定される、
   プログラム。
6. 物体が位置する空間の照明環境を設定するステップと、
   前記物体の３次元形状を表すモデリングデータに基づいて、前記照明環境の下、一の方向からみた前記物体を表す２次元画像データを複数生成するステップと、
   前記生成される複数の２次元画像データに含まれる第１の画像データと第２の画像データと対して異なる照明環境が適用されるように、前記照明環境を制御するステップと、
   該生成された２次元画像データの全部または一部を同時にもしくは関連付けて出力または該生成された複数の２次元画像データのうちユーザが選択した２次元画像データを出力するステップと
   を有し、
   前記空間内に設けられる光源の位置は、前記２次元画像データの視点の位置に応じて決定される、
   画像処理方法。

Images