JP2015056143A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】深度情報を有する画像に対して直観的に三次元的な編集を施すことが可能な情報処理装置および情報処理方法を提供する。【解決手段】情報処理装置であって、前記情報処理装置の動きを検知する検知部と、深度情報を有する画像について、前記検知部による検知結果に基づいて仮想的な光源の位置または向きを設定する設定部と、前記設定部により設定される仮想的な光源の位置または向き、および前記深度情報に基づいて前記画像に照明効果を施す表示制御部と、を備える情報処理装置。【選択図】図３Ａ

Description

本開示は、情報処理装置および情報処理方法に関する。

近年、画像を三次元的に表示または編集するための情報機器またはアプリケーションが提案されている。一般的に、画像の三次元的な表示または編集とは、画像の奥行方向の分布、被写体の３次元形状、または被写体の反射特性等を考慮した画像の表示または編集を意味している。

例えば、特許文献１では、光源を設置して被写体に光を照射しながら被写体を回転させて撮像し、撮像により得られた画像を表示する際に、ユーザ操作に応じて光源の位置が所望の位置である画像に切り替える発明が開示されている。

また、画像から所望の画像の部分をユーザ操作により切り出して、奥行感のある画像に加工するアプリケーションおよびその切り出し方法が提供されている。

特開２０００−９０２３３号公報

しかし、特許文献１では、画像における光源の位置を変化させる操作が具体的に開示されていない。

また、一般的に、画像の三次元的な編集は、画像の奥行方向を考慮しない二次元的な編集に比べて多くの複雑な操作を要し、その結果、編集作業が煩雑となり、編集に時間がかかることが多い。

そこで、本開示では、深度情報を有する画像に対して直観的に三次元的な編集を施すことが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。

本開示によれば、情報処理装置であって、情報処理装置の動きを検知する検知部と、深度情報を有する画像について、検知部による検知結果に基づいて仮想的な光源の位置または向きを設定する設定部と、設定部により設定される仮想的な光源の位置または向き、および深度情報に基づいて画像に照明効果を施す表示制御部と、を備える情報処理装置が提供される。

また、本開示によれば、深度情報を有する１の画像の深度の一部を合焦対象として設定する設定部と、設定部により設定される合焦対象の深度の部分の変化に従って画像においてぼかし処理を施す部分を変化させる表示制御部と、を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置であって、情報処理装置の操作および情報処理装置の移動を検知する検知部と、各平面位置についての深度情報を有する画像について、情報処理装置の操作に基づいて平面位置を設定し、情報処理装置の移動に基づいて深度位置を設定する設定部と、設定部により設定される平面位置および深度位置の変化を示す軌道を画像に重畳する表示制御部と、を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置であって、深度情報を有する画像を表示する情報処理装置の移動を検知する検知部と、情報処理装置の移動に応じて定まる深度区分に該当する画像の部分を切り出す画像切り出し部と、を備える情報処理装置が提供される。

以上説明したように本開示によれば、深度情報を有する画像に対して直観的に三次元的な編集を施すことが可能な情報処理装置および情報処理方法が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理装置の概要を説明するための図である。 本開示の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の実施形態に係る情報処理装置のリライティングの仮想的な光源の位置の変化に対する画像の変化を示す図である。 本開示の実施形態に係る情報処理装置のリライティングの仮想的な光源の位置の変化を示す概念図である。 本開示の実施形態に係る情報処理装置のリライティングの仮想的な光源の向きの変化に対する画像の変化を示す図である。 本開示の実施形態に係る情報処理装置のリライティングの仮想的な光源の向きの変化を示す概念図である。 本開示の実施形態における情報処理装置のリライティングの処理を概念的に示すフローチャートである。 本開示の実施形態に係る情報処理装置のリライティングにおける仮想的な光源の属性の設定について説明するための図である。 本開示の実施形態に係る情報処理装置のデフォーカシングの処理の例を説明するための図である。 本開示の実施形態における情報処理装置のデフォーカシングの処理を概念的に示すフローチャートである。 本開示に係る情報処理装置のドラッグ操作によるデフォーカシングの例を説明するための図である。 本開示に係る情報処理装置のチルトシフト操作によるデフォーカシングの例を説明するための図である。 本開示に係る情報処理装置のチルトシフト操作によるデフォーカシングの他の例を説明するための図である。 本開示の実施形態に係る情報処理装置のライトペインティングの例を説明するための図である。 本開示の実施形態に係る情報処理装置の移動範囲の例を説明するための図である。 本開示の実施形態に係る情報処理装置の画像の深度を概念的に表した図である。 本開示の実施形態における情報処理装置のライトペインティングの処理を概念的に示すフローチャートである。 本開示の実施形態に係る情報処理装置のセグメンテーションの例を説明するための図である。 本開示の実施形態における情報処理装置のセグメンテーションの処理を概念的に示すフローチャートである。 本開示の実施形態に係る情報処理装置のポップアウトフォトグラフィの例を説明するための図である。 本開示の実施形態における情報処理装置のポップアップフォトグラフィの処理を概念的に示すフローチャートである。 本開示に係る情報処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理装置の概要
２．情報処理装置の構成
３．リライティング
４．デフォーカシング
５．ライトペインティング
６．セグメンテーション
７．ハードウェア構成
８．むすび

＜１．情報処理装置の概要＞
まず、図１を参照して、本開示の実施形態に係る情報処理装置の概要について説明する。図１は、本開示の実施形態に係る情報処理装置の概要を説明するための図である。

図１に示される情報処理装置１００は、ユーザにより移動される可搬式の携帯端末であり、情報処理装置１００の動きを検知する機能を有する。このため、情報処理装置１００は、ユーザによる移動または傾き等を検知することが可能である。例えば、情報処理装置１００は、図１に示されるＸＹＺ軸方向の各々の移動、またはＸＹＺ軸の各々に対する回転を検知することが可能である。ここで、Ｙ軸方向とは、情報処理装置１００の基準となる姿勢における鉛直方向であり、Ｚ軸方向とは、情報処理装置１００の基準となる姿勢における奥行方向であり、Ｘ軸方向とは、Ｙ軸およびＺ軸の各々と直交する方向であり得る。また、情報処理装置１００は、後述される画像の各種の編集処理前に、処理直前の状態を、情報処理装置１００の基準となる姿勢として設定する。なお、情報処理装置１００の基準となる姿勢とは、例えば、情報処理装置１００を直立させたときの姿勢であり得る。

また、情報処理装置１００は、被写体の相対的な奥行方向の距離を示す深度情報を有する画像を表示し、当該画像の三次元的な編集を行う。例えば、情報処理装置１００は、内蔵するタッチパネルに画像を表示させ、タッチパネル等を介した入力操作と画像の深度情報に基づいて画像を編集する。

ここで、一般的に、画像の三次元的な編集は、画像の奥行方向を考慮しない二次元的な編集に比べて多くの複雑なパラメータの設定操作を要し、その結果、編集作業が煩雑となる。そこで、情報処理装置１００は、深度情報を有する画像の三次元的な編集のためのパラメータ設定を、情報処理装置１００の動きまたは操作に基づいて設定する。例えば、ユーザが、情報処理装置１００に対してＸＹ軸の平面で操作を行いながら、情報処理装置１００を図１に示されるＺ軸方向に動かす等を行うと、画像の奥行方向を加味した編集が行われ得る。

このように、情報処理装置１００は、情報処理装置１００の動きまたは操作に基づいて、画像の三次元的な編集のためのパラメータを設定する。このため、ユーザは直観的に画像の三次元的な編集のためのパラメータを設定することにより、画像の三次元的な編集作業を簡単化することが可能となる。なお、図１においては情報処理装置１００の一例としてスマートフォンを示しているが、情報処理装置１００は、タブレット端末、または携帯ゲーム機等の携帯端末であってもよい。

＜２．情報処理装置の構成＞
以上、本開示の実施形態に係る情報処理装置１００の概要について説明した。次に、図２を参照して、本実施形態に係る情報処理装置の構成について説明する。図２は、本開示の実施形態に係る情報処理装置１００の概略的な機能構成を示すブロック図である。

図２を参照すると、情報処理装置１００は、検知部１０２、編集内容判定部１０８、設定部１１０、記憶部１１２、表示制御部１１４、表示部１１６、および出力部１１８を備える。

検知部１０２は、情報処理装置１００の状態を検知するために、操作検知部１０４、および動き検知部１０６を備える。

操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知する。例えば、操作検知部１０４は、タッチパネルに対するタッチ操作を検知するタッチセンサ等であり得る。また、操作検知部１０４は、後述する編集内容判定部１０８および設定部１１０に検知結果を伝達する。

動き検知部１０６は、情報処理装置１００の動きを検知する。例えば、動き検知部１０６は、情報処理装置１００の位置の変化または向きの変化を検知する加速度センサ、および角速度センサ（ジャイロセンサ）、または角速度センサに代えて地磁気センサ等を備え得る。また、動き検知部１０６は、設定部１１０に検知結果を伝達する。

編集内容判定部１０８は、ユーザが選択する画像の編集内容を判定する。具体的には、編集内容判定部１０８は、操作検知部１０４により検知された操作に基づいて編集内容を判定する。本実施形態における上記の編集内容は、リライティング、デフォーカシング、ライトペインティング、またはセグメンテーションのうちのいずれかである。編集内容の各々の詳細については後述する。

設定部１１０は、記憶部１１２に記憶されている画像および画像の深度情報を読出し、検知部１０２から得られる検知結果に基づいて、選択された編集内容に応じた画像の編集のためのパラメータを設定する。具体的には、設定部１１０は、操作検知部１０４または動き検知部１０６から伝達される検知結果に基づいて、編集内容判定部１０８で判定された編集内容に応じた画像の編集のためのパラメータを設定する。なお、必要に応じて読み出した画像の深度情報が用いられる。編集内容の各々において設定するパラメータが異なるため、詳細については後述する。

記憶部１１２は、編集対象の画像および画像の深度情報を記憶する。

表示制御部１１４は、表示部１１６に表示させる画像を生成する。具体的には、設定部１１０により設定された画像の編集のためのパラメータと記憶部１１２から読み出された画像の深度情報とに基づいて、選択された編集内容に応じた処理を画像に対して行う。

表示部１１６は、記憶部１１２から読み出した処理前の画像または表示制御部１１４により処理された画像を表示する。例えば、表示部１１６は、タッチパネル等であり得る。

出力部１１８は、表示制御部１１４により処理された画像を出力する。例えば、出力部１１８は、処理された画像を、通信装置等を介して情報処理装置１００の外部に出力し得る。なお、出力部１１８は、表示制御部１１４により処理された画像を動画形式で出力してもよい。また、出力部１１８は、設定部１１０により設定されたパラメータを出力してもよい。出力部１１８がパラメータを出力する場合、情報処理装置１００は、出力されたパラメータと画像および深度情報とを一式で取扱い、例えば、情報処理装置１００は、情報処理装置１００の外部装置等に当該一式を提供し得る。これにより、動画形式で提供する場合と比較してデータ量を削減すること、および提供先でパラメータの設定変更を行うこと、が可能となる。例えば、提供先でパラメータの設定変更が可能となることにより、提供先の機器構成および処理能力に応じてレンダリングの画質の設定を調整することが可能となる。

以上、本開示の実施形態に係る情報処理装置１００の構成について説明した。以下では、情報処理装置１００の編集内容（リライティング、デフォーカシング、ライトペインティング、セグメンテーション）ごとに詳細を説明する。

＜３．リライティング＞
［３−１．背景］
近年、撮像により得られた画像における光の照射状態を、撮像後に変更する電子機器またはアプリケーションが提案されている。

しかし、一般的に、画像における光の照射状態の三次元的な編集は、画像の奥行方向を考慮しない二次元的な編集に比べて多くの複雑な操作を要し、その結果、編集作業が煩雑となり、編集に時間がかかることが多い。

そこで、深度情報を有する画像に対して直観的に照明効果を施すことが可能な情報処理装置および情報処理方法を以下に提案する。

[３−２．リライティングの概要］
まず、本開示の実施形態に係る情報処理装置１００におけるリライティングの概要について説明する。

情報処理装置１００におけるリライティングとは、深度情報を有する画像に対して、情報処理装置１００の動きに基づいて照明効果を追加的に施すことである。具体的には、リライティングにおいては、深度情報を有する画像に対して、図１に示されるＸＹＺ軸方向の情報処理装置１００の位置の変化、または図１に示されるＸＹＺ軸の各々の軸についての回転角の変化に基づいて仮想的な光源が設定される。そして、仮想的な光源の位置または向きが決定された後、深度情報から得られる各被写体の前後関係と設定された仮想的な光源の位置または向きから光が当たる領域および影になる領域が特定されて画像に反映される。

このように、情報処理装置１００におけるリライティングは、情報処理装置１００の動きに基づいて仮想的な光源の位置または向きを設定し、画像に照明効果を施す。

［３−３．リライティングの詳細］
次に、上記のリライティングの処理を実現するための情報処理装置１００の各機能の動作について説明する。

リライティングの処理は、動き検知部１０６、設定部１１０、表示制御部１１４、および表示部１１６の動作によって実現される。

動き検知部１０６は、情報処理装置１００の動きを検知する。具体的には、動き検知部１０６は、情報処理装置１００の位置の変化または向きの変化を検知する。検知結果は、設定部１１０に伝達される。

設定部１１０は、動き検知部１０６の検知結果に基づいて仮想的な光源の位置または向きを設定する。具体的には、設定部１１０は、動き検知部１０６から得られる位置の変化または向きの変化に基づいて、位置の変化量または向きの変化量を算出する。そして、設定部１１０は、仮想的な光源の直前の位置または向きと、算出された位置の変化量または向きの変化量と、から仮想的な光源の位置または向きの設定変更を行う。

表示制御部１１４は、設定部１１０により設定された仮想的な光源の位置または向き、および画像の深度情報に基づいて画像に照明効果を施す。具体的には、表示制御部１１４は、深度情報から得られる各被写体の前後関係と設定された仮想的な光源の位置または向きとから、光が当たる領域および影になる領域を特定し、画像に反映させる。なお、仮想的な光源の位置から画像の各箇所の深度を踏まえた位置までの距離を算出し、算出された距離に応じて光の当たる領域の光の強さを調整してもよい。また、表示制御部１１４は、質感の強調または変更を行ってもよい。例えば、表示制御部１１４は、被写体の領域毎に反射特性を推定または指定することで、鏡面反射または拡散反射などの各種反射効果を加え得る。

表示部１１６は、表示制御部１１４により照明効果が施された画像を表示する。

次に、図３Ａおよび図３Ｂを参照して、リライティングを具体的に説明する。図３Ａは、本開示の実施形態に係る情報処理装置１００のリライティングの仮想的な光源の位置の変化に対する画像の変化を示す図である。また、図３Ｂは、本開示の実施形態に係る情報処理装置１００のリライティングの仮想的な光源の位置の変化を示す概念図であり、画像の被写体を上から見た場合の仮想的な光源の位置の変化を示している。

図３Ａの左図は、被写体として１人の人物が写された画像２００を示している。以下、画像２００に施される照明効果が情報処理装置１００に対するユーザ操作および情報処理装置１００の位置の変化によって変化する例を説明する。

まず、ユーザが編集内容としてリライティングを選択すると、設定部１１０は、仮想的な光源を、図３Ｂに示すように所定の初期位置１０Ａに設定し、表示制御部１１４は、設定された仮想的な光源の位置に基づいて画像に照明効果を施す。その結果、リライティングの開始状態として、画像２００には初期位置１０Ａにおける仮想的な光源による照明効果が施され、図３Ａの中図に示すように画像２００の人物が照らされると共に、人物の影が表示される。

次に、ユーザが情報処理装置１００を画像２００に向かって右方向に動かす、すなわち図１に示されるＸ軸の正の方向に情報処理装置１００を動かすと、動き検知部１０６は、情報処理装置１００の位置の変化を検知する。次に、設定部１１０は、動き検知部１０６の検知した位置の変化に基づいて、位置の変化量を算出し、直前の位置と算出された位置の変化量に基づいて仮想的な光源の位置を１０Ｂに設定する。そして、表示制御部１１４は、設定部１１０により設定された仮想的な光源の位置と画像の深度情報に基づいて画像に照明効果を施す。ここで、情報処理装置１００の位置の変化の方向と仮想的な光源の位置の変化の方向が同方向に対応付けられている場合、情報処理装置１００のＸ軸の正方向への移動に応じて、仮想的な光源が画像２００に向かって右方向の位置１０Ｂに移動する。そして、画像２００には位置１０Ｂにおける仮想的な光源による照明効果が施されることにより、図３Ａの右図に示すように、画像２００の人物の照らされ方および影の向き等が変化する。

また、リライティングの別の例について、図４Ａおよび図４Ｂを参照して説明する。図４Ａは、本開示の実施形態に係る情報処理装置１００のリライティングの仮想的な光源の向きの変化に対する画像の変化を示す図である。また、図４Ｂは、本開示の実施形態に係る情報処理装置１００のリライティングの仮想的な光源の向きの変化を示す概念図であり、画像の被写体を上から見た場合の仮想的な光源の向きの変化を示している。

図４Ａの左図は、被写体として２人の人物が写された画像２００を示している。以下、画像２００に施される照明効果が情報処理装置１００に対するユーザ操作および情報処理装置１００の向きの変化によって変化する例を説明する。

まず、ユーザが編集内容としてリライティングを選択すると、設定部１１０は、仮想的な光源を、図４Ｂに示されるように所定の初期の向き１２Ａで設定し、表示制御部１１４は、設定された仮想的な光源の向きに基づいて画像に照明効果を施す。その結果、画像２００には初期の向き１２Ａの仮想的な光源による照明効果が施されることにより、図４Ａの中図に示すように、画像２００の２人の人物の両方が照らされると共に影が表示される。

次に、ユーザが情報処理装置１００を画像２００に向かって右奥方向に傾斜させる、すなわち図１に示されるＹ軸を中心に反時計回りに情報処理装置１００を傾斜させると、動き検知部１０６は、情報処理装置１００の向きの変化を検知する。次に、設定部１１０は、動き検知部１０６の検知したい向きの変化に基づいて、向きの変化量を算出し、直前の向きと算出された向きの変化量に基づいて仮想的な光源の向きを１２Ｂに設定する。そして、表示制御部１１４は、設定部１１０により設定された仮想的な光源の向きと画像の深度情報に基づいて画像に照明効果を施す。ここで、情報処理装置１００の向きの変化の方向と仮想的な光源の向きの変化の方向が同方向に対応付けられている場合、情報処理装置１００のＹ軸を中心とした反時計回りの傾きに応じて、仮想的な光源の向きが１２Ａから１２Ｂに変更される。そして、画像２００には向き１２Ｂの仮想的な光源による照明効果が施されることにより、図４Ａの右図に示すように画像２００の右の人物の照らされ方および影は変化せず、画像２００の左の人物は光源の照射範囲から外れるため光に照らされず、画像２００の左の人物の影が表示されなくなる。

［３−４．リライティングの処理］
次に、図５を参照して、本開示の実施形態における情報処理装置１００のリライティングの処理について説明する。図５は、本開示の実施形態における情報処理装置１００のリライティングの処理を概念的に示すフローチャートである。

まず、設定部１１０は、仮想的な光源の初期位置を設定する（ステップＳ３０２）。例えば、初期位置は、所定の位置であり得る。

次に、設定部１１０は、情報処理装置１００の動きが検知されたかの判定を行う（ステップＳ３０４）。具体的には、設定部１１０は、動き検知部１０６の検知結果に基づいて判定を行う。

ステップＳ３０４にて、情報処理装置１００の動きが検知されたと判定された場合、設定部１１０は、情報処理装置１００の位置の変化に応じて仮想的な光源の位置を設定する（ステップＳ３０６）。具体的には、設定部１１０は、動き検知部１０６から得られる位置の変化に基づいて、位置の変化量を算出し、直前の位置と算出された位置の変化量から位置の設定変更を行う。

次に、設定部１１０は、情報処理装置１００の位置の向きの変化に応じて仮想的な光源の向きを設定する（ステップＳ３０８）。具体的には、設定部１１０は、動き検知部１０６から得られる向きの変化に基づいて、向きの変化量を算出し、直前の向きと算出された向きの変化量から向きの設定変更を行う。

次に、表示制御部１１４は、設定部１１０により変更された設定に基づいて、画像に照明効果を施す（ステップＳ３１０）。具体的には、表示制御部１１４は、設定部１１０により設定された仮想的な光源の位置または向きと、画像の深度情報とに基づいて、画像に照明効果を施す。

次に、表示部１１６は、表示制御部１１４により照明効果が施された画像を表示する（ステップＳ３１２）。

このように、情報処理装置１００のリライティングでは、情報処理装置１００の位置または向きに基づいて光源の位置または向きを設定し、設定に基づいて深度情報を有する画像２００に照明効果を施す。このため、情報処理装置１００の位置または向きで画像２００にパラメータの設定ことにより、ユーザが直観的に画像２００に照明効果を施すことが可能となる。

［３−５．仮想的な光源の設定の例］
本実施形態に係る情報処理装置１００のリライティングは、仮想的な光源の属性の設定を行ってもよい。具体的には、操作検知部１０４が検知した操作結果に基づいて、設定部１１０は、仮想的な光源の属性を設定し、表示制御部１１４は、設定に基づいて照明効果を施す。例えば、仮想的な光源の属性は、光源の種類、光の強さ、または光の色味等であり得る。より具体的には、図６を参照して説明する。図６は、本開示に係る情報処理装置１００のリライティングにおける仮想的な光源の属性の設定について説明するための図である。

図６を参照すると、情報処理装置１００の表示部１１６が表示する画像に、仮想的な光源の属性の設定画面２０２が表示されている。仮想的な光源の属性は、設定画面２０２上で選択され得る。

光源の種類は、選択肢の中から選択する方式であり得る。例えば、光源の種類は、太陽光、蛍光灯、またはスポットライト等であり得、プルダウンメニューで選択され得る。また、光の強さは、段階的に選択する方式であり得る。また、光の色味は、例えば、ＲＧＢで表現され、ＲＧＢの各々で段階的に選択する方式であり得る。

なお、仮想的な光源の属性の設定画面２０２は一例であり、情報処理装置１００は、設定画面を表示させずタッチ操作またはボタン操作等で仮想的な光源の属性を設定してもよい。

このように、情報処理装置１００は、設定画面２０２で選択した仮想的な光源の属性の設定に基づいて、表示制御部１１４が画像に照明効果を施し、表示部１１６が照明効果の施された画像を表示する。このため、情報処理装置１００に対するユーザ操作で仮想的な光源の属性を設定させることにより、仮想的な光源の位置または向きの変更と同時に仮想的な光源の属性を設定することが可能となる。

［３−６．仮想的な光源の設定の時間変化の例］
本実施形態に係る情報処理装置１００のリライティングは、画像の照明効果を時間的に変化させてもよい。具体的には、設定部１１０は、仮想的な光源の設定を時間的に変化させ、表示制御部１１４は、仮想的な光源の設定の変化に従って施す照明効果を変化させる。より具体的には、設定部１１０は、操作検知部１０４または動き検知部１０６の検知結果に基づいて行った仮想的な光源の設定を記憶部１１２に記憶させておき、後から記憶部１１２に記憶されている設定を読み出して、順次設定を適用する。そして、表示制御部１１４は、設定部１１０により変化される設定に従って照明効果を画像に施す。

このように、情報処理装置１００は、仮想的な光源の設定を記憶させておき、記憶した設定を時間的に読み出して順次設定を適用し、適用される設定に基づいて照明効果を施す。このため、記憶された仮想的な光源の設定が時間的に順次読み出されて適用されることにより、画像の照明効果が時間的に変化する動画を生成することが可能となる。

＜４．デフォーカシング＞
［４−１．背景］
近年、撮像により得られた画像における合焦位置を、撮像後に変更する電子機器またはアプリケーションが提案されている。

しかし、一般的に、画像の合焦位置を時間的に変化させることは困難である。

そこで、画像の合焦位置を時間的に変化させることが可能な情報処理装置および情報処理方法を以下に提案する。

［４−２．デフォーカシングの概要］
まず、本開示の実施形態に係る情報処理装置１００におけるデフォーカシングの概要について説明する。

一般的に、デフォーカシングとは、被写界深度の浅い撮影条件またはアオリなどの写真撮影における各種ボケ味の表現を目的に、撮像面をレンズの結像面から光軸方向に移動させ、画像を適応的にぼかすことである。本実施形態においては、デフォーカシングとは、上記の各種ボケ味の再現を目的として、深度情報を有する画像に対し追加的に施されるぼかし効果を時間的に変化させることであると定義する。具体的には、デフォーカシングにおいては、画像の合焦対象となる深度の部分の時間変化の情報が記憶部に記憶され、記憶された情報に基づき、画像においてぼかし処理の施される部分が時間経過に伴って変化する。

また、設定する深度の部分は、ユーザ操作によって指定され得る。具体的には、情報処理装置１００は、情報処理装置１００に対するユーザ操作または情報処理装置１００の動きを検知し、検知結果に基づいて合焦対象の深度の部分の時間変化の情報を記憶する。そして、情報処理装置１００は、記憶された情報を順に読み出して合焦対象の深度の部分を設定し、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。例えば、表示部１１６はタッチパネルであり、タッチパネルに画像が表示され、ユーザは、表示される画像上の合焦させたい位置をタッチ操作で指定する。タッチ操作は操作検知部１０４に検知され、設定部１１０は、操作検知部１０４の検知結果に基づいて画像上の位置を特定し、当該画像上の位置の深度を含む深度の部分の合焦対象として時系列に記憶する。設定部１１０は、記憶された深度の部分を順に読み出して合焦対象として設定し、表示制御部１１４は、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。

このように、情報処理装置１００におけるデフォーカシングは、情報処理装置１００に対するユーザ操作を検知し、検知結果に基づいて合焦対象の深度の部分の時間変化の情報を記憶させておき、記憶された情報を順に読み出して合焦対象の深度の部分を設定し、設定される深度の部分に含まれる深度を有する画像の部分に基づいて画像の部分を合焦させる。

［４−３．デフォーカシングの詳細］
次に、上記のデフォーカシングの処理を実現するための情報処理装置１００の各機能の動作について説明する。

デフォーカシングの処理は、操作検知部１０４、設定部１１０、記憶部１１２、表示制御部１１４、および表示部１１６の動作によって実現される。

操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知する。例えば、操作検知部１０４は、タッチパネルに対するユーザのタッチ操作を検知する。検知結果は、設定部１１０に伝達される。

設定部１１０は、操作検知部１０４の検知結果に基づいて合焦対象の深度の部分を算出し、算出された深度の部分を記憶部１１２に記憶させる。具体的には、設定部１１０は、操作検知部１０４により検知されたタッチ位置に対応する画像の位置が有する深度を含む深度の部分を算出し、算出された深度の部分を記憶部１１２に記憶させる。

記憶部１１２は、設定部１１０により算出された深度の部分を記憶する。

表示制御部１１４は、設定部１１０により設定された深度の部分に基づいて画像の部分を合焦させる。具体的には、表示制御部１１４は、設定部１１０により設定された画像の部分を合焦させ、他の画像の部分をぼかす。

表示部１１６は、表示制御部１１４により処理された画像を表示する。

次に、図７を参照して、タッチ操作によるデフォーカシングを具体的に説明する。図７は、本開示の実施形態に係る情報処理装置１００のデフォーカシングの処理の例を説明するための図である。

図７は、被写体として人物、家屋、および山が写された画像２００を示している。以下、画像２００の合焦位置が情報処理装置１００に対するユーザ操作によって変化する例を説明する。

まず、ユーザ２０が、画像２００上の人物の表示位置にタッチ操作を行うと、操作検知部１０４は、タッチ操作を検知し、設定部１１０は、操作検知部１０４により検知されたタッチ位置に対応する画像の位置に基づいて合焦対象の深度の部分を設定する。併せて設定部１１０は、設定した深度の部分を記憶部１１２に記憶させる。そして、表示制御部１１４は、設定部１１０により設定された深度の部分に基づいて画像２００を合焦させる。その結果、情報処理装置１００に対するタッチ操作に応じて、画像２００は、図７の中図に示すように、人物に合焦し、山に合焦しなくなる。

次に、ユーザ２０が、画像２００上の人物の表示位置にタッチ操作を行った後に、画像２００上の家屋の表示位置にタッチ操作を行うと、操作検知部１０４は、タッチ操作を検知し、設定部１１０は、操作検知部１０４により検知されたタッチ位置に対応する画像の位置に基づいて合焦対象の深度の部分を設定する。併せて設定部１１０は、設定した深度の部分を記憶部１１２に記憶させる。そして、表示制御部１１４は、設定部１１０により設定された深度の部分に基づいて画像２００を合焦させる。その結果、情報処理装置１００に対するタッチ操作に応じて、画像２００は、図７の右図に示すように、家屋に合焦し、人物に合焦しなくなる。

次に、上記の操作の終了後に、ユーザが時間的に画像２００の合焦位置を変化させるよう情報処理装置１００に指示すると、操作検知部１０４は、ユーザのデフォーカシング処理実行の指示操作を検知し、設定部１１０は、記憶部１１２に記憶された深度の部分を時間的に読み出して合焦対象として設定する。そして、表示制御部１１４は、時間的に設定される深度の部分に基づいて画像２００を合焦させる。その結果、ユーザの操作で設定された順に従って、画像２００の人物、家屋の順に画像２００の合焦位置が時間的に変化する。

［４−４．デフォーカシングの処理］
次に、図８を参照して、本開示の実施形態における情報処理装置１００のデフォーカシングの処理について説明する。図８は、本開示の実施形態における情報処理装置１００のデフォーカシングの処理を概念的に示すフローチャートである。

最初に、情報処理装置１００は、デフォーカシングの処理の準備として、合焦対象の設定の蓄積を行う。

まず、操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知したかの判定を行う（ステップＳ４０２）。具体的には、操作検知部１０４は、センサ等から検知した操作の情報を得て、情報処理装置１００に対するユーザ操作を検知したかの判定を行う。

ステップＳ４０２にて、情報処理装置１００に対するユーザ操作を検知したと判定された場合、設定部１１０は、検知された情報処理装置１００に対するユーザ操作に応じて、合焦対象の設定を記憶させる（ステップＳ４０４）。具体的には、設定部１１０は、操作検知部１０４により検知された操作に基づいて合焦対象の深度の部分を算出し、算出された深度の部分を記憶部１１２に記憶させる。そして、算出された深度の部分が記憶部１１２に記憶された後、ステップＳ４０２に処理が戻される。

ステップＳ４０２にて、情報処理装置１００に対するユーザ操作を検知しなかったと判定された場合、表示制御部１１４は、デフォーカシング実行の指示操作を検知したかの判定を行う（Ｓ４０６）。具体的には、表示制御部１１４は、操作検知部１０４によりデフォーカシング実行を指示するユーザ操作が検知されたかの判定を行う。

ステップＳ４０６にて、デフォーカシング実行の指示操作を検知したと判定された場合、情報処理装置１００は、デフォーカシングの処理を開始する。

始めに、設定部１１０は、記憶された合焦対象の設定を読み出す（ステップＳ４０８）。具体的には、設定部１１０は、記憶部１１２に記憶された合焦対象の深度の部分を読み出す。

次に、読み出された合焦対象の設定に基づいて、表示制御部１１４は、画像にぼかし処理を施す（ステップＳ４１０）。具体的には、設定部１１０は、記憶部１１２から読み出した深度の部分を合焦対象として設定し、表示制御部１１４は、設定部１１０により設定された合焦対象の深度の部分に含まれる深度を有する画像の部分を合焦させる。

次に、ぼかし処理が施された画像を、表示部１１６が表示する（ステップＳ４１２）。

次に、設定部１１０は、記憶された次の合焦対象の設定が存在するかの判定を行う（ステップＳ４１４）。具体的には、設定部１１０は、記憶部１１２に次の合焦対象の深度の部分が記憶されているかの判定を行う。

なお、ステップＳ４１４にて、記憶された次の合焦対象の設定が存在すると判定された場合、ステップＳ４０８に処理が戻される。

ステップＳ４１４にて、記憶された次の合焦対象の設定が存在しないと判定された場合、デフォーカシングの処理が終了する。

ステップＳ４０６にて、デフォーカシング実行の指示操作を検知しなかったと判定された場合、表示制御部１１４は、処理終了の指示操作を検知したかの判定を行う（ステップＳ４１６）。具体的には、表示制御部１１４は、操作検知部１０４により処理終了を指示するユーザ操作が検知されたかの判定を行う。

ステップＳ４１６にて、処理終了の指示操作を検知したと判定された場合、デフォーカシングの処理が終了する。

なお、ステップＳ４１６にて、処理終了の指示操作を検知しなかったと判定された場合、ステップＳ４０２に処理が戻される。

このように、情報処理装置１００は、指定された合焦対象の深度の部分の設定を記憶部１１２に時系列で記憶させておき、記憶部１１２から順に読み出される深度の部分に基づいて画像の合焦を行う。このため、記憶された合焦対象の深度の部分の設定が順に読み出されることにより、画像の合焦位置が時間経過に伴って変化する動画を生成することが可能となる。

［４−５．ドラッグ操作によるデフォーカシングの例］
本実施形態に係る情報処理装置１００のデフォーカシングにおける合焦対象の設定は、情報処理装置１００に対するユーザ操作に基づいて、画像における合焦する深度の幅である被写界深度の設定を行ってもよい。

具体的には、情報処理装置１００は、情報処理装置１００に対する操作で特定される画像の部分が有する深度の部分を合焦対象とし、情報処理装置１００に対する操作の変化量に応じて変更される当該深度の部分の深度幅の時間変化を記憶させる。そして、情報処理装置１００は、記憶された深度幅を順に読み出して、読み出された深度幅を有する深度の部分を合焦対象として設定し、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。図９を参照してより具体的に説明する。図９は、本開示に係る情報処理装置１００のドラッグ操作によるデフォーカシングの例を説明するための図である。

図９の左図は、被写体として３人の人物が写された画像２００を示している。以下、画像２００の被写界深度が情報処理装置１００に対するユーザ操作によって変化する例を説明する。

まず、ユーザ２０が画像２００の手前の人物の表示位置にタッチ操作を行うと、設定部１１０は、操作検知部１０４で検知される画像２００上の位置に基づいて、合焦対象の深度幅を手前の人物の表示位置における深度幅に設定する。そして、表示制御部１１４は、設定に基づき合焦を行った画像２００を表示部１１６が表示する。その結果、画像２００は、図９の中左図に示すように手前の人物に合焦する。

次に、ユーザ２０が画像２００に向かって右方向にドラッグ操作を行うと、設定部１１０は、操作検知部１０４で検知される操作量に基づいて、設定されている合焦対象の深度幅に、さらに合焦対象とする深度幅を加算して設定する。そして、表示制御部１１４が設定に基づき合焦を行った画像２００を表示部１１６が表示する。
その結果、画像２００は、図９の中右図に示すように手前の人物および１つ奥の人物に合焦する。

次に、ユーザ２０が画像２００に向かって右方向にドラッグ操作を継続すると、設定部１１０は、操作検知部１０４で検知される操作量に基づいて、設定されている合焦対象の深度の部分に、さらに合焦対象とする深度の部分を加算して設定する。そして、表示制御部１１４は、設定に基づき合焦を行った画像を表示部１１６が表示する。その結果、画像２００は、図９の右図に示すように全ての人物に合焦する。

このように、情報処理装置１００は、情報処理装置１００に対する操作で特定される画像の部分が有する深度の部分を合焦対象とし、情報処理装置１００に対する操作の変化量応じて変更される当該深度の部分の深度幅の時間変化を記憶させる。そして、情報処理装置１００は、記憶された深度幅を順に読み出して、読み出された深度幅を有する深度の部分を合焦対象として設定し、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。このため、情報処理装置１００に対するユーザ操作に応じて合焦対象の深度幅が伸縮されて設定されることにより、ユーザは直観的に画像２００の被写界深度を調整することが可能となる。

［４−６．チルトシフト操作によるデフォーカシングの例］
本実施形態に係る情報処理装置１００のデフォーカシングにおける合焦対象の設定は、情報処理装置１００の動きに基づいて、合焦対象の深度の部分の設定を行ってもよい。例えば、情報処理装置１００は、デジタルカメラ等におけるチルトシフトのようなレンズとセンサ面の位置関係によって生じるぼかしを、レンズの向きを情報処理装置１００の向きに見立てて、情報処理装置１００の向きの変化に基づいて合焦対象の深度の部分の設定を行い得る。

具体的には、情報処理装置１００は、情報処理装置１００の向きの変化に応じて変更される合焦対象の深度の部分の時間変化を記憶させておき、記憶された深度の部分を順に読み出して深度の部分を合焦対象として設定し、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。

より具体的には、動き検知部１０６は、情報処理装置１００の向きの変化を検知し、設定部１１０は、動き検知部１０６により検知された向きの変化に応じて向きの回転軸と平行に移動する画像上の直線と重なる画像の部分が有する深度の部分を合焦対象として記憶させる。そして、設定部１１０は、記憶された深度の部分を読み出して、読み出された深度の部分を合焦対象として設定し、表示制御部１１４は、設定されている深度の部分に含まれる深度を有する画像の部分を合焦させる。さらに、図１０Ａおよび図１０Ｂを参照して説明する。図１０Ａは、本開示に係る情報処理装置１００のチルトシフト操作によるデフォーカシングの例を説明するための図であり、図１０Ｂは、本開示に係る情報処理装置１００のチルトシフト操作によるデフォーカシングの他の例を説明するための図である。

図１０Ａの左図は、被写体として３人の人物、家屋、および山が写された画像２００を示している。以下、画像２００の合焦位置が情報処理装置１００の向きの変化によって変化することを例で説明する。

まず、ユーザが、情報処理装置１００を図１に示されるＸ軸を中心に時計回りに傾けると、動き検知部１０６は、情報処理装置１００の向きの変化を検知する。次に、設定部１１０は、動き検知部１０６により検知された向きの変化に応じてＸ軸と平行に移動する画像上の直線３０ａと重なる画像の部分が有する深度の部分を合焦対象として記憶させる。そして、設定部１１０は、記憶された深度の部分を読み出して合焦対象として設定し、表示制御部１１４は、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。その結果、情報処理装置１００のＸ軸を中心とした時計回りの傾きに応じて、画像２００は、図１０Ａの右図に示すように、直線３０ａと重なる家屋および家屋の深度の部分に含まれる深度を有する家屋の前方の２人の人物に合焦し、画像２００の手前に表示される人物および背景に表示される山はぼかされる。

図１０Ｂの左図は、図１０Ａの左図と同様、被写体として３人の人物、家屋、および山が写された画像２００を示している。以下、画像２００の合焦位置が情報処理装置１００の向きの変化によって変化することを例で説明する。

まず、ユーザが、情報処理装置１００を図１に示されるＹ軸を中心に時計回りに傾けると、動き検知部１０６は、情報処理装置１００の向きの変化を検知する。次に、設定部１１０は、動き検知部１０６により検知された向きの変化に応じて向きのＹ軸と平行に移動する画像上の直線３０ｂと重なる画像の部分が有する深度の部分を合焦対象として記憶させる。そして、設定部１１０は、記憶された深度の部分を読み出して合焦対象として設定し、表示制御部１１４は、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。その結果、情報処理装置１００のＹ軸を中心とした時計回りの傾きに応じて、画像２００は、図１０Ｂの右図に示すように、直線３０ｂと重なる左部分に表示される人物および当該人物の深度の部分に含まれる深度を有する当該人物の右隣りの人物に合焦し、画像２００の右部分に表示される人物、家屋および山はぼかされる。

このように、情報処理装置１００は、情報処理装置１００の向きの変化に応じて変更される合焦対象の深度の部分の時間変化を記憶させておき、記憶された深度の部分を順に読み出して深度の部分を合焦対象として設定し、設定された深度の部分に含まれる深度を有する画像の部分を合焦させる。このため、情報処理装置１００の向きの変化に応じて合焦対象の深度の部分を設定することにより、ユーザは直観的に合焦位置を設定することが可能となる。

［４−７．ぼかし処理の自動処理の例］
本実施形態に係る情報処理装置１００のデフォーカシングは、プログラムにより自動的に行われてもよい。具体的には、情報処理装置１００は、プログラムに基づいて合焦対象の深度の部分の設定を行い、設定される深度の部分に従って画像にぼかし処理を行う。より具体的には、設定部１１０は、記憶部１１２に記憶されるプログラムに基づいて、合焦対象として設定する深度の部分を変化させ、表示制御部１１４は、設定部１１０の設定する深度の部分の変化に従って画像にぼかし処理を行う。

このように、情報処理装置１００は、プログラムに基づいて合焦対象の深度の部分の設定を変化させ、設定される深度の部分の変化に従って画像にぼかし処理を行う。このため、プログラムにより合焦対象の深度の部分が設定されることにより、一定の規則に従って画像の合焦位置が変化する動画を生成することが可能となる。

＜５．ライトペインティング＞
［５−１．背景］
近年、ライトペインティングと呼ばれる光の軌道が写された写真を撮る手法が一般に広まっている。ライトペインティングとは、カメラを長時間露光させている間の、ライト等の光源の移動により生じる光源の軌道を撮像する手法である。

しかし、ユーザが描画行為している間は、ユーザは描画結果を確認することが困難である。

また、撮像後に画像に対してライトペインティングを施したいといった要望もある。

そこで、深度情報を有する画像に対して光源の軌道を確認しながら描画することが可能な情報処理装置および情報処理方法を以下に提案する。

［５−２．ライトペインティングの概要］
まず、本開示の実施形態に係る情報処理装置１００におけるライトペインティングの概要について説明する。

情報処理装置１００におけるライトペインティングとは、情報処理装置１００に対するユーザ操作および移動に基づいて深度情報を有する画像に光源の軌道を重畳することである。

具体的には、ライトペインティングの処理は、情報処理装置１００に対するユーザ操作および情報処理装置１００の移動を検知する。次に、当該処理は、各平面位置に深度を有する画像に対して、検知された情報処理装置１００に対するユーザ操作に基づいて平面位置を設定し、かつ検知された情報処理装置１００の移動に基づいて深度位置を設定する。そして、当該処理は、設定される平面位置および深度位置の変化を示す光源の軌道を重畳する。例えば、ユーザがタッチパネルに対する操作で画像の平面位置を指定しながら、情報処理装置１００を奥行方向、すなわち図１に示されるＺ軸方向に移動させると、奥行方向に移動した光源の軌道が画像に重畳される。

このように、情報処理装置１００におけるライトペインティングは、情報処理装置１００に対するユーザ操作および情報処理装置１００の移動に基づいて画像上の平面位置および深度位置を設定し、平面位置および深度位置の変化が示す光源の軌道を画像に重畳する。このため、ユーザの視野の範囲内で行われる情報処理装置１００に対するユーザ操作に基づいて光源の軌道に係る平面位置を設定することにより、ユーザは光源の軌道を確認しながら描画することが可能となる。

［５−３．ライトペインティングの詳細］
上記のライトペインティングの動作を実現するための情報処理装置１００の各機能の動作について説明する。

ライトペインティングは、操作検知部１０４、動き検知部１０６、設定部１１０、表示制御部１１４、および表示部１１６の動作によって実現される。

操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知し、動き検知部１０６は、情報処理装置１００の移動を検知する。検知結果の各々は、設定部１１０に伝達される。

設定部１１０は、操作検知部１０４の検知結果に基づいて平面位置を設定し、動き検知部１０６の検知結果に基づいて深度位置を設定する。具体的には、設定部１１０は、操作が検知された画像における平面位置の座標を設定し、検知された情報処理装置１００の位置の変化における変化量に応じて直前の深度を変化させて得られる深度を深度位置として設定する。

表示制御部１１４は、設定部１１０により設定される平面位置および深度位置の変化を示す光源の軌道を画像に重畳する。具体的には、表示制御部１１４は、画像に重畳している光源の軌道に対し、直前に設定された平面位置および深度位置から、設定部１１０により設定される平面位置および深度位置への光源の移動を示す軌道を追加し、画像に重畳する。

表示部１１６は、光源の軌道が重畳された画像を表示する。

次に、図１１を参照して、ライトペインティングを具体的に説明する。図１１は、本開示の実施形態に係る情報処理装置１００のライトペインティングの例を説明するための図である。

図１１の上部には、図１で示した情報処理装置１００のＺ軸方向の動きを示した概念図が示されている。また、図１１の下部には、情報処理装置１００に対するユーザ操作が示されている。

図１１は、被写体として２人の人物が写された画像２００を示している。以下、画像２００に重畳される光源の軌道が情報処理装置１００に対するユーザ操作および情報処理装置１００の動きによって変化する例を説明する。

まず、ユーザ２０が、手前の人物の前方の位置にタッチ操作を行い、続けて画像２００に向かって右にドラッグ操作を行うと、操作検知部１０４は、タッチ位置を検知する。次に、設定部１１０は、操作検知部１０４から得たタッチ位置に対応する画像２００上の平面位置を設定し、動き検知部１０６により検知された情報処理装置１００の動きにおける位置の変化量に対応する画像２００の深度位置を設定する。そして、表示制御部１１４は、設定部１１０により設定された平面位置および深度位置に光源を画像２００に重畳する。続いて、操作検知部１０４は、ドラッグ操作により変遷するタッチ位置を検知する。次に、設定部１１０は、操作検知部１０４から得た変遷するタッチ位置の各々を画像２００の平面位置として時系列で設定する。そして、表示制御部１１４は、設定部１１０により時系列で設定される平面位置に従って延長される光源の軌道を画像２００に重畳する。その結果、タッチ操作およびドラッグ操作に応じて、図１１の左図に示すように画像２００の手前の人物の前方に光源の軌道が画像２００に重畳される。

次に、ユーザ２０が、画像２００の手前の人物の後ろ側までドラッグ操作を継続するとともに、併せて情報処理装置１００をＺ軸方向のＤ１の位置に移動させると、動き検知部１０６は、情報処理装置１００のＺ軸の正方向のＯからＤ１への移動を検知し、操作検知部１０４は、ドラッグ操作により変遷するタッチ位置を検知する。次に、設定部１１０は、操作検知部１０４から得た変遷するタッチ位置の各々に対応する画像２００上の光源の平面位置を時系列で設定し、動き検知部１０６から得た情報処理装置１００のＺ軸の正方向の位置の変化の各々における変化量に応じて直前の深度を変化させて得られる光源の深度位置の各々を時系列で設定する。そして、表示制御部１１４は、設定部１１０により時系列で設定される平面位置および深度位置に従って延長される光源の軌道を画像２００に重畳する。その結果、ドラッグ操作および情報処理装置１００のＺ軸の正方向の移動に応じて、図１１の中図に示すように画像２００の手前の人物の前方から後方にかけて光源の軌道が重畳される。

次に、ユーザ２０が、画像２００の手前の人物の左側までドラッグ操作を継続するとともに、併せて情報処理装置１００をＺ軸方向のＯの位置に戻すと、動き検知部１０６は情報処理装置１００のＺ軸の正方向の移動を検知し、操作検知部１０４はドラッグ操作により変遷するタッチ位置を検知する。次に、設定部１１０は操作検知部１０４から得た変遷するタッチ位置の各々に対応する画像２００上の光源の平面位置を時系列で設定し、動き検知部１０６から得た情報処理装置１００のＺ軸の正方向の位置の変化の各々における変化量に応じて直前の深度を変化させて得られる光源の深度位置を深度位置として時系列で設定する。そして、表示制御部１１４は、設定部１１０により時系列で設定される平面位置および深度位置に従って延長される光源の軌道を画像２００に重畳する。その結果、ドラッグ操作および情報処理装置１００のＺ軸の正方向の移動に応じて、図１１の右図に示すように画像２００の手前の人物の前方から後方を経由して左方に光源の軌道が画像２００に重畳される。

ここで、図１１に示したＺ軸方向の情報処理装置１００の移動は、一般的に、ユーザの手の可動範囲内においてされる。

そこで、情報処理装置１００は、情報処理装置１００の位置と画像の深度とを対応付けて処理を行う。具体的には、図１２Ａおよび図１２Ｂを参照して説明する。図１２Ａは、本開示の実施形態に係る情報処理装置１００の移動範囲の例を説明するための図であり、図１２Ｂは、本開示の実施形態に係る情報処理装置１００の画像の深度を概念的に表した図である。

図１２Ａに示したように、ユーザ２０は、幅Ｄｉｓｔの範囲で情報処理装置１００を移動させることが可能であるとする。例えば、幅Ｄｉｓｔの値は所定の値であり得る。また、図１２Ｂに示したように、画像２００の深度が幅Ｄｐｔｈの範囲で割当てられているとする。例えば、幅Ｄｐｔｈは０〜２５５の幅であり得る。ここで、情報処理装置１００は、上記の幅Ｄｉｓｔおよび幅Ｄｐｔｈを各々の全範囲で対応付ける。例えば、Ｄｉｓｔ＝０〜４０ｃｍ、Ｄｐｔｈ＝０〜２５５とした場合、情報処理装置１００の移動距離１０ｃｍに対し、深度６４が対応する。

このように、情報処理装置１００は、ユーザ２０の手の可動範囲Ｄｉｓｔに深度の幅Ｄｐｔｈを対応付ける。このため、ユーザ２０の手の可動範囲内で全範囲にわたる深度の選択が可能となり、ユーザ２０は画像に重畳される光源の軌道を確認しながら描画を行うことが可能となる。

［５−４．ライトペインティングの処理］
次に、図１３を参照して、本開示の実施形態における情報処理装置１００のライトペインティングの処理について説明する。図１３は、本開示の実施形態における情報処理装置１００のライトペインティングの処理を概念的に示すフローチャートである。

まず、設定部１１０は、情報処理装置１００の位置を初期化する（ステップＳ５０２）。具体的には、設定部１１０は、ユーザにより指示された情報処理装置１００の位置を基準とする。例えば、情報処理装置１００の位置は、基準の位置を原点とした相対的な位置である。

次に、操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知したかの判定を行う（ステップＳ５０４）。具体的には、操作検知部１０４は、センサ等から検知した操作の情報を得て、情報処理装置１００に対するユーザ操作を検知したかの判定を行う。

ステップＳ５０４にて、情報処理装置１００に対するユーザ操作を検知したと判定された場合、設定部１１０は、描画開始位置として光源の平面位置および深度位置を設定する（ステップＳ５０６）。具体的には、設定部１１０は、操作検知部１０４により検知された操作位置に対応する画像上の平面位置を光源の軌道の開始位置として設定し、動き検知部１０６により検知された情報処理装置１００の動きにおける前述の基準の位置からの位置の変化量に応じて深度位置を設定する。

ステップＳ５０４にて、情報処理装置１００に対するユーザ操作を検知しなかったと判定された場合、情報処理装置１００は、操作が検知されるまで待機する。

光源が設定された後、操作検知部１０４は、情報処理装置１００に対する操作を検知したかの判定を行う（ステップＳ５０８）。具体的には、操作検知部１０４は、センサ等から検知した操作の情報を得て、ステップＳ５０４で検知された操作に続いて行われる操作を検知したかの判定を行う。

ステップＳ５０８にて、情報処理装置１００に対するユーザ操作位置の変化を検知したと判定された場合、動き検知部１０６は、情報処理装置１００の動きを検知したかの判定を行う（ステップＳ５１０）。具体的には、動き検知部１０６は、センサ等から位置の変化の情報を得て、情報処理装置１００の位置の変化を検知したかの判定を行う。

ステップＳ５１０にて、情報処理装置１００の動きを検知したと判定された場合、設定部１１０は、情報処理装置１００の動きに基づいて深度位置を変更する（ステップＳ５１２）。具体的には、設定部１１０は、動き検知部１０６の検知した位置の変化の各々における変化量に応じて直前の深度を変化させて得られる深度を深度位置として変更する。

ステップＳ５１０にて、情報処理装置１００の動きを検知しなかったと判定された場合、ステップＳ５１４に処理が進められる。

次に、操作検知部１０４は、情報処理装置１００に対する操作の変化を検知したかの判定を行う（ステップＳ５１４）。具体的には、操作検知部１０４は、センサ等から検知した操作の変化の情報を得て、ステップＳ５０４で検知された操作に続いて行われる操作を検知したかの判定を行う。

ステップＳ５１４にて、情報処理装置１００に対するユーザ操作位置の変化を検知したと判定された場合、設定部１１０は、情報処理装置１００に対するユーザ操作位置の変化に基づいて平面位置を変更する（ステップＳ５１６）。具体的には、設定部１１０は、操作検知部１０４により検知された操作位置に対応する画像上の平面位置に設定を変更する。

ステップＳ５１４にて、情報処理装置１００に対するユーザ操作位置の変化を検知しなかったと判定された場合、ステップＳ５０８に処理が戻される。

次に、表示制御部１１４は、設定部１１０により変更された平面位置および深度位置の変化を示す光源の軌道を画像に重畳する（ステップＳ５１８）。具体的には、表示制御部１１４は、画像に重畳している光源の軌道に対し、直前に設定された平面位置および深度位置から、設定部１１０により変更された平面位置および深度位置への光源の移動の軌道を追加し、画像に重畳する。

次に、表示部１１６は、表示制御部１１４により光源の軌道が重畳された画像を表示する（ステップＳ５２０）。画像の表示が行われた後、ステップＳ５１０に処理が戻される。

ステップＳ５０８にて、情報処理装置１００に対するユーザ操作を検知しなかったと判定された場合、ライトペインティングの処理が終了される。

このように、情報処理装置１００は、情報処理装置１００に対するユーザ操作および情報処理装置１００の移動を検知し、検知した操作に基づいて画像の平面位置を設定し、検知した移動に基づいて画像の深度位置を設定する。そして、設定された平面位置および深度位置の変化を示す光源の軌道を画像に重畳する。このため、ユーザの視野の範囲内で行われる情報処理装置１００に対するユーザ操作に基づいて光源の軌道に係る平面位置を設定することにより、ユーザは光源の軌道を確認しながら描画することが可能となる。

［５−５．ライトペインティングの時間変化の例］
本実施形態に係る情報処理装置１００のライトペインティングは、画像に重畳される光源の軌道が時間的に変化してもよい。具体的には、設定部１１０は、平面位置および深度位置の設定を時間的に変化させ、表示制御部１１４は、設定部１１０により設定される平面位置および深度位置の変化に従って、画像に重畳させる光源の軌道を変化させる。

より具体的には、設定部１１０は、情報処理装置１００に対するユーザ操作に基づいて設定される平面位置、および情報処理装置１００の移動に基づいて設定される深度位置を記憶させておき、記憶された平面位置および深度位置を時間的に順次読み出して設定する。そして、表示制御部１１４は、設定部１１０により時間的に順次設定される平面位置および深度位置の変化に従って光源の軌道を順次変化させて画像に重畳する。

このように、情報処理装置１００は、検知した情報処理装置１００に対するユーザ操作および情報処理装置１００の移動に基づいて、設定される平面位置および深度位置の各々を記憶する。そして、情報処理装置１００は、記憶された平面位置および深度位置の各々を時間的に順次読み出して設定し、順次設定される平面位置および深度位置の変化に従って重畳する光源の軌道を変化させる。このため、記憶された平面位置および深度位置が時間的に順次読み出されて設定されることにより、画像に重畳される光源の軌道が時間的に変化する動画を生成することが可能となる。

［５−６．ライトペインティングの自動処理の例］
本実施形態に係る情報処理装置１００のライトペインティングは、プログラムにより自動的に行われてもよい。具体的には、情報処理装置１００は、プログラムに基づいて平面位置および深度位置の設定を行い、設定される平面位置および深度位置の変化を示す光源の軌道を画像に重畳する。より具体的には、設定部１１０は、記憶部１１２に記憶されるプログラムに基づいて、設定する平面位置および深度位置を変化させ、表示制御部１１４は、設定部１１０の設定する平面位置および深度位置の変化が示す光源の軌道を画像に重畳する。

このように、情報処理装置１００は、プログラムに基づいて平面位置および深度位置の設定を変化させ、設定される平面位置および深度位置の変化を示す光源の軌道を画像に重畳させる。このため、プログラムにより平面位置および深度位置が設定されることにより、一定の規則に従った光源の軌道を精密に画像に重畳することが可能となる。

＜６．セグメンテーション＞
［６−１．背景］
近年、画像から当該画像の部分を切り出すための電子機器またはアプリケーションが提案されている。

しかし、一般的に、奥行感のある画像の編集は、画像の奥行方向を考慮しない二次元的な編集に比べて多くの複雑な操作を要し、その結果、編集作業が煩雑となり、編集に時間がかかることが多い。

そこで、深度情報を有する画像から所望の奥行きにある画像の部分を直観的に切り出すことが可能な情報処理装置および情報処理方法を以下に提案する。

［６−２．セグメンテーションの概要］
まず、本開示の実施形態に係る情報処理装置１００におけるセグメンテーションの概要について説明する。

情報処理装置１００におけるセグメンテーションとは、情報処理装置１００の移動に応じて定まる画像の深度区分に該当する画像の部分を切り出すことである。

具体的には、セグメンテーションにおいては、検知された情報処理装置１００の位置の変化における位置の変化量に対応する深度の部分を切り出し対象の深度区分として設定し、設定される深度区分に該当する画像の部分を切り出す。例えば、ユーザが情報処理装置１００を奥行方向、すなわち図１に示されるＺ軸方向に移動させると、移動距離に応じて切り出し対象の深度の部分が変化し、当該深度の部分が深度区分として設定され、深度区分に該当する画像の部分が切り出される。

このように、情報処理装置１００におけるセグメンテーションは、情報処理装置１００の移動を検知し、移動量に応じて切り出し対象の深度の部分である深度区分を設定し、設定された深度区分に該当する画像の部分を切り出す。

［６−３．セグメンテーションの詳細］
上記のセグメンテーションの処理を実現するための情報処理装置１００の各機能の動作について説明する。

セグメンテーションは、動き検知部１０６、設定部１１０、表示制御部１１４、および表示部１１６の動作によって実現される。

動き検知部１０６は、情報処理装置１００の移動を検知する。検知結果は、設定部１１０に伝達される。

設定部１１０は、動き検知部１０６の検知結果に基づいて切り出す画像の深度区分を設定する。具体的には、設定部１１０は、検知された情報処理装置１００の位置の変化における位置の変化量に対応する深度の部分を深度区分として設定する。

表示制御部１１４は、設定部１１０により設定された深度区分に該当する画像の部分を切り出す。具体的には、表示制御部１１４は、設定部１１０により設定された深度区分に該当する深度を有する画像の部分を切り出す。

表示部１１６は、表示制御部１１４により切り出された画像の部分を表示する。

次に、図１４を参照して、セグメンテーションを具体的に説明する。図１４は、本開示の実施形態に係る情報処理装置１００のセグメンテーションの例を説明するための図である。

図１４の上部には、図１で示した情報処理装置１００のＺ軸方向の動きを示した概念図が示されている。また、図１４の下部には、情報処理装置１００の表示部１１６に表示される画像が示されている。

図１４は、被写体として３人の人物が奥行方向に並んで写された画像２００を示している。以下、画像２００の一部が情報処理装置１００の動きによって切り出される例を説明する。

まず、ユーザ２０が、情報処理装置１００をＺ軸方向のＤ２の位置に移動させると、動き検知部１０６は、情報処理装置１００のＺ軸の正方向の移動を検知する。次に、設定部１１０は、動き検知部１０６から得たＺ軸の正方向の移動によるＯからＤ４までの移動量に対応する深度の部分を深度区分として設定する。そして、表示制御部１１４は、設定部１１０により設定される深度区分に該当する深度を有する画像２００の部分を選択状態にする。その結果、情報処理装置１００のＺ軸の正方向の移動に応じて、図１４の中左図に示すように画像２００の手前の人物が選択状態にされる。

次に、ユーザ２０が、情報処理装置１００をＺ軸方向のＤ２からＤ３の位置に移動させると、動き検知部１０６は、情報処理装置１００のＺ軸の正方向の移動を検知する。次に、設定部１１０は、動き検知部１０６から得たＺ軸の正方向の移動に基づいて移動後の位置Ｄ３を算出し、算出された位置Ｄ３に対応する深度の部分の集合を深度区分として設定する。そして、表示制御部１１４は、設定部１１０により設定される深度区分に該当する深度を有する画像２００の部分を選択状態にする。その結果、情報処理装置１００のさらなるＺ軸の正方向の移動に応じて、図１４の中右図に示すように画像２００の手前の人物および奥行方向に次に並ぶ人物が選択状態にされる。

次に、ユーザ２０が、情報処理装置１００に対して入力操作等を行い、切り出す画像２００の部分を決定すると、操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知する。操作検知部１０４により操作が検知されると、表示制御部１１４は、選択状態の画像２００の部分を切り出し、切り出した画像２００の部分のみを表示させる。その結果、情報処理装置１００に対するユーザ操作に応じて、図１４の右図に示すように、選択状態であった画像２００の手前の人物および奥行方向に次に並ぶ人物のみが切り出されて表示される。

［６−４．セグメンテーションの処理］
次に、図１５を参照して、本開示の実施形態における情報処理装置１００のセグメンテーションの処理について説明する。図１５は、本開示の実施形態における情報処理装置１００のセグメンテーションの処理を概念的に示すフローチャートである。

まず、設定部１１０は、深度区分の設定を初期化する（ステップＳ６０２）。

次に、動き検知部１０６は、情報処理装置１００の移動を検知したかの判定を行う（ステップＳ６０４）。具体的には、動き検知部１０６は、センサ等から位置の変化の情報を得て、情報処理装置１００の位置の変化を検知したかの判定を行う。

ステップＳ６０４にて、情報処理装置１００の移動を検知したと判定された場合、設定部１１０は、情報処理装置１００の移動によって定まる深度区分を設定する（ステップＳ６０６）。具体的には、設定部１１０は、動き検知部１０６の検知した位置の変化における位置の変化量に対応する深度の部分を深度区分として設定する。

次に、表示制御部１１４は、設定部１１０により設定された深度区分に該当する画像の部分を選択状態にする（ステップＳ６０８）。具体的には、表示制御部１１４は、設定された深度区分に含まれる深度を有する画像の部分を選択状態にする。

次に、表示部１１６は、表示制御部１１４により画像の部分が選択状態にされた画像を表示する（ステップＳ６１０）。表示部１１６により画像が表示された後、ステップＳ６０４に処理が戻される。

ステップＳ６０４にて、情報処理装置１００の移動を検知したと判定された場合、表示制御部１１４は、選択状態とされている画像の部分、すなわち設定された深度区分に該当する画像の部分を切り出す（ステップＳ６１２）。具体的には、表示制御部１１４は、設定された深度区分に含まれる深度を有する画像の部分を切り出す。

次に、表示部１１６は、表示制御部１１４により切り出された画像の部分のみを表示する（ステップＳ６１４）。

このように、情報処理装置１００は、情報処理装置１００の移動を検知し、検知された移動に基づいて切り出し対象の画像の深度区分を設定し、深度区分に該当する画像の部分を切り出す。このため、切り出し対象の画像の深度区分を情報処理装置１００の移動で設定することにより、ユーザは直観的に画像の深度に応じた画像の部分の切り出しが可能となる。

［６−５．ポップアウトフォトグラフィの例］
本実施形態に係る情報処理装置１００は、セグメンテーションを利用して、いわゆるポップアウトフォトグラフィを行ってもよい。具体的には、情報処理装置１００は、情報処理装置１００の移動に基づいて切り出し対象の深度区分を設定することに加え、情報処理装置１００に対するユーザ操作および情報処理装置１００の向きの変化に基づいて、設定される深度区分に該当しない画像の部分を切り出し対象として設定する。

より具体的には、設定部１１０は、情報処理装置１００の移動に基づいて深度区分を設定し、情報処理装置１００に対するユーザ操作および情報処理装置１００の向きの変化に基づいて画像の部分を設定する。そして、表示制御部１１４は、設定される深度区分に該当する画像の部分および設定される画像の部分を切り出す。詳細については、図１６を参照して、ポップアウトフォトグラフィの例を用いて説明する。図１６は、本開示の実施形態に係る情報処理装置１００のポップアウトフォトグラフィの例を説明するための図である。

図１６の上段には、図１で示した情報処理装置１００のＺ軸方向の動きを示した概念図が示されている。また、図１６の中段には、情報処理装置１００に対するユーザ操作が示されている。また、図１６の下段には、情報処理装置１００の向きの変化、すなわち図１で示した情報処理装置１００のＹ軸を中心とした回転の動きを示した概念図が示されている。

図１６は、被写体として人物、家屋、および山が写された画像２００を示している。以下、画像２００の一部が情報処理装置１００の動きおよび情報処理装置１００に対するユーザ操作によって切り出される例を説明する。

まず、ユーザ２０が、情報処理装置１００をＺ軸方向のＤ４の位置に移動させると、動き検知部１０６は、情報処理装置１００のＺ軸の正方向の移動を検知する。次に、設定部１１０は、動き検知部１０６から得たＺ軸の正方向の移動によるＯからＤ４までの移動量対応する深度の部分を深度区分として設定する。そして、表示制御部１１４は、設定部１１０により設定された深度区分に該当する深度を有する画像２００の部分を選択状態にする。その結果、情報処理装置１００のＺ軸の正方向の移動に応じて、図１６の中左図に示すように画像２００の人物が選択状態にされる。

次に、ユーザ２０が、タッチパネルに対して、タッチ操作をした後、タッチ位置から斜めにドラッグ操作を行うと、操作検知部１０４は、情報処理装置１００のタッチ操作およびドラッグ操作を検知する。次に、設定部１１０は、操作検知部１０４から得たタッチ操作およびドラッグ操作に基づいて、タッチ位置からドラッグ操作中のタッチ位置またはドラッグ操作終了位置までを対角線とした矩形を算出し、算出した矩形の画像２００の部分を切り出し対象として設定する。そして、表示制御部１１４は、設定部１１０により設定された深度区分に該当する深度を有する画像２００の部分の選択状態を維持したまま、設定された画像２００の部分を選択状態にする。その結果、情報処理装置１００のタッチ操作およびドラッグ操作に応じて、図１６の中図に示すように、画像２００の人物に加え、家屋の一部を含む背景が選択状態にされる。

次に、ユーザ２０が、情報処理装置１００を右奥方向に傾斜させると、動き検知部１０６は、情報処理装置１００のＹ軸を中心とする反時計回りの向きの変化を検知する。次に、設定部１１０は、動き検知部１０６から得た向きの変化の回転方向と逆のＹ軸を中心とする時計回りの回転方向に選択状態の矩形を仮想的に傾斜させ、傾斜した形状を元の矩形に代えて切り出し対象の画像２００の部分として設定を変更する。そして、表示制御部１１４は、設定部１１０により設定された深度区分に該当する深度を有する画像２００の部分の選択状態を維持したまま、設定変更された画像２００の部分を選択状態にする。その結果、情報処理装置１００のＹ軸を中心とした反時計回りの向きの変化に応じて、図１６の中右図に示すように画像２００の人物は選択状態のまま、選択状態であった矩形が台形に変更され選択状態となる。

次に、ユーザ２０が、情報処理装置１００に対して入力操作等を行い、切り出す画像２００の部分を決定すると、これに対し、操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知する。操作検知部１０４により操作が検知されると、表示制御部１１４は、選択状態の画像２００の部分、すなわち設定された深度区分に該当する画像２００の部分および設定された画像２００の部分、を切り出し、切り出した画像２００の部分のみを表示させる。その結果、情報処理装置１００に対するユーザ操作に応じて、図１６の右図に示すように選択状態であった人物および家屋の一部を含む台形形状の画像２００の部分のみが切り出されて表示される。

続いて、図１７を参照して、本開示の実施形態における情報処理装置１００のポップアップフォトグラフィの処理について説明する。図１７は、本開示の実施形態における情報処理装置１００のポップアップフォトグラフィの処理を概念的に示すフローチャートである。

まず、設定部１１０は、深度区分および切り出し対象の画像の部分の設定を初期化する（ステップＳ７０２）。

次に、動き検知部１０６は、情報処理装置１００の移動を検知したかの判定を行う（ステップＳ７０４）。具体的には、動き検知部１０６は、センサ等から位置の変化の情報を得て、情報処理装置１００の位置の変化を検知したかの判定を行う。

ステップＳ７０４にて、情報処理装置１００の移動を検知したと判定された場合、設定部１１０は、情報処理装置１００の移動によって定まる深度区分を設定する（ステップＳ７０６）。具体的には、設定部１１０は、動き検知部１０６の検知した移動による移動量に対応する深度の部分を深度区分として設定する。

次に、表示制御部１１４は、設定部１１０により設定された深度区分に該当する画像の部分を選択状態にする（ステップＳ７０８）。具体的には、表示制御部１１４は、設定された深度区分に含まれる深度を有する画像の部分を選択状態にする。

次に、表示部１１６は、表示制御部１１４により画像の部分が選択状態にされた画像を表示する（ステップＳ７１０）。表示部１１６により画像が表示された後、ステップＳ７０４に処理が戻される。

ステップＳ７０４にて、情報処理装置１００の移動を検知しなかったと判定された場合、操作検知部１０４は、情報処理装置１００に対するユーザ操作を検知したかの判定を行う（ステップＳ７１２）。具体的には、操作検知部１０４は、センサ等から検知した操作の情報を得て、情報処理装置１００に対するユーザ操作を検知したかの判定を行う。

ステップＳ７１２にて、情報処理装置１００に対するユーザ操作を検知したと判定された場合、設定部１１０は、情報処理装置１００に対するユーザ操作に基づいて画像の矩形の部分を設定する（ステップＳ７１４）。具体的には、設定部１１０は、操作検知部１０４により検知されたタッチ位置およびドラッグ終了位置を結ぶ線を対角線とする矩形を選択対象として設定する。

ステップＳ７１２にて、情報処理装置１００に対するユーザ操作を検知しなかったと判定された場合、ステップＳ７１６に処理が進められる。

次に、動き検知部１０６は、情報処理装置１００の向きの変化を検知したかの判定を行う（ステップＳ７１６）。具体的には、動き検知部１０６は、センサ等から傾きの変化の情報を得て、情報処理装置１００の向きの変化を検知したかの判定を行う。

ステップＳ７１６にて、情報処理装置１００の向きの変化を検知したと判定された場合、設定部１１０は、情報処理装置１００の向きの変化に基づいて選択状態の画像の矩形の部分を傾斜させる（ステップＳ７１８）。具体的には、設定部１１０は、動き検知部１０６により検知された向きの変化の回転方向と逆の回転方向に選択状態の矩形を仮想的に傾斜させ、傾斜した形状を元の矩形に代えて切り出し対象の画像の部分として設定する。

ステップＳ７１６にて、情報処理装置１００の向きの変化を検知しなかったと判定された場合、ステップＳ７２０に処理が進められる。

次に、表示制御部１１４は、設定部１１０により設定された深度区分に該当する画像の部分および選択状態の画像の部分を切り出す（ステップＳ７２０）。具体的には、表示制御部１１４は、設定部１１０により設定された深度区分に含まれる深度を有する画像の部分および選択状態の画像の部分のいずれかに該当する画像の部分を切り出す。

次に、表示部１１６は、表示制御部１１４により切り出された画像の部分を表示する（ステップＳ７２２）。

このように、情報処理装置１００は、情報処理装置１００の移動に基づいて画像を切り出し対象の深度区分を設定し、情報処理装置の向きの変化、および情報処理装置１００に対するユーザ操作に基づいて深度区分に含まれない切り出す画像の部分を設定する。そして、情報処理装置１００は、設定された画像の部分の切り出しを行う。このため、情報処理装置１００の動きおよび情報処理装置１００に対するユーザ操作に基づいて切り出す画像の部分を設定することにより、ユーザが直観的にポップアップフォトグラフィを行うことが可能となる。

［６−６．セグメンテーションの時間変化の例］
本実施形態に係る情報処理装置１００のセグメンテーションは、切り出される画像の部分が時間的に変化してもよい。具体的には、設定部１１０は、深度区分の設定を時間的に変化させ、表示制御部１１４は、設定部１１０により設定される深度区分の変化に従って、切り出す画像を変化させる。

より具体的には、設定部１１０は、情報処理装置１００の移動に基づいて設定される深度区分を記憶させておき、記憶された深度区分を時間的に順次読み出して設定する。そして、表示制御部１１４は、設定部１１０により時間的に設定される深度区分の変化に従って画像の部分を順次切り出す。そして、表示部１１６は、表示制御部１１４により切り出される画像を順次表示する。

このように、情報処理装置１００は、情報処理装置１００の移動に基づいて、設定される深度区分の変化を記憶しておき、記憶された深度区分の各々を時間的に順次読み出して設定し、順次設定される深度区分に従って切り出す画像の部分を変化させる。このため、記憶された深度区分が時間的に順次読み出されて設定されることにより、切り出される画像の部分が時間的に変化する動画を生成することが可能となる。

［６−７．セグメンテーションの自動処理の例］
本実施形態に係る情報処理装置１００のセグメンテーションは、プログラムにより自動的に行われてもよい。具体的には、情報処理装置１００は、プログラムに基づいて切り出し対象の深度区分の設定を行い、設定される深度区分に従って画像の部分を切り出す。より具体的には、設定部１１０は、記憶部１１２に記憶されるプログラムに基づいて、設定する深度区分を変化させ、表示制御部１１４は、設定部１１０の設定する深度区分に該当する画像の部分を切り出す。

このように、情報処理装置１００は、プログラムに基づいて切り出し対象の深度区分を設定し、設定される深度区分に該当する画像の部分を切り出す。このため、プログラムにより深度区分が設定されることにより、一定の規則に従って画像の部分を精密に切り出すことが可能となる。

＜７．ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。

図１８は、本開示に係る情報処理装置１００のハードウェア構成を示した説明図である。図１８に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。

ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１００内の編集内容判定部１０８、設定部１１０、表示制御部１１４の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理装置１００内の記憶部１１２の一部を実現する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１５４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、および情報処理装置１００に備えられる操作検知部１０４および動き検知部１０６からなる検知部１０２と、ユーザによる入力、および検知部１０２からの入力に基づいて入力信号を生成し、ＣＰＵ１４２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１５４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１５６は、情報処理装置１００の表示部１１６の一例として、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置への出力を行う。さらに、出力装置１５６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。

ストレージ装置１５８は、本実施形態にかかる情報処理装置１００の記憶部１１２の一例として構成されたデータ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。

ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１６２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。

通信装置１６４は、本実施形態にかかる情報処理装置１００の出力部１１８の一例である、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１６４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜８．むすび＞
本開示の実施形態によれば、深度情報を有する画像に対して、情報処理装置１００の動きまたは操作に基づいて三次元的な編集のためのパラメータを設定することにより、直観的に三次元的な編集を施すことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）情報処理装置であって、前記情報処理装置の動きを検知する検知部と、
深度情報を有する画像について、前記検知部による検知結果に基づいて仮想的な光源の位置または向きを設定する設定部と、前記設定部により設定される仮想的な光源の位置または向き、および前記深度情報に基づいて前記画像に照明効果を施す表示制御部と、を備える情報処理装置。
（２）前記検知部は、さらに前記情報処理装置の操作を検知し、前記設定部は、前記検知部による検知結果に基づいて前記仮想的な光源の属性を設定する、前記（１）に記載の情報処理装置。
（３）前記表示制御部は、前記設定の変化に従って施す前記照明効果を変化させる、前記（１）または（２）に記載の情報処理装置。
（４）情報処理装置であって、情報処理装置の操作および前記情報処理装置の移動を検知する検知部と、各平面位置についての深度情報を有する画像について、前記情報処理装置の操作に基づいて平面位置を設定し、前記情報処理装置の移動に基づいて深度位置を設定する設定部と、前記設定部により設定される前記平面位置および前記深度位置の変化を示す軌道を前記画像に重畳する表示制御部と、を備える情報処理装置。
（５）前記深度位置は、ユーザの手の届く範囲内の前記情報処理装置の移動量に対応付けられる、前記（４）に記載の情報処理装置。
（６）前記表示制御部は、前記平面位置および前記深度位置の変化に従って、重畳する前記軌道を変化させる、前記（４）または（５）に記載の情報処理装置。
（７）前記設定部は、所定のプログラムに基づいて設定する前記平面位置および前記深度位置を変化させる、前記（４）〜（６）のいずれか１項に記載の情報処理装置。
（８）情報処理装置であって、深度情報を有する画像を表示する情報処理装置の移動を検知する検知部と、前記情報処理装置の移動に応じて定まる深度区分に該当する前記画像の部分を切り出す画像切り出し部と、を備える情報処理装置。
（９）前記検知部は、さらに前記情報処理装置の操作または向きを検知し、前記画像切り出し部は、前記検知部により検知される前記情報処理装置の操作または向きに基づいて前記画像の一部を、前記深度区分に該当する前記画像の部分とともに切り出す、前記（８）に記載の情報処理装置。
（１０）前記画像切り出し部は、前記深度区分に該当する前記画像の部分の変化に従って、切り出す画像の部分を変化させる、前記（８）または（９）に記載の情報処理装置。
（１１）前記画像切り出し部は、所定のプログラムに基づいて切り出す前記画像の部分を変化させる、前記（８）〜（１０）のいずれか１項に記載の情報処理装置。

１０、１２ 仮想的な光源
１００ 情報処理装置
１０２ 検知部
１０４ 操作検知部
１０６ 動き検知部
１１０ 設定部
１１４ 表示制御部
２００ 画像

Claims (11)

1. 情報処理装置であって、
   前記情報処理装置の動きを検知する検知部と、
   深度情報を有する画像について、前記検知部による検知結果に基づいて仮想的な光源の位置または向きを設定する設定部と、
   前記設定部により設定される仮想的な光源の位置または向き、および前記深度情報に基づいて前記画像に照明効果を施す表示制御部と、
   を備える情報処理装置。
2. 前記検知部は、さらに前記情報処理装置の操作を検知し、
   前記設定部は、前記検知部による検知結果に基づいて前記仮想的な光源の属性を設定する、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記設定の変化に従って施す前記照明効果を変化させる、
   請求項２に記載の情報処理装置。
4. 情報処理装置であって、
   情報処理装置の操作および前記情報処理装置の移動を検知する検知部と、
   各平面位置についての深度情報を有する画像について、前記情報処理装置の操作に基づいて平面位置を設定し、前記情報処理装置の移動に基づいて深度位置を設定する設定部と、
   前記設定部により設定される前記平面位置および前記深度位置の変化を示す軌道を前記画像に重畳する表示制御部と、
   を備える情報処理装置。
5. 前記深度位置は、ユーザの手の届く範囲内の前記情報処理装置の移動量に対応付けられる、
   請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記平面位置および前記深度位置の変化に従って、重畳する前記軌道を変化させる、
   請求項５に記載の情報処理装置。
7. 前記設定部は、所定のプログラムに基づいて設定する前記平面位置および前記深度位置を変化させる、
   請求項６に記載の情報処理装置。
8. 情報処理装置であって、
   深度情報を有する画像を表示する情報処理装置の移動を検知する検知部と、
   前記情報処理装置の移動に応じて定まる深度区分に該当する前記画像の部分を切り出す画像切り出し部と、
   を備える情報処理装置。
9. 前記検知部は、さらに前記情報処理装置の操作または向きを検知し、
   前記画像切り出し部は、前記検知部により検知される前記情報処理装置の操作または向きに基づいて前記画像の一部を、前記深度区分に該当する前記画像の部分とともに切り出す、
   請求項８に記載の情報処理装置。
10. 前記画像切り出し部は、前記深度区分に該当する前記画像の部分の変化に従って、切り出す画像の部分を変化させる、
    請求項９に記載の情報処理装置。
11. 前記画像切り出し部は、所定のプログラムに基づいて切り出す前記画像の部分を変化させる、
    請求項１０に記載の情報処理装置。
    

Images