JP2012120080A - 立体写真撮影装置 - Google Patents

Abstract

【課題】本発明は、プリクラ（登録商標）販売装置に代表される写真撮影装置において、３Ｄ写真を出力することに加え、撮影した３Ｄ写真に対して立体写真ならではの画像加工を施すことができる新規な立体写真撮影装置を提供することを目的とする。
【解決手段】本発明の立体写真撮影装置は、ステレオカメラによって取得された実写のステレオ画像の各画素のＸＹ座標値およびＲＧＢ値とステレオ視計測によって算出された奥行値とを紐づけた３Ｄデータを生成し、当該３Ｄデータに基づいて多視点ステレオ画像を再構築して印刷出力する。本発明の立体写真撮影装置においては、奥行値のヒストグラムに基づく分割統合法によって高速・高精度に領域分割を実行することができ、さらに、指定された画素領域の奥行値に対して、オフセット量を均一に加算または減算することによってその領域の奥行き感を変更することができる。
【選択図】図２

Description

本発明は、立体写真撮影装置に関し、より詳細には、興趣の高い画像加工が可能な立体写真撮影装置に関する。

従来、ゲームセンターに代表されるアミューズメント施設などにプリクラ（登録商標）と呼ばれるプリントシールを販売する写真撮影ブースが設置されており、特に、若年層の女性に人気を博している。一般に、プリクラ（登録商標）販売装置は、撮影した写真を単に印刷出力するだけでなく、ディスプレイに映し出されるプレビューを見ながら、写真に手書きの落書きを追加したり、好きな背景フレームやスタンプツールを合成したり、写真に各種フォトレタッチ（例えば、肌の質感をなめらかにするなど）を施したりすることができるように構成されている。特開２００１−１０３４０４号公報（特許文献１）は、撮影された被写体の写真に上書き画像を印刷することによって多様な写真を楽しむことができる写真自販機を開示する。

一方で、近年の３Ｄ映画や３Ｄテレビの台頭によって、画像の３Ｄ表現がトレンドになってきており、３Ｄ写真を撮影可能なデジタルステレオカメラが市場に提供されている。一般に、ステレオデジタルカメラで撮影された３Ｄ写真は、写真の印刷面にレンチキュラーレンズが一体化され、ユーザは、撮影した画像を裸眼で立体視することができる。特開２００６−１１５３号公報（特許文献２）および特開２０１０−４４２１３号公報（特許文献３）は、そのようなレンチキュラー式印刷物を開示する。

特開２００１−１０３４０４号公報 特開２００６−１１５３号公報 特開２０１０−４４２１３号公報

本発明は、上記従来技術に鑑みてなされたものであり、本発明は、プリクラ（登録商標）販売装置に代表される写真撮影装置において、３Ｄ写真を出力することに加え、撮影した３Ｄ写真に対して立体写真ならではの画像加工を施すことができる新規な立体写真撮影装置を提供することを目的とする。

本発明者らは、３Ｄ写真を出力することに加え、撮影した３Ｄ写真に対して立体写真ならではの画像加工を施すことができる新規な立体写真撮影装置につき鋭意検討した結果、単一視点のステレオ画像から被写体の奥行値情報を算出し、当該奥行値情報に基づいて多視点のステレオ画像を再構築する写真撮影装置の構成に想到した。さらに、指定した画素領域の奥行値を補正することによって、従来にない興趣の高い写真表現が実現されることを見出し、本発明に至ったのである。

すなわち、本発明によれば、ステレオカメラと、該ステレオカメラによって取得されたステレオ画像に基づいて多視点のステレオ画像を形成する３Ｄ画像形成装置と、前記多視点ステレオ画像を表示するためのディスプレイと、前記多視点ステレオ画像を立体写真として印刷する印刷装置とを含む立体写真撮影装置であって、前記３Ｄ画像形成装置は、前記ステレオカメラによって取得されたステレオ画像の各画素のＸＹ座標値およびＲＧＢ値と奥行値とを紐づけた３Ｄデータを生成する３Ｄデータ生成部と、前記３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を描画するレンダリング部と、前記３Ｄデータを補正することによって前記多視点ステレオ画像を加工する３Ｄデータ加工部とを含む立体写真撮影装置が提供される。

また、本発明によれば、上記立体写真撮影装置において、実写のステレオ画像を加工する方法であって、前記奥行値のヒストグラムに基づく分割統合法によって領域分割を実行するステップを含むことを特徴とする方法が提供される。本発明の方法は、さらに、前記ステレオ画像の指定された画素領域の前記奥行値に対して、オフセット量を均一に加算または減算することによって前記指定された画素領域の奥行き感を変更するステップ、前記ステレオ画像の指定された画素領域の前記３Ｄデータに含まれるＸ座標値と奥行値について均等な尺度で拡大処理または縮小処理を実施するステップ、前記ステレオ画像の指定された画素領域の奥行きが反転するように前記奥行値を補正することによって、前記指定された画素領域について逆遠近錯視を演出するステップを含むことができる。さらに、本発明によれば、上記方法の各ステップをコンピュータに実行させるためのコンピュータ実行可能なプログラムが提供される。

上述したように、本発明によれば、プリクラ（登録商標）販売装置に代表される写真撮影装置において、３Ｄ写真を出力することに加え、撮影した３Ｄ写真に対して立体写真ならではの画像加工を施すことができる新規な立体写真撮影装置が提供される。本発明によれば、従来にない興趣の高い写真表現によってユーザの興味を引きつけることができる。

本実施形態の立体写真撮影装置の外観図。 本実施形態の立体写真撮影装置に搭載される３Ｄ画像形成装置の機能ブロック図。 本発明の３Ｄデータの概念図。 ステレオ視計測の基本原理を説明するための概念図。 ステレオマッチングを説明するための概念図。 本実施形態の立体写真撮影装置が実行する処理のフローチャート。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。 本実施形態の立体写真撮影装置における画像加工を説明するための概念図。

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

以下、本発明の立体写真撮影装置をゲームセンターなどのアミューズメント施設に多く設置されるプリクラ（登録商標）販売装置に適用した例に基づいて説明する。図１は、本発明の実施形態である立体写真撮影装置１０の外観図を示す。本実施形態の立体写真撮影装置１０は、被写体のステレオ画像を撮影するための少なくとも１台のステレオカメラを備えている。図１に示す例においては、立体写真撮影装置１０は、被写体を上から撮影するためのステレオカメラ１２ａと正面から撮影するためのステレオカメラ１２ｂを備えている。さらに、立体写真撮影装置１０は、タッチパネル式のディスプレイ１３と、各種操作ボタンが配置された操作パネル１４とに加えて、図示しない室内照明やストロボライトなどを含んで構成されている。

立体写真撮影装置１０を利用するユーザがカーテンで仕切られた撮影ブース１１の中に入り、料金投入口１８に所定の料金を投入すると、ディスプレイ１３に写真の撮影方法をはじめとする所定の案内が表示される。表示された案内に従い、ユーザが操作パネル１４に配置された図示しないシャッターボタンを押すと、撮影された立体写真のプレビューがディスプレイ１３に表示される。なお、本実施形態におけるディスプレイ１３は、レンチキュラー式３Ｄディスプレイとして構成されており、ユーザは、撮影された立体写真を裸眼で立体視することができる。

さらに、本実施形態の立体写真撮影装置１０は、従来のプリクラ（登録商標）販売装置と同様、備え付けのタッチペン１５などを使用して、ディスプレイ１３に映し出される立体写真のプレビューを見ながら、写真に手書きの落書きを追加したり、好きな背景フレームやスタンプツールを合成したり、写真に各種フォトレタッチを施したりすることができるように構成されている。一方、本実施形態の立体写真撮影装置１０は、上述した従来の画像加工に加えて、立体写真ならではの画像加工を行うことができ、興趣の高い写真遊びをユーザに提供することができる。この点については後に詳説する。

全ての画像加工が終了し、ユーザが操作パネル１４に配置された図示しない印刷実行ボタンを押すと、これに応答して、３Ｄ写真がプリントシールに印刷されて、排出口１９から排出される。以上、本実施形態の立体写真撮影装置１０について概略的に説明してきたが、次に、立体写真撮影装置１０に搭載される３Ｄ画像形成装置について説明する。

図２は、本実施形態の立体写真撮影装置１０に搭載される３Ｄ画像形成装置１００の機能ブロック図を示す。ステレオカメラ１２は、平行等位に設置される主カメラ１２ｍおよび副カメラ１２ｓを備えている。なお、主カメラ１２ｍおよび副カメラ１２ｓは、デジタル画像を高解像度で撮像可能な３ＣＣＤカメラとすることが好ましい。主カメラ１２ｍによって撮像された主画像および副カメラ１２ｓによって撮像された副画像は、それぞれ３Ｄ画像形成装置１００に転送されて処理される。

３Ｄ画像形成装置１００は、３Ｄデータ生成部１０２、３Ｄデータ格納部１０４、３Ｄデータ加工部１０５、レンダリング部１０６、プレビュー表示部１０８、プリンタドライバ１０９を含んで構成されている。３Ｄデータ生成部１０２は、ステレオカメラ１２から転送される２つの画像データ（主画像・副画像）に基づいて３Ｄデータを生成するための機能部である。以下、本発明における「３Ｄデータ」の生成処理について説明する。

ステレオカメラ１２の各カメラが取得する２Ｄ画像データは、画素のＸＹ座標値（ｘ,ｙ）とＲＧＢ値（ｃ）からなる画素データ（ｘ,ｙ,ｃ）の集合体である。本発明においては、図３に示すように、ステレオカメラ１２の主カメラ１２ｍが取得する主画像の各画素に写り込んだ被写体とカメラとの離間距離を当該画素の奥行値（ｚ）として定義し、主画像の各画素の画素データ（ｘ,ｙ,ｃ）と奥行値（ｚ）を紐付けた情報を３Ｄデータ（ｘ,ｙ,ｃ,ｚ）として定義する。本実施形態における３Ｄデータ生成部１０２は、奥行値算出部１０３を含んで構成され、奥行値算出部１０３は、ステレオカメラ１２から転送される２つの画像データ（主画像・副画像）からステレオ視計測の原理を利用して各画素の奥行値（ｚ）を算出する。

図４は、ステレオ視計測の基本原理を説明するための概念図である。図４においては、実空間上の座標系（ワールド座標系）の３次元座標（x,y,z)に対して、主カメラ画像上の２次元座標(i,h)および副カメラ画像上の２次元座標(j,h)が定義されており、カメラをピンホールカメラとしてモデル化したうえで、主カメラの焦点をＰ、副カメラの焦点をＰ’、両カメラの焦点間の距離（基線長）をb、焦点からスクリーン（各カメラ画像）までの距離（焦点距離）をｆとして示している。なお、焦点距離ｆは、カメラをピンホールカメラとしてモデル化した場合に適切な値となるように、事前のカメラ校正で求めておく。

ここで、図４（ａ）に示すように、被写体上の任意の点Ａの主カメラ画像上の投影点をＭ，点Ａの副カメラ画像上の投影点をＳとし、副カメラの焦点Ｐ’および副カメラ画像をｘ軸方向に平行移動して、主カメラの焦点Ｐおよび主カメラ画像に完全に重ねると、図４（ｂ）に示す位置関係が得られる。ここで、ステレオ視計測における視差は、主カメラ画像上の投影点Ｍ(i,h)と副カメラ画像上の投影点Ｓ(j,h)の離間距離（i-j)として求めることができる。ここで、図４（ｂ）に示す三角形ＰＡＡ’と三角形ＰＳＭは相似の関係にあるので、下記式（１）が成立する。

上記式（１）を変形すると、下記式（２）が得られる。

上記式（２）から、視差（i-j)を求めることによって、被写体上の任意の点Ａとカメラとの離間距離ｚ（これが本発明における奥行値に相当する）を導出できることが理解されるであろう。ここで、投影点Ｍは主カメラ１２ｍによって取得されるデジタル画像の画素Ｍに、投影点Ｓは副カメラ１２ｓによって取得されるデジタル画像の画素Ｓにそれぞれ置き換えることができるので、視差（i-j)の算出処理は、実質的に、画素Ｍおよび画素Ｓの座標値の組み合わせを求める処理であると言える。

図５（ａ）は、被写体の主カメラ画像および副カメラ画像を示す。ステレオカメラ１２において、主カメラ１２ｍおよび副カメラ１２ｓは平行等位に配置されているので、主カメラ画像上の画素（以下、主画素という）に対応する副カメラ画像上の画素（以下、副画素という）は、同じ高さの走査線上に存在するはずである。したがって、本実施形態における奥行値算出部１０３は、図５（ｂ）（ｃ）に示すように、同じ高さの（すなわち、ｈ座標値が等しい）走査線上の２つの画素群についてステレオマッチングを実行することによって、被写体上の任意の点に対応する主カメラ画像上の画素Ｍおよび副カメラ画像上の画素Ｓの正しい組み合わせを取得する。本実施形態におけるステレオマッチング処理は、既知の適切な手法を用いて行なうことができるが、本出願人が先に出願した特願２０１０−２１３２０９号が開示する最適化されたＤＰマッチングの手法を適用して行うことが最も好ましい。

本実施形態における奥行値算出部１０３は、ステレオマッチングによって得られた画素Ｍおよび画素Ｓの座標値から視差（i-j)を計算し、当該視差に基づいて画素Ｍについて奥行値（ｚ）を算出する。３Ｄデータ生成部１０２は、各主画素の画素データ（ｘ,ｙ,ｃ）と奥行値（ｚ）を紐付けることによって３Ｄデータ（ｘ,ｙ,ｃ,ｚ）を生成する。以上、本実施形態における３Ｄデータ生成部１０２が実行する処理について説明してきたが、続いて、３Ｄ画像形成装置１００のその余の機能手段が実行する処理について、図６に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図２を参照するものとする。

まず、ステレオカメラ１２によって撮影された被写体のステレオ画像に基づいて３Ｄデータ生成部１０２が３Ｄデータを生成する（ステップ１０１）。ここで、生成された３Ｄデータは、３Ｄデータ格納部１０４に一時的に保存される。次に、保存された３Ｄデータに基づいてレンダリング部１０６がレンダリング処理を実行する（ステップ１０２）。具体的には、３Ｄデータに含まれる奥行値（ｚ）に基づいて、実空間上の座標系の被写体の３次元座標値を計算により取得した後、取得した３次元座標値に基づいて複数の仮想的な視点に対応する複数のステレオ画像を再構築する。最後に、再構築した各画像について適切なピクセル座標を割り当てることによって、１枚の多視点ステレオ画像に集約する。

プレビュー表示部１０８は、レンチキュラー式の３Ｄディスプレイ１３を制御してレンダリング部１０６が描画した多視点ステレオ画像を３Ｄ表示させる（ステップ１０３）。図７（ａ）は、ディスプレイ１３に表示されたプレビュー画像を例示する。図７（ａ）に示すプレビュー画像には、カメラに向かってＶサインをする女性の姿が映し出されている。

プレビュー表示部１０８がディスプレイ１３にプレビュー画像を３Ｄ表示させた後、レンダリング部１０６は、操作パネル１４およびタッチパネル式ディスプレイ１３の操作に応答した操作制御部１３０からの入力を待機する（ステップ１０４，１０５）。操作パネル１４の操作によって印刷の実行が選択されると（ステップ１０４、Ｙｅｓ）、これに応答して、プリンタドライバ１０９がステップ１０２で描画した多視点ステレオ画像の印刷データを生成し、レンチキュラー印刷装置１２０に出力する。レンチキュラー印刷装置１２０は、入力された印刷データをプリントシールとして構成されるレンチキュラーシートに印刷出力した後（ステップ１０８）、処理を終了する。なお、レンチキュラー印刷装置１２０は、印刷データをプリントシールに印刷した後に当該印刷面にレンチキュラーシートを貼り合わせて出力するものであってもよい。

一方、操作パネル１４の操作によって画像加工の実行が選択されると（ステップ１０５、Ｙｅｓ）、これに応答して、３Ｄデータ加工部１０５が３Ｄデータの奥行値に基づいた領域分割処理を実施する（ステップ１０６）。一般に、２Ｄデジタル画像の領域分割は、ＲＧＢ値から得られる濃度ヒストグラムの解析に基づいて分割統合法によって行われるが、画像が複雑になるにつれ、単峰性の判断が困難になるため、高速・高精度に領域分割することは容易なことではない。この点、本実施形態においては、画素毎の色情報ではなく、画素毎の奥行情報を使用することによって、高速・高精度の領域分割を実現する。この点につき、図７に示す３Ｄ画像を例にとって説明する。

図７（ａ）に示される３Ｄ画像に注目すると、女性の「Ｖサインをする左手」の位置はカメラから見て最も手前にあり、この「左手」の位置よりもさらに奥に女性の顔や胴体部分があり、さらにその奥に撮影ブースの背景があることが見て取れる。被写体におけるこのような奥行きの分布は、本実施形態における３Ｄデータの奥行値の分布に反映される。そこで、本実施形態における３Ｄデータ加工部１０５は、従来の濃度ヒストグラムの代わりに、３Ｄデータの奥行値のヒストグラムを作成し、この「奥行値ヒストグラム」に基づいて分割統合法による領域分割処理を実施する。多くの場合、奥行値ヒストグラムは、濃度ヒストグラムに比べて格段に単純な形状になるため、簡易なアルゴリズムによって高精度に単峰性を判断することができ、その結果、デジタル画像を高速・高精度に領域分割することが可能となる。図７（ａ）に示す例においては、適切な分割条件ならびに統合条件を設定することによって、女性の「Ｖサインをする左手」を構成する画素領域をその他の領域から高精度に分割できる。

ステップ１０６において、３Ｄ画像の領域分割が終了すると、３Ｄデータ加工部１０５は、操作パネル１４またはタッチパネル式ディスプレイ１３からの操作入力に応答して、指定された画像領域について、選択された画像加工の内容に応じて３Ｄデータを補正する（ステップ１０７）。図７（ｂ）に示す例においては、ステップ１０６で領域分割された女性の「Ｖサインをする左手」がタッチペン１５によって指定されている。これに応答して、３Ｄデータ加工部１０５は、「Ｖサインをする左手」を構成する画素領域の３Ｄデータに含まれるＲＧＢ値（ｃ）を変更する。その結果、図７（ｃ）に示すように、「Ｖサインをする左手」を構成する画素領域が彩色加工される。

ステップ１０７において、３Ｄデータの補正が終了すると、処理はステップ１０２に戻り、レンダリング部１０６が加工後の３Ｄデータに基づいて多視点ステレオ画像をレンダリングし、「Ｖサインをする左手」が彩色された女性の画像をディスプレイ１３にプレビュー画像として３Ｄ表示する（ステップ１０３）。操作パネル１４の操作によって印刷の実行が選択されると（ステップ１０４、Ｙｅｓ）、これに応答して、プリンタドライバ１０９が「Ｖサインをする左手」が彩色された女性の３Ｄ画像を印刷出力した後（ステップ１０８）、処理を終了する。

以上、説明したように、本実施形態によれば、従来の２Ｄ印刷のプリントシールに比べて格段にユーザの興趣をそそることができる３Ｄ印刷のプリントシールを販売することができる。また、本実施形態によれば、３Ｄデータの奥行値（ｚ）を利用することによって、デジタル画像の領域分割を高速・高精度に行うことができるので、実写画像（写真）に対して、領域を指定してさまざまな画像加工を行うことができる。なお、図７は、３Ｄデータに含まれるＲＧＢ値（ｃ）のみを補正する彩色加工を例示したが、本実施形態によれば、３Ｄデータの奥行値（ｚ）を補正することによって、新規な画像加工が可能になり、従来の２Ｄ印刷のプリントシールでは実現しえなかった興趣の高い表現を実現することができる。以下、本実施形態における立体写真ならではの新規な画像加工について詳細に説明する。

以下の説明は、ディスプレイ１３に表示されたプレビュー画像に基づいて行う。なお、以下に参照する各プレビュー画像は、実際のユーザには、レンチキュラーレンズを介して立体的に見えているものとして参照されたい。

（奥行値のシフト補正による飛び出し感の強調）
本実施形態によれば、３Ｄ画像について、一部の領域の飛び出し感を強調することができる。図８（ａ）に示すプレビュー画像には、カメラに向かって「左こぶし」を突き出す女性が映し出されている。図８（ａ）に示されるように、「左こぶし」は女性のその他の身体部分よりもカメラから見て手前にある。３Ｄデータ加工部１０５は、適切な統合条件を設定して「左こぶし」を構成する画素領域を他の領域から分割する。次に、ユーザがタッチペン１５によって領域分割された「左こぶし」を指定したことに応答して、３Ｄデータ加工部１０５は、「左こぶし」を構成する画素の３Ｄデータの奥行値（ｚ）からオフセット量を均一に減算する補正を行う。その結果、レンダリング部１０６が生成するステレオ画像（描画データ）の「左こぶし」に対応する画素領域の視差が増大し、「左こぶし」の飛び出し感が強調される。また、逆に、指定した領域を構成する画素の３Ｄデータの奥行値（ｚ）にオフセット量を均一に加算する補正を行うことによって、奥行き感を演出することもできる。以下の説明においては、上述した奥行値（ｚ）に対してオフセット量を均一に加算または減算して奥行き感を変更する補正を「奥行値シフト補正」というものとする。なお、本実施形態においては、操作パネル１４にスライダー１６を設けることによって、奥行値シフト補正におけるオフセット量を直感的に決定することができる。

（画像の尺度変更と奥行値のシフト補正の組み合わせによる実写画像の合成）
本実施形態によれば、３Ｄ画像について、一部の領域の尺度や奥行き感を変更することによりリアルな合成写真を生成することができる。図９（ａ）に示すプレビュー画像には、「大きく口を開けた女性」と「泣き顔の女性」が映し出されている。図９（ａ）に示す例の場合、「泣き顔の女性」は、「大きく口を開けた女性」よりもカメラから見て若干手前に立っている。３Ｄデータ加工部１０５は、適切な統合条件を設定して、全体画像を「大きく口を開けた女性」、「泣き顔の女性」および「背景」をそれぞれ構成する３つの画素領域に分割する。

次に、ユーザがタッチペン１５によって「背景」を指定してこれを削除した後、タッチペン１５によって「大きく口を開けた女性」を指定して「拡大処理」を指示するとともに、「泣き顔の女性」を指定して「縮小処理」を指示する。これに応答して、３Ｄデータ加工部１０５は、「大きく口を開けた女性」を構成する画素領域の３Ｄデータに含まれるＸＹ座標値（ｘ,ｙ）と奥行値（ｚ）を均等な尺度で拡大補正するとともに、「泣き顔の女性」を構成する画素領域の３Ｄデータに含まれるＸＹ座標値（ｘ,ｙ）と奥行値（ｚ）を均等な尺度で縮小補正する。この際、３Ｄデータ加工部１０５は、３ＤデータのＲＧＢ値（ｃ）を適切な補完方法によって補完する。

次に、ユーザがタッチペン１５を使用して、縮小された「泣き顔の女性」を拡大された「大きく口を開けた女性」の右手の領域に重ねるように移動する。これに応答して、３Ｄデータ加工部１０５は、より小さい奥行値（ｚ）を持つ３Ｄデータ（すなわち、「泣き顔の女性」を構成する３Ｄデータ）に対してレンダリングの対象とする旨のフラグを立てる。このような処理は、Ｚバッファ法と同様のアルゴリズムに則って実行することができる。レンダリング部１０６は、このフラグを参照してレンダリングを実行する。その結果、図９（ｂ）に示されるように、「泣き顔の女性」が「大きく口を開けた女性」の右手を遮る形で表示される。

続いて、ユーザがタッチペン１５で「泣き顔の女性」を指定して、視点からの距離が大きくなるように指示する。これに応答して、３Ｄデータ加工部１０５は、「泣き顔の女性」を構成する３Ｄデータの奥行値シフト補正（加算シフト）を実行する。その結果、「泣き顔の女性」を構成する３Ｄデータの奥行値（ｚ）は、「大きく口を開けた女性」の右手を構成する３Ｄデータの奥行値（ｚ）よりも大きくなるため、図９（ｃ）に示されるように、「泣き顔の女性」が「大きく口を開けた女性」の右手の裏側に隠れ、「大きな女性が右手で小さな女性を持って食べようとしている」合成写真が出来上がる。

（立体スタンプや立体文字の合成）
従来のプリクラ（登録商標）販売装置においては、帽子やリボンなどを模した「スタンプ」と呼ばれる２Ｄの絵柄を実写画像に貼り付ける加工サービスを提供していた。この点につき、本実施形態によれば、３Ｄデータによって定義される３次元ＣＧオブジェクト（３Ｄの絵柄、以下、「立体スタンプ」という）を実写画像に合成することができる。図９（ｃ）には、「角（つの）」を模した立体スタンプ２０と「天使の輪」を模した立体スタンプ２０が示されている。ユーザが、「角」を「大きく口を開けた女性」の頭の部分に移動し、「天使の輪」を「泣き顔の女性」の頭の部分に移動すると、図１０（ａ）に示すように、「角」および「天使の輪」は、それぞれ、「大きく口を開けた女性」および「泣き顔の女性」を遮る形で表示される。そこで、ユーザがタッチペン１５で「角」および「天使の輪」を指定して、視点からの距離が大きくなるように指示する。これに応答して、３Ｄデータ加工部１０５は、「角」および「天使の輪」を構成する３Ｄデータの奥行値シフト補正（加算シフト）を実行する。その結果、図１０（ｂ）に示されるように、「大きく口を開けた女性」の頭に「角」が立体的な整合性をもって合成され、「泣き顔の女性」の頭に「天使の輪」が立体的な整合性をもって合成される。

また、従来のプリクラ（登録商標）販売装置においては、手書き文字などを実写画像に合成するサービスを提供していた。この点につき、本実施形態においては、手書き文字構成する各画素に対して所定の奥行値（ｚ）を設定することによって、手書き文字を浮き出たせたり、３Ｄ表現の立体文字を貼り付けたりすることができる。図１０（ｂ）に示す例においては、「がお〜！」という立体文字が３Ｄ表示され、「キャァァ〜！」という手書き文字が３Ｄ表示される態様を示している。最後に、ユーザがタッチペン１５によって背景領域を指定して既存の背景フレームを挿入すると、図１０（ｃ）に示されるように、実写画像とＣＧ画像が組み合わされた合成写真が出来上がる。

（被写体と３Ｄ実写背景の合成）
本実施形態によれば、従来のクロマキー合成では到底実現し得ないリアルさで被写体と背景を合成することができ、被写体が３Ｄ実写背景の中に自然な形で溶け込んだような合成写真を生成することができる。図１１（ａ）に示すプレビュー画像には、「立ち姿の女性」が映し出されている。ユーザがタッチペン１５によって「背景」を指定してこれを削除すると、図１１（ｂ）に示すように、「立ち姿の女性」を構成する画素領域だけが抜き出される。一方、図１１（ｃ）は、風に舞う「桜吹雪」を写した実写背景２２を示す。実写背景２２は、現実世界の「桜吹雪」の実写ステレオ画像に基づいて生成された３Ｄデータから再構築された３Ｄ画像であり、一枚一枚の花びらを構成する画素領域は、それぞれが異なる奥行値（ｚ）を持っている。

ユーザが、図１１（ｂ）に示される「立ち姿の女性」を図１１（ｃ）に示した実写背景２２に重ね合わせると、図１２（ａ）に示すように、「立ち姿の女性」の背後に「桜吹雪」が舞っている合成写真が出来上がる。この状態から、ユーザが「立ち姿の女性」を指定して、視点からの距離が徐々に大きくなるようにスライダー１６を操作する。その結果、「立ち姿の女性」の奥行値（ｚ）は、実写背景２２の「桜吹雪」の手前の花びらの奥行値（ｚ）よりも大きくなる。その結果、図１２（ｂ）に示すように、「立ち姿の女性」の前方と背後の両方に花びらが舞っている３Ｄ画像が生成され、実際に桜吹雪の中で女性を撮影したかのようなリアルな合成写真が出来上がる。さらに、「立ち姿の女性」の奥行値シフト補正（加算シフト）を行うと、図１２（ｃ）に示すように、「立ち姿の女性」が「桜吹雪」の後方に完全に隠れたような合成写真が出来上がる。上述した３Ｄ実写背景を使用した手法によれば、さまざまな興趣の高い合成写真を作成することができるであろう。例えば、高層ビル群の３Ｄ実写背景画像と被写体を合成することによって、ビルの谷間を縫って巨大化した人間が歩いている様子を表現するリアルな合成写真をつくることもできる。

（ＸＺ軸方向の尺度変更による被写体の体型修正）
本実施形態によれば、被写体画像のＸＺ軸方向の尺度を変更することによって、被写体の体型を自然な形で修正することできる。図１３（ａ）に示すプレビュー画像には、ロングヘアーの「細身の女性」とショートヘアーの「太めの女性」が映し出されている。「細身の女性」は、カメラから見て「太めの女性」よりも若干手前に立っている。３Ｄデータ加工部１０５は、適切な統合条件を設定し、全体画像を「太めの女性」、「細身の女性」、および「背景」の３つの画素領域に分割する。図１３（ａ）に示すように、タッチペン１５で指定した「太めの女性」を構成する画素領域の３Ｄデータに含まれるＸ座標値（ｘ）と奥行値（ｚ）を均等な尺度で縮小補正する。その結果、図１１（ｂ）に示すように、「細身の女性」の体型を維持したまま、「太めの女性」の体型のみを細身に修正することができる。これまでも２Ｄ画像にゆがみフィルタを適用して被写体の体型を修正するレタッチ手法が存在したが、このような画像加工は、高度なテクニックを要することから専ら手動で行われるものであり、自然な出来映えの修正レタッチを自動化することは難しかった。この点につき、本実施形態によれば、Ｙ軸方向の尺度を維持した状態で、ＸＺ軸方向について均等な尺度変更を実施するだけで、被写体の体型を自然な形で修正することができる。なお、本実施形態においては、操作パネル１４に体型を補正するためのスライダー２３を設けることによって、ＸＺ軸方向の尺度変更の程度を直感的に設定することができる。

（奥行きを反転させることによるトリックアート）
本実施形態によれば、被写体画像の奥行きを反転させることによって、逆遠近錯視を利用したトリックアートを実現することできる。図１４（ａ）に示すプレビュー画像には、「正面を見据えた女性」が映し出されている。図１４（ａ）に示す女性を構成する画素領域の３Ｄデータは、図１４（ｂ）に概念的に示すような奥行きに対応する奥行値（ｚ）を持っている。図１４（ｃ）に示すように、ユーザがタッチペン１５を使って、「正面を見据えた女性」の「顔」を構成する画素領域を手動で指定して「逆遠近錯視トリックアート」を指示すると、これに応答して、３Ｄデータ加工部１０５は、「顔」を構成する画素領域について、元の奥行値（ｚ）を図１４（ｄ）に概念的に示すような奥行きに対応する奥行値（ｚ）に補正する。その結果、女性の顔の部分の奥行きが反転した３Ｄ画像が形成される。このように、女性の顔の部分の奥行きが反転した３Ｄ画像は、図１５に示すように、女性の顔が常にこちらの視線を追ってきているかのような錯覚をユーザに生じさせる（逆遠近錯視）。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。たとえば、本発明においては、立体写真撮影装置における出力方式として、レンチキュラー方式の代わりに、ホログラム方式を採用することもできる。この場合、レンダリング部は、３Ｄデータに基づく計算によって干渉縞データを生成し、プリンタドライバは、生成された干渉縞データを印刷データに変換してホログラム印刷装置に出力する。また、本発明の適用範囲は、プリクラ（登録商標）販売装置に限られるものではなく、その他のあらゆる形態の立体写真撮影装置に適用することができることはいうまでもない。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

なお、本発明の上記機能は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙなどのオブジェクト指向プログラミング言語、ＳＱＬなどのデータベース言語などで記述された装置実行可能なプログラムにより実現でき、装置可読な記録媒体に格納して頒布または伝送して頒布することができる。

以上、説明したように、本発明によれば、プリクラ（登録商標）販売装置に代表される写真撮影装置において、３Ｄ写真を出力することに加え、撮影した３Ｄ写真に対して立体写真ならではの画像加工を施すことができる新規な立体写真撮影装置が提供される。本発明の従来にない興趣の高い写真表現に関心が集まることによって、アミューズメント市場において新たな需要が創出されることが期待される。

１０…立体写真撮影装置
１１…撮影ブース
１２…ステレオカメラ
１３…ディスプレイ
１４…操作パネル
１５…タッチペン
１６…スライダー
１８…料金投入口
１９…排出口
２０…立体スタンプ
２２…実写背景
２３…スライダー
１００…３Ｄ画像形成装置
１０２…３Ｄデータ生成部
１０３…奥行値算出部
１０４…３Ｄデータ格納部
１０５…３Ｄデータ加工部
１０６…レンダリング部
１０８…プレビュー表示部
１０９…プリンタドライバ
１２０ レンチキュラー印刷装置
１３０…操作制御部

Claims (11)

1. ステレオカメラと、該ステレオカメラによって取得されたステレオ画像に基づいて多視点のステレオ画像を形成する３Ｄ画像形成装置と、前記多視点ステレオ画像を表示するためのディスプレイと、前記多視点ステレオ画像を立体写真として印刷する印刷装置とを含む立体写真撮影装置であって、
   前記３Ｄ画像形成装置は、
   前記ステレオカメラによって取得されたステレオ画像の各画素のＸＹ座標値およびＲＧＢ値と奥行値とを紐づけた３Ｄデータを生成する３Ｄデータ生成部と、
   前記３Ｄデータに基づいて複数の仮想的な視点に対応する複数のステレオ画像が集約してなる多視点ステレオ画像を描画するレンダリング部と、
   前記３Ｄデータを補正することによって前記多視点ステレオ画像を加工する３Ｄデータ加工部とを含む、
   立体写真撮影装置。
2. 前記３Ｄデータ生成部は、前記ステレオ画像についてステレオ視計測によって画素毎の視差を取得し、該視差に基づいて画素毎の奥行値を算出する奥行値算出部を含む、
   請求項１に記載の立体写真撮影装置。
3. 前記３Ｄデータ加工部は、前記３Ｄデータの奥行値のヒストグラムに基づく分割統合法によって領域分割を実施する、
   請求項１または２に記載の立体写真撮影装置。
4. 前記３Ｄデータ加工部は、指定された画素領域の前記奥行値に対して、オフセット量を均一に加算または減算することによって前記指定された画素領域の奥行き感を変更する、
   請求項１〜３のいずれか一項に記載の立体写真撮影装置。
5. 前記３Ｄデータ加工部は、指定された画素領域の前記３Ｄデータに含まれるＸ座標値と奥行値について均等な尺度で拡大処理または縮小処理を実施する、
   請求項１〜４のいずれか一項に記載の立体写真撮影装置。
6. 前記３Ｄデータ加工部は、指定された画素領域の奥行きが反転するように前記奥行値を補正することによって、前記指定された画素領域について逆遠近錯視を演出する、
   請求項１〜５のいずれか一項に記載の立体写真撮影装置。
7. 請求項１に記載された立体写真撮影装置において、実写のステレオ画像を加工する方法であって、前記奥行値のヒストグラムに基づく分割統合法によって領域分割を実行するステップを含むことを特徴とする方法。
8. 前記ステレオ画像の指定された画素領域の前記奥行値に対して、オフセット量を均一に加算または減算することによって前記指定された画素領域の奥行き感を変更するステップをさらに含む、請求項７に記載の方法。
9. 前記ステレオ画像の指定された画素領域の前記３Ｄデータに含まれるＸ座標値と奥行値について均等な尺度で拡大処理または縮小処理を実施するステップをさらに含む、請求項７または８に記載の方法。
10. 前記ステレオ画像の指定された画素領域の奥行きが反転するように前記奥行値を補正することによって、前記指定された画素領域について逆遠近錯視を演出するステップをさらに含む、請求項７〜９いずれか一項に記載の方法。
11. 請求項７〜１０のいずれか一項に記載された方法の各ステップをコンピュータに実行させるためのコンピュータ実行可能なプログラム。