JP6572099B2 - 撮像装置及びその制御方法、ならびにプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、ならびにプログラムに関する。

従来、同一の被写体を異なる位置から撮影して得られる複数の画像に含まれる同一特徴点の位置と、各画像を撮影したカメラの位置及び姿勢の情報とから、被写体の３次元座標を推定するシステムが知られている（特許文献１）。

また、近年、３Ｄプリンタとも呼ばれる立体物の造形装置が知られており、特許文献２には、露光により光硬化性樹脂を硬化させた樹脂硬化層を積層して立体物を造形する光造形装置が開示されている。

特開２０１１−８５９７１号公報 特開２００４−１２２５０１号公報

特許文献１に開示されるような方法で取得した被写体の３次元座標のデータ（３次元情報ともいう）を、特許文献２に示されるような造形装置で用いて立体物を造形する場合、３次元情報の分解能と造形装置の分解能の差が問題となる。

例えば、造形装置の分解能よりも３次元情報の分解能が低い場合、造形装置の能力を十分に活用できない。また、造形装置の分解能よりも３次元情報の分解能が高い場合、３次元情報の再現性が低い造形物しか得られず、また必要以上の３次元情報を処理することで、記憶容量や処理能力等のリソースを無駄に消費してしまう。

特に、撮像装置によって３次元情報を取得して造形装置に入力し、立体物を造形する場合、取得した３次元情報の分解能と造形装置の分解能の関係が適切であるか否かを、撮像装置による撮影中にユーザが把握できることが望ましい。

本発明は、このような課題に鑑み、造形物を造形するための所望の３次元情報の生成を支援することが可能な撮像装置及びその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、撮像素子と、撮像素子を用いて得られた画像と、画像に対応する奥行き情報とからなる被写体の３次元情報を取得する第１の取得手段と、造形装置が被写体の３次元形状を造形する分解能を表わす造形分解能を取得する第２の取得手段と、被写体の３次元情報と造形分解能とに基づいて、被写体の大きさと造形分解能の大きさの関係を表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、造形物を造形するための所望の３次元情報の生成を支援することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る３次元情報の算出方法について説明する図 本実施形態に係る被写体距離の算出方法について説明する図 造形分解能に応じた立体造形物の相違を模式的に説明する図 本実施形態に係る取得分解能と造形分解能の関係を模式的に説明する図 造形分解能に応じた立体造形物の細部形状を模式的に説明する図 本実施形態に係る造形分解能の表示例について説明する図 本実施形態に係る造形倍率を模式的に説明する図 本実施形態に係る造形倍率に応じた造形分解能の表示例を説明する図 本実施形態に係る、拡大した表示における造形分解能の表示例について説明する図 本実施形態に係る立体物造形処理の一連の動作を示すフローチャート 本実施形態に係る、造形分解能情報の追加及び更新について説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、撮像画像を用いて３次元情報を生成可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、撮像画像を用いて３次元情報を生成可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、及び医療機器などが含まれてよい。

（カメラ１の構成）
図１（ａ）及び図１（ｂ）は、本実施形態の一例としてのデジタルカメラ（単にカメラという）１の斜視図を、図１（ｃ）はカメラ１の機能構成例を示すブロック図である。なお、図１（ｃ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

カメラ１は、フォーカスレンズなどを有する撮影光学系１６を含むレンズ鏡筒２を備える。レンズ鏡筒２はカメラ１から着脱可能であってもよい。システム制御部３は例えばＣＰＵ又はＭＰＵ、不揮発性メモリ及び揮発性メモリを含み、不揮発性メモリに記憶されたプログラムを揮発性メモリの作業エリアに展開し、実行することにより各部の動作を制御し、カメラ１の動作を実現する。

撮像素子４は光電変換機能を有する画素が複数配列された構成を有し、撮影光学系１６が撮像面に形成する被写体像を電気信号（画像信号）に変換する。後述するように、撮像素子４は各画素が複数の光電変換領域を有し、１度の撮影（露光）で複数の視差画像を取得可能な構成を有する。

画像処理部５は撮像素子４が出力する画像信号やメモリ部６から読み出された信号などに様々な画像処理を適用する。画像処理部５が適用する画像処理の例には、ホワイトバランス調整処理、色補完処理、ガンマ補正処理、符号化及び復号処理などが含まれるが、これらに限定されない。

メモリ部６は例えば不揮発性メモリ、揮発性メモリの少なくとも一方を有し、データの一時記憶や各種設定値などの保存などに用いられる。なお、システム制御部３が実行するプログラムの少なくとも一部がメモリ部６に記憶されていてもよいし、メモリ部６がシステム制御部３の作業領域として用いられてもよい。なお、メモリ部６には、着脱可能な記憶媒体と、記憶媒体にデータを書き込んだり、記憶媒体からデータを読み出したりするためのインタフェースや周辺回路が含まれていてもよい。

入力部７はユーザがカメラ１へ各種の指示やデータを入力するためのユーザインタフェースである。入力部７はキー、ボタン、スイッチ、タッチパネル等、物理的な操作を伴う入力デバイス群に限らず、音声入力などの非接触な入力方法に対応した構成を有していてもよい。入力部７には、立体物を造形する被写体を撮像画像から選択するための被写体選択部８と、造形分解能を入力する造形分解能入力部９と、立体造形物の被写体に対する造形倍率を入力する造形倍率入力部１０が設けられている。これらは、専用の入力デバイスとして構成されてもよいが、例えば入力部７に含まれる汎用的な入力デバイスの操作とＧＵＩ表示との組み合わせなどによって実現されてもよい。

ここで造形分解能とは、想定している造形装置（例えば３Ｄプリンタ）がどの程度の細かさで立体物を造形可能かという程度を表し、例えば、０．０２ｍｍピッチで造形可能な装置の場合、造形分解能は０．０２ｍｍとなる。造形分解能は使用する造形装置の造形材料を吐出する造形ヘッドの位置分解能と、造形ヘッドに含まれるノズルのノズル径から決定されてもよい。カメラ１に対する造形分解能の入力は、値を直接入力する方法のほか、造形装置の型番を入力する方法など、他の方法を用いてもよい。この場合、いくつかの造形装置について、装置を特定する情報（例えば装置の型番）と造形分解能とを対応付けてメモリ部６に記憶させておき、入力部７から入力された型番を用いてシステム制御部３がメモリ部６を参照し、造形分解能を取得することができる。システム制御部３は、入力された造形分解能、もしくは取得した造形分解能を造形分解能記憶部１１に記憶する。

また、造形倍率とは、被写体の実際の大きさに対する造形物の大きさを表す値であり、変形を伴わない場合にはｘ，ｙ，ｚのいずれか一方向についての倍率を指定するようにしてもよい。例えば、２倍を指定した場合、造形物は実物の８倍（＝２＾３）の大きさとなる。もちろん、体積の倍率を指定するように構成してもよい。あるいは、カメラ起動時や、造形する被写体が決定された際に自動で設定されるようにしてもよい。造形倍率を自動で決定する方法としては、例えば、被写体の実際の大きさと、使用する造形装置で造形可能な最大の大きさとから、最大の造形物を生成する場合の倍率を造形倍率として算出する方法がある。また、造形可能な最大の大きさの代わりに、ユーザが入力した造形物の大きさ（例えば「１００×１００×１００ｍｍ以内」など）を用いて造形倍率を求めてもよい。

例えば、図１２に示すように、カメラ１は造形装置１２０又は造形装置１２１と通信部１７を介して通信して、造形分解能記憶部１１に格納する造形装置の造形分解能を追加したり更新したりすることができる。１２４はカメラ１が造形装置１２０又は１２１と例えば無線を介して通信するための通信路である。また、１２２は造形分解能記憶部１１の内部を模式的に表しており、１２３ａ、１２３ｂ及び１２３ｃは各造形装置に対応する造形分解能の情報を示している。これらの造形分解能の情報は、例えばファイルとして予め造形分解能記憶部１１に格納されており、カメラ１が例えば造形装置１２０と通信を確立すると、造形装置１２０に対応する造形分解能の情報が更新される。また、造形分解能記憶部１１に造形装置１２０に対応する造形分解能の情報が格納されていない場合、当該造形装置に対応する造形分解能の情報を追加する。

３次元情報取得部１２は、撮像素子４によって出力された画像信号に基づいて、撮影された被写体の３次元情報を取得する。また、３次元情報記憶部１３は、３次元情報取得部１２により取得された３次元情報の分解能を記憶する。本実施形態における被写体の３次元情報とは、撮像画像（２次元情報）と、カメラ１から被写体までの距離情報（奥行き情報）とを組み合わせた情報である。本実施形態のカメラ１は、複数の視差画像を一度の撮影（露光）で取得することができる。このようなカメラとしてはステレオカメラの様な多眼カメラを代表としてさまざまなものが知られているが、本実施形態では、撮像素子４が受光面上に撮影光学系１６の射出瞳を分割するマイクロレンズアレイ（以下、ＭＬＡ）を備えている。そして、このような撮像素子４で得られる複数の視差画像の位相差を検出することで、被写体の距離情報（奥行き情報）を得ることができる。また、視差画像を加算することで、被写体の２次元情報も得ることができる。撮像素子４の詳細な構成及び、視差画像から被写体の３次元情報を取得する方法の詳細については、図２及び図３を用いて後述する。

３次元情報取得部１２により取得された被写体の距離情報と、画像処理部５で生成された撮像画像（２次元情報）との組み合わせは、被写体の３次元情報としてメモリ部６に記憶される。また、取得した３次元情報の分解能（取得分解能という）は、３次元情報記憶部１３に記憶される。取得分解能は、被写体の３次元情報の細かさを表すものであり、取得した３次元情報を構成する３次元座標群の最短距離を表す。

表示部１４は、例えばＬＣＤパネルやＬＥＤパネルを用いた表示部材を含み、表示部１４の表示を制御する表示制御部１５の指示に応じて、例えばカメラ１を操作するためのメニュー画面、撮影画像を表示する。また、表示部１４は、３次元情報記憶部１３に記憶された被写体の３次元情報を基に、造形分解能記憶部１１に記憶された造形装置の造形分解能を撮影画像と対応させて表示する。

通信部１７は、カメラ１と外部装置との通信インタフェースであり、有線及び無線の少なくとも一方により、カメラ１と外部装置とが通信することを可能にする。例えば通信部１７を介して造形装置やサーバ装置と例えば無線ＬＡＮ方式を用いて接続することにより、造形分解能を受信したり造形する被写体の３次元情報を造形装置等に送信したりすることができる。

（３次元情報の取得）
次に、本実施形態における被写体の３次元情報の取得方法について説明する。まず、撮像素子４の構成例について、図２（ａ）〜図２（ｄ）を用いて説明する。図２（ａ）は撮像素子４をカメラ１の正面及び側方から見た状態を模式的に示している。撮像素子４が有する画素群２３の受光面上にはＭＬＡ２１が形成され、画素群２３を構成する各画素は、図２（ｂ）及び図２（ｃ）に示すように、１つのマイクロレンズ２２と２つのフォトダイオード（光電変換領域）２３ａ，２３ｂで構成される。以下、２３ａをＡ像用フォトダイオード（Ａピクセル）、２３ｂをＢ像用フォトダイオード（Ｂピクセル）と呼ぶ。

図２（ｄ）は撮影光学系１６の射出瞳２４を概念的に示しており、Ａ像瞳２５ａとＡピクセル２３ａ、Ｂ像瞳２５ｂとＢピクセル２３ｂは、それぞれマイクロレンズ２２により共役の関係を有する。すなわち、撮像素子４の各画素は瞳分割機能を有し、Ａピクセル２３ａには射出瞳２４の右半分のＡ像瞳２５ａを通過した光束が、Ｂピクセル２３ｂには射出瞳２４の左半分のＢ像瞳２５ｂを通過した光束が入射する。従って、Ａピクセル群からなる画像と、Ｂピクセル群からなる画像とは視差画像である。

複数の画素について、Ａピクセル群から構成される像信号をＡ像、Ｂピクセル群から構成される像信号をＢ像とし、Ａ像とＢ像のずれ量を検出することにより、撮影光学系１６のデフォーカス量とデフォーカス方向を検出することができる。このため、撮像素子４の出力する信号から位相差検出方式の自動焦点検出（ＡＦ）を実現することができる。

図２（ｅ）〜図２（ｇ）は位相差検出方式の焦点検出の原理を模式的に示している。図２（ｅ）の状態は被写体よりも前にピントが合っている様子を、図２（ｆ）は被写体にピントが合っている様子を、図２（ｇ）は被写体よりも後ろにピントが合っている様子をそれぞれ表している。２７ａ及び２７ｂは撮像素子４に設定された焦点検出領域内の画素群から得られるＡ像及びＢ像をそれぞれ模式的に表したものである。図２（ｆ）の場合はＡ像２７ａとＢ像２７ｂのずれがなく、被写体に対して合焦している。図２（ｅ）の場合はＡ像２７ａが中心に対して左側に、Ｂ像２７ｂが中心に対して右側に離れており、図２（ｇ）の場合はＡ像２７ａが中心に対して右側に、Ｂ像２７ｂが中心に対して左側に離れている。このＡ像、Ｂ像のズレ量（デフォーカス量）と中心からのズレ方向、撮影光学系１６の焦点距離、撮像素子４とフォーカスレンズとの距離から、被写体の距離情報を得ることができる。

なお、本実施形態では、各画素が１つのマイクロレンズ２２と２つのフォトダイオード２３ａ，２３ｂで構成される例を示した。しかし、より数多くのフォトダイオードを用いた構成にすることにより、基線長の異なるより多くの視差画像を取得して距離情報を得るようにしてもよい。

（被写体距離の算出）
図３を用いて被写体距離の算出方法について説明する。図３（ａ）は被写体の位置の算出方法を模式的に表している。Ａ像３１ａとＢ像３１ｂが得られているとすると、撮影光学系１６の焦点距離及びフォーカスレンズと撮像素子４との距離情報から、実線のように光束が屈折されることがわかる。従って、ピントの合う被写体は３２ａの位置にあることがわかる。同様にして、Ａ像３１ａに対してＢ像３１ｃが得られた場合には位置３２ｂ、Ｂ像３１ｄが得られた場合には位置３２ｃにピントの合う被写体があることがわかる。以上のように、各画素において、その画素を含むＡ像信号と、対応するＢ像信号との相対位置から、その画素位置における被写体の距離情報を算出することができる。

被写体の３次元情報は、Ａ像、Ｂ像及び撮影時の撮影光学系１６の情報を保持する方法のほかに、被写体の距離情報を保持する方法でも記憶できる。例えば図３（ａ）においてＡ像３１ａとＢ像３１ｄが得られている場合、像のずれ量の半分に相当する中間点の画素３４から位置３２ｃまでの距離３３を、画素３４における被写体の距離情報として記憶する。このようにして、各画素について、被写体の距離情報を保持することが可能である。距離情報は、奥行き画像または距離画像として記憶してもよい。

図３（ｂ）は、図３（ａ）で示した方法で３次元情報取得部１２が取得した被写体の距離情報を、被写体に向かって投影した際の模式図を表しており、取得した距離情報を投影した点を点群３６で模式的に示している。また、実際の被写体表面の形状（距離情報の集合）を３５で示している。このように、３次元情報取得部１２において取得した距離情報から、被写体の３次元形状を再現することができる。なお、実際には複数の異なる方向から同一被写体に対して撮影を行い、各撮影で得られた３次元情報を組み合わせて被写体全体の３次元情報を取得する。ただし、例えば建物のような、下面が水平面と見なせる被写体の場合には、下面の撮影は行わなくてもよい。

（造形される立体造形物と造形分解能の関係）
次に、図４を用いて、造形装置の造形分解能が造形される立体造形物の形状に与える影響について説明する。図４（ａ）は３次元情報を取得する被写体を示し、図４（ｂ）はカメラ１により図４（ａ）の被写体を撮影した画像から取得した３次元情報を構成する座標を模式的に示している。破線４１は被写体の外形を、４２は３次元情報を構成する座標を、４０は３次元情報の取得分解能を表す。

図４（ｃ）は造形分解能が粗い造形装置Ａを、図４（ｄ）は造形分解能が細かい造形装置Ｂをそれぞれ使用した場合の造形分解能を示している。造形分解能４３ａは造形装置Ａの造形分解能を、造形分解能４３ｂは造形装置Ｂの造形分解能を表し、破線４４ａ及び破線４４ｂはそれぞれの造形分解能において、３次元情報を構成する座標４２のうちどの座標が造形可能かを模式的に示している。ここでは、３次元情報の隣接座標が直線で接続されるものとして造形している。図４（ｃ）では造形分解能４３ａが細かく、３次元情報を構成する座標４２のうち破線４４ａが交差する座標の数（すなわち造形可能な座標の数）が図４（ｃ）の破線４４ｂが交差する座標の数より少ない。つまり、造形可能な形状は、造形装置Ａに対して造形装置Ｂの方が細かい。

図４（ｅ）及び図４（ｆ）はそれぞれ図４（ｃ）及び図４（ｄ）に示した造形分解能で造形された立体造形物を模式的に示している。図４（ｅ）、図４（ｆ）の比較から明らかなように、造形分解能の粗い造形物は、図４（ａ）に示した被写体に対して上面の鋸歯構造の再現性が低い。このように、造形分解能が異なる場合、同じような３次元情報を取得したとしても造形される立体造形物の細部の形状が異なり、造形分解能が粗い場合、被写体の大まかな形状は再現できるものの、詳細な形状に関してはうまく再現できないことがある。

次に図５を用いて、カメラ１による取得分解能と造形装置の造形分解能との関係について説明する。図５（ａ）は造形装置を用いて造形する被写体を示し、被写体５０上部の一部５１が図５（ｂ）に拡大して示されている。４２は、図５（ｂ）の３次元情報を構成する座標を表している。

図５（ｃ）、図５（ｄ）は、図５（ｂ）に対してそれぞれ造形分解能の異なる造形装置の造形分解能を付加した状態を表しており、破線５２はぞれぞれの造形装置の造形分解能を模式的に示している。破線５２は造形装置が造形する際に走査可能な最小の軌跡を表し、各破線５２間の距離を表わす５３ａ、５３ｂは造形分解能を表わす。図５（ｃ）は図４（ｃ）と同様、造形分解能５３ａは造形分解能が粗い場合を、図５（ｄ）は図４（ｄ）と同様、造形分解能が細かい場合を表している。図５（ｃ）、図５（ｄ）では、造形装置の造形分解能５３ａは３次元情報を構成する座標の間の距離（取得分解能５４）に対して粗く、造形分解能５３ｂは取得分解能５４とほぼ等しい。

図６（ａ）、（ｂ）は図５（ｃ）、（ｄ）と同一であり、このような３次元情報にそれぞれの造形分解能を適用すると、図６（ｃ）、（ｄ）のような立体物が造形される。

３次元情報に造形分解能５３ａを適用した場合、図６（ｃ）に示すように、被写体の一部５１上部の鋸歯形状は再現できない。一方、同じ３次元情報に造形分解能５３ｂを適用した場合、図６（ｄ）に示すように、被写体５０上部の鋸歯形状も再現可能である。このように、造形分解能が取得分解能未満の場合、３次元情報を十分に取得できていたとしても被写体の形状を再現できないことがある。特に、ユーザは３次元情報を取得する際に造形分解能の影響（造形分解能がどのように適用されて造形されるか）を把握できないため、所望の形状が再現されるかを確認できなかった。そこで、本実施形態では、ユーザが３次元情報を取得する際に、ユーザに造形装置の分解能を知らせると共に、所望の造形装置を用いた場合に被写体の形状が再現されるか否かを確認できるようにする。

（表示部１４における造形分解能の表示例）
図７は、カメラ１の表示部１４に造形装置の造形分解能を表示する例を示している。図７（ａ）は被写体を含んだ撮影画像上に造形分解能を表示する例を、図７（ｂ）は当該撮影画像を拡大した画像上に造形分解能を表示する例を示している。表示部１４は、例えば被写体７１を含んだ撮影画像に造形分解能を示す表示目盛７２を重畳して表示する。表示目盛７２は撮影画像から得られる３次元情報を用いて造形を行う場合の造形分解能の大きさを示す指標であり、被写体の大きさと造形分解能の大きさの関係を示すものである。例えば、表示目盛７２の目盛の１つは造形分解能７３に相当する。

図７（ｂ）は、例えば被写体７１の一部を拡大した画像を撮影画像上に更に表示した拡大表示７４を示しており、７５は拡大表示を適用している撮影画像上の領域を示す。表示部１４は、拡大表示７４を表示する場合、表示した拡大表示７４上に表示目盛７２を表示する。

このように、撮像画像に表示目盛７２を付加することにより、ユーザが被写体に対して造形分解能がどのように適用されるのか（すなわち造形分解能の影響）を把握することができる。換言すれば、ユーザは造形分解能の大きさと被写体の大きさとを対比可能になる。そして、ユーザは所望の形状を再現可能であるのかを撮影時に確認することができ、更なる撮影を行うか等を判断することができる。また、造形装置の設定において、後述する造形倍率をどのように適用するかを判断することもできる。

また、拡大表示７４に表示目盛７２を付加することにより、撮影する被写体の大きさに応じて、造形分解能７３が被写体に対して相対的に大きくなる場合や小さくなる場合にも適切に表示目盛７２を表示できるようにした。つまり、実物が大きい被写体を表示する場合に表示目盛７２が相対的に小さくなって視認できなくことを防止することができ、ユーザは造形分解能と被写体の関係を容易に把握することができる。

なお、本実施形態では、造形分解能を示す表示目盛７２を撮像画像又は拡大した画像に重畳して造形分解能をユーザに通知するようにした。しかし、造形分解能と被写体の関係を把握できれば、造形分解能の表示はこれに限らず、数値、マーカ又は図形を用いる等の他の表示方法で表示してもよい。

（造形倍率の適用）
図８は、３次元情報を取得する被写体と、取得した３次元情報を用いて生成する立体造形物を模式的に示している。図８（ａ）において、Ｗ、Ｔ、Ｈはそれぞれ被写体８１の水平方向、奥行き方向、及び垂直方向の大きさである。また、図８（ｂ）は、被写体８１をカメラ１で撮影した画像から取得された３次元情報を用いて造形装置８２で生成された造形物８３を表しており、Ｗ´、Ｔ´、Ｈ´はそれぞれ水平方向、奥行き方向、及び垂直方向の大きさである。

造形倍率ｋを、各方向に共通する倍率とした場合、被写体の大きさＷ，Ｔ，Ｈと造形物の大きさＷ´，Ｔ´，Ｈ´とは、
Ｗ×ｋ＝Ｗ´ （１）
Ｔ×ｋ＝Ｔ´ （２）
Ｈ×ｋ＝Ｈ´ （３）
という関係を有する。

実物大の造形物を生成する場合、造形倍率ｋ＝１である。造形倍率は、ユーザが任意の値を、造形倍率入力部１０から指定してもよいし、カメラ１が自動的に設定してもよい。例えば、撮影した被写体の実際の大きさ（図８（ａ）中のＷ、Ｔ、Ｈ）及び、使用する造形装置で生成可能な造形物の最大サイズとから造形倍率を算出して決定することができる。また、生成したい造形物の大きさ（例えば図８（ｂ）中の最長辺Ｗ´＝１００［ｍｍ］となるようになど）をユーザに入力させ、同方向における被写体の実サイズ（図８（ａ）中のＷ）とから、造形倍率を算出して決定してもよい。

次に、図９を用いて造形倍率に応じた造形分解能の表示例について説明する。造形倍率ｋを考慮する（すなわちｋが１でない）場合、造形装置の造形分解能も相対的に変化する。図９（ａ）と図７（ａ）は同一であり造形倍率ｋを１に設定した場合を示すのに対し、図９（ｂ）は造形倍率をｋ＞１（図９（ｂ）ではｋ＝２）に設定して被写体の実寸よりも大きな立体造形物を造形する場合を示している。表示目盛９１は造形倍率ｋ＝２の場合の造形分解能を示しており、造形分解能９２は図９（ａ）に示す表示目盛７２より細かい目盛が表示される。すなわち、造形倍率ｋが１より大きい場合、生成される造形物が実物よりも大きくなるため、表示部１４に表示される表示目盛９１の造形分解能７３は小さくなる。例えば造形倍率ｋ＝２が設定される場合、造形分解能９２は造形分解能７３の１／２の大きさになるように表示される。

さらに図１０を用いて、撮影画像を拡大した表示に造形分解能を表示する例について説明する。図１０（ａ）は図７（ｂ）と同一であり、図１０（ｂ）は図１０（ａ）の被写体の領域に撮影時に取得した３次元情報を重畳して表示する例を示している。１０１は図４の４２と同様、３次元情報を構成する座標を表す。３次元情報を構成する座標１０１と造形分解能を示す表示目盛７２や造形分解能７３とを同時に表示することにより、ユーザは当該３次元情報を用いた造形を想定して、造形分解能と３次元情報の取得分解能（すなわち取得状態）の関係を確認することができる。例えば、造形分解能に対して３次元情報の取得分解能が粗い場合、ユーザは、より細部まで造形するために３次元情報を追加取得する判断が可能になる。他方、造形分解能以上に３次元情報の取得分解能が細かく取得されている場合、３次元情報を追加取得しても（造形分解能の制約により）より詳細に造形することができないため、撮影を終了する判断も可能になる。

（造形分解能表示処理に係る一連の動作）
次に、図１１を用いて、被写体の３次元情報を取得する共に表示部１４に造形分解能を表示する処理（単に分解能表示処理という）の一連の動作について説明する。この動作は、例えばユーザが入力部６を介して撮影モードを被写体の３次元情報を取得する撮影モードに変更した場合に実行される。なお、本処理はシステム制御部３が不揮発性メモリに記憶されたプログラムをメモリ部６の作業用領域に展開し、実行することにより実現される。

Ｓ１１０１では、システム制御部３は造形分解能が入力済か否かを判定する。例えば、システム制御部３は造形分解能記憶部１１に造形分解能が格納されていれば、造形分解能が入力されていると判定してＳ１１０２に処理を進める。一方、システム制御部３は造形分解能が格納されていない場合、造形分解能が未入力であると判定してＳ１１０３に処理を進める。なお、造形分解能は、例えば造形分解能入力部９を介して入力され又は通信部１７を介して取得され、造形分解能記憶部１１に格納されている。

Ｓ１１０２では、システム制御部３はユーザが造形分解能入力部９を用いて入力した造形分解能を造形分解能記憶部１１から読み出す。Ｓ１１０３では、システム制御部３は造形分解能入力部９を通してユーザが造形分解能を入力するのを待つ。造形分解能は例えば値を直接入力する他に、造形装置の型番など造形分解能の値を特定可能な値を入力するものであってもよい。入力が行われた後、システム制御部３は入力された造形分解能を造形分解能記憶部１１に記憶させる。

Ｓ１１０４では、システム制御部３はユーザからの撮影開始指示を待つ。撮影開始指示は例えば入力部７に含まれるシャッターボタンの全押し操作であってよい。システム制御部３は撮影開始指示が入力されると、撮像素子４を露光して画像信号を読み出して１組の視差画像を生成する。生成された視差画像は３次元情報取得部１２に供給されて、３次元情報取得部１２は例えば撮像素子４の各画素位置における奥行き情報を算出する。３次元情報取得部１２は算出した３次元情報を３次元情報記憶部１３に記憶させる。

Ｓ１１０５では、システム制御部３は撮影画像中の被写体領域を決定する。この被写体領域の決定は、例えば、ユーザが被写体選択部８を介して造形する被写体領域を決定してもよいし、システム制御部３が撮影画像中の合焦している被写体の輪郭を抽出してもよい。また、複数の輪郭が抽出された被写体の中からユーザが立体物を造形する被写体を、被写体選択部８を介して選択してもよく、撮影画像中の被写体領域が指定されれば、上述した以外の方法であってもよい。

Ｓ１１０６では、システム制御部３は造形倍率を決定する。造形倍率の決定は、図８において上述したように、造形倍率入力部１０を用いてユーザが決定してもよいし、カメラ１のシステム起動時やＳ１１０５における被写体の決定時に、例えば被写体の実際の大きさと使用する造形装置で造形可能な最大の大きさとに基づいて自動で決定するようにしてもよい。

Ｓ１１０７では、システム制御部３は、表示部１４上に表示させるための造形分解能表示画像を生成する。造形分解能表示画像は、例えば図７で上述した造形分解能を示す表示目盛７２等の造形分解能をユーザに通知する画像であり、被写体に対する造形分解能を把握できれば上述した表示に限らない。システム制御部３は、入力された造形装置の造形分解能と、決定した造形倍率と、取得した３次元情報とに基づいて造形分解能表示画像を生成する。例えば、システム制御部３は、取得した３次元情報を用いて被写体の実物大の大きさを算出し、造形分解能と被写体の大きさとを整合させた表示目盛７２を生成する。システム制御部３は、造形倍率ｋが１でない場合、更に造形倍率に応じて表示する目盛の間隔を変更した表示目盛７２を生成する。また、拡大表示７４を表示する場合、被写体領域の一部を拡大した拡大画像を生成すると共に、拡大画像の拡大に応じた表示目盛７２を生成する。システム制御部３は、生成した表示目盛７２を撮影画像又は拡大画像に重畳して造形分解能表示画像として出力する。

Ｓ１１０８では、システム制御部３はＳ１１０７で生成した造形分解能表示画像を表示部１４上に表示させる。

Ｓ１１０９では、システム制御部３は造形分解能表示画像の変更を行うか否かを判定する。例えば、システム制御部３は、造形分解能入力部９や造形倍率入力部１０を介してユーザによる造形分解能や造形倍率を変更する指示を検出した場合、造形分解能表示画像を変更すると判定する。或いは、システム制御部３は、例えば、取得した３次元情報に基づいて取得した細部が十分に再現できるような造形分解能を自動で選択することにより、変更の有無を自動的に判定してもよい。システム制御部３は、造形分解能表示画像を変更する場合はＳ１１１０に処理を進め、変更しない場合はＳ１１１２に処理を進める。

Ｓ１１１０では、システム制御部３は造形分解能を変更して新たな造形分解能を造形分解能記憶部１１に記憶させる。そしてＳ１１１１では、システム制御部３はＳ１１０６と同様の処理により造形倍率を変更し、その後処理をＳ１１０７に戻す。

Ｓ１１１２では、システム制御部３は再撮影を行うかを判定する。再撮影を行うか否かの判定は、例えば、取得した３次元情報の取得分解能が造形分解能に対して粗い場合、システム制御部３はより多くの３次元情報を取得するために再撮影を行うと判定する。或いは、例えば入力部７を介してユーザから（より条件の良い３次元情報を取得するため）再撮影を指示するユーザ操作があった場合、システム制御部３は再撮影を行うと判定する。システム制御部３は、再撮影を行うと判定した場合はＳ１１０４に処理を戻し、再撮影を行わないと判定した場合、本処理に係る一連の動作を終了する。

以上説明したように、本実施形態によれば、被写体の３次元情報と当該被写体を造形する造形装置の造形分解能とを取得し、当該被写体を含んだ撮像画像に造形分解能を表示するようにした。特に、表示目盛７２を撮影画像に付加して表示し、造形分解能の大きさを示す指標を被写体の大きさと対比可能に表示するようにした。このようにすることで、ユーザは被写体に対して造形分解能がどのように適用されるのか、その造形分解能の影響を把握することができる。また、ユーザは造形分解能の表示を確認することにより、所望の形状を造形装置によって再現可能であるのかを撮影時に確認することができるため、更なる撮影により所望の３次元情報を取得するかを判断することができる。したがって、造形物を造形するための所望の３次元情報の生成を支援することが可能になる。

（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３…システム制御部、４…撮像素子、９…造形分解能入力部、１０…造形倍率入力部、１４…表示部、１３…３次元情報取得部、１７…通信部

Claims (13)

1. 撮像素子と、
   前記撮像素子を用いて得られた画像と、前記画像に対応する奥行き情報とからなる被写体の３次元情報を取得する第１の取得手段と、
   造形装置が前記被写体の３次元形状を造形する分解能を表わす造形分解能を取得する第２の取得手段と、
   前記被写体の３次元情報と前記造形分解能とに基づいて、前記被写体の大きさと前記造形分解能の大きさとの関係を表示させる表示制御手段と、
   を有することを特徴とする撮像装置。
2. 前記表示制御手段は、前記造形分解能の大きさを示す指標を、前記被写体の大きさと対比可能に表示させる、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記表示制御手段は、前記被写体の一部を表示させると共に、前記造形分解能の大きさを示す指標を、前記被写体の一部の大きさと対比可能に表示させる、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記表示制御手段は、前記被写体の３次元情報に基づく前記被写体の３次元形状を表わす情報を前記被写体の少なくとも一部の領域に表示させると共に、前記造形分解能の大きさを示す指標を、前記被写体の少なくとも一部の大きさと対比可能に表示させる、
   ことを特徴とする請求項２または３に記載の撮像装置。
5. 前記表示制御手段は、前記被写体の実際の大きさに対する、前記造形装置で前記被写体が造形されたときの大きさを示す造形倍率を考慮して、前記造形分解能の大きさを示す指標を表示させる、
   ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
6. 前記造形倍率は、被写体の大きさと前記造形装置の造形可能な最大の大きさとから決定される、
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記造形分解能の大きさを示す指標は、前記造形分解能の大きさを示す目盛により構成される、
   ことを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
8. 前記造形分解能は、前記造形装置の造形材料を吐出する造形ヘッドの位置分解能と、前記造形ヘッドが前記造形材料を吐出するノズルのノズル径から決定される、
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記第２の取得手段は、ユーザが造形装置を選択することにより、当該選択された造形装置の前記造形分解能を取得する、
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 造形装置と通信する通信手段をさらに有し、
    前記第２の取得手段は、通信する造形装置の前記造形分解能を前記通信手段を介して取得する、
    ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
11. 前記撮像素子は、画素ごとに複数の光電変換領域を有し、
    前記３次元情報は、前記撮像素子の１度の露光によって取得される視差画像に基づいて得られた前記画像と、前記視差画像に基づいて得られた前記画像に対応する奥行き情報とからなる、
    ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 撮像素子を有する撮像装置の制御方法であって、
    第１の取得手段が、前記撮像素子を用いて得られた画像と、前記画像に対応する奥行き情報とからなる被写体の３次元情報を取得する第１の取得工程と、
    第２の取得手段が、造形装置が前記被写体の３次元形状を造形する分解能を表わす造形分解能を取得する第２の取得工程と、
    表示制御手段が、前記被写体の３次元情報と前記造形分解能とに基づいて、前記被写体の大きさと前記造形分解能の大きさの関係を表示させる表示制御工程と、
    を有することを特徴とする撮像装置の制御方法。
13. コンピュータに、請求項１２に記載の撮像装置の制御方法の各工程を実行させるプログラム。

Images