JP6218615B2 - 表示機器、表示方法、撮影装置及び撮影システム - Google Patents

Description

本発明は、撮影装置等の表示部として好適な表示機器、表示方法、撮影装置及び撮影システムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影装置）が普及している。この種の撮影装置においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影装置の操作を容易にしたものもある。このような表示部は、携帯機器本体の背面に設けられることが多く、ユーザは撮影時に、背面の表示部に表示されたスルー画を確認しながら撮影操作をすることも可能である。

このような撮影装置に採用される表示機器においては、画像処理によって、画像中に他の画像を表示したり、２つの画像を別の領域に同時に表示したりすることも可能である。このような２つの画像を取得する装置として、特許文献１においては、注目すべき対象物の映像を取得しながら、同時にその対象物の周辺の様子を取得し、これらの所定の対象物に注目した撮像データと、当該対象物の周辺の様子を示す撮像データとを同時に記録する装置が提案されている。

特開２００９−１４７８２４号公報

しかしながら、特許文献１の提案においては、１台のカメラにより同一視点からテレ側及びワイド側の画像を撮像するものであり、異なる視点による画像を撮像し、表示することはできない。

本発明は、異なる視点の撮像画像を連携させて有用な情報を表示させることができる表示機器、表示方法、撮影装置及び撮影システムを提供することを目的とする。

本発明に係る一態様の表示機器は、被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、の両撮像部との間で信号伝送が可能な入力部と、上記第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御部と、上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御部と、を具備する。

また、本発明に係る一態様の撮影装置は、被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、上記第１の撮像部との間で信号伝送が可能な入力部と、上記第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御部と、上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御部と、を具備する。

また、本発明に係る一態様の表示方法は、被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、の両撮像部との間で信号伝送を行う入力ステップと、上記入力ステップにおいて、第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御ステップと、上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御ステップと、を具備する。

また、本発明に係る一態様の撮影ステムは、被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、上記第１の撮像部と上記第２の撮像部との間で信号伝送が可能な入力部と、上記第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御部と、上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御部と、を具備する。

本発明によれば、異なる視点の撮像画像を連携させて有用な情報を表示させることができるという効果を有する。

本発明の第１の実施の形態に係る表示機器が組み込まれた撮影装置を示すブロック図。 図１の撮影装置の外観を示す説明図。 本実施の形態において撮影を行う様子を示す説明図。 連携表示の一例を示す説明図。 内蔵カメラ２３の光軸とレンズ型カメラ１１の光軸とが平行であると仮定した場合におけるピント位置の算出法を説明するための説明図。 内蔵カメラ２３の光軸とレンズ型カメラ１１の光軸とが平行でない場合におけるピント位置の算出法を説明するための説明図。 レンズ型カメラ１１におけるカメラ制御とタブレットＰＣ２１の制御とを説明するためのフローチャート。 本発明の第２の実施の形態を示すブロック図。 第２の実施の形態の外観を説明するための説明図。 本実施の形態におけるピント位置の算出法を説明するための説明図。 カメラ６１におけるカメラ制御とスマートフォン７１の制御とを説明するためのフローチャート。 本実施の形態における撮影の様子及び表示を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る表示機器が組み込まれた撮影装置を示すブロック図であり、図２はその外観を示す説明図である。本実施の形態はカメラを有するタブレットＰＣ（パーソナルコンピュータ）に適用したものである。これはスマートフォンや携帯電話でもよい。本実施の形態は、相互に別視点で撮影を行う２つの撮像部を連携して制御すると共に、２つの撮像部からの撮像画像を連携させて表示するものであり、２つの撮像部としては、タブレットＰＣに内蔵された内蔵カメラと、タブレットＰＣに外付けされるレンズ型カメラとを採用する。

図３は本実施の形態において撮影を行う様子を示す説明図である。図３はユーザ４１が草花４２等を撮影する様子を示している。ユーザ４１は右手４１ａで撮影装置であるタブレットＰＣ２１（図１参照）の筐体２１ａを保持し、草花４２等を撮影範囲に収めた状態で内蔵カメラ２３及びレンズ型カメラ１１のシャッタボタン（図示せず）によって撮影を行う。タブレットＰＣ２１の表示部２８には、後述するように、タブレットＰＣ２１に内蔵された内蔵カメラ２３及びレンズ型カメラ１１による撮像画像が連携表示されている。

図１において、タブレットＰＣ２１にはカメラ用通信部２２が設けられ、レンズ型カメラ１１には通信部１５が設けられており、タブレットＰＣ２１とレンズ型カメラ１１とは、これらの通信部２２，１５を介して相互に通信可能に構成されている。

図２に示すように、タブレットＰＣ２１の筐体２１ａには取り付け器具３２が着脱自在に取り付けられるようになっており、取り付け器具３２にはレンズ型カメラ１１を取り付けるための取付部３３が設けられている。レンズ型カメラ１１は基端側に取付部１１ｂが設けられており、この取付部１１ｂを取り付け器具３２の取付部３３に、嵌込み又はねじ込み等によって取り付けるようになっている。

図１に示すように、タブレットＰＣ２１には表示部２８が設けられており、タブレットＰＣ２１内のカメラ用通信部２２、制御部２５、操作部２６及び表示制御部２７によって構成される表示機器によって、表示部２８の表示画面２８ａ（図４参照）の表示が制御されるようになっている。

なお、図１においては、撮影装置であるタブレットＰＣ２１に表示機器が組み込まれ、後述するように、表示機器によって、タブレットＰＣ２１の内蔵カメラ２３とレンズ型カメラ１１の撮像が連携して制御されると共に、内蔵カメラ２３及びレンズ型カメラ１１からの撮像画像が連携表示される例を示している。即ち、表示機器は、２台のカメラを連携制御する機能と、２台のカメラからの画像を連携して画像処理する機能と、画像処理された画像を表示画面に表示させる機能とを有しているが、これらの機能については、一部又は全部の機能をレンズ型カメラ１１側に設けるようにしてもよい。

レンズ型カメラ１１には、光学系１２ａを有する撮像部１２が設けられている。撮像部１２にはＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、光学系１２ａによって被写体像が撮像素子の撮像面に導かれるようになっている。光学系１２ａは、鏡筒１１ａ内にピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等を有する。また、光学系１２ａは、これらのレンズ及び絞りを駆動する図示しない機構部を有する。制御部１３は光学系１２ａの機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。

レンズ型カメラ１１には、ユーザによる撮影に関するパラメータ、例えば、ピント、ズームや絞りに関するパラメータの設定操作のために、操作リング１４ａ等の操作部１４が設けられている。制御部１３は、操作部に対するユーザ操作を検出して検出結果に基づく制御を行う。制御部１３は、ＣＰＵ等によって構成されており、操作部１４に対するユーザ操作と後述するタブレットＰＣ２１からの信号とに基づいて、レンズ型カメラ１１の各部を制御する。

撮影制御部１３ｃは、フォーカス信号、ズーム信号及び絞り制御信号を発生して、光学系１２ａのフォーカス、ズーム及び絞りを駆動制御する。また、撮影制御部１３ｃは、撮像素子に駆動信号を供給して、被写体の撮像を制御する。

画像処理部１３ｂは、撮像素子からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部１６に与えて記録することができる。記録部１６としては例えばＩＣメモリを採用することができる。また、画像処理部１３ｂは、撮像画像を通信部１５を介してタブレットＰＣ２１に転送することができるようになっている。

レンズ情報処理部１３ａは、ズームレンズ、フォーカスレンズ等のレンズ状態、絞り状態等のレンズに関する情報を取得して、通信部１５を介してタブレットＰＣ２１に転送することができるようになっている。レンズに関する情報には、ピント位置、被写界深度の範囲等の光軸方向の距離の情報が含まれる。

通信部１５は、タブレットＰＣ２１に設けられたカメラ用通信部２２との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、ＵＳＢ（Universal Serial Bus）ケーブルやＷｉｆｉ（Wireless Fidelity）等の無線ＬＡＮの伝送路等を採用することができるようになっている。制御部１３は、タブレットＰＣ２１との間で通信が確立すると、タブレットＰＣ２１の制御部２５に従って撮影が制御されると共に、撮像画像及びレンズに関する情報をタブレットＰＣ２１に転送することができるようになっている。

タブレットＰＣ２１は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部を含む内蔵カメラ２３を有している。内蔵カメラ２３は、筐体２１ａの背面（表示画面２８ａが構成されていない面）に設けられたレンズ２３ａからの被写体像を光電変換して撮影画像を得る。内蔵カメラ２３は、制御部２５によって駆動制御されて、撮像画像を出力する。

制御部２５は、例えばＣＰＵ等によって構成されてタブレットＰＣ２１の各部を制御する。制御部２５は、内蔵カメラ２３に撮像素子の駆動信号を出力すると共に、内蔵カメラ２３からの撮像画像を読み出す。制御部２５は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

タブレットＰＣ２１には、操作部２６も配設されている。操作部２６は、タブレットＰＣ２１に設けられた図示しないスイッチ、キー、ソフトウェアキーボード等の各種の操作部によって構成され、ユーザ操作に基づく操作信号を発生して、制御部２５に出力するようになっている。制御部２５は、操作信号に基づいて、各部を制御する。

制御部２５は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、制御部２５は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部２４に与えて記録させることができる。記録部２４としては、例えばＩＣメモリ等の各種記録媒体を採用することができ、記録部２４は記録媒体に画像情報及び音声情報等を記録可能である。

表示制御部２７は表示に関する各種処理を実行する。表示制御部２７は、制御部２５から信号処理後の撮影画像が与えられて、表示部２８に与えることができる。表示部２８は、ＬＣＤ等の表示画面を有しており、表示制御部２７から与えられた画像を表示する。また、表示制御部２７は、各種メニュー表示等を表示部２８の表示画面に表示させることもできるようになっている。制御部２５は、記録部２４に記録されている撮像画像を読み出して伸張処理することができる。表示制御部２７は伸張処理された撮像画像を表示部２８に与えることで、記録画像の再生が可能である。

表示部２８は、撮像画像を表示する表示画面２８ａを有している。なお、表示画面２８ａ上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面２８ａ上の位置に応じた操作信号を発生することができる。この操作信号は、制御部２５に供給される。これにより、制御部２５は、ユーザが表示画面２８ａ上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部２８は、タブレットＰＣ２１の例えば前面の略全域を占めるように配設されており、ユーザは、内蔵カメラ２３やレンズ型カメラ１１による撮影時に表示部２８の表示画面２８ａ上に表示された撮像画像を確認することができ、撮像画像を確認しながら撮影操作を行うことができる。

本実施の形態においては、制御部２５及び表示制御部２７によって、内蔵カメラ２３による撮像画像とレンズ型カメラ１１による撮像画像とを、連携表示させることができるようになっている。

図４はこのような連携表示の一例を示す説明図である。タブレットＰＣ２１の表示部２８の表示画面２８ａ上には、内蔵カメラ２３による撮像画像４５とレンズ型カメラ１１による撮像画像４６とが同時に表示されている。図４は図３に示す撮影に対応した画像を示している。即ち、レンズ型カメラ１１による撮像画像４６は、草花４２等を略水平方向から撮像して得たものであり、内蔵カメラ２３による撮像画像４５は、草花４２等を略上方から俯瞰するように撮像して得たものである。２台のカメラでこのような撮像を行うことから、本実施の形態においては、内蔵カメラ２３による撮像画像４５中にレンズ型カメラ１１の撮像におけるピント範囲を示すことができる。このような工夫を行うためには、後述するように、撮像部の位置関係が重要なので、レンズ型カメラ１１をタブレットＰＣ２１に組み付ける際の位置情報を表示して、誤差を減らす必要がある。表示制御部がこれを表示制御する。

従って、本実施の形態を用いることで、異なる位置から対象物を撮像する複数の撮像部と、上記撮像部で撮像された画像を表示する表示部からなる撮影装置であって、上記複数の撮像部の位置関係を上記表示部に表示可能な表示制御部とからなることを特徴とする撮影システムを構成することができる。

図５は内蔵カメラ２３の光軸とレンズ型カメラ１１の光軸とが平行であると仮定した場合におけるピント位置の算出法を説明するための説明図である。なお、図３では内蔵カメラ２３の光軸とレンズ型カメラ１１の光軸が平行でない例を示しているが、被写体までの距離が比較的長い場合や内蔵カメラ２３として広角レンズを有するものを採用した場合等においては、内蔵カメラ２３の光軸とレンズ型カメラ１１の光軸とが平行である場合でも、図４と同様の撮像画像を得ることが可能である。

図５に示すように、内蔵カメラ２３のレンズ２３ａのレンズ中心とレンズ型カメラ１１の光学系１２ａ中のレンズ１２ｂのレンズ中心との距離はＢである。この距離Ｂは、タブレットＰＣ２１の筐体２１ａにおける取り付け器具３２の取付位置によって決定される。この距離Ｂを規定の値にするために、取り付け器具３２には位置決め用のマーク３５が表示されており、タブレットＰＣ２１にはマーク４８が表示されている。ユーザがこれらのマーク３５，４８の位置を一致させるように取り付け器具３２をタブレットＰＣ２１の筐体２１ａに取り付けることによって、規定の値Ｂが得られる。このマーク（取付位置表示）は、取付器具の種別や、タブレットＰＣの機種に従って、あるいはユーザーの設定によって変更可能な仕様とすることが好ましい。

一方、レンズ型カメラ１１は、制御部１３によって撮像部１２を制御してオートフォーカスを行い、合焦時における被写体までの距離Ｄｐ（あるいはカメラやレンズからの位置とも言える）を求める。例えば、制御部１３は、いわゆる山登り方式のオートフォーカスによって合焦動作を行ってもよく、また、撮像部１２の撮像素子にフォーカス用の素子が形成されている場合には、像面位相差法を用いてオートフォーカスを行ってもよい。

図５において、合焦位置における被写体５１とレンズ１２ｂとの距離Ｄｐと、距離Ｂとの関係は、被写体５１と内蔵カメラ２３の中心とを結ぶ直線（光線）５２とレンズ型カメラ１１の光軸とのなす角度をθｐとして、下記（１）式によって示される。

Ｂ＝Ｄｐ×ｔａｎθｐ …（１）
従って、角度θｐは、下記（２）式によって与えられる。

θｐ＝ａｒｃｔａｎ（Ｂ／Ｄｐ） …（２）
内蔵カメラ２３の光軸に対し角度θｐの方向から入射した光が内蔵カメラ２３の撮像素子２３ｂの撮像面のいずれの位置に結像するかは求めることができる。即ち、光線の入射角度と撮像面上の結像位置とは１対１に対応し、タブレットＰＣ２１の制御部２５は、レンズ型カメラ１１から合焦時の被写体までの距離Ｄｐの情報が与えられることで、上記（２）式の演算によって、レンズ型カメラ１１の合焦時における光軸方向の位置が、内蔵カメラ２３による撮像画像４５中のいずれの位置に相当するかを求めることができる。制御部２５は、この情報を算出して表示制御部２７に出力する。こうして、表示制御部２７は、表示画面２８ａ上の撮像画像４５上に合焦位置を示す表示４７（図４参照）を表示させることができる。

同様に、レンズ型カメラ１１は、被写界深度の距離情報をタブレットＰＣ２１に出力することができる。タブレットＰＣ２１の制御部２５は、上記（２）式に従って、被写界深度の範囲を示す情報を求めて表示制御部２７に出力することができる。こうして、表示制御部２７は、図４に示すように、表示画面２８ａ上の撮像画像４５上に被写界深度の範囲を示すマーク４８など、機器使用時に有効な情報を表示させることができる。撮影のみならず観察時などにも、どの範囲に対してピントの合った観察が出来ているかを表示することは有効な情報伝達となる。

また、同様に、タブレットＰＣ２１の制御部２５は、レンズ型カメラ１１による被写体までの距離情報（あるいはカメラやレンズからの位置情報とも言える）を、内蔵カメラ２３による撮像画像中に表示させることも可能である。レンズ型カメラ１１を略水平に構えて草花等を撮影しようとすると、草花までの距離や草花間の距離等がその撮像画像からだけでは認識しにくいが、内蔵カメラ２３の撮像画像中に距離情報を表示させることで、マクロ撮影等において有効な情報表示が得られる。タブレットＰＣ２１の表示画面２８ａは比較的サイズが大きいことが多く、２つの画像を表示させた場合でも、十分な視認性が得られる。

即ち、本実施の形態における連携表示は、同一被写体を異なる視点から撮像する撮像部からの撮像画像を単に並べて同時に表示させるだけでなく、一方の撮像部の撮像に関する情報又は一方の撮像部による撮像画像に関する情報（撮像に関わる情報）、即ち、一方の撮像部による被写体の撮像に関する情報であって、一方の撮像画像中には表示が困難であったり表示が見にくくなる情報を他方の画像中に表示させることを可能にするものである。また、このような表示を可能にするために、各撮像部から撮像に関する情報が得られるように、各撮像部を連携して制御するようになっている。

図６は図３に対応したものであり、内蔵カメラ２３の光軸とレンズ型カメラ１１の光軸とが平行でない場合におけるピント位置の算出法を説明するための説明図である。

図６に示すように、レンズ型カメラ１１の光軸は、内蔵カメラ２３の光軸に対してθｌだけ傾斜している。従って、この場合には、角度θｐは、上記（２）式を変形させた下記（３）式によって与えられる。

θｐ＝ａｒｃｔａｎ｛Ｂ／（Ｄｐ−θｌ）｝… （３）
タブレットＰＣ２１の制御部２５は、レンズ型カメラ１１から距離Ｄｐの情報や被写界深度の距離情報が与えられて、上記（３）式に従って、内蔵カメラ２３からの撮像画像上における合焦位置及び被写界深度の範囲を求めることができる。なお、内蔵カメラ２３の画角がθｂである場合には、撮像画像４５中の上下方向中心から撮像画像４５の画像下端までの距離のθｐ／θｂの位置の対象物がピント合わせされる被写体であり、この位置に合焦位置を示す表示を表示させればよい。

なお、制御部２５は、合焦位置及び被写界深度の範囲の表示のいずれか一方のみを表示させるようにしてもよく、また、ユーザによるピント確認操作があった場合にのみ、合焦位置や被写界深度の範囲を示す表示を表示させるようにしてもよい。

次に、このように構成された実施の形態の動作について図７を参照して説明する。図７はレンズ型カメラ１１におけるカメラ制御とタブレットＰＣ２１の制御とを説明するためのフローチャートである。なお、図７において、レンズ型カメラ１１のカメラ制御フローとタブレットＰＣ２１の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。

タブレットＰＣ２１の制御部２５は、ステップＳ１において、カメラ連携モードが指定されたか否かを判定する。カメラ連携モードが指定されると、制御部２５は内蔵カメラ２３を起動して撮像を開始させる。

一方、レンズ型カメラ１１においては、ステップＳ１１において電源投入の有無が判定される。電源が投入されると、レンズ型カメラ１１の制御部１３は、ステップＳ１２において、撮影モードが指示されたか否かを判定する。撮影モードが指示されると、制御部１３は、ステップＳ１３において、撮像部１２による撮像を開始させてスルー画を取得する。また、制御部１３は、ピント位置及び被写界深度を判定して判定結果を取得する（ステップＳ１４）。

制御部１３は、ステップＳ１５において通信部１５とタブレットＰＣ２１のカメラ用通信部２２との間で通信が確立したか否かを判定する。レンズ型カメラ１１の制御部１３は、タブレットＰＣ２１との間で通信が確立すると、ステップＳ１６において、撮像部１２による撮像画像をスルー画としてタブレットＰＣ２１に送信する。

タブレットＰＣ２１は、ステップＳ３において、レンズ型カメラ１１からのスルー画の送信があるか否かを判定する。タブレットＰＣ２１の制御部２５は、レンズ型カメラ１１からスルー画が送信されると、このスルー画を受信して表示制御部２７に出力する。表示制御部２７には、制御部２５から内蔵カメラ２３による撮像画像も与えられており、表示部２８の表示画面２８ａ上に、レンズ型カメラ１１による撮像画像及び内蔵カメラ２３による撮像画像（スルー画）の両方を表示させる（ステップＳ４）。

レンズ型カメラ１１の制御部１３は、ステップＳ１６のスルー画の送信開始に続けて、ピント位置情報及び被写界深度情報をタブレットＰＣ２１に送信する（ステップＳ１７）。タブレットＰＣ２１の制御部２５は、ステップＳ５において、ピント確認操作が行われたか否かを判定する。ピント確認操作が行われた場合には、制御部２５は、レンズ型カメラ１１からのピント位置情報及び被写界深度情報を用いて、上記（３）式等によって、内蔵カメラ２３からの撮像画像中に、レンズ型カメラ１１の合焦位置や被写界深度の範囲を示す表示を表示させる（ステップＳ６）。

タブレットＰＣ２１は、内蔵カメラ２３に対する撮影指示だけでなく、レンズ型カメラ１１に対する撮影指示を行うこともできる。タブレットＰＣ２１の操作部２６によって、レンズ型カメラ１１に対する撮影指示が発生すると（ステップＳ７）、タブレットＰＣ２１の制御部２５は、カメラ用通信部２２を介してレンズ型カメラ１１に撮影要求のコマンドを送信する（ステップＳ８）。

レンズ型カメラ１１は、ステップＳ１８において、撮影要求の通信が行われたか否かを判定しており、タブレットＰＣ２１からの撮影要求のコマンドを受信すると、制御部１３は、撮影要求時点における静止画像を取得して、通信部１５を介してタブレットＰＣ２１に転送する（ステップＳ１９）。タブレットＰＣ２１の制御部２５は、レンズ型カメラ１１から撮像画像が転送されると、ステップＳ９において、転送された撮像画像に対して所定の信号処理を施した後、記録部２４に与えて記録させる。

また、レンズ型カメラ１１は、操作部１４の操作によって、撮像部１２による撮像画像の記録が可能である。制御部１３は、ステップＳ２０において操作部１４による撮影操作の有無を判定しており、撮影操作が行われると、撮像部１２を制御して撮影を行い、撮像部１２からの撮像画像に所定の信号処理を施した後、記録部１６に与えて記録させる（ステップＳ２２）。

このように本実施の形態においては、同一被写体を異なる視点から撮像する２つの撮像部からの撮像画像を同時に表示すると共に、一方の撮像部の撮像に関する情報又は一方の撮像部による撮像画像に関する情報であって、一方の撮像画像中には表示が困難であったり表示が見にくくなる情報を他方の画像中に表示させることを可能にする。これにより、例えば、一方の撮像部による合焦位置や被写界深度の範囲等の情報を、他方の撮像部による撮像画像中に表示することができ、ユーザの利便性を向上させることができる。このように、本実施の形態では、単に異なる視点から撮像した撮像画像を並べて表示させるだけでなく、一方の撮像画像に表示困難であったり見にくくなる情報を他方の撮像画像に表示する連携表示が可能である。

なお、上記実施の形態においては、２つの撮像部間の距離Ｂを規定の値にするために、マークを用いた。このマークは、タブレットＰＣ２１の筐体２１ａ上に表示してもよく、また、表示部２８の表示画面２８ａ上に画像として表示してもよい。例えば、図７のステップＳ１において、カメラ連携モードが指定されたものと判定すると、制御部２５が表示制御部２７を制御して、このマークを表示画面２８ａ上に表示させるようにしてもよい。

ここでは、異なる角度から得られた広がりのある対象物（被写体）の情報（被写体の撮像に関わる情報）より、その対象物の存在する位置関係、広がりの距離関係の有用な情報を得るようにしていたが、異なる角度から得られた対象物の情報としては、対象物の広がりと距離による大きさ情報、補助光の到達情報や対象物の光沢など質感の情報や立体感の情報、あるいは、対象物を同定する際の補助情報などが考えられる。対象物の大きさが分かると、昆虫や花などの同定が容易になることは言うまでもない。形状と名称の関係の図鑑データベースの活用も簡単になる。スマートフォンなど通信部があれば、クラウドコンピューティングを利用した同定などが容易に行える。つまり、複数の撮像部の一方の撮像結果に対して、もう一方の撮像結果によって補助表示を行う撮影装置を得ることもできる。

（第２の実施の形態）
図８は本発明の第２の実施の形態を示すブロック図である。また、図９は第２の実施の形態の外観を説明するための説明図である。本実施の形態は２台の撮像部として、カメラとカメラに装着される内蔵カメラを有するスマートフォンを採用した例である。本実施の形態は、第１の実施の形態と同様に、例えば図４に示す連携表示を行うことを可能にするものであり、例えば、スマートフォンの表示画面上に図４と同様の画像を表示させる。

図８において、カメラ６１とスマートフォン７１とは、カメラ６１に設けた通信部６５及びスマートフォン７１に設けたカメラ用通信部７２によって、相互に通信可能に構成されている。カメラ６１中の光学系６２ａが構成された撮像部６２、レンズ情報処理部６３ａ、画像処理部６３ｂ及び撮影制御部６３ｃが構成された制御部６３、操作部６４、通信部６５、並びに記録部６６の構成は、図１のレンズ型カメラ１１中の光学系１２ａが構成された撮像部１２、レンズ情報処理部１３ａ、画像処理部１３ｂ及び撮影制御部１３ｃが構成された制御部１３、操作部１４、通信部１５、並びに記録部１６の構成とそれぞれ同様である。また、同様に、スマートフォン７１中のカメラ用通信部７２、内蔵カメラ７３、制御部７５、操作部７６、表示制御部７７及び表示部７８の構成は、図１のタブレットＰＣ２１中のカメラ用通信部２２、内蔵カメラ２３、制御部２５、操作部２６、表示制御部２７及び表示部２８の構成とそれぞれ同様である。

図９において、カメラ６１の光学系６２ａは、筐体６１ａの前面に配置された鏡筒６２ｂ内に収納されており、カメラ６１の前方の被写体の光学像を撮像素子に入射させる。カメラ６１はＬＣＤ等の表示部６８を備えており、表示部６８は筐体６１ａの背面に表示画面が構成されて、表示画面上に制御部６３から与えられた画像を表示する。

表示部６８の表示画面上には、タッチパネル６８ｂが設けられている。タッチパネル６８ｂは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部６３に供給される。これにより、制御部６３は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

また、スマートフォン７１は筐体７１ａの背面にレンズ７３ｂが設けられて、スマートフォン７１の背面側の被写体の光学像を内蔵カメラ７３によって撮像する。スマートフォン７１の筐体７１ａの前面には、表示部７８の表示画面が設けられて、表示画面上に、表示制御部７７からの画像が表示される。

図８に示すように、本実施の形態においては、カメラ６１は、姿勢検出部６７が設けられている。姿勢検出部６７は、加速度センサ等によって構成されており、カメラ６１の姿勢を検出して検出結果を制御部１３に出力することができる。

一方、スマートフォン７１においては、姿勢検出部７９が設けられている。姿勢検出部７９は、加速度センサ等によって構成されており、スマートフォン７１の姿勢を検出して検出結果を制御部７５に出力することができる。制御部７５は姿勢の検出結果をカメラ用通信部７２を介してカメラ６１に送信することができるようになっている。

また、本実施の形態においては、制御部７５は、内蔵カメラ７３がレンズ７３ｂを介して取得した撮像画像及び内蔵カメラ７３のレンズに関する情報を、カメラ用通信部７２を介してカメラ６１に転送することができるようになっている。レンズに関する情報には、ピント位置、被写界深度の範囲等の光軸方向の距離の情報が含まれる。

本実施の形態においては、制御部６３には、撮像部６２による撮像画像とスマートフォン７１による撮像画像とが与えられて、第１の実施の形態と同様に、これらの撮像画像を連携表示させることができるようになっている。

本実施の形態においては、カメラ６１とスマートフォン７１の傾斜角の情報を用いて、図４と同様の連携表示を行うことを可能にしている。

図１０は本実施の形態におけるピント位置の算出法を説明するための説明図である。

内蔵カメラ７３のレンズ７３ｂのレンズ中心と、カメラ６１の光学系６２ａのレンズ６２ｃの中心との間の距離であって、光軸に垂直な方向の距離をＢとし、光軸方向の距離をＤｃとする。また、レンズ６２ｃの光軸に垂直な線と内蔵カメラ７３の撮像素子７３ｃの撮像面とのなす傾斜角をθｃｓとする。傾斜角θｃｓは、カメラ６１及びスマートフォン７１に設けた姿勢検出部は６７，７９の検出結果から求められる。

レンズ６２ｃ，７３ｂ間の距離Ｂ，Ｄｃは、傾斜角θｃｓに応じて変化する。仮に、傾斜角θｃｓに応じた距離Ｂ，Ｄｃの値が既知であるものとする。例えば、傾斜角θｃｓに応じた距離Ｂ，Ｄｃの値を、カメラ６１又はスマートフォン７１内の図示しないメモリに記憶させて、制御部６３においてメモリから距離Ｂ，Ｄｃの値を読出すようにしてもよい。この場合には、カメラ６１の撮像部６２によるピント位置や被写界深度の範囲等の距離情報Ｄｆから、距離（Ｄｆ−Ｄｃ）を求めることができ、（Ｄｆ−Ｄｃ）と距離Ｂとによって、図１０のθｉｎを算出することができる。

カメラ６１の光軸に垂直な方向に対して角度θｉｎの方向からスマートフォン７１の内蔵カメラ７３に入射した光が内蔵カメラ７３の撮像素子７３ｃの撮像面のいずれの位置に結像するかは求めることができる。即ち、光線の入射角度と撮像面上の結像位置とは１対１に対応し、カメラ６１の制御部６３は、撮像部６２の合焦時の被写体である草花４２までの距離Ｄｆの情報が与えられることで、撮像部６２の合焦時における光軸方向の位置が、内蔵カメラ７３による撮像画像中のいずれの位置に相当するかを求めることができる。制御部６３は、この情報を算出して、表示部６８の表示画面上に表示した内蔵カメラ７３による撮像画像上に、合焦位置を示す表示を表示させることができる。同様に、制御部６３は、撮像部６２の被写界深度の範囲を示す表示を、表示部６８の表示画面上に表示した内蔵カメラ７３による撮像画像上に、表示させることができる。

距離Ｂ，Ｄｃの値が既知でない場合には、画像解析によって、距離情報Ｄｆに応じた入射角θｉｎを求めることができる。制御部６３は、撮像部６２による撮像画像及び内蔵カメラ７３による撮像画像の画像解析によって、撮像部６２に入射する被写体像に対応する被写体像が撮像素子７３ｃの撮像面のいずれの位置に入射するかを求める。図１０のＺ１点は、撮像部６２の光軸上の画像部分に対応する被写体像の入射位置を示している。いま、Ｚ１点を通る入射光線を延長した点Ｚ２を仮定し、撮像部６２の光軸に垂直な方向におけるレンズ７３ｂとＺ２点との距離をＦとする。また、撮像部６２の光軸方向におけるレンズ７３ｂとＺ２点までの距離をＺｆとする。

撮像素子７３ｃの情報及び傾斜角θｃｓ等が既知であるので、Ｚ１点及びＺ２点の位置及び距離Ｚｆを求めることができる。この場合には、下記（４），（５）式が得られる。

Ｚｆ：（Ｄｆ−Ｄｃ）＝Ｂ：ｆ …（４）
（Ｄｆ−Ｄｃ）＝Ｚｆ×Ｆ／Ｂ …（５）
更に、下記（６）式、（７）式が得られる。

Ｚｆ＝Ｆ×ｔａｎθｉｎ …（６）
（Ｄｆ−Ｄｃ）＝Ｆ×Ｆ×ｔａｎθｉｎ／Ｂ …（７）
また、スマートフォン７１の内蔵カメラ７３による測距によって取得した被写体までの距離Ｄｓｏを用いると、下記（８）式が成立する。

Ｂ＝Ｄｓｏ／ｔａｎθｉｎ …（８）
従って、下記（９）式が得られる。

（Ｄｆ−Ｄｃ）＝Ｆ×Ｆ×（ｔａｎθｉｎ）^２／Ｄｓｏ …（９）
こうして、制御部６３は、上記（８），（９）式によって、距離情報Ｄｆに応じた入射角θｉｎの情報を求めることができる。これにより、制御部６３は、撮像部６２からの距離情報Ｄｆに応じた表示を内蔵カメラ７３による撮像画像のいずれの位置に表示すれば良いかを求めて、表示部６８にこの表示を表示させる。

なお、本実施の形態においては、スマートフォン７１は内蔵カメラ７３による撮像画像及びレンズに関する情報をカメラ６１に出力し、カメラ６１の制御部６３において、連携表示のための全ての処理を行う例を説明したが、連携表示のための一部又は全ての処理をスマートフォン７１の制御部７５において実行するようにしてもよい。例えば、制御部７５において、内蔵カメラ７３による撮像画像中に表示する距離情報に基づく表示の生成及び合成を行い、距離情報に基づく表示が撮像画像に合成された合成画像をカメラ用通信部７２を介してカメラ６１に出力し、カメラ６１の制御部６３において、連携表示を行うようにしてもよい。

次に、このように構成された実施の形態の動作について図１１及び図１２を参照して説明する。図１１はカメラ６１におけるカメラ制御とスマートフォン７１の制御とを説明するためのフローチャートである。図１１において図７と同一の手順には同一符号を付して説明を省略する。図１１において、カメラ６１のカメラ制御フローとスマートフォン７１の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。なお、図１１は距離情報に基づく表示を撮像画像に合成する処理については、スマートフォン７１側で行う例を示している。図１２は本実施の形態における撮影の様子及び表示を説明するための説明図である。

スマートフォン７１の制御部７５は、ステップＳ４１において、連携撮影開始時であるか否かを判定する。連携撮影時には、図１２に示すように、カメラ６１によって被写体である草花４２を略水平方向から撮影すると共に、スマートフォン７１によって被写体である草花４２を略上方から撮影する。連携撮影の開始時においては、制御部７５は、ユーザがスマートフォン７１の傾斜角を認識可能なように、姿勢検出部７９，６７の出力によって、カメラ６１の光軸に対するスマートフォン７１の光軸の傾斜角を示す表示９１を表示させる（ステップＳ４２）。

スマートフォン７１の制御部７５は、ステップＳ４３において、内蔵カメラ７３を駆動して撮影画像を取得する。次に、制御部７５は、カメラ６１の撮像部６２の撮像時の距離情報に対応した表示を撮像画像中に表示するために、カメラ６１に対してピント位置や被写界深度の範囲等を示す距離情報Ｄｆを要求する。

一方、カメラ６１の制御部６３は、ステップＳ１３において、撮像部６２からの撮像画像を表示部６８にスルー画として表示させた後、ステップＳ３１において通信要求があったか否かを判定する。制御部６３は、スマートフォン７１からの通信要求がない場合には、ステップＳ２０において撮影操作の有無を判定し、撮影操作があった場合には、撮影を行う（ステップＳ２１）。通信要求があると、制御部６３は、ステップＳ３２において、ピント位置や被写界深度の範囲等を示す距離情報Ｄｆを求めて、スマートフォン７１に送信する。また、制御部６３は、撮像部６２による撮像画像もスマートフォン７１に送信する。

スマートフォン７１の制御部７５は、ステップＳ４４において距離情報をＤｆを取得すると、次のステップＳ４５において、撮像部６２による撮像画像と内蔵カメラ７３による撮像画像との画像解析によって共通画像を存在するか否かを判定する。共通画像が存在しない場合には、図１０のＺ１点，Ｚ２点を取得することができないので、連携表示を行うことができないことを示す情報（ＮＧ）を送信する。この情報に基づく表示をスマートフォン７１及びカメラ６１の各表示部７８，６８に表示させてもよい。

制御部７５は、ステップＳ４５において、撮像部６２による撮像画像と内蔵カメラ７３による撮像画像とに共通画像が存在するものと判定した場合には、ステップＳ４６において連携表示が可能であることを示す情報（ＯＫ）を送信し、次のステップＳ４８において、距離情報Ｄｆから入射角θｉｎを算出して、距離情報Ｄｆに対応する位置が内蔵カメラ７３の撮像画像中のいずれの位置に相当するかを求める。制御部７５は、求めた位置に、距離情報Ｄｆに対応した表示を表示させるための表示データを生成して（ステップＳ４９）、内蔵カメラ７３からの撮像画像と生成した表示データとを合成し、合成画像を生成する。制御部７５は、生成した合成画像をカメラ用通信部７２を介してカメラ６１に送信する（ステップＳ５０）。

カメラ６１の制御部６３は、撮像部６２からの撮像画像をメイン画像とし、スマートフォン７１からの合成画像をサブ画像として、表示部６８にメイン画像及びサブ画像を表示する（ステップＳ３３）。

図１２は制御部７５が距離情報Ｄｆとして被写界深度の範囲の情報を用いて、内蔵カメラ７３の撮像画像中に、カメラ６１の撮像部６２による撮像時に被写界深度外の範囲となる領域を連携表示として表示する例を示している。

図１２（ａ）は、ステップＳ３３において、表示部６８の表示画面６８ｃ上に、撮像部６２によるメイン画像４２ｍが表示されるとともに、内蔵カメラ７３の撮像画像に基づくサブ画像４２ｃがサブ画像表示領域６９に表示されていることを示している。サブ画像表示領域６９中には、スマートフォン７１の傾斜角が４５度であることを示す調整表示９２も表示されている。

図１２（ｂ）は、サブ画像表示領域６９中のサブ画像４２ｃに重ねて、被写界深度範囲外の表示９３ａ，９３ｂが表示されている様子を示している。被写界深度範囲外の表示９３ａ，９３ｂによって、ユーザは、カメラ６１の被写界深度の範囲を簡単に把握することができる。

このように本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、カメラのアクセサリーシューにスマートフォンを取り付けるという簡単な作業によって、カメラのピント合わせに関する情報を連携表示によって表示させることができ、利便性に優れている。

ここでは、異なる角度から得られた広がりのある対象物の情報（撮像に関わる情報）より、その対象物（被写体）の存在するあるいは広がっている位置関係、広がりの距離関係の有用な情報を得るようにしていたが、異なる角度から得られた対象物の情報としては、対象物の広がりと距離による大きさ情報、補助光の到達情報や対象物の光沢など質感の情報や立体感の情報、あるいは、対象物を同定する際の補助情報などが考えられる。対象物の大きさが分かると、昆虫や花などの同定が容易になることは言うまでもない。形状と名称の関係の図鑑データベースの活用も簡単になる。スマートフォンなど通信部があれば、クラウドコンピューティングを利用した同定などが容易に行える。例えば、図１２において、サブ画像表示領域６９の画像では、花の花弁の広がりや数から同定が容易であるが、表示画面６８ｃの画像では重なりなどで同定困難な場合がある。このシステム、方法では、距離分布から花弁のサイズもわかり、同定が容易になる。つまり、複数の撮像部の一方の撮像結果に対して、もう一方の撮像結果によって補助表示を行う撮影装置を得ることもできる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、実施の携帯のように、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。撮影装置でなくとも、このような工夫によって、ユーザが希望する画像を正確に観察できる観察装置、表示装置を提供することが可能となる。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影装置を実現することができる。

１１…レンズ型カメラ、１２…撮像部、１３…制御部、１４…操作部、１５…通信部、２１…タブレットＰＣ、２２…カメラ用通信部、２３…内蔵カメラ、２５…制御部、２６…操作部、２７…表示制御部、２８…表示部。

Claims (6)

1. 被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、の両撮像部との間で信号伝送が可能な入力部と、
   上記第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御部と、
   上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御部と、
   を具備したことを特徴とする表示機器。
2. 上記第１の情報は、上記第２の撮像部を上記携帯端末に装着する際において、当該第２の撮像部の位置決めのための指標となる情報である
   ことを特徴とする請求項１に記載の表示機器。
3. 上記第１の情報は、上記第１の撮像部と上記第２の撮像部との間の距離に係る情報である
   ことを特徴とする請求項１または２に記載の表示機器。
4. 被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、
   上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、上記第１の撮像部との間で信号伝送が可能な入力部と、
   上記第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御部と、
   上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御部と、
   を具備したことを特徴とする撮影装置。
5. 被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、の両撮像部との間で信号伝送を行う入力ステップと、
   上記入力ステップにおいて、第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御ステップと、
   上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御ステップと、
   を具備したことを特徴とする表示方法。
6. 被写体を撮像して第１の撮像画像を得る、携帯端末に内蔵された内蔵カメラにより構成される第１の撮像部と、
   上記第１の撮像部とは異なる視点から上記被写体を撮像して第２の撮像画像を得る、上記携帯端末に対して着脱可能なカメラにより構成される第２の撮像部と、
   上記第１の撮像部と上記第２の撮像部との間で信号伝送が可能な入力部と、
   上記第２の撮像部から上記第２の撮像部の撮像に関する情報が与えられて上記情報に基づく画像を第１の情報として生成する制御部と、
   上記第２の撮像部を上記携帯端末に装着する際における当該第２の撮像部に係る位置情報を上記第１の情報として上記携帯端末における表示画面上に表示させる表示制御部と、
   を具備したことを特徴とする撮影システム。