JP6328361B1 - 多眼カメラ表示制御装置 - Google Patents

Abstract

ジョイント情報取得部（１）は、各ジョイントの形状を示すジョイント情報を取得する。カメラ情報取得部（３）は、カメラのジョイント間の長さを示すサイズ情報を取得する。ジョイント相対位置算出部（２）及びカメラ情報取得部（３）は、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する。

Description

本発明は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおける多眼カメラ表示制御装置に関するものである。

立体画像やパノラマ画像、焦点距離を後から変更できるリフォーカサブル画像を撮影するために、多眼カメラシステムが利用される。
従来の多眼カメラシステムにおいて、ユーザがその撮影方向を自由に変えられるものとして、三台以上のカメラを機械的、電気的または無線で接続して撮影を行う技術が提案されている。また、カメラ部とそれらを連結する接続部によって構成される多眼カメラシステムがあった（例えば、特許文献１参照）。この多眼カメラシステムは、二つのカメラ部を接続部によって連結することで、任意の配置でカメラを配置でき、かつ、ユーザがその配置を簡単に変えられるようにしたものである。

特開２０１２−２３７９３７号公報

しかしながら、上記特許文献１に記載されたような従来の多眼カメラシステムでは、単に二つのカメラを接続部で接続して撮影するようにしただけであって、接続部も単にジョイントとしての機能を持つだけである。従って、多眼カメラシステムとしてのカメラのレイアウトや台数の選択の自由度が小さいという課題があった。

この発明は、かかる問題を解決するためになされたもので、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することのできる多眼カメラ表示制御装置を得ることを目的とする。

この発明に係る多眼カメラ表示制御装置は、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたものである。

この発明に係る多眼カメラ表示制御装置は、ジョイントの形状を示すジョイント情報と、カメラのジョイント間の長さを示すサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出するようにしたものである。これにより、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。

この発明に係る多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。 この発明に係る多眼カメラ表示制御装置が適用される多眼カメラシステムの複数のジョイント例を示す斜視図である。 この発明の実施の形態１の多眼カメラ表示制御装置を示す構成図である。 この発明の実施の形態１の多眼カメラ表示制御装置のハードウェア構成図である。 この発明の実施の形態１の多眼カメラ表示制御装置の動作を示すフローチャートである。 この発明の実施の形態１の多眼カメラ表示制御装置の表示例を示す説明図である。 この発明の実施の形態２の多眼カメラ表示制御装置を示す構成図である。 この発明の実施の形態２の多眼カメラ表示制御装置の動作を示すフローチャートである。 この発明の実施の形態２の多眼カメラ表示制御装置の表示例を示す説明図である。 この発明の実施の形態３の多眼カメラ表示制御装置を示す構成図である。 この発明の実施の形態３の多眼カメラ表示制御装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本実施の形態の多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。
図示の多眼カメラシステムは、複数のジョイント（図１では三つのジョイント１００）とこれらジョイント１００によって接続される三台以上のカメラ（図１では四台のカメラ２００）から構成されている。それぞれのジョイント１００は、両端に雄コネクタであるジョイント側コネクタ１００ａが設けられ、これらジョイント側コネクタ１００ａによってカメラ２００の雌コネクタであるカメラ側コネクタを接続するよう構成されている。なお、カメラ側コネクタについては図示を省略している。

図２は、多眼カメラシステムにおける複数のジョイント例を示す斜視図である。ジョイント１００−１は両端にジョイント側コネクタを備えた直線形状のジョイントである。ジョイント１００−２は両端にジョイント側コネクタを備え、Ｌ字形に曲がって形成されたジョイントである。ジョイント１００−３は両端にジョイント側コネクタを備えた伸縮可能なジョイントである。ジョイント１００−４は両端にジョイント側コネクタを備え、三次元方向に自由な角度に曲げることが可能なジョイントである。ジョイント１００−５は両端にジョイント側コネクタを備え、折り曲げることが可能な蝶番型のジョイントである。

図３は、本実施の形態の多眼カメラ表示制御装置１０と表示装置２０を示す構成図である。多眼カメラ表示制御装置１０は、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４を備える。ジョイント情報取得部１は、三台以上のカメラ２００に接続されている複数のジョイント１００（１００−１〜１００−ｎ）の形状を示すジョイント情報を取得する機能部である。すなわち、図２で示したジョイント１００−１〜５には、それぞれどのジョイント１００であるかを示す識別子が付与され、この識別子がジョイント情報として取得されると共に、ジョイント１００−３〜１００−５のようにその形状が変化するジョイントは、その変化形状の情報がジョイント情報として取得される。例えば、ジョイント１００−３ではその伸縮長の情報が可動部の抵抗値を計測するセンサからの情報といった形で取得される。また、ジョイント１００−４では３次元の形状情報が、ジョイント１００−５では角度情報が、例えばロータリエンコーダのような回転変位量を電気信号に変換できるセンサからの情報として取得される。また、ジョイント情報としては、ジョイント１００の識別子と共に、いずれかのカメラ２００に接続された場合は、どのカメラ２００に接続されたかを示す情報も含んでいる。

ジョイント相対位置算出部２は、ジョイント情報取得部１で取得された複数のジョイント情報に基づいて、複数のジョイント１００の相対位置を算出する機能部である。カメラ情報取得部３は、三台以上のカメラ２００（２００−１〜２００−ｎ）におけるカメラ側コネクタ間の長さ、すなわち、各ジョイント１００で挟まれるカメラ２００の長さ、例えば図１に示される多眼カメラシステムでは各カメラ２００の横幅をサイズ情報として取得する機能部である。また、サイズ情報としては、各カメラ２００の高さと奥行の値もサイズ情報として取得される。全体相対位置算出部４は、ジョイント相対位置算出部２で算出された各ジョイント１００の相対位置と、カメラ情報取得部３で取得された各カメラ２００のサイズ情報に基づいて多眼カメラシステムとしての全体の相対位置を算出する機能部である。なお、ジョイント相対位置算出部２と全体相対位置算出部４とで、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部が構成されている。また、表示装置２０は、多眼カメラ表示制御装置１０で算出した相対位置を表示するための表示装置である。

なお、多眼カメラ表示制御装置１０は、各カメラ２００内に設け、各カメラ２００内の多眼カメラ表示制御装置１０が協調して動作を行っても良く、また、１台のメインとなるカメラ２００内に設けてもよい。さらには、カメラ２００の外部に独立して設けてもよい。いずれの構成であっても、各ジョイント１００は、カメラ２００を介して他のジョイント１００のジョイント情報を伝送するための信号路を内部に有しているものとする。また、表示装置２０については、外部に独立して設けるか、１台のメインとなるカメラ２００のディスプレイを表示装置２０としてもよい。

また、多眼カメラシステムとしての画像処理関係の構成については従来と同様であるため、画像処理に関する構成の図示やその動作についての説明は省略する。

図４は、多眼カメラ表示制御装置１０のハードウェア構成図である。図示のように、多眼カメラ表示制御装置１０は、ＣＰＵ３０１、メモリ３０２、入力インタフェース３０３、出力インタフェース３０４を備える。ＣＰＵ３０１は、メモリ３０２に格納されたプログラムを実行して多眼カメラ表示制御装置１０の機能を実現するためのプロセッサである。メモリ３０２は、ジョイント情報取得部１〜全体相対位置算出部４のそれぞれの機能に対応したプログラムを格納すると共に、ＣＰＵ３０１の作業領域を構成し、かつ、各種データを記憶するための半導体メモリからなる記憶部である。入力インタフェース３０３は、ジョイント情報やサイズ情報を取得するためのインタフェースである。出力インタフェース３０４は全体相対位置算出部４で算出された全体相対位置を表示データとして出力するためのインタフェースである。図３に示したジョイント情報取得部１及びカメラ情報取得部３は、ＣＰＵ３０１、メモリ３０２及び入力インタフェース３０３で構成され、ジョイント相対位置算出部２及び全体相対位置算出部４はＣＰＵ３０１及びメモリ３０２で構成されている。また、ジョイント情報取得部１〜全体相対位置算出部４は、それぞれ、メモリ３０２に格納されたプログラムをＣＰＵ３０１が読み出して実行することで実現されている。

次に、実施の形態１の多眼カメラ表示制御装置の動作を図５のフローチャートに沿って説明する。
ジョイント情報取得部１は、どのジョイント１００がどのカメラ２００に接続されているかをジョイント情報として取得する（ステップＳＴ１）。次に、ジョイント相対位置算出部２は、ジョイント情報取得部１で取得したジョイント情報を用いてジョイント相対位置を算出する（ステップＳＴ２）。また、カメラ情報取得部３はサイズ情報を取得する（ステップＳＴ３）。全体相対位置算出部４は、ジョイント相対位置算出部２で算出したジョイント相対位置とカメラ情報取得部３で取得したサイズ情報を用いて、どのジョイント１００でどのカメラ２００が接続されているかを示す全体相対位置を算出する（ステップＳＴ４）。全体相対位置算出部４で算出された全体相対位置は表示データとして出力され、表示装置２０で表示される（ステップＳＴ５）。なお、図５のフローチャートでは、ステップＳＴ２でジョイント相対位置を算出した後に、ステップＳＴ３でカメラ情報取得部３がサイズ情報を取得するようにしたが、これらの順序はどちらが先であってもよく、あるいは同時であってもよい。

図６は、全体相対位置の表示例を示す。
図示例では、三台のカメラ２００（２００−１〜２００−３）が二つのジョイント１００−２で接続された多眼カメラシステムを示している。このように、ジョイント１００をカメラ２００に接続することで、多眼カメラシステムとしての全体相対位置を表示させることができる。

また、全体相対位置算出部４は、図６で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、３次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。

以上説明したように、実施の形態１の多眼カメラ表示制御装置によれば、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたので、多眼カメラシステムとしてカメラとジョイントの相対位置を把握することができるため、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。

また、実施の形態１の多眼カメラ表示制御装置によれば、相対位置算出部は、算出した三台以上のカメラの相対位置を表示データとして出力するようにしたので、三台以上のカメラの相対位置を表示することができる。

実施の形態２．
実施の形態２は、全体相対位置におけるカメラ位置に実際のカメラからの映像を表示するようにしたものである。
図７は、実施の形態２の多眼カメラ表示制御装置１０ａを示す構成図である。
実施の形態２の多眼カメラ表示制御装置１０ａは、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４に加えて合成画像生成部５を備える。ここで、ジョイント情報取得部１〜全体相対位置算出部４は、実施の形態１におけるジョイント情報取得部１〜全体相対位置算出部４と同様であるため、その説明は省略する。合成画像生成部５は、各カメラ２００の撮像データを、対応するカメラ２００の位置に映像として表示させる合成画像表示データを生成する機能部である。

次に、実施の形態２の多眼カメラ表示制御装置の動作を図８のフローチャートに沿って説明する。ここで、ステップＳＴ１〜ステップＳＴ４までの動作は、図５に示した実施の形態１の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
実施の形態２では、ステップＳＴ４において全体相対位置算出部４が全体相対位置を算出すると、合成画像生成部５は、各カメラ２００からの映像データを取得し（ステップＳＴ１１）、全体相対位置におけるカメラ位置に、対応するカメラ２００からの映像を配置させた合成画像表示データを生成する（ステップＳＴ１２）。そして、生成された合成画像は表示装置２０に送られ、表示装置２０で表示される（ステップＳＴ１３）。図９は、合成画像の表示の一例である。これは、実施の形態１の図６で示した全体相対位置のカメラ位置に映像を表示させたものである。すなわち、映像４００−１がカメラ２００−１の映像、映像４００−２がカメラ２００−２の映像、映像４００−３がカメラ２００−３の映像である。

また、合成画像生成部５は、図９で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、３次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。

なお、上記例では、各カメラ２００からの撮像データが映像データ、すなわち動画像データである場合を説明したが、撮像データとして静止画の画像データであっても同様に適用可能である。

以上説明したように、実施の形態２の多眼カメラ表示制御装置によれば、三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたので、実際にカメラで撮像されたデータを表示させることができるため、多眼カメラシステムに関してより多くの情報を提供することができる。

実施の形態３．
実施の形態３は、ジョイント１００の可動範囲を制限させるようにしたものである。
例えば複数のカメラ画像を連結して室内の俯瞰画像を作る場合、得たい俯瞰画像の形に合わせて、各カメラの映像を確認しながら微調整する必要がある。そこで、実施の形態３では、撮影前に得たい画像のイメージ（レイアウト）を画像として指定し、その画像が得られるように各カメラを接続するジョイント１００の可動範囲を制限することで、各カメラの配置を容易に確定できるようにしたものである。

図１０は、実施の形態３の多眼カメラ表示制御装置１０ｂを示す構成図である。
実施の形態３の多眼カメラ表示制御装置１０ｂは、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４に加えて、合成画像イメージ生成部６、合成画像選択部７、可動範囲決定部８を備える。ここで、ジョイント情報取得部１〜全体相対位置算出部４は、実施の形態１、２におけるジョイント情報取得部１〜全体相対位置算出部４と同様であるため、その説明は省略する。

合成画像イメージ生成部６は、全体相対位置におけるカメラ２００の位置に、そのカメラ２００の撮像データに対応する画像イメージを表示させる合成画像イメージデータを生成する機能部である。ここで、画像イメージとは、例えば、映像を示す枠か、図９に示しているような「映像と文字表示されたグレイの四角形」といった、実際のカメラ２００からの撮像データに相当する画像イメージを意味している。合成画像選択部７は、合成画像イメージ生成部６で生成された合成画像イメージを表示装置２０で表示している状態で、特定のカメラ２００の画像イメージへの移動指示があった場合、その移動方向と移動量の値を取得する機能部である。可動範囲決定部８は、合成画像選択部７で取得した移動方向と移動量の値に基づいて対応するジョイント１００の可動範囲を決定する機能部である。

次に、実施の形態３の多眼カメラ表示制御装置の動作を図１１のフローチャートに沿って説明する。ここで、ステップＳＴ１〜ステップＳＴ４までの動作は、図５に示した実施の形態１の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
実施の形態３では、ステップＳＴ４において全体相対位置算出部４が全体相対位置を算出すると、合成画像イメージ生成部６は、全体相対位置におけるカメラ位置に、対応するカメラ２００の画像イメージを配置させた合成画像イメージデータを生成する（ステップＳＴ２１）。そして、生成された合成画像イメージデータは表示装置２０に送られ、表示装置２０で表示される（ステップＳＴ２２）。この状態で、配置された画像への移動指示があった場合（ステップＳＴ２３−Ｙｅｓ）、例えば、マウス等で画像がドラッグされた等であった場合、合成画像選択部７は、その移動指示を受けて移動方向と移動量を取得する（ステップＳＴ２４）。一方、ステップＳＴ２３において、移動指示がなかった場合（ステップＳＴ２３−Ｎｏ）は、そのまま、移動指示待ちとなる。合成画像選択部７で、移動方向と移動量の値が取得された場合、可動範囲決定部８は、これらの値から、該当するジョイント１００の可動範囲を決定する（ステップＳＴ２５）。

例えば、図９の映像４００−１の右側を軸に反時計回りに３０度回転させる指示があり、かつ、図６に示すジョイント１００−２が図２のジョイント１００−５のように可動するジョイントであった場合、ジョイントの可動範囲は反時計回りに３０度となる。これにより、可動範囲決定部８は、ジョイント１００−５の可動範囲を反時計回りに３０度と制限する。この制限方法としては、例えばジョイント１００−５の可動軸にギアが設けられており、このギアを電磁石を用いてロックする、といったように、可動軸が制限される角度になると電気的にロックされるような機構を用いて行う。これにより、ジョイント１００−５の可動範囲が制限され反時計回りに３０度以上回転させることができなくなる。なお、可動範囲を制限するのはジョイント１００−３〜ジョイント１００−５のような可動するジョイント１００を対象とする。また、ジョイント１００の可動方向や可動域から外れるような移動指示に対しては、例えば、その移動指示を受け付けない、といった移動の制限を行う。

以上説明したように、実施の形態３の多眼カメラ表示制御装置によれば、三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたので、画像イメージを操作することで容易に各カメラの配置を確定することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

以上のように、この発明に係る多眼カメラ表示制御装置は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおいて、三台以上のカメラの相対位置を算出する構成に関するものであり、立体画像やパノラマ画像またはリフォーカサブル画像を撮影するための多眼カメラシステムに用いるのに適している。

１ ジョイント情報取得部、２ ジョイント相対位置算出部、３ カメラ情報取得部、４ 全体相対位置算出部、５ 合成画像生成部、６ 合成画像イメージ生成部、７ 合成画像選択部、８ 可動範囲決定部、１０，１０ａ，１０ｂ 多眼カメラ表示制御装置、２０ 表示装置、１００，１００−１〜１００−５ ジョイント、１００ａ ジョイント側コネクタ、２００ カメラ、４００−１ カメラ２００−１の映像、４００−２ カメラ２００−２の映像、４００−３ カメラ２００−３の映像。

Claims (4)

1. 両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける前記任意の形状を示すジョイント情報を取得するジョイント情報取得部と、
   それぞれが、前記ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、前記複数のジョイントで接続される三台以上のカメラにおける前記カメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、
   前記ジョイント情報と前記サイズ情報とから前記複数のジョイントで接続される前記三台以上のカメラの相対位置を算出する相対位置算出部とを備えた多眼カメラ表示制御装置。
2. 前記相対位置算出部は、前記算出した三台以上のカメラの相対位置を表示データとして出力することを特徴とする請求項１記載の多眼カメラ表示制御装置。
3. 前記三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたことを特徴とする請求項２記載の多眼カメラ表示制御装置。
4. 前記三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、
   前記複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、当該移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたことを特徴とする請求項２記載の多眼カメラ表示制御装置。

Images