JP6328361B1 - Multi-camera display control device - Google Patents
Multi-camera display control device Download PDFInfo
- Publication number
- JP6328361B1 JP6328361B1 JP2018504959A JP2018504959A JP6328361B1 JP 6328361 B1 JP6328361 B1 JP 6328361B1 JP 2018504959 A JP2018504959 A JP 2018504959A JP 2018504959 A JP2018504959 A JP 2018504959A JP 6328361 B1 JP6328361 B1 JP 6328361B1
- Authority
- JP
- Japan
- Prior art keywords
- joint
- camera
- relative position
- display control
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002131 composite material Substances 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Accessories Of Cameras (AREA)
Abstract
ジョイント情報取得部(1)は、各ジョイントの形状を示すジョイント情報を取得する。カメラ情報取得部(3)は、カメラのジョイント間の長さを示すサイズ情報を取得する。ジョイント相対位置算出部(2)及びカメラ情報取得部(3)は、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する。The joint information acquisition unit (1) acquires joint information indicating the shape of each joint. The camera information acquisition unit (3) acquires size information indicating the length between joints of the camera. The joint relative position calculation unit (2) and the camera information acquisition unit (3) calculate the relative positions of three or more cameras connected by a plurality of joints from the joint information and the size information.
Description
本発明は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおける多眼カメラ表示制御装置に関するものである。 The present invention relates to a multi-view camera display control device in a multi-view camera system in which three or more cameras are connected using a plurality of joints having an arbitrary shape.
立体画像やパノラマ画像、焦点距離を後から変更できるリフォーカサブル画像を撮影するために、多眼カメラシステムが利用される。
従来の多眼カメラシステムにおいて、ユーザがその撮影方向を自由に変えられるものとして、三台以上のカメラを機械的、電気的または無線で接続して撮影を行う技術が提案されている。また、カメラ部とそれらを連結する接続部によって構成される多眼カメラシステムがあった(例えば、特許文献1参照)。この多眼カメラシステムは、二つのカメラ部を接続部によって連結することで、任意の配置でカメラを配置でき、かつ、ユーザがその配置を簡単に変えられるようにしたものである。A multi-view camera system is used to capture a stereoscopic image, a panoramic image, and a refocusable image whose focal length can be changed later.
In a conventional multi-lens camera system, a technique has been proposed in which three or more cameras are connected mechanically, electrically, or wirelessly so that a user can freely change the shooting direction. In addition, there has been a multi-lens camera system including a camera unit and a connection unit that connects them (see, for example, Patent Document 1). In this multi-lens camera system, two cameras are connected by a connecting part, so that the cameras can be arranged in an arbitrary arrangement, and the user can easily change the arrangement.
しかしながら、上記特許文献1に記載されたような従来の多眼カメラシステムでは、単に二つのカメラを接続部で接続して撮影するようにしただけであって、接続部も単にジョイントとしての機能を持つだけである。従って、多眼カメラシステムとしてのカメラのレイアウトや台数の選択の自由度が小さいという課題があった。 However, in the conventional multi-lens camera system as described in the above-mentioned Patent Document 1, the two cameras are simply connected to each other at the connection portion, and the connection portion simply functions as a joint. Just have it. Therefore, there is a problem that the degree of freedom in selecting the layout and the number of cameras as a multi-view camera system is small.
この発明は、かかる問題を解決するためになされたもので、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することのできる多眼カメラ表示制御装置を得ることを目的とする。 The present invention has been made to solve such a problem, and is to obtain a multi-camera display control apparatus that can easily realize a multi-camera system having a high degree of freedom in selecting the layout and number of cameras. Objective.
この発明に係る多眼カメラ表示制御装置は、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたものである。 The multi-lens camera display control device according to the present invention includes a joint-side connector at both ends, and obtains joint information indicating an arbitrary shape in a plurality of joints configured in an arbitrary shape, respectively, A camera information acquisition unit that has a plurality of camera side connectors to which the joint side connectors are connected and acquires size information indicating the length between the camera side connectors in three or more cameras connected by a plurality of joints; and joint information And a relative position calculation unit for calculating relative positions of three or more cameras connected by a plurality of joints from the size information.
この発明に係る多眼カメラ表示制御装置は、ジョイントの形状を示すジョイント情報と、カメラのジョイント間の長さを示すサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出するようにしたものである。これにより、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。 The multi-lens camera display control device according to the present invention provides the relative position of three or more cameras connected by a plurality of joints from joint information indicating the shape of the joint and size information indicating the length between the joints of the camera. It is to be calculated. Thereby, a multi-view camera system with a high degree of freedom in selecting the layout and number of cameras can be easily realized.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、本実施の形態の多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。
図示の多眼カメラシステムは、複数のジョイント(図1では三つのジョイント100)とこれらジョイント100によって接続される三台以上のカメラ(図1では四台のカメラ200)から構成されている。それぞれのジョイント100は、両端に雄コネクタであるジョイント側コネクタ100aが設けられ、これらジョイント側コネクタ100aによってカメラ200の雌コネクタであるカメラ側コネクタを接続するよう構成されている。なお、カメラ側コネクタについては図示を省略している。Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is an explanatory diagram illustrating a relationship between a camera and a joint of a multi-view camera system to which the multi-view camera display control device of the present embodiment is applied.
The illustrated multi-lens camera system includes a plurality of joints (three
図2は、多眼カメラシステムにおける複数のジョイント例を示す斜視図である。ジョイント100−1は両端にジョイント側コネクタを備えた直線形状のジョイントである。ジョイント100−2は両端にジョイント側コネクタを備え、L字形に曲がって形成されたジョイントである。ジョイント100−3は両端にジョイント側コネクタを備えた伸縮可能なジョイントである。ジョイント100−4は両端にジョイント側コネクタを備え、三次元方向に自由な角度に曲げることが可能なジョイントである。ジョイント100−5は両端にジョイント側コネクタを備え、折り曲げることが可能な蝶番型のジョイントである。 FIG. 2 is a perspective view showing a plurality of joint examples in the multi-view camera system. The joint 100-1 is a linear joint having joint-side connectors at both ends. The joint 100-2 is a joint that has joint-side connectors at both ends and is bent into an L shape. The joint 100-3 is an expandable / contractible joint having joint-side connectors at both ends. The joint 100-4 is a joint that includes joint-side connectors at both ends and can be bent at any angle in a three-dimensional direction. The joint 100-5 is a hinge-type joint that includes joint-side connectors at both ends and can be bent.
図3は、本実施の形態の多眼カメラ表示制御装置10と表示装置20を示す構成図である。多眼カメラ表示制御装置10は、ジョイント情報取得部1、ジョイント相対位置算出部2、カメラ情報取得部3、全体相対位置算出部4を備える。ジョイント情報取得部1は、三台以上のカメラ200に接続されている複数のジョイント100(100−1〜100−n)の形状を示すジョイント情報を取得する機能部である。すなわち、図2で示したジョイント100−1〜5には、それぞれどのジョイント100であるかを示す識別子が付与され、この識別子がジョイント情報として取得されると共に、ジョイント100−3〜100−5のようにその形状が変化するジョイントは、その変化形状の情報がジョイント情報として取得される。例えば、ジョイント100−3ではその伸縮長の情報が可動部の抵抗値を計測するセンサからの情報といった形で取得される。また、ジョイント100−4では3次元の形状情報が、ジョイント100−5では角度情報が、例えばロータリエンコーダのような回転変位量を電気信号に変換できるセンサからの情報として取得される。また、ジョイント情報としては、ジョイント100の識別子と共に、いずれかのカメラ200に接続された場合は、どのカメラ200に接続されたかを示す情報も含んでいる。
FIG. 3 is a configuration diagram illustrating the multi-camera
ジョイント相対位置算出部2は、ジョイント情報取得部1で取得された複数のジョイント情報に基づいて、複数のジョイント100の相対位置を算出する機能部である。カメラ情報取得部3は、三台以上のカメラ200(200−1〜200−n)におけるカメラ側コネクタ間の長さ、すなわち、各ジョイント100で挟まれるカメラ200の長さ、例えば図1に示される多眼カメラシステムでは各カメラ200の横幅をサイズ情報として取得する機能部である。また、サイズ情報としては、各カメラ200の高さと奥行の値もサイズ情報として取得される。全体相対位置算出部4は、ジョイント相対位置算出部2で算出された各ジョイント100の相対位置と、カメラ情報取得部3で取得された各カメラ200のサイズ情報に基づいて多眼カメラシステムとしての全体の相対位置を算出する機能部である。なお、ジョイント相対位置算出部2と全体相対位置算出部4とで、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部が構成されている。また、表示装置20は、多眼カメラ表示制御装置10で算出した相対位置を表示するための表示装置である。
The joint relative
なお、多眼カメラ表示制御装置10は、各カメラ200内に設け、各カメラ200内の多眼カメラ表示制御装置10が協調して動作を行っても良く、また、1台のメインとなるカメラ200内に設けてもよい。さらには、カメラ200の外部に独立して設けてもよい。いずれの構成であっても、各ジョイント100は、カメラ200を介して他のジョイント100のジョイント情報を伝送するための信号路を内部に有しているものとする。また、表示装置20については、外部に独立して設けるか、1台のメインとなるカメラ200のディスプレイを表示装置20としてもよい。
Note that the multi-view camera
また、多眼カメラシステムとしての画像処理関係の構成については従来と同様であるため、画像処理に関する構成の図示やその動作についての説明は省略する。 Further, since the configuration related to image processing as the multi-lens camera system is the same as the conventional configuration, illustration of the configuration related to image processing and description of the operation thereof are omitted.
図4は、多眼カメラ表示制御装置10のハードウェア構成図である。図示のように、多眼カメラ表示制御装置10は、CPU301、メモリ302、入力インタフェース303、出力インタフェース304を備える。CPU301は、メモリ302に格納されたプログラムを実行して多眼カメラ表示制御装置10の機能を実現するためのプロセッサである。メモリ302は、ジョイント情報取得部1〜全体相対位置算出部4のそれぞれの機能に対応したプログラムを格納すると共に、CPU301の作業領域を構成し、かつ、各種データを記憶するための半導体メモリからなる記憶部である。入力インタフェース303は、ジョイント情報やサイズ情報を取得するためのインタフェースである。出力インタフェース304は全体相対位置算出部4で算出された全体相対位置を表示データとして出力するためのインタフェースである。図3に示したジョイント情報取得部1及びカメラ情報取得部3は、CPU301、メモリ302及び入力インタフェース303で構成され、ジョイント相対位置算出部2及び全体相対位置算出部4はCPU301及びメモリ302で構成されている。また、ジョイント情報取得部1〜全体相対位置算出部4は、それぞれ、メモリ302に格納されたプログラムをCPU301が読み出して実行することで実現されている。
FIG. 4 is a hardware configuration diagram of the multi-view camera
次に、実施の形態1の多眼カメラ表示制御装置の動作を図5のフローチャートに沿って説明する。
ジョイント情報取得部1は、どのジョイント100がどのカメラ200に接続されているかをジョイント情報として取得する(ステップST1)。次に、ジョイント相対位置算出部2は、ジョイント情報取得部1で取得したジョイント情報を用いてジョイント相対位置を算出する(ステップST2)。また、カメラ情報取得部3はサイズ情報を取得する(ステップST3)。全体相対位置算出部4は、ジョイント相対位置算出部2で算出したジョイント相対位置とカメラ情報取得部3で取得したサイズ情報を用いて、どのジョイント100でどのカメラ200が接続されているかを示す全体相対位置を算出する(ステップST4)。全体相対位置算出部4で算出された全体相対位置は表示データとして出力され、表示装置20で表示される(ステップST5)。なお、図5のフローチャートでは、ステップST2でジョイント相対位置を算出した後に、ステップST3でカメラ情報取得部3がサイズ情報を取得するようにしたが、これらの順序はどちらが先であってもよく、あるいは同時であってもよい。Next, the operation of the multi-view camera display control apparatus according to the first embodiment will be described with reference to the flowchart of FIG.
The joint information acquisition unit 1 acquires which joint 100 is connected to which
図6は、全体相対位置の表示例を示す。
図示例では、三台のカメラ200(200−1〜200−3)が二つのジョイント100−2で接続された多眼カメラシステムを示している。このように、ジョイント100をカメラ200に接続することで、多眼カメラシステムとしての全体相対位置を表示させることができる。FIG. 6 shows a display example of the overall relative position.
The illustrated example shows a multi-camera system in which three cameras 200 (200-1 to 200-3) are connected by two joints 100-2. Thus, by connecting the joint 100 to the
また、全体相対位置算出部4は、図6で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、3次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。 The overall relative position calculation unit 4 is configured to display an image corresponding to the rotation instruction when the rotation instruction is given to the display image shown in FIG. That is, the display image is rotated similarly to the rotation of the three-dimensional computer graphics.
以上説明したように、実施の形態1の多眼カメラ表示制御装置によれば、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたので、多眼カメラシステムとしてカメラとジョイントの相対位置を把握することができるため、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。 As described above, according to the multi-lens camera display control device of the first embodiment, joint information indicating a desired shape in a plurality of joints having a joint-side connector at both ends and configured in a desired shape is acquired. The joint information acquisition unit and each has multiple camera-side connectors to which the joint-side connector is connected, and acquires size information indicating the length between the camera-side connectors in three or more cameras connected by multiple joints Camera information acquisition unit, and a relative position calculation unit that calculates the relative position of three or more cameras connected by a plurality of joints from joint information and size information. The multi-camera system has a high degree of freedom in selecting the layout and number of cameras. It can be easily realized Temu.
また、実施の形態1の多眼カメラ表示制御装置によれば、相対位置算出部は、算出した三台以上のカメラの相対位置を表示データとして出力するようにしたので、三台以上のカメラの相対位置を表示することができる。 In addition, according to the multi-view camera display control device of the first embodiment, the relative position calculation unit outputs the calculated relative positions of the three or more cameras as display data. The relative position can be displayed.
実施の形態2.
実施の形態2は、全体相対位置におけるカメラ位置に実際のカメラからの映像を表示するようにしたものである。
図7は、実施の形態2の多眼カメラ表示制御装置10aを示す構成図である。
実施の形態2の多眼カメラ表示制御装置10aは、ジョイント情報取得部1、ジョイント相対位置算出部2、カメラ情報取得部3、全体相対位置算出部4に加えて合成画像生成部5を備える。ここで、ジョイント情報取得部1〜全体相対位置算出部4は、実施の形態1におけるジョイント情報取得部1〜全体相対位置算出部4と同様であるため、その説明は省略する。合成画像生成部5は、各カメラ200の撮像データを、対応するカメラ200の位置に映像として表示させる合成画像表示データを生成する機能部である。
In the second embodiment, an image from an actual camera is displayed at the camera position in the overall relative position.
FIG. 7 is a configuration diagram illustrating the multi-view camera
The multi-view camera
次に、実施の形態2の多眼カメラ表示制御装置の動作を図8のフローチャートに沿って説明する。ここで、ステップST1〜ステップST4までの動作は、図5に示した実施の形態1の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
実施の形態2では、ステップST4において全体相対位置算出部4が全体相対位置を算出すると、合成画像生成部5は、各カメラ200からの映像データを取得し(ステップST11)、全体相対位置におけるカメラ位置に、対応するカメラ200からの映像を配置させた合成画像表示データを生成する(ステップST12)。そして、生成された合成画像は表示装置20に送られ、表示装置20で表示される(ステップST13)。図9は、合成画像の表示の一例である。これは、実施の形態1の図6で示した全体相対位置のカメラ位置に映像を表示させたものである。すなわち、映像400−1がカメラ200−1の映像、映像400−2がカメラ200−2の映像、映像400−3がカメラ200−3の映像である。Next, the operation of the multi-view camera display control apparatus according to the second embodiment will be described with reference to the flowchart of FIG. Here, since the operation from step ST1 to step ST4 is the same as the operation of the first embodiment shown in FIG. 5, the same reference numerals are assigned to the corresponding processes, and the description thereof is omitted.
In the second embodiment, when the overall relative position calculation unit 4 calculates the overall relative position in step ST4, the composite image generation unit 5 acquires video data from each camera 200 (step ST11), and the camera at the overall relative position. The composite image display data in which the video from the corresponding
また、合成画像生成部5は、図9で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、3次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。 The composite image generation unit 5 is configured to display an image corresponding to the rotation instruction when the rotation instruction is given to the display image shown in FIG. 9. That is, the display image is rotated similarly to the rotation of the three-dimensional computer graphics.
なお、上記例では、各カメラ200からの撮像データが映像データ、すなわち動画像データである場合を説明したが、撮像データとして静止画の画像データであっても同様に適用可能である。
In the above example, the case where the imaging data from each
以上説明したように、実施の形態2の多眼カメラ表示制御装置によれば、三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたので、実際にカメラで撮像されたデータを表示させることができるため、多眼カメラシステムに関してより多くの情報を提供することができる。 As described above, according to the multi-lens camera display control device of the second embodiment, the composite image generation unit that generates display data for displaying the imaging data of three or more cameras at the corresponding camera positions. Since it is provided, data actually captured by the camera can be displayed, so that more information about the multi-camera system can be provided.
実施の形態3.
実施の形態3は、ジョイント100の可動範囲を制限させるようにしたものである。
例えば複数のカメラ画像を連結して室内の俯瞰画像を作る場合、得たい俯瞰画像の形に合わせて、各カメラの映像を確認しながら微調整する必要がある。そこで、実施の形態3では、撮影前に得たい画像のイメージ(レイアウト)を画像として指定し、その画像が得られるように各カメラを接続するジョイント100の可動範囲を制限することで、各カメラの配置を容易に確定できるようにしたものである。Embodiment 3 FIG.
In the third embodiment, the movable range of the joint 100 is limited.
For example, when a plurality of camera images are connected to create an indoor bird's-eye view image, it is necessary to make fine adjustments while checking the video of each camera in accordance with the shape of the bird's-eye view image to be obtained. Therefore, in the third embodiment, an image (layout) of an image desired to be obtained before shooting is designated as an image, and the movable range of the joint 100 that connects the cameras is limited so that the image can be obtained. The arrangement of can be easily determined.
図10は、実施の形態3の多眼カメラ表示制御装置10bを示す構成図である。
実施の形態3の多眼カメラ表示制御装置10bは、ジョイント情報取得部1、ジョイント相対位置算出部2、カメラ情報取得部3、全体相対位置算出部4に加えて、合成画像イメージ生成部6、合成画像選択部7、可動範囲決定部8を備える。ここで、ジョイント情報取得部1〜全体相対位置算出部4は、実施の形態1、2におけるジョイント情報取得部1〜全体相対位置算出部4と同様であるため、その説明は省略する。FIG. 10 is a configuration diagram illustrating the multi-lens camera
In addition to the joint information acquisition unit 1, the joint relative
合成画像イメージ生成部6は、全体相対位置におけるカメラ200の位置に、そのカメラ200の撮像データに対応する画像イメージを表示させる合成画像イメージデータを生成する機能部である。ここで、画像イメージとは、例えば、映像を示す枠か、図9に示しているような「映像と文字表示されたグレイの四角形」といった、実際のカメラ200からの撮像データに相当する画像イメージを意味している。合成画像選択部7は、合成画像イメージ生成部6で生成された合成画像イメージを表示装置20で表示している状態で、特定のカメラ200の画像イメージへの移動指示があった場合、その移動方向と移動量の値を取得する機能部である。可動範囲決定部8は、合成画像選択部7で取得した移動方向と移動量の値に基づいて対応するジョイント100の可動範囲を決定する機能部である。
The composite image image generation unit 6 is a functional unit that generates composite image image data for displaying an image image corresponding to the imaging data of the
次に、実施の形態3の多眼カメラ表示制御装置の動作を図11のフローチャートに沿って説明する。ここで、ステップST1〜ステップST4までの動作は、図5に示した実施の形態1の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
実施の形態3では、ステップST4において全体相対位置算出部4が全体相対位置を算出すると、合成画像イメージ生成部6は、全体相対位置におけるカメラ位置に、対応するカメラ200の画像イメージを配置させた合成画像イメージデータを生成する(ステップST21)。そして、生成された合成画像イメージデータは表示装置20に送られ、表示装置20で表示される(ステップST22)。この状態で、配置された画像への移動指示があった場合(ステップST23−Yes)、例えば、マウス等で画像がドラッグされた等であった場合、合成画像選択部7は、その移動指示を受けて移動方向と移動量を取得する(ステップST24)。一方、ステップST23において、移動指示がなかった場合(ステップST23−No)は、そのまま、移動指示待ちとなる。合成画像選択部7で、移動方向と移動量の値が取得された場合、可動範囲決定部8は、これらの値から、該当するジョイント100の可動範囲を決定する(ステップST25)。Next, the operation of the multi-view camera display control apparatus according to the third embodiment will be described along the flowchart of FIG. Here, since the operation from step ST1 to step ST4 is the same as the operation of the first embodiment shown in FIG. 5, the same reference numerals are assigned to the corresponding processes, and the description thereof is omitted.
In Embodiment 3, when the overall relative position calculation unit 4 calculates the overall relative position in step ST4, the composite image image generation unit 6 arranges the corresponding image image of the
例えば、図9の映像400−1の右側を軸に反時計回りに30度回転させる指示があり、かつ、図6に示すジョイント100−2が図2のジョイント100−5のように可動するジョイントであった場合、ジョイントの可動範囲は反時計回りに30度となる。これにより、可動範囲決定部8は、ジョイント100−5の可動範囲を反時計回りに30度と制限する。この制限方法としては、例えばジョイント100−5の可動軸にギアが設けられており、このギアを電磁石を用いてロックする、といったように、可動軸が制限される角度になると電気的にロックされるような機構を用いて行う。これにより、ジョイント100−5の可動範囲が制限され反時計回りに30度以上回転させることができなくなる。なお、可動範囲を制限するのはジョイント100−3〜ジョイント100−5のような可動するジョイント100を対象とする。また、ジョイント100の可動方向や可動域から外れるような移動指示に対しては、例えば、その移動指示を受け付けない、といった移動の制限を行う。
For example, there is an instruction to rotate 30 degrees counterclockwise about the right side of the image 400-1 in FIG. 9, and the joint 100-2 shown in FIG. 6 is movable like the joint 100-5 in FIG. In this case, the movable range of the joint is 30 degrees counterclockwise. Thereby, the movable
以上説明したように、実施の形態3の多眼カメラ表示制御装置によれば、三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたので、画像イメージを操作することで容易に各カメラの配置を確定することができる。 As described above, according to the multi-view camera display control device of the third embodiment, the composite image generation unit that generates a plurality of image images corresponding to the respective imaging data in three or more cameras, When there is an instruction to move to at least one of the image images, a movable range determination unit is provided to determine the movable range of the corresponding joint in response to the amount of movement of the movement instruction. By doing so, it is possible to easily determine the arrangement of each camera.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
以上のように、この発明に係る多眼カメラ表示制御装置は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおいて、三台以上のカメラの相対位置を算出する構成に関するものであり、立体画像やパノラマ画像またはリフォーカサブル画像を撮影するための多眼カメラシステムに用いるのに適している。 As described above, the multi-view camera display control device according to the present invention is configured to determine the relative positions of three or more cameras in a multi-view camera system in which three or more cameras are connected using a plurality of arbitrary-shaped joints. The present invention relates to a configuration to be calculated, and is suitable for use in a multi-eye camera system for photographing a stereoscopic image, a panoramic image, or a refocusable image.
1 ジョイント情報取得部、2 ジョイント相対位置算出部、3 カメラ情報取得部、4 全体相対位置算出部、5 合成画像生成部、6 合成画像イメージ生成部、7 合成画像選択部、8 可動範囲決定部、10,10a,10b 多眼カメラ表示制御装置、20 表示装置、100,100−1〜100−5 ジョイント、100a ジョイント側コネクタ、200 カメラ、400−1 カメラ200−1の映像、400−2 カメラ200−2の映像、400−3 カメラ200−3の映像。
DESCRIPTION OF SYMBOLS 1 Joint information acquisition part, 2 Joint relative position calculation part, 3 Camera information acquisition part, 4 Whole relative position calculation part, 5 Composite image generation part, 6 Composite image image generation part, 7 Composite image selection part, 8 Movable
Claims (4)
それぞれが、前記ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、前記複数のジョイントで接続される三台以上のカメラにおける前記カメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、
前記ジョイント情報と前記サイズ情報とから前記複数のジョイントで接続される前記三台以上のカメラの相対位置を算出する相対位置算出部とを備えた多眼カメラ表示制御装置。A joint information acquisition unit that includes joint connectors at both ends and acquires joint information indicating the arbitrary shape in a plurality of joints configured in an arbitrary shape;
Camera information each of which has a plurality of camera-side connectors to which the joint-side connector is connected, and acquires size information indicating the length between the camera-side connectors in three or more cameras connected by the plurality of joints An acquisition unit;
A multi-lens camera display control device comprising: a relative position calculation unit that calculates a relative position of the three or more cameras connected by the plurality of joints from the joint information and the size information.
前記複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、当該移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたことを特徴とする請求項2記載の多眼カメラ表示制御装置。A composite image generation unit that generates a plurality of image images corresponding to respective imaging data in the three or more cameras;
When there is a movement instruction to at least one of the plurality of image images, a movable range determination unit is provided that receives a movement amount of the movement instruction and determines a movable range of the corresponding joint. The multi-view camera display control device according to claim 2, wherein
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/077485 WO2018051491A1 (en) | 2016-09-16 | 2016-09-16 | Multiple-lens camera display control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6328361B1 true JP6328361B1 (en) | 2018-05-23 |
JPWO2018051491A1 JPWO2018051491A1 (en) | 2018-09-13 |
Family
ID=61618723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018504959A Expired - Fee Related JP6328361B1 (en) | 2016-09-16 | 2016-09-16 | Multi-camera display control device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6328361B1 (en) |
WO (1) | WO2018051491A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004264492A (en) * | 2003-02-28 | 2004-09-24 | Sony Corp | Photographing method and imaging apparatus |
JP2011172178A (en) * | 2010-02-22 | 2011-09-01 | Nikon Corp | Image pickup apparatus |
JP2012248985A (en) * | 2011-05-26 | 2012-12-13 | Sanyo Electric Co Ltd | Imaging apparatus |
-
2016
- 2016-09-16 JP JP2018504959A patent/JP6328361B1/en not_active Expired - Fee Related
- 2016-09-16 WO PCT/JP2016/077485 patent/WO2018051491A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004264492A (en) * | 2003-02-28 | 2004-09-24 | Sony Corp | Photographing method and imaging apparatus |
JP2011172178A (en) * | 2010-02-22 | 2011-09-01 | Nikon Corp | Image pickup apparatus |
JP2012248985A (en) * | 2011-05-26 | 2012-12-13 | Sanyo Electric Co Ltd | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2018051491A1 (en) | 2018-03-22 |
JPWO2018051491A1 (en) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11010925B2 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
JP7073850B2 (en) | Input device and input method of input device | |
JP6615545B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP4775474B2 (en) | Imaging apparatus, imaging control method, and program | |
JP2007072537A (en) | 360-degree image photographing device | |
JP2013214947A (en) | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program | |
WO2013005265A1 (en) | Three-dimensional coordinate measuring device and three-dimensional coordinate measuring method | |
EP3765815B1 (en) | Imaging device, image processing apparatus, and image processing method | |
JP2016171463A (en) | Image processing system, image processing method, and program | |
US10992879B2 (en) | Imaging system with multiple wide-angle optical elements arranged on a straight line and movable along the straight line | |
JP4865065B1 (en) | Stereo imaging device control system | |
JP2019049824A (en) | Image processing apparatus, program and method | |
JP6328361B1 (en) | Multi-camera display control device | |
JP2007033087A (en) | Calibration device and method | |
JP2018038087A (en) | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program | |
JP2019080174A (en) | Image processing apparatus, imaging system, communication system, image processing method, and program | |
JP2006017632A (en) | Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method | |
KR102019879B1 (en) | Apparatus and method for acquiring 360 VR images in a game using a virtual camera | |
JP2005275789A (en) | Three-dimensional structure extraction method | |
JP6167135B2 (en) | 3D position measurement method, surveying method, 3D position measurement apparatus, and 3D position measurement program | |
JP6625654B2 (en) | Projection device, projection method, and program | |
JP2018195967A (en) | Photographing system, image synthesizing device, image synthesizing method, and image synthesizing program | |
JP6545033B2 (en) | Three-dimensional temperature distribution display | |
JP6579706B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2005252482A (en) | Image generating apparatus and three-dimensional distance information acquisition apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180130 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180130 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180320 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6328361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |