JP6328361B1 - Multi-camera display control device - Google Patents

Multi-camera display control device Download PDF

Info

Publication number
JP6328361B1
JP6328361B1 JP2018504959A JP2018504959A JP6328361B1 JP 6328361 B1 JP6328361 B1 JP 6328361B1 JP 2018504959 A JP2018504959 A JP 2018504959A JP 2018504959 A JP2018504959 A JP 2018504959A JP 6328361 B1 JP6328361 B1 JP 6328361B1
Authority
JP
Japan
Prior art keywords
joint
camera
relative position
display control
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018504959A
Other languages
Japanese (ja)
Other versions
JPWO2018051491A1 (en
Inventor
直樹 鶴
直樹 鶴
康祐 中島
康祐 中島
卓見 秋山
卓見 秋山
義則 齊川
義則 齊川
貴司 山内
貴司 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6328361B1 publication Critical patent/JP6328361B1/en
Publication of JPWO2018051491A1 publication Critical patent/JPWO2018051491A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)

Abstract

ジョイント情報取得部（１）は、各ジョイントの形状を示すジョイント情報を取得する。カメラ情報取得部（３）は、カメラのジョイント間の長さを示すサイズ情報を取得する。ジョイント相対位置算出部（２）及びカメラ情報取得部（３）は、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する。The joint information acquisition unit (1) acquires joint information indicating the shape of each joint. The camera information acquisition unit (3) acquires size information indicating the length between joints of the camera. The joint relative position calculation unit (2) and the camera information acquisition unit (3) calculate the relative positions of three or more cameras connected by a plurality of joints from the joint information and the size information.

Description

本発明は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおける多眼カメラ表示制御装置に関するものである。   The present invention relates to a multi-view camera display control device in a multi-view camera system in which three or more cameras are connected using a plurality of joints having an arbitrary shape.

立体画像やパノラマ画像、焦点距離を後から変更できるリフォーカサブル画像を撮影するために、多眼カメラシステムが利用される。
従来の多眼カメラシステムにおいて、ユーザがその撮影方向を自由に変えられるものとして、三台以上のカメラを機械的、電気的または無線で接続して撮影を行う技術が提案されている。また、カメラ部とそれらを連結する接続部によって構成される多眼カメラシステムがあった（例えば、特許文献１参照）。この多眼カメラシステムは、二つのカメラ部を接続部によって連結することで、任意の配置でカメラを配置でき、かつ、ユーザがその配置を簡単に変えられるようにしたものである。A multi-view camera system is used to capture a stereoscopic image, a panoramic image, and a refocusable image whose focal length can be changed later.
In a conventional multi-lens camera system, a technique has been proposed in which three or more cameras are connected mechanically, electrically, or wirelessly so that a user can freely change the shooting direction. In addition, there has been a multi-lens camera system including a camera unit and a connection unit that connects them (see, for example, Patent Document 1). In this multi-lens camera system, two cameras are connected by a connecting part, so that the cameras can be arranged in an arbitrary arrangement, and the user can easily change the arrangement.

特開２０１２−２３７９３７号公報JP 2012-237937 A

しかしながら、上記特許文献１に記載されたような従来の多眼カメラシステムでは、単に二つのカメラを接続部で接続して撮影するようにしただけであって、接続部も単にジョイントとしての機能を持つだけである。従って、多眼カメラシステムとしてのカメラのレイアウトや台数の選択の自由度が小さいという課題があった。   However, in the conventional multi-lens camera system as described in the above-mentioned Patent Document 1, the two cameras are simply connected to each other at the connection portion, and the connection portion simply functions as a joint. Just have it. Therefore, there is a problem that the degree of freedom in selecting the layout and the number of cameras as a multi-view camera system is small.

この発明は、かかる問題を解決するためになされたもので、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することのできる多眼カメラ表示制御装置を得ることを目的とする。   The present invention has been made to solve such a problem, and is to obtain a multi-camera display control apparatus that can easily realize a multi-camera system having a high degree of freedom in selecting the layout and number of cameras. Objective.

この発明に係る多眼カメラ表示制御装置は、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたものである。   The multi-lens camera display control device according to the present invention includes a joint-side connector at both ends, and obtains joint information indicating an arbitrary shape in a plurality of joints configured in an arbitrary shape, respectively, A camera information acquisition unit that has a plurality of camera side connectors to which the joint side connectors are connected and acquires size information indicating the length between the camera side connectors in three or more cameras connected by a plurality of joints; and joint information And a relative position calculation unit for calculating relative positions of three or more cameras connected by a plurality of joints from the size information.

この発明に係る多眼カメラ表示制御装置は、ジョイントの形状を示すジョイント情報と、カメラのジョイント間の長さを示すサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出するようにしたものである。これにより、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。   The multi-lens camera display control device according to the present invention provides the relative position of three or more cameras connected by a plurality of joints from joint information indicating the shape of the joint and size information indicating the length between the joints of the camera. It is to be calculated. Thereby, a multi-view camera system with a high degree of freedom in selecting the layout and number of cameras can be easily realized.

この発明に係る多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。It is explanatory drawing which shows the relationship between the camera and joint of the multi-camera system to which the multi-camera display control apparatus which concerns on this invention is applied. この発明に係る多眼カメラ表示制御装置が適用される多眼カメラシステムの複数のジョイント例を示す斜視図である。It is a perspective view which shows the some joint example of the multi-camera system to which the multi-camera display control apparatus which concerns on this invention is applied. この発明の実施の形態１の多眼カメラ表示制御装置を示す構成図である。It is a block diagram which shows the multiview camera display control apparatus of Embodiment 1 of this invention. この発明の実施の形態１の多眼カメラ表示制御装置のハードウェア構成図である。It is a hardware block diagram of the multiview camera display control apparatus of Embodiment 1 of this invention. この発明の実施の形態１の多眼カメラ表示制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the multi-camera display control apparatus of Embodiment 1 of this invention. この発明の実施の形態１の多眼カメラ表示制御装置の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the multi-camera display control apparatus of Embodiment 1 of this invention. この発明の実施の形態２の多眼カメラ表示制御装置を示す構成図である。It is a block diagram which shows the multi-view camera display control apparatus of Embodiment 2 of this invention. この発明の実施の形態２の多眼カメラ表示制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the multi-camera display control apparatus of Embodiment 2 of this invention. この発明の実施の形態２の多眼カメラ表示制御装置の表示例を示す説明図である。It is explanatory drawing which shows the example of a display of the multi-view camera display control apparatus of Embodiment 2 of this invention. この発明の実施の形態３の多眼カメラ表示制御装置を示す構成図である。It is a block diagram which shows the multi-view camera display control apparatus of Embodiment 3 of this invention. この発明の実施の形態３の多眼カメラ表示制御装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the multi-camera display control apparatus of Embodiment 3 of this invention.

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、本実施の形態の多眼カメラ表示制御装置が適用される多眼カメラシステムのカメラとジョイントとの関係を示す説明図である。
図示の多眼カメラシステムは、複数のジョイント（図１では三つのジョイント１００）とこれらジョイント１００によって接続される三台以上のカメラ（図１では四台のカメラ２００）から構成されている。それぞれのジョイント１００は、両端に雄コネクタであるジョイント側コネクタ１００ａが設けられ、これらジョイント側コネクタ１００ａによってカメラ２００の雌コネクタであるカメラ側コネクタを接続するよう構成されている。なお、カメラ側コネクタについては図示を省略している。Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is an explanatory diagram illustrating a relationship between a camera and a joint of a multi-view camera system to which the multi-view camera display control device of the present embodiment is applied.
The illustrated multi-lens camera system includes a plurality of joints (three joints 100 in FIG. 1) and three or more cameras (four cameras 200 in FIG. 1) connected by these joints 100. Each joint 100 is provided with a joint-side connector 100a that is a male connector at both ends, and a camera-side connector that is a female connector of the camera 200 is connected to the joint-side connector 100a. The camera side connector is not shown.

図２は、多眼カメラシステムにおける複数のジョイント例を示す斜視図である。ジョイント１００−１は両端にジョイント側コネクタを備えた直線形状のジョイントである。ジョイント１００−２は両端にジョイント側コネクタを備え、Ｌ字形に曲がって形成されたジョイントである。ジョイント１００−３は両端にジョイント側コネクタを備えた伸縮可能なジョイントである。ジョイント１００−４は両端にジョイント側コネクタを備え、三次元方向に自由な角度に曲げることが可能なジョイントである。ジョイント１００−５は両端にジョイント側コネクタを備え、折り曲げることが可能な蝶番型のジョイントである。   FIG. 2 is a perspective view showing a plurality of joint examples in the multi-view camera system. The joint 100-1 is a linear joint having joint-side connectors at both ends. The joint 100-2 is a joint that has joint-side connectors at both ends and is bent into an L shape. The joint 100-3 is an expandable / contractible joint having joint-side connectors at both ends. The joint 100-4 is a joint that includes joint-side connectors at both ends and can be bent at any angle in a three-dimensional direction. The joint 100-5 is a hinge-type joint that includes joint-side connectors at both ends and can be bent.

図３は、本実施の形態の多眼カメラ表示制御装置１０と表示装置２０を示す構成図である。多眼カメラ表示制御装置１０は、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４を備える。ジョイント情報取得部１は、三台以上のカメラ２００に接続されている複数のジョイント１００（１００−１〜１００−ｎ）の形状を示すジョイント情報を取得する機能部である。すなわち、図２で示したジョイント１００−１〜５には、それぞれどのジョイント１００であるかを示す識別子が付与され、この識別子がジョイント情報として取得されると共に、ジョイント１００−３〜１００−５のようにその形状が変化するジョイントは、その変化形状の情報がジョイント情報として取得される。例えば、ジョイント１００−３ではその伸縮長の情報が可動部の抵抗値を計測するセンサからの情報といった形で取得される。また、ジョイント１００−４では３次元の形状情報が、ジョイント１００−５では角度情報が、例えばロータリエンコーダのような回転変位量を電気信号に変換できるセンサからの情報として取得される。また、ジョイント情報としては、ジョイント１００の識別子と共に、いずれかのカメラ２００に接続された場合は、どのカメラ２００に接続されたかを示す情報も含んでいる。   FIG. 3 is a configuration diagram illustrating the multi-camera display control device 10 and the display device 20 according to the present embodiment. The multi-view camera display control device 10 includes a joint information acquisition unit 1, a joint relative position calculation unit 2, a camera information acquisition unit 3, and an overall relative position calculation unit 4. The joint information acquisition unit 1 is a functional unit that acquires joint information indicating the shapes of a plurality of joints 100 (100-1 to 100-n) connected to three or more cameras 200. That is, each of the joints 100-1 to 5 shown in FIG. 2 is given an identifier indicating which joint 100, and this identifier is acquired as joint information, and the joints 100-3 to 100-5 As for the joint whose shape changes, information on the changed shape is acquired as joint information. For example, in the joint 100-3, information on the expansion / contraction length is acquired in the form of information from a sensor that measures the resistance value of the movable part. The joint 100-4 acquires three-dimensional shape information, and the joint 100-5 acquires angle information as information from a sensor that can convert a rotational displacement amount into an electrical signal, such as a rotary encoder. The joint information includes information indicating which camera 200 is connected to any camera 200 together with the identifier of the joint 100.

ジョイント相対位置算出部２は、ジョイント情報取得部１で取得された複数のジョイント情報に基づいて、複数のジョイント１００の相対位置を算出する機能部である。カメラ情報取得部３は、三台以上のカメラ２００（２００−１〜２００−ｎ）におけるカメラ側コネクタ間の長さ、すなわち、各ジョイント１００で挟まれるカメラ２００の長さ、例えば図１に示される多眼カメラシステムでは各カメラ２００の横幅をサイズ情報として取得する機能部である。また、サイズ情報としては、各カメラ２００の高さと奥行の値もサイズ情報として取得される。全体相対位置算出部４は、ジョイント相対位置算出部２で算出された各ジョイント１００の相対位置と、カメラ情報取得部３で取得された各カメラ２００のサイズ情報に基づいて多眼カメラシステムとしての全体の相対位置を算出する機能部である。なお、ジョイント相対位置算出部２と全体相対位置算出部４とで、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部が構成されている。また、表示装置２０は、多眼カメラ表示制御装置１０で算出した相対位置を表示するための表示装置である。   The joint relative position calculation unit 2 is a functional unit that calculates the relative positions of the plurality of joints 100 based on the plurality of joint information acquired by the joint information acquisition unit 1. The camera information acquisition unit 3 is a length between camera-side connectors in three or more cameras 200 (200-1 to 200-n), that is, a length of the camera 200 sandwiched between the joints 100, for example, shown in FIG. The multi-lens camera system is a functional unit that acquires the width of each camera 200 as size information. As the size information, the height and depth values of each camera 200 are also acquired as size information. The total relative position calculation unit 4 is a multi-view camera system based on the relative position of each joint 100 calculated by the joint relative position calculation unit 2 and the size information of each camera 200 acquired by the camera information acquisition unit 3. It is a functional unit that calculates the overall relative position. The joint relative position calculation unit 2 and the overall relative position calculation unit 4 constitute a relative position calculation unit that calculates the relative positions of three or more cameras connected by a plurality of joints from joint information and size information. ing. The display device 20 is a display device for displaying the relative position calculated by the multi-view camera display control device 10.

なお、多眼カメラ表示制御装置１０は、各カメラ２００内に設け、各カメラ２００内の多眼カメラ表示制御装置１０が協調して動作を行っても良く、また、１台のメインとなるカメラ２００内に設けてもよい。さらには、カメラ２００の外部に独立して設けてもよい。いずれの構成であっても、各ジョイント１００は、カメラ２００を介して他のジョイント１００のジョイント情報を伝送するための信号路を内部に有しているものとする。また、表示装置２０については、外部に独立して設けるか、１台のメインとなるカメラ２００のディスプレイを表示装置２０としてもよい。   Note that the multi-view camera display control device 10 may be provided in each camera 200, and the multi-view camera display control device 10 in each camera 200 may operate in cooperation, or one main camera. 200 may be provided. Furthermore, it may be provided outside the camera 200 independently. In any configuration, each joint 100 has a signal path for transmitting joint information of another joint 100 via the camera 200 therein. In addition, the display device 20 may be provided independently outside, or the display of one main camera 200 may be used as the display device 20.

また、多眼カメラシステムとしての画像処理関係の構成については従来と同様であるため、画像処理に関する構成の図示やその動作についての説明は省略する。   Further, since the configuration related to image processing as the multi-lens camera system is the same as the conventional configuration, illustration of the configuration related to image processing and description of the operation thereof are omitted.

図４は、多眼カメラ表示制御装置１０のハードウェア構成図である。図示のように、多眼カメラ表示制御装置１０は、ＣＰＵ３０１、メモリ３０２、入力インタフェース３０３、出力インタフェース３０４を備える。ＣＰＵ３０１は、メモリ３０２に格納されたプログラムを実行して多眼カメラ表示制御装置１０の機能を実現するためのプロセッサである。メモリ３０２は、ジョイント情報取得部１〜全体相対位置算出部４のそれぞれの機能に対応したプログラムを格納すると共に、ＣＰＵ３０１の作業領域を構成し、かつ、各種データを記憶するための半導体メモリからなる記憶部である。入力インタフェース３０３は、ジョイント情報やサイズ情報を取得するためのインタフェースである。出力インタフェース３０４は全体相対位置算出部４で算出された全体相対位置を表示データとして出力するためのインタフェースである。図３に示したジョイント情報取得部１及びカメラ情報取得部３は、ＣＰＵ３０１、メモリ３０２及び入力インタフェース３０３で構成され、ジョイント相対位置算出部２及び全体相対位置算出部４はＣＰＵ３０１及びメモリ３０２で構成されている。また、ジョイント情報取得部１〜全体相対位置算出部４は、それぞれ、メモリ３０２に格納されたプログラムをＣＰＵ３０１が読み出して実行することで実現されている。   FIG. 4 is a hardware configuration diagram of the multi-view camera display control device 10. As illustrated, the multi-view camera display control device 10 includes a CPU 301, a memory 302, an input interface 303, and an output interface 304. The CPU 301 is a processor for executing the program stored in the memory 302 and realizing the functions of the multi-view camera display control device 10. The memory 302 stores a program corresponding to each function of the joint information acquisition unit 1 to the overall relative position calculation unit 4 and constitutes a work area of the CPU 301 and includes a semiconductor memory for storing various data. It is a storage unit. The input interface 303 is an interface for acquiring joint information and size information. The output interface 304 is an interface for outputting the overall relative position calculated by the overall relative position calculation unit 4 as display data. The joint information acquisition unit 1 and the camera information acquisition unit 3 illustrated in FIG. 3 include a CPU 301, a memory 302, and an input interface 303. Has been. The joint information acquisition unit 1 to the overall relative position calculation unit 4 are realized by the CPU 301 reading and executing the program stored in the memory 302.

次に、実施の形態１の多眼カメラ表示制御装置の動作を図５のフローチャートに沿って説明する。
ジョイント情報取得部１は、どのジョイント１００がどのカメラ２００に接続されているかをジョイント情報として取得する（ステップＳＴ１）。次に、ジョイント相対位置算出部２は、ジョイント情報取得部１で取得したジョイント情報を用いてジョイント相対位置を算出する（ステップＳＴ２）。また、カメラ情報取得部３はサイズ情報を取得する（ステップＳＴ３）。全体相対位置算出部４は、ジョイント相対位置算出部２で算出したジョイント相対位置とカメラ情報取得部３で取得したサイズ情報を用いて、どのジョイント１００でどのカメラ２００が接続されているかを示す全体相対位置を算出する（ステップＳＴ４）。全体相対位置算出部４で算出された全体相対位置は表示データとして出力され、表示装置２０で表示される（ステップＳＴ５）。なお、図５のフローチャートでは、ステップＳＴ２でジョイント相対位置を算出した後に、ステップＳＴ３でカメラ情報取得部３がサイズ情報を取得するようにしたが、これらの順序はどちらが先であってもよく、あるいは同時であってもよい。Next, the operation of the multi-view camera display control apparatus according to the first embodiment will be described with reference to the flowchart of FIG.
The joint information acquisition unit 1 acquires which joint 100 is connected to which camera 200 as joint information (step ST1). Next, the joint relative position calculation unit 2 calculates the joint relative position using the joint information acquired by the joint information acquisition unit 1 (step ST2). Moreover, the camera information acquisition part 3 acquires size information (step ST3). The overall relative position calculation unit 4 uses the joint relative position calculated by the joint relative position calculation unit 2 and the size information acquired by the camera information acquisition unit 3 to indicate which camera 200 is connected to which joint 100. The relative position is calculated (step ST4). The overall relative position calculated by the overall relative position calculation unit 4 is output as display data and displayed on the display device 20 (step ST5). In the flowchart of FIG. 5, after calculating the joint relative position in step ST2, the camera information acquisition unit 3 acquires the size information in step ST3. Or it may be simultaneous.

図６は、全体相対位置の表示例を示す。
図示例では、三台のカメラ２００（２００−１〜２００−３）が二つのジョイント１００−２で接続された多眼カメラシステムを示している。このように、ジョイント１００をカメラ２００に接続することで、多眼カメラシステムとしての全体相対位置を表示させることができる。FIG. 6 shows a display example of the overall relative position.
The illustrated example shows a multi-camera system in which three cameras 200 (200-1 to 200-3) are connected by two joints 100-2. Thus, by connecting the joint 100 to the camera 200, it is possible to display the overall relative position as a multi-lens camera system.

また、全体相対位置算出部４は、図６で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、３次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。   The overall relative position calculation unit 4 is configured to display an image corresponding to the rotation instruction when the rotation instruction is given to the display image shown in FIG. That is, the display image is rotated similarly to the rotation of the three-dimensional computer graphics.

以上説明したように、実施の形態１の多眼カメラ表示制御装置によれば、両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける任意の形状を示すジョイント情報を取得するジョイント情報取得部と、それぞれが、ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、複数のジョイントで接続される三台以上のカメラにおけるカメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、ジョイント情報とサイズ情報とから複数のジョイントで接続される三台以上のカメラの相対位置を算出する相対位置算出部とを備えたので、多眼カメラシステムとしてカメラとジョイントの相対位置を把握することができるため、カメラのレイアウトや台数の選択の自由度が高い多眼カメラシステムを容易に実現することができる。   As described above, according to the multi-lens camera display control device of the first embodiment, joint information indicating a desired shape in a plurality of joints having a joint-side connector at both ends and configured in a desired shape is acquired. The joint information acquisition unit and each has multiple camera-side connectors to which the joint-side connector is connected, and acquires size information indicating the length between the camera-side connectors in three or more cameras connected by multiple joints Camera information acquisition unit, and a relative position calculation unit that calculates the relative position of three or more cameras connected by a plurality of joints from joint information and size information. The multi-camera system has a high degree of freedom in selecting the layout and number of cameras. It can be easily realized Temu.

また、実施の形態１の多眼カメラ表示制御装置によれば、相対位置算出部は、算出した三台以上のカメラの相対位置を表示データとして出力するようにしたので、三台以上のカメラの相対位置を表示することができる。   In addition, according to the multi-view camera display control device of the first embodiment, the relative position calculation unit outputs the calculated relative positions of the three or more cameras as display data. The relative position can be displayed.

実施の形態２．
実施の形態２は、全体相対位置におけるカメラ位置に実際のカメラからの映像を表示するようにしたものである。
図７は、実施の形態２の多眼カメラ表示制御装置１０ａを示す構成図である。
実施の形態２の多眼カメラ表示制御装置１０ａは、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４に加えて合成画像生成部５を備える。ここで、ジョイント情報取得部１〜全体相対位置算出部４は、実施の形態１におけるジョイント情報取得部１〜全体相対位置算出部４と同様であるため、その説明は省略する。合成画像生成部５は、各カメラ２００の撮像データを、対応するカメラ２００の位置に映像として表示させる合成画像表示データを生成する機能部である。Embodiment 2. FIG.
In the second embodiment, an image from an actual camera is displayed at the camera position in the overall relative position.
FIG. 7 is a configuration diagram illustrating the multi-view camera display control device 10a according to the second embodiment.
The multi-view camera display control device 10a according to the second embodiment includes a composite image generation unit 5 in addition to the joint information acquisition unit 1, the joint relative position calculation unit 2, the camera information acquisition unit 3, and the overall relative position calculation unit 4. Here, since the joint information acquisition unit 1 to the overall relative position calculation unit 4 are the same as the joint information acquisition unit 1 to the overall relative position calculation unit 4 in the first embodiment, description thereof is omitted. The composite image generation unit 5 is a functional unit that generates composite image display data for displaying the imaging data of each camera 200 as an image at the position of the corresponding camera 200.

次に、実施の形態２の多眼カメラ表示制御装置の動作を図８のフローチャートに沿って説明する。ここで、ステップＳＴ１〜ステップＳＴ４までの動作は、図５に示した実施の形態１の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
実施の形態２では、ステップＳＴ４において全体相対位置算出部４が全体相対位置を算出すると、合成画像生成部５は、各カメラ２００からの映像データを取得し（ステップＳＴ１１）、全体相対位置におけるカメラ位置に、対応するカメラ２００からの映像を配置させた合成画像表示データを生成する（ステップＳＴ１２）。そして、生成された合成画像は表示装置２０に送られ、表示装置２０で表示される（ステップＳＴ１３）。図９は、合成画像の表示の一例である。これは、実施の形態１の図６で示した全体相対位置のカメラ位置に映像を表示させたものである。すなわち、映像４００−１がカメラ２００−１の映像、映像４００−２がカメラ２００−２の映像、映像４００−３がカメラ２００−３の映像である。Next, the operation of the multi-view camera display control apparatus according to the second embodiment will be described with reference to the flowchart of FIG. Here, since the operation from step ST1 to step ST4 is the same as the operation of the first embodiment shown in FIG. 5, the same reference numerals are assigned to the corresponding processes, and the description thereof is omitted.
In the second embodiment, when the overall relative position calculation unit 4 calculates the overall relative position in step ST4, the composite image generation unit 5 acquires video data from each camera 200 (step ST11), and the camera at the overall relative position. The composite image display data in which the video from the corresponding camera 200 is arranged at the position is generated (step ST12). The generated composite image is sent to the display device 20 and displayed on the display device 20 (step ST13). FIG. 9 is an example of a composite image display. This is an image displayed at the camera position of the overall relative position shown in FIG. 6 of the first embodiment. That is, the video 400-1 is the video of the camera 200-1, the video 400-2 is the video of the camera 200-2, and the video 400-3 is the video of the camera 200-3.

また、合成画像生成部５は、図９で示した表示画像に対して回転指示がなされた場合、その回転指示に対応した画像を表示させるよう構成されている。すなわち、３次元コンピュータグラフィックスの回転動作と同様に表示画像の回転動作を行う。   The composite image generation unit 5 is configured to display an image corresponding to the rotation instruction when the rotation instruction is given to the display image shown in FIG. 9. That is, the display image is rotated similarly to the rotation of the three-dimensional computer graphics.

なお、上記例では、各カメラ２００からの撮像データが映像データ、すなわち動画像データである場合を説明したが、撮像データとして静止画の画像データであっても同様に適用可能である。   In the above example, the case where the imaging data from each camera 200 is video data, that is, moving image data has been described. However, the present invention is also applicable to image data of a still image as imaging data.

以上説明したように、実施の形態２の多眼カメラ表示制御装置によれば、三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたので、実際にカメラで撮像されたデータを表示させることができるため、多眼カメラシステムに関してより多くの情報を提供することができる。   As described above, according to the multi-lens camera display control device of the second embodiment, the composite image generation unit that generates display data for displaying the imaging data of three or more cameras at the corresponding camera positions. Since it is provided, data actually captured by the camera can be displayed, so that more information about the multi-camera system can be provided.

実施の形態３．
実施の形態３は、ジョイント１００の可動範囲を制限させるようにしたものである。
例えば複数のカメラ画像を連結して室内の俯瞰画像を作る場合、得たい俯瞰画像の形に合わせて、各カメラの映像を確認しながら微調整する必要がある。そこで、実施の形態３では、撮影前に得たい画像のイメージ（レイアウト）を画像として指定し、その画像が得られるように各カメラを接続するジョイント１００の可動範囲を制限することで、各カメラの配置を容易に確定できるようにしたものである。Embodiment 3 FIG.
In the third embodiment, the movable range of the joint 100 is limited.
For example, when a plurality of camera images are connected to create an indoor bird's-eye view image, it is necessary to make fine adjustments while checking the video of each camera in accordance with the shape of the bird's-eye view image to be obtained. Therefore, in the third embodiment, an image (layout) of an image desired to be obtained before shooting is designated as an image, and the movable range of the joint 100 that connects the cameras is limited so that the image can be obtained. The arrangement of can be easily determined.

図１０は、実施の形態３の多眼カメラ表示制御装置１０ｂを示す構成図である。
実施の形態３の多眼カメラ表示制御装置１０ｂは、ジョイント情報取得部１、ジョイント相対位置算出部２、カメラ情報取得部３、全体相対位置算出部４に加えて、合成画像イメージ生成部６、合成画像選択部７、可動範囲決定部８を備える。ここで、ジョイント情報取得部１〜全体相対位置算出部４は、実施の形態１、２におけるジョイント情報取得部１〜全体相対位置算出部４と同様であるため、その説明は省略する。FIG. 10 is a configuration diagram illustrating the multi-lens camera display control apparatus 10b according to the third embodiment.
In addition to the joint information acquisition unit 1, the joint relative position calculation unit 2, the camera information acquisition unit 3, and the overall relative position calculation unit 4, the multi-lens camera display control device 10b according to the third embodiment includes a composite image image generation unit 6, A composite image selection unit 7 and a movable range determination unit 8 are provided. Here, since the joint information acquisition unit 1 to the overall relative position calculation unit 4 is the same as the joint information acquisition unit 1 to the overall relative position calculation unit 4 in the first and second embodiments, the description thereof is omitted.

合成画像イメージ生成部６は、全体相対位置におけるカメラ２００の位置に、そのカメラ２００の撮像データに対応する画像イメージを表示させる合成画像イメージデータを生成する機能部である。ここで、画像イメージとは、例えば、映像を示す枠か、図９に示しているような「映像と文字表示されたグレイの四角形」といった、実際のカメラ２００からの撮像データに相当する画像イメージを意味している。合成画像選択部７は、合成画像イメージ生成部６で生成された合成画像イメージを表示装置２０で表示している状態で、特定のカメラ２００の画像イメージへの移動指示があった場合、その移動方向と移動量の値を取得する機能部である。可動範囲決定部８は、合成画像選択部７で取得した移動方向と移動量の値に基づいて対応するジョイント１００の可動範囲を決定する機能部である。   The composite image image generation unit 6 is a functional unit that generates composite image image data for displaying an image image corresponding to the imaging data of the camera 200 at the position of the camera 200 in the overall relative position. Here, the image image is, for example, an image image corresponding to imaging data from the actual camera 200 such as a frame indicating a video image or a “gray square displayed as a video image and characters” as shown in FIG. Means. When there is an instruction to move to the image image of the specific camera 200 in a state where the composite image image generated by the composite image image generation unit 6 is displayed on the display device 20, the composite image selection unit 7 moves the image. It is a functional unit that acquires values of direction and amount of movement. The movable range determination unit 8 is a functional unit that determines the movable range of the corresponding joint 100 based on the movement direction and the amount of movement acquired by the composite image selection unit 7.

次に、実施の形態３の多眼カメラ表示制御装置の動作を図１１のフローチャートに沿って説明する。ここで、ステップＳＴ１〜ステップＳＴ４までの動作は、図５に示した実施の形態１の動作と同様であるため、対応する処理に同一符号を付してその説明を省略する。
実施の形態３では、ステップＳＴ４において全体相対位置算出部４が全体相対位置を算出すると、合成画像イメージ生成部６は、全体相対位置におけるカメラ位置に、対応するカメラ２００の画像イメージを配置させた合成画像イメージデータを生成する（ステップＳＴ２１）。そして、生成された合成画像イメージデータは表示装置２０に送られ、表示装置２０で表示される（ステップＳＴ２２）。この状態で、配置された画像への移動指示があった場合（ステップＳＴ２３−Ｙｅｓ）、例えば、マウス等で画像がドラッグされた等であった場合、合成画像選択部７は、その移動指示を受けて移動方向と移動量を取得する（ステップＳＴ２４）。一方、ステップＳＴ２３において、移動指示がなかった場合（ステップＳＴ２３−Ｎｏ）は、そのまま、移動指示待ちとなる。合成画像選択部７で、移動方向と移動量の値が取得された場合、可動範囲決定部８は、これらの値から、該当するジョイント１００の可動範囲を決定する（ステップＳＴ２５）。Next, the operation of the multi-view camera display control apparatus according to the third embodiment will be described along the flowchart of FIG. Here, since the operation from step ST1 to step ST4 is the same as the operation of the first embodiment shown in FIG. 5, the same reference numerals are assigned to the corresponding processes, and the description thereof is omitted.
In Embodiment 3, when the overall relative position calculation unit 4 calculates the overall relative position in step ST4, the composite image image generation unit 6 arranges the corresponding image image of the camera 200 at the camera position at the overall relative position. Composite image image data is generated (step ST21). Then, the generated composite image data is sent to the display device 20 and displayed on the display device 20 (step ST22). In this state, when there is an instruction to move to the arranged image (step ST23-Yes), for example, when the image is dragged with a mouse or the like, the composite image selection unit 7 gives the instruction to move. In response, the movement direction and movement amount are acquired (step ST24). On the other hand, if there is no movement instruction in step ST23 (step ST23-No), the apparatus waits for the movement instruction as it is. When the composite image selection unit 7 acquires the values of the movement direction and the movement amount, the movable range determination unit 8 determines the movable range of the corresponding joint 100 from these values (step ST25).

例えば、図９の映像４００−１の右側を軸に反時計回りに３０度回転させる指示があり、かつ、図６に示すジョイント１００−２が図２のジョイント１００−５のように可動するジョイントであった場合、ジョイントの可動範囲は反時計回りに３０度となる。これにより、可動範囲決定部８は、ジョイント１００−５の可動範囲を反時計回りに３０度と制限する。この制限方法としては、例えばジョイント１００−５の可動軸にギアが設けられており、このギアを電磁石を用いてロックする、といったように、可動軸が制限される角度になると電気的にロックされるような機構を用いて行う。これにより、ジョイント１００−５の可動範囲が制限され反時計回りに３０度以上回転させることができなくなる。なお、可動範囲を制限するのはジョイント１００−３〜ジョイント１００−５のような可動するジョイント１００を対象とする。また、ジョイント１００の可動方向や可動域から外れるような移動指示に対しては、例えば、その移動指示を受け付けない、といった移動の制限を行う。   For example, there is an instruction to rotate 30 degrees counterclockwise about the right side of the image 400-1 in FIG. 9, and the joint 100-2 shown in FIG. 6 is movable like the joint 100-5 in FIG. In this case, the movable range of the joint is 30 degrees counterclockwise. Thereby, the movable range determination unit 8 limits the movable range of the joint 100-5 to 30 degrees counterclockwise. As a limiting method, for example, a gear is provided on the movable shaft of the joint 100-5, and the gear is locked by using an electromagnet. This is done using such a mechanism. As a result, the movable range of the joint 100-5 is limited and the joint 100-5 cannot be rotated counterclockwise by 30 degrees or more. The movable range is limited to the movable joint 100 such as the joint 100-3 to the joint 100-5. For a movement instruction that deviates from the movable direction or the movable range of the joint 100, for example, the movement is restricted such that the movement instruction is not accepted.

以上説明したように、実施の形態３の多眼カメラ表示制御装置によれば、三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたので、画像イメージを操作することで容易に各カメラの配置を確定することができる。   As described above, according to the multi-view camera display control device of the third embodiment, the composite image generation unit that generates a plurality of image images corresponding to the respective imaging data in three or more cameras, When there is an instruction to move to at least one of the image images, a movable range determination unit is provided to determine the movable range of the corresponding joint in response to the amount of movement of the movement instruction. By doing so, it is possible to easily determine the arrangement of each camera.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .

以上のように、この発明に係る多眼カメラ表示制御装置は、複数の任意の形状のジョイントを用いて三台以上のカメラを接続した多眼カメラシステムにおいて、三台以上のカメラの相対位置を算出する構成に関するものであり、立体画像やパノラマ画像またはリフォーカサブル画像を撮影するための多眼カメラシステムに用いるのに適している。   As described above, the multi-view camera display control device according to the present invention is configured to determine the relative positions of three or more cameras in a multi-view camera system in which three or more cameras are connected using a plurality of arbitrary-shaped joints. The present invention relates to a configuration to be calculated, and is suitable for use in a multi-eye camera system for photographing a stereoscopic image, a panoramic image, or a refocusable image.

１ ジョイント情報取得部、２ ジョイント相対位置算出部、３ カメラ情報取得部、４ 全体相対位置算出部、５ 合成画像生成部、６ 合成画像イメージ生成部、７ 合成画像選択部、８ 可動範囲決定部、１０，１０ａ，１０ｂ 多眼カメラ表示制御装置、２０ 表示装置、１００，１００−１〜１００−５ ジョイント、１００ａ ジョイント側コネクタ、２００ カメラ、４００−１ カメラ２００−１の映像、４００−２ カメラ２００−２の映像、４００−３ カメラ２００−３の映像。   DESCRIPTION OF SYMBOLS 1 Joint information acquisition part, 2 Joint relative position calculation part, 3 Camera information acquisition part, 4 Whole relative position calculation part, 5 Composite image generation part, 6 Composite image image generation part, 7 Composite image selection part, 8 Movable range determination part 10, 10a, 10b Multi-lens camera display control device, 20 display device, 100, 100-1 to 100-5 joint, 100a joint side connector, 200 camera, 400-1 image of camera 200-1, 400-2 camera 200-2 video, 400-3 camera 200-3 video.

Claims (4)

両端にジョイント側コネクタを備え、任意の形状に構成された複数のジョイントにおける前記任意の形状を示すジョイント情報を取得するジョイント情報取得部と、
それぞれが、前記ジョイント側コネクタが接続されるカメラ側コネクタを複数有し、前記複数のジョイントで接続される三台以上のカメラにおける前記カメラ側コネクタ間の長さを示すサイズ情報を取得するカメラ情報取得部と、
前記ジョイント情報と前記サイズ情報とから前記複数のジョイントで接続される前記三台以上のカメラの相対位置を算出する相対位置算出部とを備えた多眼カメラ表示制御装置。A joint information acquisition unit that includes joint connectors at both ends and acquires joint information indicating the arbitrary shape in a plurality of joints configured in an arbitrary shape;
Camera information each of which has a plurality of camera-side connectors to which the joint-side connector is connected, and acquires size information indicating the length between the camera-side connectors in three or more cameras connected by the plurality of joints An acquisition unit;
A multi-lens camera display control device comprising: a relative position calculation unit that calculates a relative position of the three or more cameras connected by the plurality of joints from the joint information and the size information. 前記相対位置算出部は、前記算出した三台以上のカメラの相対位置を表示データとして出力することを特徴とする請求項１記載の多眼カメラ表示制御装置。   The multi-lens camera display control device according to claim 1, wherein the relative position calculation unit outputs the calculated relative positions of the three or more cameras as display data. 前記三台以上のカメラの撮像データを、対応するカメラ位置に表示させるための表示データを生成する合成画像生成部を備えたことを特徴とする請求項２記載の多眼カメラ表示制御装置。   The multi-lens camera display control device according to claim 2, further comprising a composite image generation unit that generates display data for displaying the imaging data of the three or more cameras at corresponding camera positions. 前記三台以上のカメラにおけるそれぞれの撮像データに相当する複数の画像イメージを生成する合成画像イメージ生成部と、
前記複数の画像イメージのうち、少なくとも一つの画像イメージへの移動指示があった場合、当該移動指示の移動量を受けて、該当するジョイントの可動範囲を決定する可動範囲決定部を備えたことを特徴とする請求項２記載の多眼カメラ表示制御装置。A composite image generation unit that generates a plurality of image images corresponding to respective imaging data in the three or more cameras;
When there is a movement instruction to at least one of the plurality of image images, a movable range determination unit is provided that receives a movement amount of the movement instruction and determines a movable range of the corresponding joint. The multi-view camera display control device according to claim 2, wherein
JP2018504959A 2016-09-16 2016-09-16 Multi-camera display control device Expired - Fee Related JP6328361B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/077485 WO2018051491A1 (en) 2016-09-16 2016-09-16 Multiple-lens camera display control device

Publications (2)

Publication Number Publication Date
JP6328361B1 true JP6328361B1 (en) 2018-05-23
JPWO2018051491A1 JPWO2018051491A1 (en) 2018-09-13

Family

ID=61618723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018504959A Expired - Fee Related JP6328361B1 (en) 2016-09-16 2016-09-16 Multi-camera display control device

Country Status (2)

Country Link
JP (1) JP6328361B1 (en)
WO (1) WO2018051491A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264492A (en) * 2003-02-28 2004-09-24 Sony Corp Photographing method and imaging apparatus
JP2011172178A (en) * 2010-02-22 2011-09-01 Nikon Corp Image pickup apparatus
JP2012248985A (en) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd Imaging apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264492A (en) * 2003-02-28 2004-09-24 Sony Corp Photographing method and imaging apparatus
JP2011172178A (en) * 2010-02-22 2011-09-01 Nikon Corp Image pickup apparatus
JP2012248985A (en) * 2011-05-26 2012-12-13 Sanyo Electric Co Ltd Imaging apparatus

Also Published As

Publication number Publication date
WO2018051491A1 (en) 2018-03-22
JPWO2018051491A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
US11010925B2 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
JP7073850B2 (en) Input device and input method of input device
JP6615545B2 (en) Image processing apparatus, image processing method, and image processing program
JP4775474B2 (en) Imaging apparatus, imaging control method, and program
JP2007072537A (en) 360-degree image photographing device
JP2013214947A (en) Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program
WO2013005265A1 (en) Three-dimensional coordinate measuring device and three-dimensional coordinate measuring method
EP3765815B1 (en) Imaging device, image processing apparatus, and image processing method
JP2016171463A (en) Image processing system, image processing method, and program
US10992879B2 (en) Imaging system with multiple wide-angle optical elements arranged on a straight line and movable along the straight line
JP4865065B1 (en) Stereo imaging device control system
JP2019049824A (en) Image processing apparatus, program and method
JP6328361B1 (en) Multi-camera display control device
JP2007033087A (en) Calibration device and method
JP2018038087A (en) Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program
JP2019080174A (en) Image processing apparatus, imaging system, communication system, image processing method, and program
JP2006017632A (en) Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method
KR102019879B1 (en) Apparatus and method for acquiring 360 VR images in a game using a virtual camera
JP2005275789A (en) Three-dimensional structure extraction method
JP6167135B2 (en) 3D position measurement method, surveying method, 3D position measurement apparatus, and 3D position measurement program
JP6625654B2 (en) Projection device, projection method, and program
JP2018195967A (en) Photographing system, image synthesizing device, image synthesizing method, and image synthesizing program
JP6545033B2 (en) Three-dimensional temperature distribution display
JP6579706B2 (en) Image processing apparatus, image processing method, and image processing program
JP2005252482A (en) Image generating apparatus and three-dimensional distance information acquisition apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180130

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180417

R150 Certificate of patent or registration of utility model

Ref document number: 6328361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees