JP2017139582A

JP2017139582A - Movement control system

Info

Publication number: JP2017139582A
Application number: JP2016018367A
Authority: JP
Inventors: 佳弘水尾; Yoshihiro Mizuo
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-02-02
Filing date: 2016-02-02
Publication date: 2017-08-10
Anticipated expiration: 2036-02-02
Also published as: JP6685742B2

Abstract

PROBLEM TO BE SOLVED: To provide a movement control system which, when an imaging apparatus mounted on a drone or the like and movable in position is operated with an operation terminal having a touch panel function, makes it possible to intuitively and simply move the imaging apparatus.SOLUTION: The movement control system comprises a mobile device 100 and an operation terminal 200, the mobile device 100 comprising an imaging apparatus 118. The operation terminal 200 comprises an LCD display 204 for displaying an image captured by the imaging apparatus 118; and a touch operation part 205 which detects a touch operation. When a detected touch operation is a pinch out operation, the mobile device 100 is moved to an advance direction with respect to a captured image.SELECTED DRAWING: Figure 1

Description

本発明は、ドローン等の移動装置に撮像装置を有するものの移動制御システムに関し、特にタッチパネル等の操作により撮像装置の移動を行うものに関する。 The present invention relates to a movement control system for an apparatus having an imaging device in a moving device such as a drone, and more particularly to a device for moving the imaging device by operating a touch panel or the like.

近年、ドローンと呼ばれる無線操作に応じて移動可能な飛行装置に撮像装置を有するものがあり、その操作のために一般的には専用の操作端末が用意されている。操作端末には、タッチパネルを利用して操作することが可能なものも存在するが、専用操作端末の動作を単純に置き換えたＵＩによるものが多く、直観的な操作ができず自由に操作するには操作への習熟を必要とする。また、タッチパネルによる撮像装置の操作という観点では、一般的に監視カメラの分野において直観的な操作を実現する従来技術が存在する。 In recent years, some flying devices called drones have an imaging device that can move according to wireless operation, and a dedicated operation terminal is generally prepared for the operation. Some operation terminals can be operated using a touch panel, but there are many UIs that simply replace the operation of the dedicated operation terminal, so that intuitive operation is not possible and the user can operate freely. Requires proficiency in operation. Further, from the viewpoint of operation of the image pickup apparatus using a touch panel, there is a conventional technique that realizes an intuitive operation in the field of surveillance cameras.

特許文献１では、スマートフォンやタブレット等のタッチパネル操作で一般的なピンチイン、ピンチアウトの操作を、監視カメラのズーム動作に対応させる操作方法の発明が開示されている。これは操作者が普段からタッチパネルで行っている操作から直観的に推測できる結果と、監視カメラの動作で類似の結果が起こる処理とを関連付けている。 Patent Literature 1 discloses an invention of an operation method for causing a general pinch-in and pinch-out operation to correspond to a zoom operation of a surveillance camera by a touch panel operation of a smartphone, a tablet, or the like. This correlates a result that can be intuitively inferred from an operation that the operator normally performs on the touch panel with a process in which a similar result is generated by the operation of the surveillance camera.

特開２０１４−９９７１９号公報JP 2014-99719 A

特許文献１では、備え付けの監視カメラに関してタッチパネル操作による撮影方向の変更及びズームの制御について開示されている。しかし、ドローン等に搭載されているような撮像装置の位置移動をタッチパネル操作によって行う構成は考えられていない。 Japanese Patent Application Laid-Open No. H10-228561 discloses a change in shooting direction and a zoom control by a touch panel operation with respect to a provided monitoring camera. However, a configuration for moving the position of the imaging apparatus mounted on a drone or the like by touch panel operation is not considered.

そこで、本発明の目的は、ドローン等の移動装置に搭載されて位置移動が可能な撮像装置を、タッチパネル機能のある操作端末で操作する場合に、その移動を直観的にわかりやすく行える移動制御システムを提供することである。 Therefore, an object of the present invention is to provide a movement control system that can intuitively and easily understand the movement of an imaging device mounted on a moving device such as a drone and capable of moving its position with an operation terminal having a touch panel function. Is to provide.

上記の目的を達成するために、本発明における移動制御システムは、外部装置からの指示に応じて位置移動が可能な移動装置と、前記移動装置の移動を指示する操作装置とからなる移動制御システムであって、前記移動装置は、被写体を撮像する撮像手段を保持して移動し、前記操作装置は、前記撮像手段で撮像している画像を表示する表示手段と、タッチ操作を検出するタッチ操作手段と、前記タッチ操作手段により検出されたタッチ操作がピンチアウト操作である場合に、撮像方向に対する前進方向への移動を前記移動装置へ指示する指示手段とを有することを特徴とする。 In order to achieve the above object, a movement control system according to the present invention is a movement control system comprising a moving device capable of moving a position in accordance with an instruction from an external device and an operating device for instructing the movement of the moving device. The moving device holds and moves an imaging unit that captures an image of the subject, and the operation device includes a display unit that displays an image captured by the imaging unit, and a touch operation that detects a touch operation. And means for instructing the moving device to move in the forward direction relative to the imaging direction when the touch operation detected by the touch operation means is a pinch-out operation.

本発明によれば、ドローン等に搭載されて位置移動が可能な撮像装置をタッチパネル機能のある操作端末で操作する場合に、その移動を直観的にわかりやすく行えるようになる。 According to the present invention, when an imaging device mounted on a drone or the like and capable of position movement is operated with an operation terminal having a touch panel function, the movement can be intuitively and easily understood.

本発明の第１の実施形態に係る操作システムの構成例を示すブロック図The block diagram which shows the structural example of the operation system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る操作端末の処理を示すフローチャートThe flowchart which shows the process of the operating terminal which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係るピンチ操作について示す図The figure shown about pinch operation which concerns on the 1st Embodiment of this invention 本発明の第１の実施形態に係るタッチ位置について示す図The figure shown about the touch position which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係るピンチアウトの位置による移動方向の決定について示す図The figure shown about the determination of the moving direction by the position of the pinch out which concerns on the 1st Embodiment of this invention 本発明の第１の実施形態に係るピンチインの位置による移動方向の決定について示す図The figure shown about the determination of the moving direction by the position of the pinch in which concerns on the 1st Embodiment of this invention 本発明の第１の実施形態に係るドラッグ操作に対応する動作を示す図The figure which shows the operation | movement corresponding to the drag operation which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係るピンチアウト操作による撮像装置の動作を示す図The figure which shows operation | movement of the imaging device by pinch out operation which concerns on the 1st Embodiment of this invention 本発明の第１の実施形態に係るピンチアウト操作による撮像装置の動作を示す図The figure which shows operation | movement of the imaging device by pinch out operation which concerns on the 1st Embodiment of this invention 本発明の第１の実施形態に係る移動装置の処理を示すフローチャートThe flowchart which shows the process of the moving apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施形態に係る移動方向を明示させるＵＩを示す図The figure which shows UI which specifies the moving direction which concerns on the 1st Embodiment of this invention 本発明の第２の実施形態に係る移動座標系と光学座標系について示す図The figure shown about the movement coordinate system and optical coordinate system which concern on the 2nd Embodiment of this invention. 本発明の第２の実施形態に係る操作端末の処理を示すフローチャートThe flowchart which shows the process of the operating terminal which concerns on the 2nd Embodiment of this invention.

以下図面を参照しながら、本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施形態）
図１は、本発明の第１の実施形態に係る移動制御システムの構成例を示すブロック図である。図１において、１００は移動装置、２００は操作装置（操作端末）を示す。移動装置１００と操作装置２００とを有して移動制御システムは構成される。 (First embodiment)
FIG. 1 is a block diagram showing a configuration example of a mobility control system according to the first embodiment of the present invention. In FIG. 1, reference numeral 100 denotes a moving device, and 200 denotes an operation device (operation terminal). The movement control system includes the moving device 100 and the operation device 200.

１１８は撮像装置であり、移動装置１００に保持部材によって保持される。撮像装置１１８は、移動装置１００に対して取り外し可能な構成であっても良いし、一体的に固定された構成であっても良い。 Reference numeral 118 denotes an imaging device, which is held by the moving device 100 by a holding member. The imaging device 118 may be configured to be removable with respect to the moving device 100, or may be configured to be integrally fixed.

撮像光学系１０１は外部の光を撮像素子１０３へ集光するレンズ群、及びレンズ群を操作、固定するためのメカ機構で構成される。撮像光学系操作部１０２は、撮像光学系１０１のメカ機構を操作する電気機構であり、ＣＰＵ１０６からの操作指令により撮像光学系１０１の内部のメカ機構を操作する電気信号を出力する。撮像素子１０３は、撮像光学系１０１より取り入れた光を結像し、結像された像を電気情報に変換する。また撮像素子１０３は像面位相差方式による距離検出のための情報を取得する構成とすることが可能である。撮像信号処理部１０４は撮像素子１０３から得られた画像情報を成形するとともに、撮像素子１０３から得られる像面位相差情報から、撮像装置から撮像素子１０３の各撮像画素に結像している光源物体までの距離を算出することができる。すなわち撮像された画像の任意の局所的な部分に関して、撮像装置からどれだけの距離を以て撮像されたかが算出され、その情報を必要に応じて記録、利用することができる。算出可能な原理としては、例えば、従来から広く使用されている瞳分割による位相差ＡＦの方式の応用である。各画素単位で右目画像用情報、左目画像用情報を得られる２つのフォトダイオードを備えた構造を撮像素子１０３が有していることから位相差ＡＦ方式での距離情報検出が可能となっているものとする。 The imaging optical system 101 includes a lens group that condenses external light onto the imaging element 103, and a mechanical mechanism for operating and fixing the lens group. The imaging optical system operation unit 102 is an electrical mechanism that operates the mechanical mechanism of the imaging optical system 101, and outputs an electrical signal that operates the mechanical mechanism inside the imaging optical system 101 in accordance with an operation command from the CPU 106. The image sensor 103 forms an image of the light taken from the image pickup optical system 101 and converts the formed image into electrical information. Further, the image sensor 103 can be configured to acquire information for distance detection by the image plane phase difference method. The imaging signal processing unit 104 shapes the image information obtained from the imaging element 103, and from the image plane phase difference information obtained from the imaging element 103, a light source that forms an image on each imaging pixel of the imaging element 103 from the imaging device The distance to the object can be calculated. That is, with respect to an arbitrary local portion of the captured image, it is calculated how far the image is captured from the imaging device, and the information can be recorded and used as necessary. As a principle that can be calculated, for example, there is an application of a phase difference AF method by pupil division that has been widely used conventionally. Since the imaging element 103 has a structure including two photodiodes that can obtain right-eye image information and left-eye image information for each pixel, distance information detection by the phase difference AF method is possible. Shall.

ＣＰＵ１０５は撮像装置１１８を含む移動装置１００の処理の全体統括を行う。ＲＯＭ１０６には移動装置１００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ１０５はこのＲＯＭ１０６に保持された処理プログラムに基づいて動作する。ＲＡＭ１０７は処理中の一時的なデータ保持の役割を担っている。 The CPU 105 performs overall processing of the mobile device 100 including the imaging device 118. The ROM 106 stores in advance processing programs of the mobile device 100 and information necessary for processing, and the CPU 105 operates based on the processing programs stored in the ROM 106. The RAM 107 has a role of temporarily holding data during processing.

被写体認識部１０８は撮像信号処理部１０４で処理された画像情報から特定の物体を認識し、その物体の範囲などの情報を出力することができる。具体的には、予め登録されている物体情報、例えば人物の人体、顔等の検出を行うことができる。事前に登録した顔の情報などがあれば特定の人物を検出することもできる。メモリスロット１０９は記録データをメモリカード１１０に読み書きするためのインタフェースである。メモリカード１１０はメモリスロット１０９を通じて画像情報を記録されるものである。 The subject recognition unit 108 can recognize a specific object from the image information processed by the imaging signal processing unit 104 and output information such as the range of the object. Specifically, it is possible to detect object information registered in advance, such as a human body or a face of a person. If there is face information registered in advance, a specific person can be detected. The memory slot 109 is an interface for reading and writing recording data to and from the memory card 110. The memory card 110 is for recording image information through the memory slot 109.

駆動部１１１は移動装置１００の自律的な位置移動を可能にするための機構部分であり、本実施例においては具体的には４つのモータとモータ軸にとりつけられたプロペラを備えている。ＣＰＵ１０５から総合的に判断された移動命令により４つのプロペラを適切に回転駆動させ、位置の移動、姿勢変化、方向回転などの動作を行うことができる。方位検知センサ１１２は移動装置１００が東西南北どちらを向いているかを検出できる。ＧＰＳ１１３は現在の位置をＧＰＳ信号を受信し処理することで特定することができる。加速度センサ１１４は移動装置１００にかかる３次元方向の加速度を検出することができ、加速中の加速度や落下状況などを検出することができる。ジャイロ１１５は３次元の３軸方向に関する回転量を検出することができる。移動装置１００は方位検知センサ１１２〜ジャイロ１１５の構成から得られる情報を総合的に処理して、現在の位置、加速度状態、回転状態などを算出することができる。通信部１１６は操作端末２００内と通信部２０６との無線通信を介して、操作端末２００との指令のやり取り、画像情報、位置の情報等、必要な情報を送受信することができる。 The drive unit 111 is a mechanism part that enables the mobile device 100 to move autonomously. In the present embodiment, the drive unit 111 specifically includes four motors and a propeller attached to a motor shaft. The four propellers are appropriately driven to rotate by a movement command comprehensively determined by the CPU 105, and operations such as position movement, posture change, and direction rotation can be performed. The direction sensor 112 can detect whether the mobile device 100 is facing east, west, south, or north. The GPS 113 can specify the current position by receiving and processing GPS signals. The acceleration sensor 114 can detect the acceleration in the three-dimensional direction applied to the mobile device 100, and can detect the acceleration during the acceleration, the fall state, and the like. The gyro 115 can detect the rotation amount in the three-dimensional three-axis direction. The mobile device 100 can comprehensively process information obtained from the configurations of the direction detection sensor 112 to the gyro 115 and calculate the current position, acceleration state, rotation state, and the like. The communication unit 116 can transmit and receive necessary information such as exchange of commands with the operation terminal 200, image information, and position information via wireless communication between the operation terminal 200 and the communication unit 206.

撮像光学系１０２、及び撮像信号処理部１０４〜通信部１１６はバス１１７を介して指令、情報のやり取りが可能である。 The imaging optical system 102 and the imaging signal processing unit 104 to communication unit 116 can exchange commands and information via the bus 117.

ＣＰＵ２０１は操作端末２００の処理の全体統括を行う。ＲＯＭ２０２には操作端末２００の処理プログラム、処理に必要な情報が予め保持されており、ＣＰＵ２０１はこのＲＯＭ２０２に保持された処理プログラムに基づいて動作する。ＲＡＭ２０３は処理中の一時的なデータ保持の役割を担っている。 The CPU 201 performs overall processing of the operation terminal 200. The ROM 202 stores in advance processing programs for the operation terminal 200 and information necessary for processing, and the CPU 201 operates based on the processing programs stored in the ROM 202. The RAM 203 has a role of temporarily holding data during processing.

ＬＣＤ表示部２０４は、後述する通信部２０６を介して受信した撮像装置１１８で撮像している画像や映像を表示したり、タッチ操作部２０５のための操作部材を表示することが可能である。 The LCD display unit 204 can display an image or video captured by the imaging device 118 received via the communication unit 206 described later, and can display an operation member for the touch operation unit 205.

タッチ操作部２０５はユーザからの操作・指示を受け付けるためのインターフェースである。ＣＰＵ２０１はタッチ操作部２０５への以下の操作パターン・状態を検出できる。
・タッチ操作部を指やペンで触れたこと（以下、タッチダウンと称する）。
・タッチ操作部を指やペンで触れている状態であること（以下、タッチオンと称する）。
・タッチ操作部を指やペンで触れたまま移動していること（以下、ムーブと称する）。
・タッチ操作部へ触れていた指やペンを離したこと（以下、タッチアップと称する）。
・タッチ操作部に何も触れていない状態（以下、タッチオフと称する）。 The touch operation unit 205 is an interface for receiving an operation / instruction from the user. The CPU 201 can detect the following operation patterns / states on the touch operation unit 205.
-Touching the touch operation unit with a finger or a pen (hereinafter referred to as touchdown).
The touch operation unit is touched with a finger or a pen (hereinafter referred to as touch-on).
-The touch operation unit is moved while being touched with a finger or a pen (hereinafter referred to as a move).
-A finger or pen that has been touching the touch operation unit is released (hereinafter referred to as touch-up).
A state where nothing touches the touch operation unit (hereinafter referred to as touch-off).

これらの操作や、タッチ操作部２０５に指やペンが触れているタッチ位置座標は非図示の内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチ操作部２０５にどのような操作が行なわれたかを判定する。 These operations and the touch position coordinates at which the finger or pen is touching the touch operation unit 205 are notified to the CPU 201 through an internal bus (not shown), and the CPU 201 performs any operation on the touch operation unit 205 based on the notified information. It is determined whether or not.

ムーブについてはタッチ操作部２０５を移動する指やペンの移動方向についても、位置座標の変化に基づいて垂直成分・水平成分毎に判定できる。またタッチ操作部２０５をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。ムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。素早くドラッグを行い最後に指を弾くように離す操作を、フリックと判定するものとする。 Regarding the move, the moving direction of the finger or pen moving the touch operation unit 205 can also be determined for each vertical component / horizontal component based on the change of the position coordinates. Further, it is assumed that a stroke is drawn when the touch operation unit 205 is touched up through a certain move from touchdown. When it is detected that the movement has been performed, it is determined that the drag has been performed. It is assumed that an operation of quickly dragging and releasing a finger at the end is determined as a flick.

また、タッチ操作部２０５に対する２箇所の同時タッチ（マルチタッチ）が行われていることも検出できる。マルチタッチの検出を利用して、図３（ａ）のように、指などでタッチパネルの２箇所に触れた状態のまま、タッチされている２点間の距離が離れるようにムーブしていること（以下、ピンチアウトと称する）も判別できる。また、逆に、図３（ｂ）のように、タッチされている２点間の距離が近づくようにムーブしていること（以下、ピンチインと称する）も判別できる。なお、ピンチインとピンチアウトを総称してピンチ操作と称するものとする。 It can also be detected that two touches (multi-touch) are simultaneously performed on the touch operation unit 205. Using multi-touch detection, as shown in Fig. 3 (a), the finger touches two places on the touch panel and moves so that the distance between the two touched points is increased. (Hereinafter referred to as pinch out) can also be determined. Conversely, as shown in FIG. 3B, it can also be determined that the movement is made so that the distance between the two touched points approaches (hereinafter, referred to as pinch-in). Note that pinch-in and pinch-out are collectively referred to as a pinch operation.

また、タッチ操作部２０５は、ＬＣＤ表示部２０４に操作部材を表示した上で、操作部材に対応する個別操作を受け付けることも可能である。通信部２０６は移動装置１００内の通信部１１６との通信を介して、移動装置１００との指令のやり取り、画像情報、位置の情報等、必要な情報を送受信することができる。 The touch operation unit 205 can also receive an individual operation corresponding to the operation member after displaying the operation member on the LCD display unit 204. The communication unit 206 can transmit and receive necessary information such as exchange of commands with the mobile device 100, image information, and position information through communication with the communication unit 116 in the mobile device 100.

図２は、本発明の第１の実施形態に係る操作端末の処理を示すフローチャートである。図２のフローチャートは、操作端末２００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ２０２に格納されているプログラムをＲＡＭ２０３に展開し、ＣＰＵ２０１が実行することにより実現される。 FIG. 2 is a flowchart showing processing of the operation terminal according to the first embodiment of the present invention. The flowchart of FIG. 2 illustrates a processing procedure executed by controlling each processing block of the operation terminal 200, and is realized by developing a program stored in the ROM 202 into the RAM 203 and executing it by the CPU 201. .

まず始めにステップＳ２０１においてタッチ操作部２０５へのタッチ操作があるか否かを判定している。タッチ操作がない場合は、ステップＳ２０１を繰り返し、タッチ操作があるまで待機する。このとき移動装置１００は、空中の１点で停止（ホバリング）し、撮像装置１１８で撮影されている映像が通信部１１６、通信部２０６を介して、操作端末２００のＬＣＤ表示部２０４にリアルタイムで表示されているものとする。また本実施例では、図１２（ｄ）のように撮像装置１１８の光軸方向と、移動装置１００の駆動部１１１で規定される移動軸方向が一致しているものとする。タッチ操作がある場合、ステップＳ２０２に進む。ステップＳ２０２では行われたタッチ操作の操作パターンが、ピンチ操作であるかどうかを判定する。ステップＳ２０２では行われたタッチ操作がピンチ操作であればステップＳ２０３に進み、そうでなければステップＳ２０９に進む。 First, in step S201, it is determined whether or not there is a touch operation on the touch operation unit 205. When there is no touch operation, step S201 is repeated and it waits until there is a touch operation. At this time, the mobile device 100 stops (hovers) at one point in the air, and the video imaged by the imaging device 118 is displayed in real time on the LCD display unit 204 of the operation terminal 200 via the communication unit 116 and the communication unit 206. Assume that it is displayed. In this embodiment, it is assumed that the optical axis direction of the imaging device 118 and the movement axis direction defined by the drive unit 111 of the movement device 100 coincide with each other as shown in FIG. If there is a touch operation, the process proceeds to step S202. In step S202, it is determined whether the operation pattern of the touch operation performed is a pinch operation. If the touch operation performed in step S202 is a pinch operation, the process proceeds to step S203, and if not, the process proceeds to step S209.

ステップＳ２０３ではタッチ中心点がタッチパネル中央領域の内部に入っているか否かを判定する。この判定について図４に基づいて、詳細に説明する。図４（ａ）はタッチパネル上でのタッチパネル中央領域を説明する図である。タッチパネル枠４０２はタッチ操作部２０５の操作可能な領域の大きさを示している。説明のためタッチパネル枠４０２の中心点を元にｘｙ座標を設定している。タッチパネル枠４０２の中心を基準としてタッチパネル枠４０２より小さな領域としてタッチパネル中央領域４０１を設定している。図４（ｂ）（ｃ）の２つの例からステップＳ２０３の処理の分岐を説明する。図４（ｂ）において指領域４０３、４０４はそれぞれピンチ操作のために最初にタッチされた２つの指の接地領域（ピンチ操作の開始点）を示している。指領域４０３、４０４それぞれの重心位置を求め、その２つの重心位置の中間点をタッチ中心点４０５として定義している。図４（ｂ）の場合タッチ中心点４０５がタッチパネル中央領域４０１の中に入っているので、ステップＳ２０３においてはステップＳ２０４に進む分岐となる。反対の場合として図４（ｃ）では、同様に求めたタッチ中心点４０８が、タッチパネル中央領域４０１の外に存在するので、ステップＳ２０３においてはステップＳ２０５に進む分岐となる。ステップＳ２０４、Ｓ２０５における移動装置１００への移動指令での移動軸の方向の決定方法について、図５、図６に基づいて、詳細に説明する。 In step S203, it is determined whether or not the touch center point is inside the touch panel center region. This determination will be described in detail with reference to FIG. FIG. 4A is a diagram for explaining a central area of the touch panel on the touch panel. A touch panel frame 402 indicates the size of an area that can be operated by the touch operation unit 205. For the purpose of explanation, the xy coordinates are set based on the center point of the touch panel frame 402. The touch panel center area 401 is set as an area smaller than the touch panel frame 402 with the center of the touch panel frame 402 as a reference. The branch of the process of step S203 will be described from the two examples of FIGS. 4B and 4C. In FIG. 4B, finger areas 403 and 404 respectively indicate the ground areas (starting points of the pinch operation) of the two fingers touched first for the pinch operation. The center of gravity positions of the finger areas 403 and 404 are obtained, and an intermediate point between the two center of gravity positions is defined as a touch center point 405. In the case of FIG. 4B, since the touch center point 405 is in the touch panel center area 401, the process proceeds to step S204 in step S203. In the opposite case, in FIG. 4C, since the touch center point 408 obtained in the same manner exists outside the touch panel center region 401, the process proceeds to step S205 in step S203. A method for determining the direction of the moving axis in response to the movement command to the moving device 100 in steps S204 and S205 will be described in detail with reference to FIGS.

図５は、本発明の第１の実施形態に係るピンチアウトの位置による移動方向の決定について示す図である。図５（ａ）におけるタッチパネル中央領域４０１、タッチパネル枠４０２、指領域４０６、４０７、タッチ中心点４０８は図４（ｃ）と同様のものである。図５（ａ）では、図４のｘｙ軸に加えて説明のためにｚ軸も追加している。図５（ａ）では、タッチパネル枠４０２に対して３次元的に距離Ｌだけ離れた位置の平面枠を仮想し、この枠を仮想前方枠５０２とする。距離Ｌは予め設定されている値で、操作端末２００内のＲＯＭ２０２に格納されている値とする。手５０１で示すように実際にタッチしている平面はタッチパネル枠４０２の位置である。指領域４０６、４０７、タッチ中心点４０８を仮想前方枠５０２に射影させたものを指領域５０３、５０４、タッチ中心点５０５とする。 FIG. 5 is a diagram illustrating determination of the moving direction based on the pinch-out position according to the first embodiment of the present invention. The touch panel center area 401, the touch panel frame 402, the finger areas 406 and 407, and the touch center point 408 in FIG. 5A are the same as those in FIG. In FIG. 5A, a z-axis is also added for the sake of explanation in addition to the xy-axis of FIG. In FIG. 5A, a plane frame that is three-dimensionally separated from the touch panel frame 402 by a distance L is assumed to be a virtual front frame 502. The distance L is a preset value and is a value stored in the ROM 202 in the operation terminal 200. As indicated by the hand 501, the plane that is actually touched is the position of the touch panel frame 402. The finger areas 406 and 407 and the touch center point 408 projected onto the virtual front frame 502 are referred to as finger areas 503 and 504 and a touch center point 505.

図５（ａ）はタッチパネル枠５０２の距離Ｌ前方に仮想枠を設定しているが、それに対し距離Ｌ後方に仮想枠を設定しているのが図６であり、この仮想枠を仮想後方枠６０６とする。指領域４０６、４０７、タッチ中心点４０８を仮想後方枠６０６に射影させたものを指領域６０１、６０２、タッチ中心点６０３とする。 In FIG. 5A, a virtual frame is set in front of the distance L of the touch panel frame 502, but FIG. 6 shows that a virtual frame is set behind the distance L, and this virtual frame is used as the virtual rear frame. 606. The finger areas 406 and 407 and the touch center point 408 projected onto the virtual rear frame 606 are referred to as finger areas 601 and 602 and a touch center point 603.

ステップＳ２０４で移動軸を光軸方向に決定するが、この方向は図５（ａ）におけるｚ軸の方向である。もし前進する場合は図５（ａ）の方向５０６で定義する方向が移動装置１００の進行方向となる。もし後進する場合は図６の方向６０４で定義する方向が移動装置１００の進行方向となる。 In step S204, the movement axis is determined in the optical axis direction, and this direction is the direction of the z axis in FIG. If the vehicle moves forward, the direction defined by the direction 506 in FIG. If the vehicle moves backward, the direction defined by the direction 604 in FIG.

ステップＳ２０５で決定する移動軸は、前進の場合、タッチパネル枠４０２の中心からタッチ中心点５０５へ向けた方向５０７が移動軸となる。これをｘｚ平面、ｙｚ平面への射影として示したものが図５（ｂ）、（ｃ）となる。タッチ中心点４０８，５０５のｘｙ座標を（ｘ１、ｙ１）とすると、図５（ｂ）のｘｚ平面上では原点から（ｘ、ｚ）＝（ｘ１、Ｌ）へ引いた直線のなす角度θ１で定義できる。図５（ｃ）のｙｚ平面上では（ｘ、ｚ）＝（ｙ１、Ｌ）へ引いた直線のなす角度θ２で定義できる。 In the case of forward movement, the movement axis determined in step S205 is a movement axis in a direction 507 from the center of the touch panel frame 402 toward the touch center point 505. FIGS. 5B and 5C show this as a projection onto the xz plane and the yz plane. If the xy coordinates of the touch center points 408 and 505 are (x1, y1), the angle θ1 formed by the straight line drawn from the origin to (x, z) = (x1, L) on the xz plane in FIG. Can be defined. On the yz plane in FIG. 5C, the angle can be defined by an angle θ2 formed by a straight line drawn to (x, z) = (y1, L).

もし後進の場合、図６においてタッチパネル枠４０２の中心からタッチ中心点６０３へ向けた方向６０５が移動軸となる。このように移動装置１００の移動軸を決定した後にステップＳ２０６に進む。 In the case of reverse travel, a direction 605 from the center of the touch panel frame 402 toward the touch center point 603 in FIG. After determining the movement axis of the moving apparatus 100 in this way, the process proceeds to step S206.

ステップＳ２０６では、タッチ操作の操作方向からなされたタッチ操作ピンチアウトか否かを判定する。もしピンチアウトである場合、ステップＳ２０７に移り、移動方向を移動軸の前進方向にする。この場合、もしステップＳ２０４を通過していたならば方向５０６の方向に、ステップＳ２０５を通過していたならば方向５０７の方向が移動方向として決定される。もしピンチインである場合、ステップＳ２０８に移り、移動方向を移動軸の後進方向にする。この場合、もしステップＳ２０４を通過していたならば方向６０４の方向に、ステップＳ２０５を通過していたならば方向６０５の方向が移動方向として決定される。これらの移動方向決定の後、ステップＳ２１１に進む。 In step S206, it is determined whether or not the touch operation pinch out is performed from the operation direction of the touch operation. If it is a pinch out, the process moves to step S207, and the moving direction is set to the forward direction of the moving axis. In this case, the direction of the direction 506 is determined as the moving direction if it has passed through step S204, and the direction of the direction 507 is determined if it has passed through step S205. If it is pinch-in, the process moves to step S208, and the moving direction is set to the backward direction of the moving axis. In this case, the direction of the direction 604 is determined as the moving direction if it has passed the step S204, and the direction of the direction 605 is determined if it has passed the step S205. After determining these movement directions, the process proceeds to step S211.

ここでステップＳ２０２戻り、ステップＳ２０２においてピンチ操作以外の操作が行われた場合について説明する。 Here, returning to step S202, a case where an operation other than the pinch operation is performed in step S202 will be described.

ステップＳ２０２においてピンチ操作以外の操作が行われた場合、ステップＳ２０９に進み、行われたタッチ操作がドラッグ操作であるかどうかの判定を行う。ステップＳ２０９において行われたタッチ操作がドラッグ操作と判定された場合、ステップＳ２１０に移り移動方向を決定する。ドラッグ操作が行われた場合の移動方向の決定方法を図７に基づいて詳細に説明する。 If an operation other than the pinch operation is performed in step S202, the process proceeds to step S209, and it is determined whether the performed touch operation is a drag operation. If it is determined that the touch operation performed in step S209 is a drag operation, the process proceeds to step S210 to determine the movement direction. A method of determining the moving direction when a drag operation is performed will be described in detail with reference to FIG.

図７は、本発明の第１の実施形態に係るドラッグ操作に対応する動作を示す図である。ステップＳ２１０では、上下左右方向、もしくはそれらの組み合わせの方向が移動方向として決定される。図７（ｂ）において指領域７０１をドラッグ操作の始点とし、ドラッグ操作の操作方向が、方向（１）（上方）、方向（２）（右方向）、方向（３）（下方向）、方向（４）（左方向）の場合を考える。この時、ドラッグ操作で入力されたそれぞれの方向に対応する移動装置の進行方向を図７（ｃ）に示す。それぞれ図７（ｃ）の方向（１）（下方向）、方向（２）（左方向）、方向（３）（上方向）、方向（４）（右方向）と指領域７０１の重心点について対称な方向を移動装置１００の移動方向として設定する。この方向に一定方向進んだ場合の、撮像装置１１８で撮像されているＬＣＤ表示部２０４の表示画像を図７（ｄ）に示す。図７（ｂ）において方向（１）（２）（３）（４）の方向にそれぞれドラッグ操作をした場合、図７（ｄ）で示す画像（１）（２）（３）（４）がそれぞれ得られる。スマートフォンやタブレットの画像ビューワにおいて、画像に対して一般的なドラッグ操作を行った場合の画像の変化と同じ効果が得られる。これにより操作者はよりドラッグ操作によって、より直観的に移動装置１００すなわち撮像装置１１８の操作をできることになる。このようにドラッグ操作による移動方向決定がなされた後、ステップＳ２１１に進む。 FIG. 7 is a diagram illustrating an operation corresponding to the drag operation according to the first embodiment of the present invention. In step S210, the up / down / left / right direction or a combination thereof is determined as the moving direction. In FIG. 7B, the finger region 701 is the starting point of the drag operation, and the operation direction of the drag operation is direction (1) (upward), direction (2) (rightward), direction (3) (downward), direction (4) Consider the case of (left direction). At this time, the traveling direction of the moving device corresponding to each direction input by the drag operation is shown in FIG. FIG. 7C shows the direction (1) (downward), direction (2) (leftward), direction (3) (upward), direction (4) (rightward) and the center of gravity of the finger area 701. A symmetric direction is set as the moving direction of the moving device 100. FIG. 7D shows a display image of the LCD display unit 204 picked up by the image pickup device 118 in the case of a certain direction in this direction. When drag operations are performed in directions (1), (2), (3), and (4) in FIG. 7B, images (1), (2), (3), and (4) shown in FIG. Each is obtained. The same effect as an image change when a general drag operation is performed on an image in an image viewer of a smartphone or a tablet can be obtained. As a result, the operator can more intuitively operate the moving device 100, that is, the imaging device 118 by a drag operation. After the movement direction is determined by the drag operation in this way, the process proceeds to step S211.

ピンチ操作、ドラッグ操作により移動方向が決定された後は、決定した移動方向（Ｓ２１１）、移動開始コマンド（Ｓ２１２）を移動装置１００に送信し、ステップＳ２１３に進む。 After the movement direction is determined by the pinch operation and the drag operation, the determined movement direction (S211) and movement start command (S212) are transmitted to the moving apparatus 100, and the process proceeds to step S213.

ステップＳ２１３ではピンチ操作、ドラッグ操作が行われた後、タッチオンの状態が継続しているか、この場合、操作の後に指がタッチ操作部２０５から離されずに付けられたままであるかどうかを判定する。具体的にはタッチ操作の検出後も、一定時間以上タッチオン状態が継続されているかどうかで判断する。 In step S213, it is determined whether the touch-on state continues after the pinch operation and the drag operation are performed, or in this case, whether or not the finger remains attached to the touch operation unit 205 after the operation. Specifically, even after the touch operation is detected, the determination is made based on whether or not the touch-on state has been continued for a certain time.

ステップＳ２１３においてタッチ操作が継続中であると判定した場合、ステップＳ２１３を繰り返し、タッチアップされるまで待機する。すなわち、タッチオンが継続している間は、移動装置１００は指示方向への移動を継続することになる。その際、例えば、図１１に示すように、タッチ操作に応じた移動装置１００の移動方向を、矢印又は文字などで画像と一緒に表示するようにしても良い。 If it is determined in step S213 that the touch operation is continuing, step S213 is repeated and the process waits until touch-up is performed. That is, while the touch-on continues, the moving device 100 continues to move in the designated direction. At this time, for example, as shown in FIG. 11, the moving direction of the moving device 100 according to the touch operation may be displayed together with the image by an arrow or a character.

タッチ操作が終了している（タッチアップされた）と判定された場合、ステップＳ２１４へ進み、移動装置１００へ、移動停止コマンドを送信し、ステップＳ２０１に戻る。 When it is determined that the touch operation has been completed (touched up), the process proceeds to step S214, a movement stop command is transmitted to the mobile device 100, and the process returns to step S201.

ここでステップＳ２０９戻り、ステップＳ２０９においてドラッグ操作以外の操作が行われた場合について説明する。ステップＳ２０９においてドラッグ操作以外の操作が行われた場合、ステップＳ２１５へ進み、操作に対応するコマンドの有無の判定を行う。対応するコマンドがある場合は、ステップＳ２１６へ進み、移動装置１００へ対応するコマンドを送信した後、ステップＳ２０１に戻る。対応するコマンドが無い場合は、ステップＳ２０１に戻る。 Here, returning to step S209, the case where an operation other than the drag operation is performed in step S209 will be described. If an operation other than the drag operation is performed in step S209, the process proceeds to step S215 to determine whether there is a command corresponding to the operation. If there is a corresponding command, the process proceeds to step S216, the corresponding command is transmitted to the mobile device 100, and then the process returns to step S201. If there is no corresponding command, the process returns to step S201.

以上、第１の実施形態に係る操作端末２００の処理について説明をしたが、ここで、操作端末２００からコマンドを受信した場合の、移動装置１００の動作について図１０を使って説明する。図１０は、本実施例に係る移動装置の処理を示すフローチャートである。図１０のフローチャートは、移動装置１００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現される。 The processing of the operation terminal 200 according to the first embodiment has been described above. Here, the operation of the mobile device 100 when a command is received from the operation terminal 200 will be described with reference to FIG. FIG. 10 is a flowchart illustrating the process of the mobile device according to the present embodiment. The flowchart of FIG. 10 illustrates a processing procedure executed by controlling each processing block of the mobile device 100, and is realized by developing a program stored in the ROM 106 in the RAM 107 and executing it by the CPU 105. .

まず始めにステップＳ１００１において、操作端末２００から移動方向及び移動開始コマンドを受信したか否かを判定している。移動開始コマンドを受信した場合は、ステップＳ１００２へ進み、移動装置１００は指示された移動方向への移動を開始する。受信していない場合は、ステップＳ１００１を繰り返し、操作があるまで移動制御は行わない。 First, in step S1001, it is determined whether a movement direction and a movement start command are received from the operation terminal 200. When the movement start command is received, the process proceeds to step S1002, and the moving apparatus 100 starts moving in the instructed moving direction. If not received, step S1001 is repeated, and movement control is not performed until there is an operation.

ステップＳ１００２で移動制御を開始した後は、ステップＳ１００３へ進み、移動停止コマンドを受信したか否かを判定する。移動停止コマンドを受信した場合は、移動装置１００は移動を停止（Ｓ１００４）する。移動停止コマンドを受信していない場合は、ステップＳ１００２を繰り返し、操作があるまで移動を続ける。 After the movement control is started in step S1002, the process proceeds to step S1003 to determine whether a movement stop command has been received. When the movement stop command is received, the moving apparatus 100 stops moving (S1004). If the movement stop command has not been received, step S1002 is repeated and the movement is continued until an operation is performed.

この操作の一例としてピンチアウトを行った場合を示したのが図８、図９である。 FIG. 8 and FIG. 9 show the case where the pinch out is performed as an example of this operation.

図８は、タッチパネルの中央領域でピンチアウト操作をした場合の、移動装置１００の動作示す図である。図８（ａ）は、進行方向が「前進」のときに指領域８０１、８０２へ指を置き方向８０３、８０４へピンチアウト操作をした場合を示している。この場合、図８（ｂ）のように移動装置１００が位置８０８から８０９方向へ移動する。この時、ＬＣＤ表示部２０４に表示されている画像は図８（ｃ）のようになる。 FIG. 8 is a diagram illustrating the operation of the moving device 100 when a pinch-out operation is performed in the center area of the touch panel. FIG. 8A shows a case where a finger is placed in the finger areas 801 and 802 and a pinch-out operation is performed in the directions 803 and 804 when the traveling direction is “forward”. In this case, the moving device 100 moves from the position 808 to the direction 809 as shown in FIG. At this time, the image displayed on the LCD display unit 204 is as shown in FIG.

図９は、タッチパネルの中央領域外でピンチアウト操作をした場合の、移動装置１００の動作示す図である。図９（ａ）は、指領域９０１、９０３へ指を置き方向９０３、９０４へピンチアウト操作した場合で、移動装置１００の移動方向が撮像装置１１８の光軸と並行でない。この場合、移動装置１００は斜め右上前方に移動し、この時のＬＣＤ表示部２０４に表示されている画像は図９（ｂ）のようになる。 FIG. 9 is a diagram illustrating the operation of the moving device 100 when a pinch-out operation is performed outside the center area of the touch panel. FIG. 9A illustrates a case where a finger is placed on the finger areas 901 and 903 and a pinch-out operation is performed in the directions 903 and 904, and the moving direction of the moving device 100 is not parallel to the optical axis of the imaging device 118. In this case, the moving device 100 moves diagonally to the upper right and the image displayed on the LCD display unit 204 at this time is as shown in FIG.

なお、移動装置１００の移動速度は所定の速度としても良いが、操作端末２００から送信する構成としても良い。その場合、例えば、ピンチ操作の際のなぞり距離に応じて決定しても良いし、タッチオンの継続時間に応じて加速するようにしても良い。例えばピンチアウト後にタッチオンを継続したまま、ピンチインの方向に動かすなど、タッチオンを継続しながら２点を逆方向に移動させた際には、減速するようにしても良い。また、タッチアップされた後、短時間の間に繰り返しピンチ操作が行われた場合は、停止コマンドを送信せず、移動を続ける構成としても良く、またピンチ操作の繰り返し回数ごとに段階的に移動速度を変えるようにしても良い。また、移動装置１００の移動開始からの経過時間などに応じて、速度を制御する構成としても良い。 The moving speed of the mobile device 100 may be a predetermined speed, or may be transmitted from the operation terminal 200. In this case, for example, it may be determined according to the tracing distance at the time of the pinch operation, or may be accelerated according to the touch-on duration. For example, when the two points are moved in the opposite direction while continuing the touch-on, such as moving in the pinch-in direction while continuing the touch-on after the pinch-out, the speed may be reduced. In addition, when a pinch operation is repeatedly performed within a short period of time after touch-up, it is possible to continue the movement without sending a stop command, and to move step by step each time the pinch operation is repeated. The speed may be changed. Moreover, it is good also as a structure which controls speed according to the elapsed time from the movement start of the moving apparatus 100, etc. FIG.

以上述べてきた第１の実施形態の処理により、ドローンなどに搭載された位置移動が可能な撮像装置をタッチパネル機能のある操作端末で操作する場合に、直観的にわかりやすい操作で撮像装置の移動制御が可能である。 When the imaging device mounted on a drone or the like and capable of moving a position is operated with an operation terminal having a touch panel function by the processing of the first embodiment described above, the movement control of the imaging device is intuitively easy to understand. Is possible.

（第２の実施形態）
以下、図を参照しながら、本発明の第２の実施形態における処理について説明する。なお、第１の実施形態と同一の処理を行う部分は同一の記号で示し、説明を省略する。第２の実施形態では、例えば図１２（ｅ）のように、撮像装置１１８が移動装置１００に対してパンチルト角度を変更可能な構成で、操作端末２００から撮像装置１１８へコマンドを送信するなどの操作によりパンチルト制御が可能なものとする。 (Second Embodiment)
Hereinafter, processing in the second embodiment of the present invention will be described with reference to the drawings. In addition, the part which performs the same process as 1st Embodiment is shown with the same symbol, and description is abbreviate | omitted. In the second embodiment, for example, as illustrated in FIG. 12E, the imaging device 118 can change the pan / tilt angle with respect to the moving device 100, and a command is transmitted from the operation terminal 200 to the imaging device 118. It is assumed that pan / tilt control is possible by operation.

図１３は、本発明の第２の実施形態に係る操作端末の処理を示すフローチャートである。図１３のフローチャートは、操作端末２００の各処理ブロックを制御し実行される処理手順を図示したものであり、ＲＯＭ２０２に格納されているプログラムをＲＡＭ２０３に展開し、ＣＰＵ２０１が実行することにより実現される。 FIG. 13 is a flowchart showing processing of the operation terminal according to the second embodiment of the present invention. The flowchart in FIG. 13 illustrates a processing procedure executed by controlling each processing block of the operation terminal 200, and is realized by developing a program stored in the ROM 202 into the RAM 203 and executing it by the CPU 201. .

ステップＳ１３０１において、操作端末２００は移動装置１００の向きに対する撮像装置１１８の撮像方向に関する情報を取得する。この情報は、例えば、一定期間ごとに操作端末２００から移動装置１００へ問い合わせたり、移動装置１００が撮像装置１１８の撮像方向を変更した際に、操作端末２００へ通知することにより取得可能である。 In step S <b> 1301, the operation terminal 200 acquires information related to the imaging direction of the imaging device 118 with respect to the direction of the mobile device 100. This information can be acquired, for example, by making an inquiry from the operation terminal 200 to the mobile device 100 at regular intervals or by notifying the operation terminal 200 when the mobile device 100 changes the imaging direction of the imaging device 118.

移動装置１００に対する撮像装置１１８の撮像方向に関する情報を取得した後は、ステップＳ１３０２に進み、パンチルト操作が行われているかどうか、すなわち、移動装置１００の正位置と撮像装置１１８の光軸方向が一致しているか否かを判定する。一致している状態とは、移動装置１００と撮像装置１１８の前後方向、上下方向、左右方向が一致していることを指す。一致している場合はステップＳ１３０４へ進む。 After acquiring the information related to the imaging direction of the imaging device 118 with respect to the moving device 100, the process proceeds to step S1302, and whether the pan / tilt operation is performed, that is, the normal position of the moving device 100 and the optical axis direction of the imaging device 118 are equal. Determine whether you are doing it. The state of coincidence means that the front-rear direction, the up-down direction, and the left-right direction of the moving device 100 and the imaging device 118 are coincident. If they match, the process proceeds to step S1304.

一致していない場合はステップＳ１３０３へ進み、そのパンチルト角において、移動装置１００の移動座標系と撮像装置１１８の光学座標系を一致させる処理を行う。ここで、移動座標系とは移動装置１００の前後方向、上下方向、左右方向を表す座標系である。光学座標系とは撮像装置１１８の前後方向、上下方向、左右方向を表す座標系を表す座標系であり、操作端末２００に表示される画像の座標系と一致する。このステップＳ１３０３における座標変換処理について図１２を用いて説明する。 If they do not match, the process advances to step S1303 to perform processing for matching the moving coordinate system of the moving device 100 and the optical coordinate system of the imaging device 118 at the pan / tilt angle. Here, the moving coordinate system is a coordinate system that represents the front-rear direction, the up-down direction, and the left-right direction of the moving device 100. The optical coordinate system is a coordinate system that represents a coordinate system that represents the front-rear direction, the vertical direction, and the left-right direction of the imaging device 118, and matches the coordinate system of the image displayed on the operation terminal 200. The coordinate conversion process in step S1303 will be described with reference to FIG.

図１２（ａ）はタッチ操作部の中央で指領域１２０１、１２０２に指を置き、方向１２０３、１２０４へ指を広げたピンチアウト、（ｂ）はピンチイン、（ｃ）はドラッグ操作を示している。図１２（ｄ）は、移動装置１００に対して撮像装置１１８のパンチルト角度が付いておらず、移動装置１００の移動座標系の前方方向と、撮像装置１１８の光軸方向１２１０が一致している場合である。この場合、図１２（ａ）で示すピンチアウトで図１２（ｄ）の方向（１）へ進行し、図１２（ｂ）で示すピンチイン操作で図１２（ｄ）の方向（２）へ進行する。図１２（ｃ）ドラッグ操作で方向（３）、（４）、（５）、（６）の操作をそれぞれ行った場合、図１２（ｄ）の方向（３）、（４）、（５）、（６）のへ進行する。 FIG. 12A shows a pinch-out in which a finger is placed in the finger areas 1201 and 1202 and spread in the directions 1203 and 1204 at the center of the touch operation unit, (b) shows a pinch-in, and (c) shows a drag operation. . In FIG. 12D, the pan / tilt angle of the imaging device 118 is not attached to the moving device 100, and the forward direction of the moving coordinate system of the moving device 100 matches the optical axis direction 1210 of the imaging device 118. Is the case. In this case, the pinch-out shown in FIG. 12 (a) proceeds in the direction (1) in FIG. 12 (d), and the pinch-in operation shown in FIG. 12 (b) advances in the direction (2) in FIG. 12 (d). . FIG. 12 (c) When the operations in the directions (3), (4), (5), and (6) are respectively performed by the drag operation, the directions (3), (4), and (5) in FIG. Proceed to (6).

ここで図１２（ｅ）のように移動装置１００に対して撮像装置１１８が−９０度方向にチルト角を持っていた場合を考える。この場合、図１２（ａ）のピンチアウトに応じて鉛直下方向、すなわち図１２（ｅ）における方向（１）の方向に移動しないと、操作者が操作端末２００のＬＣＤ表示部２０４での表示に対して不自然になる。よってこの場合は、光軸方向１２１１の方向をピンチアウト動作の前進方向とし、その方向を基準として、図１２（ｅ）の方向（２）、（３）、（４）、（５）、（６）の方向座標を決定する。そのうえで、ピンチ操作により指示された移動方向を、移動装置１００と撮像装置１１８との相対関係に基づき変換し、移動装置１００の移動方向を決定する。図１２（ｅ）の例ではチルト角が−９０度の場合を示しているが、パン・チルト角が任意の値であっても、上述の要領で光軸方向をピンチアウトの方向と合わせることを基準に移動座標系の変換を行うことができる。以下の処理では、全てこの座標変換を行った上で、移動方向を決定するものとする。 Here, consider a case where the imaging device 118 has a tilt angle in the −90 degrees direction with respect to the moving device 100 as shown in FIG. In this case, if the operator does not move vertically downward according to the pinch out of FIG. 12A, that is, the direction (1) in FIG. 12E, the display on the LCD display unit 204 of the operation terminal 200 is performed. Becomes unnatural. Therefore, in this case, the direction of the optical axis direction 1211 is the forward direction of the pinch-out operation, and the directions (2), (3), (4), (5), (5) in FIG. 6) Determine the direction coordinates. Then, the moving direction instructed by the pinch operation is converted based on the relative relationship between the moving device 100 and the imaging device 118, and the moving direction of the moving device 100 is determined. In the example of FIG. 12 (e), the tilt angle is −90 degrees. However, even if the pan / tilt angle is an arbitrary value, the optical axis direction is matched with the pinch-out direction as described above. The moving coordinate system can be converted on the basis of. In the following processing, it is assumed that the moving direction is determined after performing this coordinate conversion.

続くステップＳ１３０４からステップＳ１３１９の処理は、第１の実施形態のステップＳ２０１〜ステップＳ２１６と同様であるので詳細説明は割愛する。 The subsequent processing from step S1304 to step S1319 is the same as step S201 to step S216 of the first embodiment, and thus detailed description thereof is omitted.

本実施例では、操作端末２００でタッチ操作に応じた移動方向、移動距離を算出し、移動装置１００に送信する構成を例としたが、操作端末２００から操作情報を送信し、移動装置１００で受信した操作情報から移動方向、移動速度を算出しても良い。その場合は、移動装置１００と撮像装置１１８の方向の相対関係に基づいて、移動装置１００で操作情報を変換して移動方向を算出する。 In this embodiment, the moving direction and the moving distance corresponding to the touch operation are calculated by the operation terminal 200 and transmitted to the mobile device 100. However, the operation information is transmitted from the operation terminal 200 and the mobile device 100 transmits the operation information. The moving direction and moving speed may be calculated from the received operation information. In that case, based on the relative relationship between the directions of the moving device 100 and the imaging device 118, the moving device 100 converts the operation information to calculate the moving direction.

以上述べてきた第２の実施形態の処理により、ドローン等の前進方向と撮像装置の光軸の方向が任意に変更された状況でも、移動装置１００の移動をタッチ操作で直観的にわかりやすく行える。 By the processing of the second embodiment described above, even when the forward direction of the drone or the like and the direction of the optical axis of the imaging device are arbitrarily changed, the movement of the moving device 100 can be intuitively understood with a touch operation. .

本実施例では、移動装置１００が指定された方向に移動開始コマンドを受信してから停止コマンドを受信するまでの間移動するが、移動動作中に障害物などを認識して自動停止する構成とすることも可能である。操作端末２００からの停止コマンドを受信していない場合でも、被写体認識部１０８によって障害物などが存在する場合には、撮像素子１０３の構成から可能になる距離情報検出を用いて、安全のため衝突しない距離で停止する。この時、被写体認識部によって検出された障害物の種別によって、近づける距離の制限に変化を持たせてもよい。例えば、障害物が壁などの物体である場合は、移動装置１００が障害物から距離Ａだけ手前で停止し、障害物が人物の場合は、移動装置１００が障害物から距離Ｂだけ手前の位置で停止する（距離Ｂ＞距離Ａ）。 In the present embodiment, the mobile device 100 moves from receiving a movement start command in a specified direction until receiving a stop command, and recognizes an obstacle or the like during the movement operation and automatically stops. It is also possible to do. Even if the stop command from the operation terminal 200 is not received, if there is an obstacle or the like by the subject recognition unit 108, the collision using the distance information detection enabled by the configuration of the image sensor 103 is used for safety. Stop at a distance you don't. At this time, the limit of the approaching distance may be changed depending on the type of obstacle detected by the subject recognition unit. For example, when the obstacle is an object such as a wall, the moving device 100 stops at a distance A from the obstacle, and when the obstacle is a person, the moving device 100 is a position at a distance B from the obstacle. (Distance B> Distance A).

また、障害物等の移動制限により移動を停止した場合には、同じ方向にズーム動作をするように制御を切り替えても良い。その場合には、図１１に示す矢印の色や表示する文字列を変えて、障害物等により移動できない旨、ズーム動作に切り替えた旨を、認識しやすく表示することも可能である。同様に、ドラッグ操作による移動装置の移動を、撮像方向の変更に切り替えても良い。 Further, when the movement is stopped due to the movement restriction of an obstacle or the like, the control may be switched so that the zoom operation is performed in the same direction. In that case, the color of the arrow and the character string to be displayed shown in FIG. 11 can be changed so that it can be easily recognized that it cannot be moved due to an obstacle or the like, and that the zoom operation has been switched. Similarly, the movement of the moving device by a drag operation may be switched to change of the imaging direction.

また、本実施例では移動装置１００の動作に関して前後進移動、上下左右方向移動のみであったが、円環状のなぞり操作に応じて旋回動作を受け付けるようにしても良い。例えば、円環状のＵＩを用意し、指で時計方向になぞると右旋回コマンドを移動装置１００に送信し、反時計方向になぞると左旋回コマンドを移動装置１００に送信する。 In this embodiment, only the forward / backward movement and the vertical / horizontal movement are performed with respect to the operation of the moving device 100. However, a turning operation may be accepted according to an annular tracing operation. For example, an annular UI is prepared, and when the finger is traced clockwise, a right turn command is transmitted to the mobile device 100, and when the user traces counterclockwise, a left turn command is transmitted to the mobile device 100.

また、例えばＬＣＤ表示部２０４に表示させた切替部材をタッチすることにより、ピンチ操作に対応する動作を、前後方向への移動と、ズーム動作とを切り替える構成としても良い。同様に、ドラッグ操作に対応する動作を、左右方向又は上下方向への移動と、撮像方向の変更（パンチルト動作）とを切り替えることも可能である。このように、本実施形態では、所定の条件に応じて移動装置１００に対する移動指示と、撮像装置１１８に対するズーム指示を選択的に実行可能である。 Further, for example, by touching a switching member displayed on the LCD display unit 204, an operation corresponding to the pinch operation may be switched between a movement in the front-rear direction and a zoom operation. Similarly, the movement corresponding to the drag operation can be switched between a movement in the horizontal direction or the vertical direction and a change in the imaging direction (pan / tilt operation). As described above, in this embodiment, it is possible to selectively execute a movement instruction for the moving apparatus 100 and a zoom instruction for the imaging apparatus 118 according to a predetermined condition.

なお、本実施例では、ドローン等を例として説明したが、移動装置は三次元の移動ができなくても良く、例えば、レール等で移動方向が規制された監視カメラなどにも応用可能である。 In this embodiment, a drone or the like has been described as an example. However, the moving device may not be able to move three-dimensionally, and can be applied to, for example, a surveillance camera whose movement direction is regulated by a rail or the like. .

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。 The above is a description of a preferred embodiment of the present invention. However, the present invention is not limited to the above-described embodiment within the scope of the technical idea of the present invention, and is adapted as appropriate according to the target circuit form. What to do.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００移動装置
１０１撮像光学系
１０２撮像光学系操作部
１０３撮像素子
１０４撮像信号処理部
１０５ＣＰＵ
１０６ＲＯＭ
１０７ＲＡＭ
１０８被写体認識部
１０９メモリスロット
１１０メモリカード
１１１駆動部
１１２方位検知センサ
１１３ＧＰＳ
１１４加速度センサ
１１５ジャイロ
１１６通信部
１１８撮像装置
２００操作端末
２０１ＣＰＵ
２０２ＲＯＭ
２０３ＲＡＭ
２０４ＬＣＤ表示部
２０５タッチ操作部
２０６通信部 DESCRIPTION OF SYMBOLS 100 Mobile device 101 Imaging optical system 102 Imaging optical system operation part 103 Imaging element 104 Imaging signal processing part 105 CPU
106 ROM
107 RAM
108 Subject recognition unit 109 Memory slot 110 Memory card 111 Drive unit 112 Direction detection sensor 113 GPS
114 Acceleration sensor 115 Gyro 116 Communication unit 118 Imaging device 200 Operation terminal 201 CPU
202 ROM
203 RAM
204 LCD display unit 205 Touch operation unit 206 Communication unit

Claims

外部装置からの指示に応じて位置移動が可能な移動装置と、前記移動装置の移動を指示する操作装置とからなる移動制御システムであって、
前記移動装置は、被写体を撮像する撮像手段を保持して移動し、
前記操作装置は、前記撮像手段で撮像している画像を表示する表示手段と、タッチ操作を検出するタッチ操作手段と、前記タッチ操作手段により検出されたタッチ操作がピンチアウト操作である場合に、撮像方向に対する前進方向への移動を前記移動装置へ指示する指示手段とを有することを特徴とする移動制御システム。 A movement control system comprising a moving device capable of moving a position in accordance with an instruction from an external device, and an operating device for instructing movement of the moving device,
The moving device moves while holding an imaging means for imaging a subject,
The operation device includes a display unit that displays an image captured by the imaging unit, a touch operation unit that detects a touch operation, and a touch operation detected by the touch operation unit is a pinch-out operation. A movement control system comprising: instruction means for instructing the movement device to move in the forward direction relative to the imaging direction.

前記指示手段はさらに、前記検出されたタッチ操作がピンチイン操作である場合に、前記撮像方向に対する後進方向への移動を前記移動装置へ指示することを特徴とする請求項１に記載の移動制御システム。 2. The movement control system according to claim 1, wherein when the detected touch operation is a pinch-in operation, the instruction unit further instructs the movement device to move in a backward direction with respect to the imaging direction. .

前記タッチ操作の検出後、タッチオンの状態が継続して検出されている場合には、前記移動を継続させることを特徴とする請求項１又は２に記載の移動制御システム。 3. The movement control system according to claim 1, wherein after the touch operation is detected, when the touch-on state is continuously detected, the movement is continued. 4.

前記タッチ操作手段は中央領域の設定を可能とし、ピンチ操作の開始点の位置及び前記中央領域の位置に応じて、前進又は後進の方向に角度を持たせることを特徴とする請求項１乃至３のいずれか１項に記載の移動制御システム。 The touch operation means can set a central area, and has an angle in a forward or reverse direction according to a position of a start point of a pinch operation and a position of the central area. The movement control system according to any one of the above.

前記指示手段は、前記撮像手段に対してズーム動作を指示することが可能であって、所定の条件に応じて、前記移動装置に前進又は後進方向への移動を指示するか、前記撮像手段に前記ズーム動作を指示するかを切り替えることを特徴とする請求項１乃至４のいずれか１項に記載の移動制御システム。 The instructing unit can instruct the imaging unit to perform a zoom operation, and instruct the moving device to move forward or backward in accordance with a predetermined condition, or to the imaging unit. The movement control system according to any one of claims 1 to 4, wherein whether to instruct the zoom operation is switched.

前記指示手段は、前記移動装置の前進又は後進方向への移動が制限されている場合に、前記ピンチ操作に応じた前記撮像手段のズーム動作を指示することを特徴とする請求項５に記載の移動制御システム。 The said instruction | indication means instruct | indicates the zoom operation | movement of the said imaging means according to the said pinch operation, when the movement to the forward or backward direction of the said moving device is restrict | limited. Mobile control system.

前記指示手段は、前記ピンチ操作に応じて前進又は後進方向への前記移動装置の移動を指示するか、前記撮像手段のズーム動作を指示するかを、ユーザの操作により切り替え可能な切替部材を有することを特徴とする請求項５又は６に記載の移動制御システム。 The instructing means includes a switching member that can be switched by a user operation to instruct to move the moving device in the forward or backward direction according to the pinch operation or to instruct the zoom operation of the imaging means. The movement control system according to claim 5 or 6 characterized by things.

撮像手段で撮像している画像を表示する表示手段と、
タッチ操作を検出するタッチ操作手段と、
前記タッチ操作手段により検出されたタッチ操作がピンチアウト操作である場合に、撮像方向に対する前進方向への移動を前記撮像手段を保持する移動装置へ指示する指示手段とを有することを特徴とする操作装置。 Display means for displaying an image captured by the imaging means;
Touch operation means for detecting a touch operation;
And an instruction means for instructing a moving device that holds the imaging means to move in the forward direction relative to the imaging direction when the touch operation detected by the touch operation means is a pinch-out operation. apparatus.

外部装置からの指示に応じて位置移動が可能な移動装置であって、
前記移動装置は、被写体を撮像する撮像手段と、
前記撮像手段の撮像方向を変更する駆動手段とを有し、
前記外部装置からタッチ操作のパターン及び操作方向を含む操作情報を受けとった場合に、前記操作情報及び前記撮像手段の撮像方向に基づいて、前記移動装置の移動方向を算出することを特徴とする移動装置。 A moving device that can move in accordance with an instruction from an external device,
The moving device includes imaging means for imaging a subject;
Drive means for changing the imaging direction of the imaging means,
When the operation information including the touch operation pattern and the operation direction is received from the external device, the movement direction of the moving device is calculated based on the operation information and the imaging direction of the imaging unit. apparatus.