JP6840441B2 - Imaging system and flying object - Google Patents
Imaging system and flying object Download PDFInfo
- Publication number
- JP6840441B2 JP6840441B2 JP2017128173A JP2017128173A JP6840441B2 JP 6840441 B2 JP6840441 B2 JP 6840441B2 JP 2017128173 A JP2017128173 A JP 2017128173A JP 2017128173 A JP2017128173 A JP 2017128173A JP 6840441 B2 JP6840441 B2 JP 6840441B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- sound wave
- sound
- output
- flying object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 119
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000001454 recorded image Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Camera Data Copying Or Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、複数方向から撮像対象物等を同時に撮像するようにした撮像システムおよび飛行体に関する。 The present invention relates to an imaging system and an air vehicle in which an imaging object or the like is simultaneously imaged from a plurality of directions.
従来から、第1および第2の撮像装置のそれぞれにおいて撮像を行って音声データとともに記録し、これら2つの音声データに基づいて時間ずれ情報を算出し、それぞれの撮像画像の再生タイミングをこの時間ずれ情報に基づいて制御することにより、2つの画像を同期させるようにした画像同期システムが知られている(例えば、特許文献1参照。)。 Conventionally, imaging is performed by each of the first and second imaging devices and recorded together with audio data, time lag information is calculated based on these two audio data, and the reproduction timing of each captured image is shifted by this time lag. An image synchronization system is known in which two images are synchronized by controlling based on information (see, for example, Patent Document 1).
ところで、上述した特許文献1では、第1の撮像装置における撮像動作に対応して音声データを記録し、第2の撮像装置における撮像動作に対応して音声データを記録しているが、これらの音声データの発生源についての記載がない。第1および第2の撮像装置のそれぞれには音声再生部と集音部が備わっているため、第1および第2の撮像装置にそれぞれにおいて別々に音声を生成して集音することが考えられるが、その場合には、別々に発生させた音声に基づいて正確に複数の画像の同期を取ることは難しいという問題があった。また、特許文献1の画像同期システムでは、第1および第2の撮像装置のそれぞれに、音声同期検出部や相互に音声データ等を送受信するための通信部などが必要になり、構成や処理が複雑であって、汎用のカメラを用いて1つの被写体を撮像してその画像の同期をとることができないという問題があった。 By the way, in the above-mentioned Patent Document 1, audio data is recorded corresponding to the imaging operation in the first imaging device, and audio data is recorded corresponding to the imaging operation in the second imaging device. There is no description about the source of audio data. Since each of the first and second image pickup devices is provided with a sound reproduction unit and a sound collection unit, it is conceivable that each of the first and second image pickup devices separately generates sound and collects sound. However, in that case, there is a problem that it is difficult to accurately synchronize a plurality of images based on the separately generated sounds. Further, in the image synchronization system of Patent Document 1, each of the first and second image pickup devices requires a voice synchronization detection unit, a communication unit for transmitting and receiving voice data and the like to and from each other, and the configuration and processing are required. It is complicated, and there is a problem that it is not possible to take an image of one subject using a general-purpose camera and synchronize the images.
本発明は、このような点に鑑みて創作されたものであり、その目的は、構成が簡素で処理が複雑にならず、別々に撮像された複数の画像の同期を容易にとることができる撮像システムおよび飛行体を提供することにある。 The present invention was created in view of these points, and an object of the present invention is that the configuration is simple, the processing is not complicated, and a plurality of images captured separately can be easily synchronized. The purpose is to provide an imaging system and an air vehicle.
上述した課題を解決するために、本発明の撮像システムは、第1の撮像手段が搭載された飛行体と、第2の撮像手段を有する撮像装置とを備える。飛行体は、所定の撮像対象物の周辺を飛行体に飛行させる飛行制御手段と、撮像装置に到達可能な出力レベルを有する所定周波数の音波を出力する音波出力手段と、音波出力手段から出力される音波を集音する第1の集音手段と、撮像対象物を撮像し、この撮像によって得られた画像とともに、第1の集音手段によって集音された音波を記録する第1の撮像手段とを備える。また、撮像装置は、音波出力手段から出力される音波を集音する第2の集音手段と、撮像対象物および/または飛行体を撮像し、この撮像によって得られた画像とともに、第2の集音手段によって集音された音波を記録する第2の撮像手段とを備える。第1の撮像手段による画像と音波の記録が開始されてから所定時間経過後、操作者によって音波の出力が指示されたとき、所定時間が経過するごとに繰り返し、のいずれかのタイミングで、音波出力手段から所定の音波が出力される。 In order to solve the above-mentioned problems, the image pickup system of the present invention includes an air vehicle equipped with a first image pickup means and an image pickup device having a second image pickup means. The flying object is output from a flight control means for causing the flying object to fly around a predetermined imaging object, a sound wave output means for outputting a sound wave having a predetermined frequency having an output level reachable to the imaging device, and a sound wave output means. A first sound collecting means for collecting sound waves and a first imaging means for capturing an image of an object to be imaged and recording the sound waves collected by the first sound collecting means together with the image obtained by this imaging. And. Further, the image pickup apparatus captures a second sound collecting means for collecting sound waves output from the sound wave output means, an image pickup target and / or a flying object, and a second image obtained by the image pickup. A second imaging means for recording the sound waves collected by the sound collecting means is provided. After a predetermined time has elapsed since the recording of the image and the sound wave by the first imaging means is started, when the operator instructs the output of the sound wave, the sound wave is repeated every time the predetermined time elapses. A predetermined sound wave is output from the output means.
飛行体に搭載される第1の撮像手段、第1の集音手段や、撮像装置に備わった第2の撮像手段、第2の集音手段は、汎用のビデオカメラを用いて容易に実現することが可能であるため、飛行体に音波出力手段を追加するだけでシステム全体を構築することができ、構成および処理内容を簡素化することが可能となる。また、飛行体の音波出力手段から出力された音波が、飛行体と撮像装置のそれぞれにおいて画像と同時に記録されるため、この音波に合わせて、別々に撮像された複数の画像の同期をとることが容易となる。 The first imaging means and the first sound collecting means mounted on the flying object, and the second imaging means and the second sound collecting means provided in the imaging device can be easily realized by using a general-purpose video camera. Therefore, it is possible to construct the entire system simply by adding the sound wave output means to the flying object, and it is possible to simplify the configuration and the processing contents. In addition, since the sound waves output from the sound wave output means of the flying object are recorded at the same time as the images in each of the flying object and the image pickup device, a plurality of images separately captured should be synchronized according to the sound waves. Becomes easier.
また、上述した音波出力手段から出力される音波には、第1の撮像手段による撮像内容を示す特定情報が含まれていることが望ましい。これにより、飛行体と音波との対応がとりやすくなり、誤った組み合わせで画像の同期をとることを防止することができる。 Further, it is desirable that the sound wave output from the above-mentioned sound wave output means includes specific information indicating the content of imaging by the first imaging means. This facilitates the correspondence between the flying object and the sound wave, and it is possible to prevent the images from being synchronized due to an incorrect combination.
また、上述した特定情報には、飛行体の識別情報、飛行体の位置情報、第1の撮像手段による撮像時刻情報の少なくとも一つが含まれることが望ましい。飛行体と撮像装置との同じ組み合わせで複数の画像を撮像した場合に、それぞれの画像において同期をとることが容易となる。 Further, it is desirable that the above-mentioned specific information includes at least one of the identification information of the flying object, the position information of the flying object, and the imaging time information by the first imaging means. When a plurality of images are captured by the same combination of the flying object and the imaging device, it becomes easy to synchronize the respective images.
また、上述した音波出力手段から出力される音波は、人の可聴周波数帯域以外の周波数成分が用いられることが望ましい。これにより、撮影時に耳障りな音声が聞こえることを防止することができる。 Further, it is desirable that the sound wave output from the above-mentioned sound wave output means uses a frequency component other than the human audible frequency band. This makes it possible to prevent hearing annoying sounds during shooting.
また、上述した音波出力手段から出力される音波は、人の可聴周波数帯域に含まれる周波数成分が用いられることが望ましい。これにより、画像の同期をとるために出力される音波の有無を利用者が直接耳で確認することができ、音波が出力されない不具合を迅速に把握することができる。 Further, it is desirable that the sound wave output from the above-mentioned sound wave output means uses a frequency component included in the human audible frequency band. As a result, the user can directly confirm the presence or absence of the sound wave output for synchronizing the images with his / her ear, and can quickly grasp the problem that the sound wave is not output.
また、本発明の飛行体は、撮像手段が搭載された飛行体であって、所定の撮像対象物の周辺を飛行体に飛行させる飛行制御手段と、飛行体から離れた位置にあって、飛行体とは別の撮像装置に到達可能な出力レベルを有する所定周波数の音波を出力する音波出力手段と、音波出力手段から出力される音波を集音する集音手段と、撮像対象物を撮像し、この撮像によって得られた画像とともに、集音手段によって集音された音波を記録する撮像手段とを備えている。撮像手段による画像と音波の記録が開始されてから所定時間経過後、操作者によって音波の出力が指示されたとき、所定時間が経過するごとに繰り返し、のいずれかのタイミングで、音波出力手段から所定の音波が出力される。 Further, the flying object of the present invention is an flying object equipped with an imaging means, and is located at a position away from the flying object and a flight control means for causing the flying object to fly around a predetermined imaging object. A sound wave output means that outputs a sound wave of a predetermined frequency having an output level that can reach an image pickup device different from the body, a sound wave collection means that collects the sound wave output from the sound wave output means, and an image pickup object are imaged. Along with the image obtained by this imaging, the imaging means for recording the sound waves collected by the sound collecting means is provided. When a predetermined time elapses after the recording of the image and the sound wave by the imaging means is started, when the operator instructs the output of the sound wave, the sound wave output means repeats each time the predetermined time elapses. A predetermined sound wave is output.
飛行体に搭載される撮像手段や集音手段は、汎用のビデオカメラを用いて容易に実現することが可能であるため、音波出力手段を追加するだけで飛行体を構成することができ、構成および処理内容を簡素化することが可能となる。また、飛行体の音波出力手段から出力された音波が、飛行体と別のビデオカメラ等のそれぞれにおいて画像と同時に記録されるため、この音波に合わせて、別々に撮像された複数の画像の同期をとることが容易となる。 Since the imaging means and sound collecting means mounted on the flying object can be easily realized by using a general-purpose video camera, the flying object can be configured simply by adding the sound wave output means. And it is possible to simplify the processing contents. Further, since the sound wave output from the sound wave output means of the flying object is recorded at the same time as the image in each of the flying object and another video camera or the like, synchronization of a plurality of images separately captured in accordance with this sound wave. It becomes easy to take.
以下、本発明を適用した一実施形態の撮像システムについて、図面を参照しながら説明する。 Hereinafter, an imaging system according to an embodiment to which the present invention is applied will be described with reference to the drawings.
図1は、一実施形態の撮像システムの概要を示す図である。図1に示すように、本実施形態の撮像システムは、ビデオカメラ200が搭載された飛行体としてのドローン(無人飛行体)100と、地上の操作者Aが手に持って操作するビデオカメラ300とを含んで構成されている。
FIG. 1 is a diagram showing an outline of an imaging system of one embodiment. As shown in FIG. 1, the imaging system of the present embodiment includes a drone (unmanned air vehicle) 100 as an air vehicle equipped with a
例えば、ドローン100に搭載されたビデオカメラ200は、落雷発生時に撮像対象物としての送電線を撮像し、撮像された画像を解析することにより送電線400の障害の有無を調べるためのものである。また、操作者Aが所持するビデオカメラ300は、送電線を撮像中のビデオカメラ200を含むドローン100を撮像することにより、撮像環境に異常がないことを確認するためのものである。
For example, the
図2は、ドローン100の構成を示す図である。図2に示すように、ドローン100は、通信部110、飛行指示受信部120、音波出力部122、スピーカ124、飛行制御部130、姿勢制御部140、駆動制御部142、モータ144、ビデオカメラ200を含んで構成されている。
FIG. 2 is a diagram showing the configuration of the
通信部110は、例えば操作者Bが手に持っているリモコン(リモートコントロール)装置150との間で無線接続を行ってデータの送受信を行う。
The
飛行指示受信部120は、リモコン装置150から無線通信で送られてくる遠隔操作用の各種の指示を通信部110を介して受信する。
The flight
音波出力部122は、地上の操作者Aが手に持っているビデオカメラ300に到達可能な出力レベルを有する所定周波数の音波を生成してスピーカ124から出力する。この音波出力部122から出力される音波には、ビデオカメラ200による撮像内容を示す特定情報が含まれている。例えば、この特定情報として、ドローン100の識別情報、ドローン100の位置情報、ビデオカメラ200による撮像時刻情報の少なくとも一つが含まれている。
The sound
この音波出力部122は、出力データ生成部122aと変調部122bを有する。出力データ生成部122aは、ドローン100の識別情報、位置情報、ビデオカメラ200による撮像時刻、ドローン100の動作状態等の全部あるいは一部が含まれる出力データを生成する。変調部122bは、この生成された出力データを変調して所定周波数の音波に重畳させてスピーカ124から出力する。スピーカ124から出力される音波は、人の可聴周波数帯域以外の周波数成分を用いる場合と、人の可聴周波数帯域に含まれる周波数成分を用いる場合が考えられる。可聴周波数帯域以外を用いる前者の場合には、撮影時に耳障りな音声が聞こえることを防止することができる。また、可聴周波数帯域を用いる後者の場合には、2つのビデオカメラ200、300のそれぞれ撮像によって得られた画像の同期をとる際に用いられる音波の有無を利用者が直接耳で確認することができ、音波が出力されない不具合を迅速に把握することができる。
The sound
飛行制御部130は、撮像対象物(図1に示す例では「送電線」)の周囲をドローン100に飛行させるための飛行制御を行う。姿勢制御部140は、GPS受信機やジャイロセンサを含んでおり、ドローン100の位置を検出するとともに姿勢(位置および向き)を制御する。この姿勢制御部140によって検出されたドローン100の位置は、音波出力部122の出力データ生成部122aに送られ、出力データに含まれる「位置情報」として用いられる。
The
駆動制御部142は、複数(例えば4個)のモータ144を駆動してそれぞれに対応する複数のプロペラ(図示せず)を回転させることにより、ドローン100を所定の向きに所定の速度で飛行させる。
The
上述したビデオカメラ200が第1の撮像手段、第1の集音手段に、ビデオカメラ300が第2の撮像手段、第2の集音手段に、撮像装置に、飛行制御部130が飛行制御手段に、音波出力部122が音波出力手段にそれぞれ対応する。
The
本実施形態の撮像システムはこのような構成を有しており、次に、撮像対象物としての送電線を撮像する動作について説明する。 The imaging system of the present embodiment has such a configuration, and next, an operation of imaging a transmission line as an imaging object will be described.
図3は、ドローン100に搭載されたビデオカメラ200を用いて撮像対象物としての送電線を撮像する動作手順を示す流れ図である。
FIG. 3 is a flow chart showing an operation procedure for imaging a power transmission line as an imaging object using a
撮像開始に先立って、操作者Bは、リモコン装置150を操作して、ドローン100の飛行を指示する。ドローン100内の飛行指示受信部120によってこの指示を通信部110を介して受信すると、飛行制御部130は、この指示に応じて撮像対象物としての送電線の撮像位置までドローン100を飛行させる(ステップ100)。なお、操作者Bがリモコン装置150を操作してドローン100を撮像位置まで飛行させる遠隔操作を行う代わりに、撮像位置の情報をドローン100に送り、飛行制御部130の制御によって自律飛行を行った撮像位置までドローン100を移動させるようにしてもよい。
Prior to the start of imaging, the operator B operates the
次に、操作者Bがリモコン装置150を操作して撮像開始指示をドローン100に送り、飛行指示受信部120がこの撮像開始指示を通信部110を介して受信すると、ビデオカメラ200は、送電線の撮像とともに周囲音の録音を開始する(ステップ102)。なお、本実施形態では、ビデオカメラ200は、市販品を流用することが可能であり、撮像動作と並行して内蔵マイク(マイクロホン)を用いて録音動作が行われるが、外付けのマイクロホンを用いたり、撮像部分と録音部分と撮像・録音結果の記録部分とを別々の部品にて用意してドローン100を組み立てる際にこれらの部品を組み付けるようにしてもよい。
Next, when the operator B operates the
次に、音波出力部122は、所定の音波を出力する(ステップ104)。音波を出力するタイミングとしては、(1)ステップ102における撮像と録音が開始されてから所定時間経過後に出力する、(2)操作者Bによってリモコン装置150が操作されて音波の出力が指示されたときに出力する、(3)所定時間が経過する毎に繰り返し出力する、などが考えられる。
Next, the sound
次に、操作者Bがリモコン装置150を操作して撮像終了指示をドローン100に送り、飛行指示受信部120がこの撮像終了指示を通信部110を介して受信すると、ビデオカメラ200は、送電線の撮像と周囲音の録音を終了する(ステップ106)。
Next, when the operator B operates the
撮像終了後に、操作者Bは、リモコン装置150を操作して、ドローン100の飛行終了を指示する。ドローン100内の飛行指示受信部120によってこの指示を通信部110を介して受信すると、飛行制御部130は、この指示に応じてドローン100を所定の着地位置に着地させて撮像のための一連の飛行を終了する(ステップ108)。なお、ドローン100がビデオカメラ200による撮像、録音動作中に墜落等の異常が発生した場合には、その時点でビデオカメラ200による撮像、録音動作が中断される場合があるため、上述したステップ106、108の動作が実施されないこともある。
After the imaging is completed, the operator B operates the
図4は、操作者Aが所持するビデオカメラ300を用いて、送電線を撮像中のドローン100を撮像する動作手順を示す流れ図である。
FIG. 4 is a flow chart showing an operation procedure for imaging the
操作者Aは、例えば目視によりドローン100が飛行を開始したことを確認する(ステップ200)。その後、ビデオカメラ300の操作部が操作者Aによって操作されて撮像開始が指示されると、ビデオカメラ300は、送電線を撮像中のドローン100の撮像とともに周囲音の録音を開始する(ステップ202)。ドローン100のスピーカ124から出力された音波は操作者Aまで到達するようにその音量が設定されているため、スピーカ124から出力された音波はビデオカメラ300によって撮像と並行して録音される。
The operator A visually confirms, for example, that the
次に、操作者Aは、例えば目視によりドローン100が飛行を終了したことを確認する(ステップ204)。その後、ビデオカメラ300の操作部が操作者Aによって操作されて撮像終了が指示されると、ビデオカメラ300は、ドローン100の撮像と周囲音の録音を終了する(ステップ206)。このようにして、ビデオカメラ300による一連の撮像、録音動作が終了する。
Next, the operator A visually confirms, for example, that the
図5は、2つのビデオカメラ200、300による撮像、録音内容を示す図である。図5において、「飛行Log」はドローン100のイベント内容(動作状態)を、「UAV(Unmanned aerial vehicle)記録」はドローン100に搭載されたビデオカメラ200の録画内容(撮像、録音内容)を、「地上記録」は操作者Aが手に持って操作するビデオカメラ300の録画内容をそれぞれ示している。
FIG. 5 is a diagram showing the contents of imaging and recording by the two
図5に示す例では、ドローン100は、時刻00:40に飛行を開始した後、時刻00:52に撮像位置に到達し、時刻00:53にビデオカメラ200による撮像、録音を開始する。また、時刻00:55にドローン100の搭載バッテリ(図示せず)の電圧低下が検出されると、この検出動作と並行して(同時刻に)、スピーカ124からドローン100の識別情報等を含む音波を所定時間(すべてのデータの出力に要する時間)出力する。例えば、この音波には、バッテリー電圧低下を検出したことと、その検出時刻00:55と、ドローン100の識別情報としての機体番号とを組み合わせたメッセージデータ「00:55にUAV1号機電圧低下」が変調されて含まれている。
In the example shown in FIG. 5, the
その後、時刻01:12に高度低下を検出後に、時刻01:13に墜落中であることが検出されると、この検出動作と並行して(同時刻に)、スピーカ124からドローン100の識別情報等を含む音波を再度所定時間出力する。例えば、この音波には、ドローン100が墜落中であることを検出したことと、その検出時刻01:13と、ドローン100の識別情報としての機体番号とを組み合わせたメッセージデータが変調されて含まれている。
After that, after detecting the altitude drop at time 01:12, when it is detected that the vehicle is crashing at time 01:13, the identification information of the
ドローン100に搭載されたビデオカメラ200では、撮像によって得られる動画像とともに、時刻00:55からスピーカ124から所定時間出力される音波と、時刻01:13からスピーカ124から所定時間出力される音波が記録される。
In the
同様に、操作者Aが手に持っているビデオカメラ300では、撮像によって得られる動画像とともに、時刻00:55からスピーカ124から所定時間出力される音波と、時刻01:13からスピーカ124から所定時間出力される音波が記録される。なお、ビデオカメラ300による撮像開始時刻は、ドローン100に搭載されたビデオカメラ200による撮像開始時刻とは一致しないため、録画開始から最初の音波出力時刻00:55までの時間は異なっている。
Similarly, in the
このような2種類の記録画像を解析する必要が生じた場合(例えば、ドローン100の墜落の状況を調べる場合)には、それぞれの記録内容に含まれる音波を復調して調べることにより、音波の記録内容や記録開始時点(時刻00:55や時刻01:13)を特定することができ、この記録開始時点を基準にビデオカメラ200、300のそれぞれによって記録された画像の同期をとることが可能となる。
When it becomes necessary to analyze these two types of recorded images (for example, when investigating the situation of the crash of the drone 100), the sound waves contained in each recorded content are demodulated and examined to obtain the sound waves. It is possible to specify the recording content and the recording start time (time 00:55 and time 01:13), and it is possible to synchronize the images recorded by the
この同期は、記録画像を解析する解析者が手動操作によって行う場合と、解析装置を用いて自動で行う場合が考えられる。手動操作で行う場合には、一方の記録画像を再生して音波が聞こえてくるタイミング(時刻00:55)に合わせて再生を一時中断する。同様に、他方の記録画像を再生して音波が聞こえてくるタイミングに合わせて再生を一時中断する。その後、これら2種類の記録画像の再生を同時に再開することにより、同期をとった状態での2種類の記録画像の再生が可能となる。自動で行う場合には、手動操作で行う場合と同様の処理を解析装置で行うようにすればよい。 This synchronization may be performed manually by an analyst who analyzes the recorded image, or may be performed automatically using an analysis device. In the case of manual operation, the reproduction is temporarily interrupted at the timing (time 00:55) when one of the recorded images is reproduced and the sound wave is heard. Similarly, the other recorded image is reproduced and the reproduction is temporarily interrupted at the timing when the sound wave is heard. After that, by restarting the reproduction of these two types of recorded images at the same time, it is possible to reproduce the two types of recorded images in a synchronized state. In the case of automatic operation, the analysis device may perform the same processing as in the case of manual operation.
このように、本実施形態の撮像システムでは、ドローン100に搭載されるビデオカメラ200や、操作者Aが手に持っているビデオカメラ300は、汎用品を用いて容易に実現することが可能であるため、ドローン100に音波出力部122を追加するだけでシステム全体を構築することができ、構成および処理内容を簡素化することが可能となる。また、ドローン100の音波出力部122から出力された音波が、ドローン100のビデオカメラ200と操作者Aが手に持っているビデオカメラ300のそれぞれにおいて画像と同時に記録されるため、この音波に合わせて、別々に撮像されたこれらの画像の同期をとることが容易となる。
As described above, in the imaging system of the present embodiment, the
また、ドローン100の音波出力部122から出力する音波には、ビデオカメラ200による撮像内容を示す特定情報、具体的には、ドローン100の識別情報、ドローン100の位置情報、ビデオカメラ200による撮像時刻情報の少なくとも一つが含まれている。これにより、ドローン100と音波との対応がとりやすくなり、誤った組み合わせで画像の同期をとることを防止することができる。また、このような特定情報を音波に含ませることにより、ドローン100に搭載されたビデオカメラ200と操作者Aが手に持つビデオカメラ300の同じ組み合わせで複数の画像(動画)を撮像した場合であっても、それぞれの画像において同期をとることが容易となる。
Further, the sound source output from the sound
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、ドローン100に搭載された一方のビデオカメラ200で撮像対象物としての送電線を撮像し、操作者Aが手に持った他方のビデオカメラ300でドローン100を撮像したが、ビデオカメラ300によって同じ撮像対象物である送電線を撮像するようにしてもよい。あるいは、複数台のドローンのそれぞれに搭載された複数台のビデオカメラや、複数の操作者のそれぞれが手に持った、あるいは、地面や建物等に固定された1台あるいは複数台のビデオカメラとを任意に組み合わせて、撮像対象物やドローンを撮像するようにしてもよい。その場合には、少なくとも1台のドローンに音波出力部122やスピーカ124を搭載して、1台のドローンから特定情報が含まれる音波を出力すればよい。
The present invention is not limited to the above embodiment, and various modifications can be made within the scope of the gist of the present invention. For example, in the above-described embodiment, one
また、上述した実施形態では、ドローン100に異常が生じた際に音声出力部122がスピーカ124から特定情報を含む音波を出力するようにしたが、異常発生の有無に関係なく、例えば、ドローン100が所定位置に到達して撮像を開始した直後に(あるいは一定時間経過後や、それ以後一定周期あるいは不定周期であってもよい)音波を出力するようにしてもよい。
Further, in the above-described embodiment, when an abnormality occurs in the
また、上述した実施形態では、ドローン100では、出力データ生成部122aによって生成した出力データを変調部122bによって変調した内容を出力音声に重畳したが、出力する音波に出力データ(特定情報)を重畳させる方法はどのような手法を用いてもよい。例えば、特定情報の内容を読み上げた音声を示すPCMデータを出力データ生成部122aで生成し、このPCMデータをデジタル−アナログ変換してスピーカ124から出力するようにしてもよい。
Further, in the above-described embodiment, in the
上述したように、本発明によれば、飛行体に搭載される第1の撮像手段、第1の集音手段や、撮像装置に備わった第2の撮像手段、第2の集音手段は、汎用のビデオカメラを用いて容易に実現することが可能であるため、飛行体に音波出力手段を追加するだけでシステム全体を構築することができ、構成および処理内容を簡素化することが可能となる。また、飛行体の音波出力手段から出力された音波が、飛行体と撮像装置のそれぞれにおいて画像と同時に記録されるため、この音波に合わせて、別々に撮像された複数の画像の同期をとることが容易となる。 As described above, according to the present invention, the first imaging means, the first sound collecting means, the second imaging means, and the second sound collecting means provided in the imaging device are Since it can be easily realized using a general-purpose video camera, the entire system can be constructed simply by adding sound wave output means to the flying object, and the configuration and processing contents can be simplified. Become. In addition, since the sound waves output from the sound wave output means of the flying object are recorded at the same time as the images in each of the flying object and the image pickup device, a plurality of images separately captured should be synchronized according to the sound waves. Becomes easier.
100 ドローン(無人飛行体)
110 通信部
120 飛行指示受信部
122 音波出力部
122a 出力データ生成部
122b 変調部
124 スピーカ
130 飛行制御部
140 姿勢制御部
142 駆動制御部
144 モータ
200、300 ビデオカメラ
400 送電線
100 drone (unmanned aerial vehicle)
110
Claims (6)
前記飛行体は、
所定の撮像対象物の周辺を前記飛行体に飛行させる飛行制御手段と、
前記撮像装置に到達可能な出力レベルを有する所定周波数の音波を出力する音波出力手段と、
前記音波出力手段から出力される音波を集音する第1の集音手段と、
前記撮像対象物を撮像し、この撮像によって得られた画像とともに、前記第1の集音手段によって集音された音波を記録する前記第1の撮像手段と、を備え、
前記撮像装置は、
前記音波出力手段から出力される音波を集音する第2の集音手段と、
前記撮像対象物および/または前記飛行体を撮像し、この撮像によって得られた画像とともに、前記第2の集音手段によって集音された音波を記録する前記第2の撮像手段と、を備え、
前記第1の撮像手段による画像と音波の記録が開始されてから所定時間経過後、操作者によって音波の出力が指示されたとき、所定時間が経過するごとに繰り返し、のいずれかのタイミングで、前記音波出力手段から所定の音波が出力されることを特徴とする撮像システム。 In an imaging system including an air vehicle equipped with a first imaging means and an imaging device having a second imaging means.
The flying object
A flight control means for causing the flying object to fly around a predetermined imaging object, and
A sound wave output means for outputting a sound wave having a predetermined frequency having an output level that can reach the image pickup device, and a sound wave output means.
A first sound collecting means for collecting sound waves output from the sound wave output means, and
The first imaging means for imaging the object to be imaged and recording the sound waves collected by the first sound collecting means together with the image obtained by the imaging is provided.
The image pickup device
A second sound collecting means for collecting sound waves output from the sound wave output means, and
The second imaging means, which captures the imaging object and / or the flying object and records the sound waves collected by the second sound collecting means together with the image obtained by the imaging, is provided .
After a predetermined time has elapsed from the start of recording the image and the sound wave by the first imaging means, when the operator instructs the output of the sound wave, the sound wave is repeated every time the predetermined time elapses, at any of the timings. imaging system characterized in Rukoto predetermined wave is output from the sound wave output unit.
所定の撮像対象物の周辺を前記飛行体に飛行させる飛行制御手段と、
前記飛行体から離れた位置にあって、前記飛行体とは別の撮像装置に到達可能な出力レベルを有する所定周波数の音波を出力する音波出力手段と、
前記音波出力手段から出力される音波を集音する集音手段と、
前記撮像対象物を撮像し、この撮像によって得られた画像とともに、前記集音手段によって集音された音波を記録する前記撮像手段と、
を備え、前記撮像手段による画像と音波の記録が開始されてから所定時間経過後、操作者によって音波の出力が指示されたとき、所定時間が経過するごとに繰り返し、のいずれかのタイミングで、前記音波出力手段から所定の音波が出力されることを特徴とする飛行体。 An air vehicle equipped with imaging means
A flight control means for causing the flying object to fly around a predetermined imaging object, and
A sound wave output means that outputs a sound wave of a predetermined frequency that is located away from the flying object and has an output level that can reach an imaging device different from the flying object.
A sound collecting means for collecting sound waves output from the sound wave output means, and a sound collecting means.
The imaging means for imaging the object to be imaged and recording the sound waves collected by the sound collecting means together with the image obtained by the imaging.
When a predetermined time elapses after the recording of the image and the sound wave by the imaging means is started and the operator instructs the output of the sound wave, the sound wave is repeated every time the predetermined time elapses. aircraft, characterized in Rukoto predetermined wave is output from the sound wave output unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128173A JP6840441B2 (en) | 2017-06-30 | 2017-06-30 | Imaging system and flying object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128173A JP6840441B2 (en) | 2017-06-30 | 2017-06-30 | Imaging system and flying object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019012913A JP2019012913A (en) | 2019-01-24 |
JP6840441B2 true JP6840441B2 (en) | 2021-03-10 |
Family
ID=65227528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017128173A Active JP6840441B2 (en) | 2017-06-30 | 2017-06-30 | Imaging system and flying object |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6840441B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6684507B1 (en) * | 2019-10-09 | 2020-04-22 | 株式会社エイテック | Bridge inspection method and bridge inspection system |
WO2023067653A1 (en) * | 2021-10-18 | 2023-04-27 | 日本電信電話株式会社 | Aerial vehicle control device, aerial vehicle control method, and aerial vehicle control program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109151639B (en) * | 2014-08-29 | 2020-08-25 | 深圳市大疆创新科技有限公司 | Audio data acquisition method |
JP2017114270A (en) * | 2015-12-24 | 2017-06-29 | 株式会社ナカヨ | Unmanned flying body having specific beacon tracking function, and tracking beacon transmission unit |
-
2017
- 2017-06-30 JP JP2017128173A patent/JP6840441B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019012913A (en) | 2019-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102287373B1 (en) | Apparatus and method for generating alarm | |
JP6393918B2 (en) | Audio transmission system | |
US20170166325A1 (en) | Method of aerial vehicle-based image projection, device and aerial vehicle | |
JP6840441B2 (en) | Imaging system and flying object | |
JPWO2004032086A1 (en) | Robot system and autonomous robot | |
WO2018095400A1 (en) | Audio signal processing method and related device | |
JP6748292B2 (en) | Album generating apparatus, album generating system, and album generating method | |
JP2006270263A (en) | Photographing system | |
JP2018070010A (en) | Unmanned aircraft controlling system, controlling method and program thereof | |
JP2018070011A (en) | Unmanned aircraft controlling system, controlling method and program thereof | |
US11467572B2 (en) | Moving object operation system, operation signal transmission system, moving object operation method, program, and recording medium | |
JP2001309233A (en) | Remote controlling system of photographing apparatus | |
JP7148648B2 (en) | Photography system, photography location setting device, photography device and photography method | |
JP2005289127A (en) | Posture and position controlling system and posture and position controlling device for flying device | |
JP2019018664A (en) | Imaging control system | |
KR101541783B1 (en) | Production apparatus to make time-lapse image and method thereof | |
US20210185223A1 (en) | Method and camera for photographic recording of an ear | |
JP2023095030A (en) | Abnormality detecting system and abnormality detecting method | |
JP2004194148A (en) | Remote control system | |
WO2017107803A1 (en) | Multi-channel graphic image processing system and method for drone | |
KR101598921B1 (en) | System and Method for Taking Pictures beyond Space Scale with Automatical Camera | |
KR102025302B1 (en) | Method processing noise of drone audio data | |
US11830080B1 (en) | Property damage assessment system | |
WO2024084953A1 (en) | Information processing device, information processing method, and program | |
JP6945149B2 (en) | Call system, call method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6840441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |