JP6696094B2 - 移動体、制御方法、及びプログラム - Google Patents
移動体、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP6696094B2 JP6696094B2 JP2018181833A JP2018181833A JP6696094B2 JP 6696094 B2 JP6696094 B2 JP 6696094B2 JP 2018181833 A JP2018181833 A JP 2018181833A JP 2018181833 A JP2018181833 A JP 2018181833A JP 6696094 B2 JP6696094 B2 JP 6696094B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- target object
- distance
- time point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000003384 imaging method Methods 0.000 claims description 146
- 238000009795 derivation Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 description 17
- 230000006854 communication Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
特許文献1 特開平10−142486号公報
20 UAV本体
30 UAV制御部
32 メモリ
36 通信インタフェース
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
45 温度センサ
46 湿度センサ
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 撮像制御部
112 導出部
114 合焦制御部
116 決定部
120 イメージセンサ
130 メモリ
200 レンズ部
210 レンズ
212 レンズ駆動部
214 位置センサ
220 レンズ制御部
222 メモリ
300 遠隔操作装置
500 目標物
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
Claims (11)
- フォーカスレンズとイメージセンサとを有する撮像装置を搭載して移動する移動体であって、
前記撮像装置と前記撮像装置により撮像される目標物との第1時点における位置関係、前記撮像装置の前記第1時点の速度及び移動方向、並びに前記目標物の前記第1時点の速度及び移動方向に基づいて、前記第1時点より後の第2時点の前記撮像装置から前記目標物までの距離を導出する導出部と、
前記第2時点の前記距離に基づいて前記フォーカスレンズの位置を制御する第1制御部と、
合焦距離の単位距離あたりの前記フォーカスレンズの位置の変化量が予め定められた閾値以下となる予め定められた距離範囲に、前記撮像装置から前記目標物までの距離が収まるように、前記移動体の移動を制御する第2制御部とを備える移動体。 - 前記導出部は、前記位置関係として、前記撮像装置と前記目標物との間の距離、及び前記撮像装置から前記目標物への方向を特定する、請求項1に記載の移動体。
- 前記導出部は、
前記位置関係に基づいて、予め設定された3次元の座標系上の前記第1時点の前記撮像装置の位置及び前記目標物の位置を特定し、
前記座標系上の前記第1時点の前記撮像装置の位置、前記目標物の位置、前記撮像装置の前記第1時点の速度及び移動方向、並びに前記目標物の前記第1時点の速度及び移動方向に基づいて、前記座標系上の前記第2時点の前記撮像装置の位置及び前記目標物の位置を特定し、
前記第2時点の前記撮像装置の位置及び前記目標物の位置に基づいて、前記第2時点の前記距離を導出する、請求項1または2に記載の移動体。 - 前記導出部は、前記目標物の前記第1時点の移動方向に基づいて前記座標系を設定する、請求項3に記載の移動体。
- 前記導出部は、前記目標物の移動方向に沿って前記座標系の第1軸を設定する、請求項4に記載の移動体。
- 前記導出部は、前記目標物の前記第1時点の位置を前記座標系の原点に設定する、請求項4または5に記載の移動体。
- 前記導出部は、前記撮像装置により撮像された画像に基づいて前記目標物が車両と判断した場合、前記車両の上下方向に沿った前記座標系の第2軸方向の前記目標物の移動がないと仮定して、前記座標系上の前記第2時点の前記撮像装置の位置及び前記目標物の位置を特定する、請求項5に記載の移動体。
- 前記導出部は、前記撮像装置により撮像された画像に基づいて前記目標物が車両であり、前記車両が直線道路を走行している判断した場合、前記車両の上下方向に沿った前記座標系の第2軸方向の前記目標物の移動、及び前記車両の横方向に沿った前記座標系の第3軸方向の前記目標物の移動がないと仮定して、前記座標系上の前記第2時点の前記撮像装置の位置及び前記目標物の位置を特定する、請求項5に記載の移動体。
- 前記フォーカスレンズの位置を変化させて、合焦状態となる被写体までの距離と前記フォーカスレンズの位置とを複数取得して、取得された複数の前記距離と複数の前記フォーカスレンズの位置とに基づいて、前記フォーカスレンズの位置と合焦距離との関係を導出して、前記関係に基づいて前記予め定められた距離範囲を決定する決定部をさらに備える、請求項1から8の何れか1つに記載の移動体。
- フォーカスレンズとイメージセンサとを有する撮像装置を搭載して移動する移動体を制御する制御方法であって、
前記撮像装置と前記撮像装置により撮像される目標物との第1時点における位置関係、前記撮像装置の前記第1時点の速度及び移動方向、並びに前記目標物の前記第1時点の速度及び移動方向に基づいて、前記第1時点より後の第2時点の前記撮像装置から前記目標物までの距離を導出する段階と、
前記第2時点の前記距離に基づいて前記フォーカスレンズの位置を制御する段階と、
合焦距離の単位距離あたりの前記フォーカスレンズの位置の変化量が予め定められた閾値以下となる予め定められた距離範囲に、前記撮像装置から前記目標物までの距離が収まるように、前記移動体の移動を制御する段階と
を備える制御方法。 - 請求項1から9の何れか1つに記載の移動体として、コンピュータを機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181833A JP6696094B2 (ja) | 2018-09-27 | 2018-09-27 | 移動体、制御方法、及びプログラム |
CN201980005027.0A CN111213369B (zh) | 2018-09-27 | 2019-09-26 | 控制装置、方法、摄像装置、移动体以及计算机可读存储介质 |
PCT/CN2019/108224 WO2020063770A1 (zh) | 2018-09-27 | 2019-09-26 | 控制装置、摄像装置、移动体、控制方法以及程序 |
US17/198,233 US20210218879A1 (en) | 2018-09-27 | 2021-03-10 | Control device, imaging apparatus, mobile object, control method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018181833A JP6696094B2 (ja) | 2018-09-27 | 2018-09-27 | 移動体、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052255A JP2020052255A (ja) | 2020-04-02 |
JP6696094B2 true JP6696094B2 (ja) | 2020-05-20 |
Family
ID=69953362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181833A Expired - Fee Related JP6696094B2 (ja) | 2018-09-27 | 2018-09-27 | 移動体、制御方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210218879A1 (ja) |
JP (1) | JP6696094B2 (ja) |
CN (1) | CN111213369B (ja) |
WO (1) | WO2020063770A1 (ja) |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030213869A1 (en) * | 2002-05-16 | 2003-11-20 | Scott Mark Winfield | Translational propulsion system for a hybrid vehicle |
JP4928190B2 (ja) * | 2006-08-11 | 2012-05-09 | キヤノン株式会社 | フォーカス制御装置および撮像装置 |
CN101494735B (zh) * | 2008-01-25 | 2012-02-15 | 索尼株式会社 | 摄像装置、摄像装置控制方法 |
CN102034355A (zh) * | 2010-12-28 | 2011-04-27 | 丁天 | 一种基于特征点匹配的车辆检测及跟踪方法 |
US9026134B2 (en) * | 2011-01-03 | 2015-05-05 | Qualcomm Incorporated | Target positioning within a mobile structure |
CN103795909A (zh) * | 2012-10-29 | 2014-05-14 | 株式会社日立制作所 | 拍摄优化装置、摄像装置及拍摄优化方法 |
WO2015033646A1 (ja) * | 2013-09-05 | 2015-03-12 | 富士フイルム株式会社 | 撮像装置及び合焦制御方法 |
CN104469123B (zh) * | 2013-09-17 | 2018-06-01 | 联想(北京)有限公司 | 一种补光的方法及一种图像采集装置 |
EP2879371B1 (en) * | 2013-11-29 | 2016-12-21 | Axis AB | System for following an object marked by a tag device with a camera |
JP6024728B2 (ja) * | 2014-08-08 | 2016-11-16 | カシオ計算機株式会社 | 検出装置、検出方法及びプログラム |
JP6310093B2 (ja) * | 2014-11-12 | 2018-04-11 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 目標物体の検出方法、検出装置及びロボット |
JP6596745B2 (ja) * | 2015-10-20 | 2019-10-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 対象物体を撮像するシステム |
CN105827961A (zh) * | 2016-03-22 | 2016-08-03 | 努比亚技术有限公司 | 移动终端及对焦方法 |
KR20180005482A (ko) * | 2016-07-06 | 2018-01-16 | 주식회사 케이에스에스이미지넥스트 | 차량용 카메라 제어 장치 및 방법 |
CN106357973A (zh) * | 2016-08-26 | 2017-01-25 | 深圳市金立通信设备有限公司 | 一种聚焦的方法及终端 |
JP6899500B2 (ja) * | 2016-10-17 | 2021-07-07 | イームズロボティクス株式会社 | 移動体捕獲装置、移動体捕獲方法及びプログラム |
CN107507245A (zh) * | 2017-08-18 | 2017-12-22 | 南京阿尔特交通科技有限公司 | 一种车辆跟驰轨迹的动态采集方法及*** |
-
2018
- 2018-09-27 JP JP2018181833A patent/JP6696094B2/ja not_active Expired - Fee Related
-
2019
- 2019-09-26 WO PCT/CN2019/108224 patent/WO2020063770A1/zh active Application Filing
- 2019-09-26 CN CN201980005027.0A patent/CN111213369B/zh not_active Expired - Fee Related
-
2021
- 2021-03-10 US US17/198,233 patent/US20210218879A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN111213369A (zh) | 2020-05-29 |
JP2020052255A (ja) | 2020-04-02 |
US20210218879A1 (en) | 2021-07-15 |
WO2020063770A1 (zh) | 2020-04-02 |
CN111213369B (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108235815B (zh) | 摄像控制装置、摄像装置、摄像***、移动体、摄像控制方法及介质 | |
JP6496955B1 (ja) | 制御装置、システム、制御方法、及びプログラム | |
JP6733106B2 (ja) | 決定装置、移動体、決定方法、及びプログラム | |
CN111356954A (zh) | 控制装置、移动体、控制方法以及程序 | |
JP6630939B2 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6587006B2 (ja) | 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム | |
CN110337609B (zh) | 控制装置、镜头装置、摄像装置、飞行体以及控制方法 | |
JP6790318B2 (ja) | 無人航空機、制御方法、及びプログラム | |
JP6501091B1 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6543875B2 (ja) | 制御装置、撮像装置、飛行体、制御方法、プログラム | |
JP6515423B2 (ja) | 制御装置、移動体、制御方法、及びプログラム | |
JP2019096965A (ja) | 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム | |
JP6714802B2 (ja) | 制御装置、飛行体、制御方法、及びプログラム | |
JP6696094B2 (ja) | 移動体、制御方法、及びプログラム | |
JP6641574B1 (ja) | 決定装置、移動体、決定方法、及びプログラム | |
CN111357271B (zh) | 控制装置、移动体、控制方法 | |
JP6565071B2 (ja) | 制御装置、撮像装置、飛行体、制御方法、及びプログラム | |
JP2019205047A (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6707790B2 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6746856B2 (ja) | 制御装置、撮像システム、移動体、制御方法、及びプログラム | |
JP6569157B1 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6459012B1 (ja) | 制御装置、撮像装置、飛行体、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |