JP6880380B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6880380B2 JP6880380B2 JP2019200149A JP2019200149A JP6880380B2 JP 6880380 B2 JP6880380 B2 JP 6880380B2 JP 2019200149 A JP2019200149 A JP 2019200149A JP 2019200149 A JP2019200149 A JP 2019200149A JP 6880380 B2 JP6880380 B2 JP 6880380B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging device
- optical axis
- deviation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims description 239
- 230000003287 optical effect Effects 0.000 claims description 98
- 230000036544 posture Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims 4
- 230000015654 memory Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000218645 Cedrus Species 0.000 description 1
- 241000218691 Cupressaceae Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
Description
[先行技術文献]
[特許文献]
[特許文献1] 国際公開第2017/221756号公報
20 UAV本体
30 UAV制御部
32 メモリ
36 通信インタフェース
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
45 温度センサ
46 湿度センサ
50 ジンバル
60 撮像装置
100 撮像システム
110 R用撮像装置
112 R用イメージセンサ
114 光学系
120 G用撮像装置
122 G用イメージセンサ
124 光学系
130 B用撮像装置
132 B用イメージセンサ
134 光学系
140 RE用撮像装置
142 RE用イメージセンサ
144 光学系
150 NIR用撮像装置
152 NIR用イメージセンサ
154 光学系
160 RGB用撮像装置
170 ズレ量算出部
172 ズレ補正部
174 画像生成部
180 画像処理プロセッサ
190 送信部
192 メモリ
300 遠隔操作装置
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
Claims (20)
- 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理装置であって、
前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置の高度を示す高度情報とを取得し、
前記第1撮像装置により撮像された第1画像と、前記第2撮像装置により撮像された第2画像とを取得し、
前記ズレ情報及び前記高度情報に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される回路を備え、
前記回路は、
前記第1光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出し、
前記第2光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出し、
前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、画像処理装置。 - 前記ズレ情報は、前記第1光軸と前記第2光軸との成す角度を示す情報を含む、請求項1に記載の画像処理装置。
- 前記ズレ情報は、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点との間の距離を示す情報を含む、請求項2に記載の画像処理装置。
- 前記ズレ情報は、高度と、前記第1画像と前記第2画像との間の位置のズレ量との関係を示す情報を含む、請求項1から3の何れか1つに記載の画像処理装置。
- 前記ズレ情報は、予め定められた高度に対する前記第1画像と前記第2画像との間の位置のズレ量を示す情報を含む、請求項1から4の何れか1つに記載の画像処理装置。
- 前記第1撮像装置及び前記第2撮像装置は、移動体に搭載される、請求項1から5の何れか1つに記載の画像処理装置。
- 前記第1撮像装置及び前記第2撮像装置は、前記第1撮像装置及び前記第2撮像装置の姿勢を調整可能に支持する支持機構を介して前記移動体に搭載され、
前記回路は、前記第1撮像装置及び前記第2撮像装置の姿勢状態を示す姿勢情報をさらに取得し、
前記姿勢情報にさらに基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、請求項6に記載の画像処理装置。 - 前記移動体は、飛行体である、請求項6または7に記載の画像処理装置。
- 前記第1撮像装置及び前記第2撮像装置は、前記第1撮像装置及び前記第2撮像装置の姿勢を調整可能に支持する支持機構を介して前記移動体に搭載され、
前記回路は、
前記第1撮像装置及び前記第2撮像装置の姿勢状態を示す姿勢情報を取得し、
前記姿勢情報に基づいて、前記第1撮像装置及び前記第2撮像装置の撮像方向と鉛直下向きの方向との成す角度が予め定められた角度以下であるか判断し、
前記角度が予め定められた角度以下である場合、前記ズレ情報及び前記高度情報に基づいて、前記第1画像と前記第2画像とを位置合わせし、
前記角度が予め定められた角度より大きい場合、前記ズレ情報、前記高度情報、及び前記姿勢情報に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、請求項6から8の何れか1つに記載の画像処理装置。 - 前記第1撮像装置は、第1波長帯域の画像を撮像し、
前記第2撮像装置は、第2波長帯域の画像を撮像する、請求項1から9の何れか1つに記載の画像処理装置。 - 前記第1波長帯域は、近赤外領域の波長帯域であり、
前記第2波長帯域は、赤色領域、緑色領域、またはレッドエッジ領域の波長帯域である、請求項10に記載の画像処理装置。 - 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理装置であって、
前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置により撮像される被写体までの距離を示す距離情報とを取得し、
前記第1撮像装置により撮像された前記被写体を含む第1画像と、前記第2撮像装置により撮像された前記被写体を含む第2画像とを取得し、
前記ズレ情報及び前記距離情報に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される回路を備え、
前記回路は、
前記第1光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出し、
前記第2光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出し、
前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせするように構成される、画像処理装置。 - 前記第1撮像装置は、第1波長帯域の画像を撮像し、
前記第2撮像装置は、第2波長帯域の画像を撮像する、請求項12に記載の画像処理装置。 - 前記第1波長帯域は、近赤外領域の波長帯域であり、
前記第2波長帯域は、赤色領域、緑色領域、またはレッドエッジ領域の波長帯域である、請求項13に記載の画像処理装置。 - 前記ズレ情報は、前記第1光軸と前記第2光軸との成す角度を示す情報を含む、請求項12から14の何れか1つに記載の画像処理装置。
- 前記ズレ情報は、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点との間の距離を示す情報を含む、請求項12から15の何れか1つに記載の画像処理装置。
- 前記ズレ情報は、被写体までの距離と、前記第1画像と前記第2画像との間の位置ズレ量との関係を示す情報を含む、請求項12から16の何れか1つに記載の画像処理装置。
- 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理方法であって、
前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置の高度を示す高度情報とを取得する段階と、
前記第1撮像装置により撮像された第1画像と、前記第2撮像装置により撮像された第2画像とを取得する段階と、
前記ズレ情報及び前記高度情報に基づいて、前記第1画像と前記第2画像とを位置合わせする段階と
を備え、
前記位置合わせする段階は、
前記第1光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出する段階と、
前記第2光軸と基準軸との成す角度と、前記高度情報に示される高度とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出する段階と、
前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせする段階と
を含む、画像処理方法。 - 予め定められた位置関係で配置された第1撮像装置及び第2撮像装置により撮像されたそれぞれの画像を処理する画像処理方法であって、
前記第1撮像装置の第1光軸と前記第2撮像装置の第2光軸との間のズレに関するズレ情報と、前記第1撮像装置及び前記第2撮像装置により撮像される被写体までの距離を示す距離情報とを取得する段階と、
前記第1撮像装置により撮像された前記被写体を含む第1画像と、前記第2撮像装置により撮像された前記被写体を含む第2画像とを取得する段階と、
前記ズレ情報及び前記距離情報に基づいて、前記第1画像と前記第2画像とを位置合わせする段階と
を備え、
前記位置合わせする段階は、
前記第1光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第1画像の第1移動量に、前記第1撮像装置の第1撮像面と前記第1光軸との第1交点と前記基準軸との間の距離を加算することで前記第1画像の第1ズレ量を算出する段階と、
前記第2光軸と基準軸との成す角度と、前記距離情報に示される被写体までの距離とに基づいて算出された前記第2画像の第2移動量に、前記第2撮像装置の第2撮像面と前記第2光軸との第2交点と前記基準軸との間の距離を加算することで前記第2画像の第2ズレ量を算出する段階と、
前記第1ズレ量、及び前記第2ズレ量に基づいて、前記第1画像と前記第2画像とを位置合わせする段階とを含む、画像処理方法。 - 請求項1から17の何れか1つに記載の画像処理装置としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019200149A JP6880380B2 (ja) | 2019-11-01 | 2019-11-01 | 画像処理装置、画像処理方法、及びプログラム |
CN202080004297.2A CN112955925A (zh) | 2019-11-01 | 2020-10-23 | 图像处理装置、图像处理方法以及程序 |
PCT/CN2020/123276 WO2021083049A1 (zh) | 2019-11-01 | 2020-10-23 | 图像处理装置、图像处理方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019200149A JP6880380B2 (ja) | 2019-11-01 | 2019-11-01 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021071453A JP2021071453A (ja) | 2021-05-06 |
JP6880380B2 true JP6880380B2 (ja) | 2021-06-02 |
Family
ID=75712993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019200149A Active JP6880380B2 (ja) | 2019-11-01 | 2019-11-01 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6880380B2 (ja) |
CN (1) | CN112955925A (ja) |
WO (1) | WO2021083049A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114785937A (zh) * | 2022-05-30 | 2022-07-22 | 浙江大华技术股份有限公司 | 光轴位置偏移量的确定方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7826736B2 (en) * | 2007-07-06 | 2010-11-02 | Flir Systems Ab | Camera and method for use with camera |
JP2013045032A (ja) * | 2011-08-26 | 2013-03-04 | Fujifilm Corp | 多眼撮像装置 |
US20130083199A1 (en) * | 2011-10-04 | 2013-04-04 | Fluke Corporation | Thermal imaging camera with infrared lens focus adjustment |
DE102014112666A1 (de) * | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
CN107005627B (zh) * | 2014-11-21 | 2020-03-31 | 富士胶片株式会社 | 摄像装置、摄像方法及记录介质 |
WO2016123201A1 (en) * | 2015-01-27 | 2016-08-04 | The Trustees Of The University Of Pennsylvania | Systems, devices, and methods for robotic remote sensing for precision agriculture |
CN110460779A (zh) * | 2016-04-28 | 2019-11-15 | 深圳市大疆创新科技有限公司 | 用于获得球面全景图像的***和方法 |
JP2018004420A (ja) * | 2016-06-30 | 2018-01-11 | 株式会社リコー | 装置、移動体装置、位置ずれ検出方法及び測距方法 |
CN106303240A (zh) * | 2016-08-16 | 2017-01-04 | 捷西迪(广州)光学科技有限公司 | 无人飞机光轴变动补偿装置、方法和全景拍摄*** |
CN106506941A (zh) * | 2016-10-20 | 2017-03-15 | 深圳市道通智能航空技术有限公司 | 图像处理的方法及装置、飞行器 |
CN106572307A (zh) * | 2016-11-01 | 2017-04-19 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、***及拍摄装置 |
CN110024380B (zh) * | 2016-11-24 | 2021-08-10 | 富士胶片株式会社 | 图像处理装置、摄像装置及图像处理方法 |
CN109118425A (zh) * | 2017-06-22 | 2019-01-01 | 华为技术有限公司 | 一种双鱼眼镜头的图像拼接参数校正方法及摄像设备 |
JP7069609B2 (ja) * | 2017-09-01 | 2022-05-18 | コニカミノルタ株式会社 | 作物栽培支援装置 |
CN107798656B (zh) * | 2017-11-09 | 2021-05-18 | 南京齿贝犀科技有限公司 | 一种基于距离传感器和陀螺仪的口腔全景图像拼接方法 |
JP6948917B2 (ja) * | 2017-11-10 | 2021-10-13 | ヤンマーパワーテクノロジー株式会社 | 散布作業機 |
CN108257183B (zh) * | 2017-12-20 | 2021-02-23 | 歌尔光学科技有限公司 | 一种相机镜头光轴校准方法和装置 |
-
2019
- 2019-11-01 JP JP2019200149A patent/JP6880380B2/ja active Active
-
2020
- 2020-10-23 CN CN202080004297.2A patent/CN112955925A/zh active Pending
- 2020-10-23 WO PCT/CN2020/123276 patent/WO2021083049A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2021071453A (ja) | 2021-05-06 |
CN112955925A (zh) | 2021-06-11 |
WO2021083049A1 (zh) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263761B2 (en) | Systems and methods for visual target tracking | |
US10475209B2 (en) | Camera calibration | |
US20190004512A1 (en) | Uav hardware architecture | |
JP6496955B1 (ja) | 制御装置、システム、制御方法、及びプログラム | |
WO2019100846A1 (zh) | 无人机控制方法、无人机控制装置及计算机可读存储介质 | |
CN110998241A (zh) | 用于校准可移动对象的光学***的***和方法 | |
CN111344650B (zh) | 信息处理装置、飞行路径生成方法、程序以及记录介质 | |
JP6880380B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2019189381A1 (ja) | 移動体、制御装置、および制御プログラム | |
JP6630939B2 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
US20210092282A1 (en) | Control device and control method | |
JP6790318B2 (ja) | 無人航空機、制御方法、及びプログラム | |
JP6481228B1 (ja) | 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム | |
JP2020072289A (ja) | 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム | |
WO2021017914A1 (zh) | 控制装置、摄像装置、移动体、控制方法以及程序 | |
JP6896962B2 (ja) | 決定装置、飛行体、決定方法、及びプログラム | |
WO2021115166A1 (zh) | 确定装置、飞行体、确定方法以及程序 | |
WO2020119572A1 (zh) | 形状推断装置、形状推断方法、程序以及记录介质 | |
JP6690106B1 (ja) | 決定装置、撮像システム、及び移動体 | |
JP2022053417A (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
WO2020107487A1 (zh) | 图像处理方法和无人机 | |
WO2023047799A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6884959B1 (ja) | 制御装置、画像処理装置、撮像装置、移動体、制御方法、及びプログラム | |
JP2024008901A (ja) | 3次元データ生成システム、3次元データ生成方法、及びマーカーメジャー | |
Murcia et al. | A Low-Cost 3D Mapping System for Indoor Scenes Based on a 2D LiDAR On-Board an UGV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6880380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |