JP7440272B2 - 飛行体、3次元位置・姿勢計測装置、及び3次元位置・姿勢計測方法 - Google Patents
飛行体、3次元位置・姿勢計測装置、及び3次元位置・姿勢計測方法 Download PDFInfo
- Publication number
- JP7440272B2 JP7440272B2 JP2020004375A JP2020004375A JP7440272B2 JP 7440272 B2 JP7440272 B2 JP 7440272B2 JP 2020004375 A JP2020004375 A JP 2020004375A JP 2020004375 A JP2020004375 A JP 2020004375A JP 7440272 B2 JP7440272 B2 JP 7440272B2
- Authority
- JP
- Japan
- Prior art keywords
- attitude
- light source
- flying object
- dimensional
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 48
- 238000000691 measurement method Methods 0.000 title claims description 15
- 238000004364 calculation method Methods 0.000 claims description 53
- 230000004397 blinking Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 235000019557 luminance Nutrition 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
以下では、第1実施形態に係る3次元位置・姿勢計測システム1について説明する。第1実施形態に係る3次元位置・姿勢計測システム1においては、飛行体10aは、飛行体10aの姿勢に応じた発光態様で発光する1つの光源を備える。第1実施形態に係る3次元位置・姿勢計測システム1では、カメラ21aが飛行体10aを撮像して得られた画像における光源13の2次元座標及び輝度に基づいて、飛行体10aの3次元位置が算出される。また、当該画像に対して時系列的に前後する複数の画像に基づいて光源13の発光態様が抽出された上で、当該発光態様に基づいて飛行体10aの3次元姿勢が算出される。
(1-1)3次元位置・姿勢計測システム1
図1は、第1実施形態に係る3次元位置・姿勢計測システム1の構成の一例を示す概略図である。3次元位置・姿勢計測システム1は、例えば、飛行体10aと、操縦装置10bと、3次元位置・姿勢計測装置20とを、備える。
図2は、第1実施形態に係る飛行体10aの構成の一例を示すブロック図である。
カメラ制御部140bは、カメラ12から出力された画像を所定形式に変換してメモリ141に保存する。
図3は、第1実施形態に係る3次元位置・姿勢計測装置20の構成の一例を示すブロック図である。
図5及び図6を参照して、第1実施形態に係る3次元位置・姿勢計測システム1による飛行体10aの3次元位置・姿勢計測方法の動作フローについて説明する。
まず、光源特定部261は、メモリ23から取得された解析対象の画像Pから光源13を特定する。光源特定部261は、例えば、画像に含まれる各画素の輝度を参照して、輝度が所定の閾値以上である画素を、光源に対応する画素であると特定する。そして、特定された画素に基づいて、光源13の2次元座標を特定する。これにより、光源13の2次元座標及び輝度が特定される。
次に、発光態様抽出部262は、解析対象の画像Pを含む所定期間内に撮像された複数の画像をメモリ23から抽出し、当該複数の画像から光源13の発光態様を抽出する。発光態様は、光源13の色情報や点滅周波数等によって規定される。例えば、発光態様は、光源13の色情報が、色情報C1、色情報C2、及び色情報C3と順次に変化することであってもよい。なお、この場合、発光態様抽出部262は例えば、画像に含まれる画素の色度情報に基づいて色情報を算出してよい。また、例えば、発光態様は、光源13による点滅の周波数が、周波数f1、周波数f2、及び周波数f3と順次に変化することであってもよい。
次に、3次元方向算出部271は、解析対象の画像Pに基づいて点Aの3次元方向を算出する。すなわち、点AのX軸方向及びZ軸方向の3次元座標XA及びZA、点aのx軸方向の2次元座標xa、及びカメラ12の焦点距離Fについて式(1)が成り立つ。
次に、3次元位置算出部272は、光源13の3次元位置を算出する。まず、光源13の解析対象の画像Pにおける輝度Iaと、光源13の光学的原点Oからの距離Rとは、定数をCとすると、次の式(6)を満たす。
次に、3次元姿勢算出部273は、S12で抽出された光源13の発光態様に基づいて、飛行体10aの3次元姿勢を算出する。
第1実施形態に係る3次元位置・姿勢計測システム1は、例えば、以下のように利用され得る。まず、飛行体10aは、操縦装置10bから供給される操縦信号や撮像信号に基づいて、大型設備の外壁等の対象物をカメラ12により撮像しながら飛行する。このとき、3次元位置・姿勢計測装置20のカメラ21aは、飛行中の飛行体10aを所定のフレームレートによって継続的に撮像する。
以下では、第2実施形態に係る3次元位置・姿勢計測システム2について説明する。
図7は、第2実施形態に係る3次元位置・姿勢計測システム2の構成の一例を示す概略図である。図8は、第2実施形態に係る飛行体10aの構成の一例を示すブロック図である。図9は、第2実施形態に係る3次元位置・姿勢計測装置20の構成の一例を示すブロック図である。
図10及び図11を参照して、第2実施形態に係る3次元位置・姿勢計測システム2による飛行体10aの3次元位置・姿勢計測方法の動作フローについて説明する。
まず、光源特定部261は、メモリ23から取得された解析対象の画像Pから光源13A及び13Bそれぞれを特定する。光源特定部261は、例えば、画像に含まれる各画素の輝度を参照して、輝度が所定の閾値以上である画素を、光源に対応する画素であると特定する。そして、特定された画素に基づいて、光源13A及び13Bそれぞれの2次元座標を特定する。これにより、光源13A及び13Bそれぞれの2次元座標及び輝度が特定される。
次に、発光態様抽出部262は、光源13Aの発光態様及び/又は光源13Bの発光態様を抽出する。例えば、発光態様抽出部262は、解析対象の画像Pから、光源13Aの色情報及び/又は光源13Bの色情報を抽出してもよい。或いは、発光態様抽出部262は、解析対象の画像Pを含む所定期間内に撮像された複数の画像をメモリ23から抽出し、当該複数の画像から光源13Aの点滅周波数及び/又は光源13Bの点滅周波数を抽出してもよい。
次に、3次元方向算出部271は、解析対象の画像Pに基づいて点A及び点Bそれぞれの3次元方向を算出する。すなわち、点AのX軸方向及びZ軸方向の3次元座標XA及びZA、点aのx軸方向の2次元座標xa、及びカメラ12の焦点距離Fに基づいて、点Aの3次元方向は、次の式(10-1)に示すベクトルl1の方向に一致する。
次に、3次元位置算出部272は、光源13A及び13Bそれぞれの3次元位置を算出する。まず、光源13及び13Bそれぞれの解析対象の画像Pにおける輝度Ia及びIb、光源13及び13Bそれぞれの光学的原点Oからの距離RA及びRBとは、定数をCとすると、次の式(11)を満たす。
次に、3次元姿勢算出部273のベクトル算出部273aは、飛行体10aが備える光源13Aと光源13Bとを通るベクトルを、次の式(14)のように求める。
次に、3次元姿勢算出部273の回転角度算出部273bは、メモリ23に記憶された参照情報を参照して、S22で抽出された光源13Aの発光態様及び/又は光源13Bの発光態様に基づいて、飛行体10aのベクトルAB周りの回転角度を算出する。例えば、光源13Aの色情報及び/又は光源13Bの色情報がC4であり、参照情報において色情報C4が回転角度θ4に対応する場合、3次元姿勢算出部273は、飛行体10aの姿勢を、ベクトルAB周りにθ4だけ回転した姿勢であると算出する。或いは、光源13Aの点滅周波数及び/又は光源13Bの点滅周波数がf4であり、参照情報において点滅周波数f4が回転角度θ4に対応する場合、3次元姿勢算出部273は、飛行体10aの姿勢を、ベクトルAB周りにθ4だけ回転した姿勢であると算出する。以上で、飛行体10aの3次元位置及び姿勢が算出される。
以下では、第3実施形態に係る3次元位置・姿勢計測システム3について説明する。
図12は、第3実施形態に係る3次元位置・姿勢計測システム3の構成の一例を示す概略図である。図13は、第3実施形態に係る飛行体10aの構成の一例を示すブロック図である。図14は、第3実施形態に係る3次元位置・姿勢計測装置20の構成の一例を示すブロック図である。
図15及び図16を参照して、第3実施形態に係る3次元位置・姿勢計測システム3による飛行体10aの3次元位置・姿勢計測方法の動作フローについて説明する。
まず、光源特定部261は、メモリ23から取得された解析対象の画像Pから光源13A、13B、及び13Cそれぞれを特定する。光源特定部261は、例えば、画像に含まれる各画素の輝度を参照して、輝度が所定の閾値以上である画素を、光源に対応する画素であると特定する。そして、特定された画素に基づいて、光源13A、13B、及び13Cそれぞれの2次元座標を特定する。これにより、光源13A、13B、及び13Cそれぞれの2次元座標及び輝度が特定される。
次に、3次元方向算出部271は、解析対象の画像Pに基づいて点A、点B、及び点Cそれぞれの3次元方向を算出する。すなわち、点AのX軸方向及びZ軸方向の3次元座標XA及びZA、点aのx軸方向の2次元座標xa、及びカメラ12の焦点距離Fに基づいて、点Aの3次元方向は、次の式(15-1)に示すベクトルl1の方向に一致する。
次に、3次元位置算出部272は、光源13A、13B、及び13Cそれぞれの3次元位置を算出する。まず、光源13A、13B、及び13Cそれぞれの解析対象の画像Pにおける輝度Ia、Ib、及びIc、光源13A、13B、及び13Cそれぞれの光学的原点Oからの距離RA、RB、RCは、定数をCとすると、次の式(16)を満たす。
次に、3次元姿勢算出部273は、光源13A、13B、及び13Cそれぞれの3次元位置に基づいて、飛行体10aの3次元位置及び姿勢を求める。飛行体10aの3次元位置は、光源13A、13B、及び13Cそれぞれの3次元位置に基づいて規定されれば、その表記方法は特に限定されないが、例えば、光源13A、13B、及び13Cの重心等であってよい。また、飛行体10aの3次元姿勢は、例えば、光源13A、13B、及び13Cそれぞれの3次元位置に基づいて規定されれば、その表記方法は特に限定されないが、例えば、次の式(20)のように、光源13B及び光源13Cの中点から光源13Aへ向くベクトルとして表されてもよい。
Claims (9)
- 飛行体であって、
前記飛行体の姿勢を検出する姿勢検出部と、
少なくとも1つの光源と、
前記少なくとも1つの光源を、前記姿勢検出部が検出する姿勢に基づいた発光態様で発光させる光源制御部と、を備え、
前記姿勢検出部は、前記飛行体の姿勢として、直交する3つの座標軸の各々を回転軸とする3つの回転角度を検出し、
前記光源制御部は、前記少なくとも1つの光源を、前記姿勢検出部が検出する前記3つの回転角度の各々に応じた色情報及び/又は点滅周波数で発光させることを特徴とする、飛行体。 - 前記光源制御部は、前記少なくとも1つの光源を、前記3つの回転角度の各々に応じた色情報で、順次に発光させる、請求項1に記載の飛行体。
- 前記光源制御部は、前記少なくとも1つの光源を、前記3つの回転角度の各々に応じた点滅周波数で、順次に発光させる、請求項1に記載の飛行体。
- 前記姿勢検出部は、角速度センサである、請求項1~3のいずれか一項に記載の飛行体。
- 前記少なくとも1つの光源は、LEDである、請求項1~4のいずれか一項に記載の飛行体。
- 前記少なくとも1つの光源の数は、1つ又は2つである、請求項1~5のいずれか一項に記載の飛行体。
- 請求項1~6のいずれか一項に記載の飛行体の空間的な位置及び姿勢を算出する3次元位置・姿勢計測装置であって、
前記飛行体を含むシーンを撮像することにより画像を生成する撮像部と、
前記撮像部により生成された画像から、前記少なくとも1つの光源の発光態様を抽出する抽出部と、
前記少なくとも1つの光源の前記画像における2次元座標と、前記抽出部により抽出された前記発光態様に基づいて、前記飛行体の3次元位置及び姿勢を算出する算出部と、を備える、3次元位置・姿勢計測装置。 - 請求項1~7のいずれか一項に記載の飛行体を含むシーンを撮像することにより画像を生成することと、
生成された前記画像から、前記少なくとも1つの光源の発光態様を抽出することと、
前記少なくとも1つの光源の前記画像における2次元座標と、抽出された前記発光態様に基づいて、前記飛行体の3次元位置及び姿勢を算出することと、を含む、3次元位置・姿勢計測方法。 - 少なくとも3つの光源を備える飛行体の空間的な位置及び姿勢を算出する3次元位置・姿勢計測装置であって、
前記飛行体を含むシーンを撮像することにより画像を生成する撮像部と、
前記少なくとも3つの光源の各々の前記画像における2次元座標及び輝度に基づいて、前記少なくとも3つの光源の各々の3次元位置を算出することにより、前記飛行体の位置及び姿勢を算出する算出部と、を備え、
前記飛行体の姿勢は前記少なくとも3つの光源の各々の前記3次元位置に基づいて規定されることを特徴とする、3次元位置・姿勢計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020004375A JP7440272B2 (ja) | 2020-01-15 | 2020-01-15 | 飛行体、3次元位置・姿勢計測装置、及び3次元位置・姿勢計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020004375A JP7440272B2 (ja) | 2020-01-15 | 2020-01-15 | 飛行体、3次元位置・姿勢計測装置、及び3次元位置・姿勢計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021109618A JP2021109618A (ja) | 2021-08-02 |
JP7440272B2 true JP7440272B2 (ja) | 2024-02-28 |
Family
ID=77058920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020004375A Active JP7440272B2 (ja) | 2020-01-15 | 2020-01-15 | 飛行体、3次元位置・姿勢計測装置、及び3次元位置・姿勢計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7440272B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113819889B (zh) * | 2021-09-09 | 2024-01-26 | 中国电子科技集团公司第五十四研究所 | 一种基于飞行器旋翼光源检测的相对测距测姿方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003254716A (ja) | 2002-03-04 | 2003-09-10 | Sony Corp | 3次元位置・姿勢計測装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
US20100168949A1 (en) | 2008-12-19 | 2010-07-01 | Malecki Robert S | System and Method for Autonomous Vehicle Control |
JP2016177640A (ja) | 2015-03-20 | 2016-10-06 | 三菱電機株式会社 | 映像監視システム |
JP2018144731A (ja) | 2017-03-08 | 2018-09-20 | 株式会社Soken | 飛行装置 |
JP2019133441A (ja) | 2018-01-31 | 2019-08-08 | 井関農機株式会社 | 作業車両の管理システム |
JP2019176418A (ja) | 2018-03-29 | 2019-10-10 | 井関農機株式会社 | 作業車両の管理システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11165287A (ja) * | 1997-12-08 | 1999-06-22 | Yukio Saito | 姿勢検出装置および姿勢制御装置並びにロボット制御装置 |
-
2020
- 2020-01-15 JP JP2020004375A patent/JP7440272B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003254716A (ja) | 2002-03-04 | 2003-09-10 | Sony Corp | 3次元位置・姿勢計測装置及び方法、記憶媒体、並びにコンピュータ・プログラム |
US20100168949A1 (en) | 2008-12-19 | 2010-07-01 | Malecki Robert S | System and Method for Autonomous Vehicle Control |
JP2016177640A (ja) | 2015-03-20 | 2016-10-06 | 三菱電機株式会社 | 映像監視システム |
JP2018144731A (ja) | 2017-03-08 | 2018-09-20 | 株式会社Soken | 飛行装置 |
JP2019133441A (ja) | 2018-01-31 | 2019-08-08 | 井関農機株式会社 | 作業車両の管理システム |
JP2019176418A (ja) | 2018-03-29 | 2019-10-10 | 井関農機株式会社 | 作業車両の管理システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021109618A (ja) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10648809B2 (en) | Adaptive compass calibration based on local field conditions | |
US8699829B2 (en) | Hand held portable three dimensional scanner | |
CN109382821B (zh) | 校准方法、校准***及程序 | |
US20160327389A1 (en) | Calibration Transfer Between Two Devices | |
TWI687870B (zh) | 環境取得系統以及環境取得方法 | |
EP3358480B1 (en) | Drawing creation device and drawing creation method | |
JP2017015704A (ja) | ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法 | |
JP7153306B2 (ja) | 検出対象位置特定システム | |
WO2019230604A1 (ja) | 検査システム | |
JP7440272B2 (ja) | 飛行体、3次元位置・姿勢計測装置、及び3次元位置・姿勢計測方法 | |
CN104034261A (zh) | 一种曲面法向测量装置和曲面法向测量方法 | |
JP2023100642A (ja) | 検査システム | |
WO2020166178A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2010078466A (ja) | マーカ自動登録方法及びシステム | |
JP5974819B2 (ja) | 補助撮像装置及びプログラム | |
JP2009175012A (ja) | 計測装置および計測方法 | |
JP6681101B2 (ja) | 検査システム | |
KR20180123778A (ko) | 항공영상에서의 객체 검출 방법 및 장치 | |
EP3995396A1 (en) | Information processing device, information processing method, program, and information processing system | |
JP4255272B2 (ja) | 画像生成装置 | |
WO2023089983A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7370045B2 (ja) | 寸法表示システムおよび寸法表示方法 | |
WO2024069669A1 (ja) | 情報処理システム及びプログラム、情報処理方法、端末、サーバ | |
JP2006153506A (ja) | 位置検出装置及び位置検出方法 | |
WO2023089984A1 (ja) | 移動体、移動体撮影システム及び移動体撮影方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7440272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |