JP2017522621A - モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置 - Google Patents
モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置 Download PDFInfo
- Publication number
- JP2017522621A JP2017522621A JP2016534917A JP2016534917A JP2017522621A JP 2017522621 A JP2017522621 A JP 2017522621A JP 2016534917 A JP2016534917 A JP 2016534917A JP 2016534917 A JP2016534917 A JP 2016534917A JP 2017522621 A JP2017522621 A JP 2017522621A
- Authority
- JP
- Japan
- Prior art keywords
- height
- difference
- mobile platform
- mode
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 167
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 21
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
- G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
Abstract
Description
モバイルプラットフォームの高さグレードを検出するステップと、
検出の結果に従ってモバイルプラットフォームの動作モードを選択するステップと
を有する。
第1及び第2差異閾値のうちの少なくとも1つは、第3及び第4差異閾値のうちの少なくとも1つを上回っており、
第3差異閾値は、第4差異閾値を上回っており、
第3及び第4差異閾値のうちの少なくとも1つは、第5及び第6差異閾値のうちの少なくとも1つを上回っており、且つ、
前記第6差異閾値は、第5差異を上回っている。
第1高さ閾値は、第2高さ閾値を上回っており、
第3及び第4高さ閾値のうちの少なくとも1つは、第1及び第2高さ閾値のうちの少なくとも1つを上回っており、且つ、
第3高さ閾値は、第4高さ閾値を上回っている。
第1画像から複数の特徴点を選択するステップと、
第1画像の特徴点を第2画像の点とマッチングするステップと
を有する。
第2画像をスキャンして第1画像の選択された特徴点にマッチングする第2画像の点を選択するステップと、
第1画像の選択された特徴点と第2画像の点との間の類似性を算出するステップと
を有する。
領域のそれぞれの点ペアの強度を比較して選択された特徴点の周りの第1領域を表す第1二値ストリングを構築することにより、第1二値安定独立基本特徴(「Binary Robust Independent Elementary Feature:BRIEF」)記述子を生成するステップと、
第2領域のそれぞれの点ペアの強度を比較して第2画像の点の周りの第2領域を表す第2二値ストリングを構築することにより、第2BRIEF記述子を生成するステップと、
第1BRIEF記述子と第2BRIEF記述子との間のハミング距離が第1ハミング閾値未満である際に、第2画像の点が、選択された特徴点とマッチングしていると判定するステップと
を有する。
モバイルプラットフォームと関連付けられた双眼撮像デバイスと、
プロセッサであって、
モバイルプラットフォームの高さグレードを検出し、且つ、
検出の結果に従ってモバイルプラットフォームの動作モードを選択する
ために構成されたプロセッサと
を有する。
第1及び第2差異閾値のうちの1つ又は両方は、第3及び第4差異閾値のうちの1つ又は複数を上回っており、
第3差異閾値は、第4差異閾値を上回っており、
第3及び第4差異閾値のうちの1つ又は複数は、第5及び第6差異閾値のうちの1つ又は複数を上回っており、且つ、
第6差異閾値は、第5閾値を上回っている。
第3及び第4高さ閾値のうちのいずれか1つは、第1及び第2高さ閾値を上回っており、且つ、
第3高さ閾値は、第4閾値を上回っている。
ここで、プロセッサは、判定に従ってUAVの動作モードを選択するように構成されている。
領域のそれぞれの点ペアの強度を比較して選択された特徴点の周りの第1領域を表す第1二値ストリングを構築することにより、第1二値安定独立基本特徴(「BRIEF」)記述子を生成し、
第2領域のそれぞれの点ペアの強度を比較して第2画像の点の周りの第2領域を表す第2二値ストリングを構築することにより、第2BRIEF記述子を生成し、且つ、
第1BRIEF記述子と第2BRIEF記述子との間のハミング距離が第1ハミング閾値未満である際に、第2画像の点が、選択された特徴点にマッチングしていると判定する
ように構成されている。
モバイルプラットフォームの高さグレードを検出するステップと、
検出の結果に基づいて1つ又は複数のセンサを選択するステップと、
選択されたセンサから計測を取得するステップと
を有し、
この場合に、高さグレードは、4つの高さグレードのグループから選択される。
この場合に、少なくとも2つの画像センサは、第1解像度を有する。
モバイルプラットフォームの高さグレードを検出する高さセンサと、
検出された高さグレードに基づいて1つ又は複数のセンサを選択すると共に選択されたセンサから計測値を取得するように構成されたプロセッサと
を有し、
この場合に、高さグレードは、4つの高さグレードの群から選択される。
この場合に、少なくとも2つの画像センサは、第1解像度を有する。
式(1)
式(2)
式(3)
ここで、cx及びcyは、レンズ510a及び510bの個々の中心Ol、Or座標を表しており、xi及びyiは、それぞれ、画像520a及び520bのそれぞれの内部における対象の物体598の座標を表しており、Tは、ベースラインであり(換言すれば、レンズ510a及び510bの中心座標の間の距離であり)、fは、レンズ510a及び510bの修正された焦点距離であり、iは、複数の対象物体598上における且つ/又は対象物体598の(図10に示されている)複数の特徴点355におけるインデックスであり、且つ、dは、ここでは、次式として表される画像520a及び520bの間の双眼差異である。
式(4)
d=argmind|IL(xl)−IR(xl+d)| 式(5)
ここで、dは、2つのレンズ510a、510bの差異を表しており、ILは、同一の対象物体598の第1画像520aを表しており、IRは、第2画像520bを表しており、且つ、xlは、第1画像520aの点xi lである。
第3及び第4高さ閾値のうちのいずれか1つは、第1及び第2高さ閾値を上回っており、且つ、
第3高さ閾値は、第4高さ閾値を上回っている。
Claims (90)
- モバイルプラットフォームの動作モードを選択する方法であって、
前記モバイルプラットフォームの高さグレードを検出するステップと、
前記検出の結果に従って前記モバイルプラットフォームの動作モードを選択するステップと
を有する方法。 - 前記高さグレードを検出するステップは、前記モバイルプラットフォームの高さ、及び前記モバイルプラットフォームのうち少なくとも1つの観点からの遠隔物体の第1及び第2画像の間の差異を判定するステップを有する、請求項1に記載に方法。
- 前記判定ステップは、バロメータ、超音波検出器、及び全地球測位システム(「GPS」)のうち少なくとも1つを介して前記高さを取得するステップを有する、請求項2に記載の方法。
- 前記判定ステップは、前記モバイルプラットフォームと関連付けられた双眼撮像システムによって、キャプチャされる前記物体の前記第1及び第2画像の間の前記差異を取得するステップを有する、請求項2又は3に記載の方法。
- 前記高さ及び/又は差異の値に基づいて前記動作モードを分類するステップを更に有する請求項4に記載の方法。
- 第1高さモードで動作するように、前記モバイルプラットフォームを起動するステップを更に有する請求項5に記載の方法。
- 前記第1高さモードは、超低高度単眼モードを有する、請求項6に記載の方法。
- 前記超低高度単眼モードを支援するため、前記移動するプラットフォームの距離センサを提供するステップを更に有する請求項7に記載の方法。
- 前記動作モードを選択するステップは、前記高さグレードに基づいて前記動作モードをスイッチングするステップを有し、且つ、前記高さグレードは、前記判定された高さ及び前記判定された差異のうちの少なくとも1つに基づいて判定される、請求項7又は8に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第1高さ閾値を上回る際に前記モバイルプラットフォームを第2高さモードにスイッチングするステップを有する、請求項6に記載の方法。
- 前記動作モードを選択する前記ステップは、前記差異が第1差異閾値未満である際に前記モバイルプラットフォームを第2高さモードにスイッチングするステップを有する、請求項6に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第1高さ閾値を上回ると共に前記差異が前記第1差異閾値未満である際に前記モバイルプラットフォームを第2高さモードにスイッチングするステップを有する、請求項6に記載の方法。
- 前記モバイルプラットフォームを第2高さモードにスイッチングする前記ステップは、第1解像度を有するステレオ視覚モードを選択するステップを有する、請求項9〜12のいずれか一項に記載の方法。
- 前記動作モードを選択する前記ステップは、前記差異が第3差異閾値以下である際に前記モバイルプラットフォームを第3高さモードにスイッチングするステップを有する、請求項6〜13のいずれか一項に記載の方法。
- 前記モバイルプラットフォームを第3高さモードにスイッチングする前記ステップは、双眼撮像デバイスから改善された解像度を有するステレオ視覚モードにスイッチングするステップを有する、請求項14に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第3高さ閾値を上回る際に前記モバイルプラットフォームを第4高さモードにスイッチングするステップを有する、請求項14又は15に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第3高さ閾値を上回ると共に前記差異が第5差異閾値未満である際に前記モバイルプラットフォームを第4高さモードにスイッチングするステップを有する、請求項14又は15に記載の方法。
- 前記モバイルプラットフォームを第4高さモードにスイッチングする前記ステップは、前記双眼撮像デバイスをバロメータ、GPS、及び前記モバイルプラットフォームのうち少なくとも1つとグラウンドレベルとの間の垂直方向距離の視覚計測の組合せにおける高高度単眼モードにスイッチングするステップを有する、請求項17に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第4高さ閾値未満である際に前記モバイルプラットフォームを前記第3高さモードにスイッチングするステップを有する、請求項16〜18のいずれか一項に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第4高さ閾値未満であると共に前記差異が第6差異閾値を上回る際に前記モバイルプラットフォームを前記第3高さモードにスイッチングするステップを有する、請求項16〜18のいずれか一項に記載の方法。
- 前記動作モードを選択する前記ステップは、前記差異が第4差異閾値を上回る際に前記モバイルプラットフォームを前記第2高さモードにスイッチングするステップを有する、請求項16〜20のいずれか一項に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第2高さ閾値未満である際に前記モバイルプラットフォームを前記第1高さモードにスイッチングするステップを有する、請求項21に記載の方法。
- 前記動作モードを選択する前記ステップは、前記高さが第2高さ閾値未満であると共に前記差異が第2差異閾値を上回る際に前記モバイルプラットフォームを前記第1高さモードにスイッチングするステップを有する、請求項21に記載の方法。
- 前記第2差異閾値は、前記第1差異閾値を上回っており、
前記第1及び第2差異閾値のうちの少なくとも1つは、前記第3及び第4差異閾値のうちの少なくとも1つを上回っており、
前記第3差異閾値は、前記第4差異閾値を上回っており、
前記第3及び第4差異閾値のうちの少なくとも1つは、前記第5及び第6差異閾値のうちの少なくとも1つを上回っており、且つ、
前記第6差異閾値は、前記第5閾値を上回っている、請求項23に記載の方法。 - 前記第1高さ閾値は、前記第2高さ閾値を上回っており、
前記第3及び第4高さ閾値のうちの少なくとも1つは、前記第1及び第2高さ閾値のうちの少なくとも1つを上回っており、且つ、
前記第3高さ閾値は、前記第4閾値を上回っている、請求項23又は24に記載の方法。 - 前記第1及び第2画像の前記差異を判定する前記ステップは、
前記第1画像から複数の特徴点を選択するステップと、
前記第1画像の前記特徴点を前記第2画像の点とマッチングするステップと
を有する、請求項25に記載の方法。 - 前記特徴点は、前記第1画像又は前記第2画像のピクセルを有する、請求項26に記載の方法。
- 前記複数の特徴点をマッチングする前記ステップは、
前記第2画像をスキャニングして前記第1画像の選択された特徴点にマッチングする前記第2画像の点を識別するステップと、
前記第1画像の前記選択された特徴点と前記第2画像の前記点との間の類似性を算出するステップと
を有する、請求項26又は27に記載の方法。 - 前記類似性を算出する前記ステップは、
前記領域のそれぞれの点ペアの強度を比較することによって前記選択された特徴点の周りの第1領域を表す第1二値ストリングを構築し、第1二値安定独立基本特徴(「BRIEF」)記述子を生成するステップと、
前記第2領域のそれぞれの点ペアの強度を比較することによって前記第2画像の前記点の周りの第2領域を表す第2二値ストリングを構築し、第2BRIEF記述子を生成するステップと、
前記第1BRIEF記述子と前記第2BRIEF記述子との間のハミング距離が第1ハミング閾値未満である際に前記第2画像の前記点が前記選択された特徴点にマッチングしていると判定するステップと
を有する、請求項28に記載の方法。 - 前記類似性を算出する前記ステップは、前記第1画像の前記選択された特徴点を前記第2画像上の前記点を中心としてセンタリングされた3×3ピクセルエリアと比較するステップを有する、請求項28に記載の方法。
- 前記比較ステップは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計を比較するステップを有する、請求項30に記載の方法。
- 前記差異を判定する前記ステップは、前記特徴点の前記差異の平均値に基づいて前記差異を取得するステップを有する、請求項31に記載の方法。
- 前記差異を判定する前記ステップは、1つ又は複数の特徴点を選択すると共に前記選択された特徴点の前記差異に基づいて前記差異を取得するステップを有する、請求項30〜32のいずれか一項に記載の方法。
- 請求項1〜33のいずれか一項に従って前記検出プロセスを実行するように構成されたモバイルプラットフォームの動作モードを選択するシステム。
- 請求項1〜33のいずれか一項に従って前記検出プロセスを実行するように構成されたモバイルプラットフォームの動作モードを選択する命令を有するコンピュータプログラム製品。
- モバイルプラットフォームの動作モードを選択する装置であって、
前記モバイルプラットフォームと関連付けられた双眼撮像デバイスと、
プロセッサであって、
前記モバイルプラットフォームの高さグレードを検出し、且つ、
前記検出の結果に従って前記モバイルプラットフォームの動作モードを選択する
ために構成されたプロセッサと
を有する装置。 - 前記プロセッサは、前記モバイルプラットフォームの高さ及び前記モバイルプラットフォームの観点からの遠隔物体の第1及び第2画像の間の差異を判定するように構成されている、請求項36に記載の装置。
- 前記モバイルプラットフォームの前記高さを取得するため前記モバイルプラットフォームと関連付けられたバロメータを更に有する請求項37に記載の装置。
- 前記モバイルプラットフォームの前記高さを取得するため前記モバイルプラットフォームと関連付けられた超音波検出器を更に有する請求項37又は38に記載の装置。
- 前記モバイルプラットフォームの前記高さ及び/又は場所を取得するため前記モバイルプラットフォームと関連付けられたGPSを更に有する請求項39に記載の装置。
- 前記プロセッサは、前記モバイルプラットフォームと関連付けられた双眼撮像システムによってキャプチャされた前記物体の前記第1及び第2画像の間の前記差異を取得するように構成されている、請求項39又は40に記載の装置。
- 前記モバイルプラットフォームの前記動作モードは、前記高さ値及び/又は前記差異値に基づいて分類される、請求項41に記載の装置。
- 前記プロセッサは、第1高さモードにおいて動作するため前記モバイルプラットフォームを初期化するように構成されている、請求項42に記載の装置。
- 前記第1高さモードは、超低高度単眼モードを有する、請求項43に記載の装置。
- 前記超低高度単眼モードを支援するため、前記運動するプラットフォームの距離センサが提供される請求項44に記載の装置。
- 前記プロセッサは、前記高さグレードに基づいて前記動作モードをスイッチングするように構成されており、且つ、前記高さグレードは、前記判定された高さ及び前記判定された差異のうちの少なくとも1つに基づいて判定される、請求項44又は請求項45に記載の装置。
- 前記プロセッサは、前記高さが第1高さ閾値を上回る際に第2高さモードにスイッチングするように構成されている、請求項46に記載の装置。
- 前記プロセッサは、前記差異が第1差異閾値未満である際に第2高さモードにスイッチングするように構成されている、請求項47に記載の装置。
- 前記プロセッサは、前記高さが第1高さ閾値を上回ると共に前記差異が前記第1差異閾値未満である際に第2高さモードにスイッチングするように構成されている、請求項47に記載の装置。
- 前記第2高さモードは、第1解像度を有するステレオ視覚モードを有する、請求項49に記載の装置。
- 前記プロセッサは、前記差異が第3差異閾値以下である際に第3高さモードにスイッチングするように構成されている、請求項46〜50のいずれか一項に記載の装置。
- 前記第3高さモードは、改善された解像度を有するステレオ視覚モードである、請求項50又は51に記載の装置。
- 前記プロセッサは、前記高さが第3高さ閾値を上回る際に第4高さモードにスイッチングするように構成されている、請求項46〜52のいずれか一項に記載の装置。
- 前記プロセッサは、前記高さが第3高さ閾値を上回ると共に前記差異が前記第5差異閾値未満である際に第4高さモードにスイッチングするように構成されている、請求項46〜52にいずれか一項に記載の装置。
- 前記第4高さモードは、バロメータ、GPS、及び/又は前記モバイルプラットフォームとグラウンドレベルとの間の垂直方向距離の視覚的計測の組合せにおける高高度単眼モードである、請求項54に記載の装置。
- 前記プロセッサは、前記高さが第4高さ閾値未満である際に前記第3高さモードにスイッチングするように構成されている、請求項53〜55のいずれか一項に記載の装置。
- 前記プロセッサは、前記高さが第4高さ閾値未満であると共に前記差異が第6差異閾値を上回る際に前記第3高さモードにスイッチングするように構成されている、請求項53〜55のいずれか一項に記載の装置。
- 前記プロセッサは、前記差異が第4差異閾値を上回る際に前記第2高さモードにスイッチングするように構成されている、請求項56又は57に記載の装置。
- 前記プロセッサは、前記高さが第2高さ閾値未満である際に前記第1高さモードにスイッチングするように構成されている、請求項58に記載の装置。
- 前記プロセッサは、前記高さが第2高さ閾値未満であると共に前記差異が第2差異閾値を上回る際に前記第1高さモードにスイッチングするように構成されている、請求項59に記載の装置。
- 前記第2差異閾値は、前記第1差異閾値を上回っており、
前記第1及び第2差異閾値のうちの1つ又は両方は、前記第3及び第4差異閾値のうちの1つ又は両方を上回っており、
前記第3差異閾値は、前記第4差異閾値を上回っており、
前記第3及び第4差異閾値のうちの1つ又は両方は、前記第5及び第6差異閾値のうちの1つ又は両方を上回っており、且つ、
前記第6差異閾値は、前記第5閾値を上回っている、請求項60に記載の装置。 - 前記第1高さ閾値は、前記第2高さ閾値を上回っており、
前記第3及び第4高さ閾値のうちのいずれか1つは、前記第1及び第2高さ閾値を上回っており、且つ、
前記第3高さ閾値は、前記第4閾値を上回っている、請求項60又は61に記載の装置。 - 前記プロセッサは、無人航空機(「UAV」)の前記高さ及び前記UAVの観点からの差異を判定するように構成されており、且つ、
前記プロセッサは、前記判定に従って前記UAVの動作モードを選択するように構成されている、請求項36〜62のいずれか一項に記載の装置。 - 前記プロセッサは、前記第1画像上の複数の特徴点を選択すると共に前記第1画像の前記複数の特徴点を前記第2画像の点とマッチングするように構成されている、請求項63に記載の装置。
- 前記特徴点は、前記第1画像又は前記第2画像のピクセルを有する、請求項64に記載の装置。
- 前記差異は、少なくとも5つのピクセルであると共に前記第1画像又は前記第2画像の幅の5分の1を上回っていない、請求項64又は65に記載の装置。
- 前記プロセッサは、前記第2画像をスキャニングして前記第1画像の選択された特徴点にマッチングする前記第2画像の点を識別すると共に前記第1画像の前記選択された特徴点と前記点との間の類似性を算出するように構成されている、請求項64〜66のいずれか一項に記載の装置。
- 前記プロセッサは、
前記領域のそれぞれの点ペアの強度を比較することにより、前記選択された特徴点の周りの第1領域を表す第1二値ストリングを構築して第1二値安定独立基本特徴(「BRIEF」)記述子を生成し、
前記第2領域のそれぞれの点ペアの強度を比較することにより、前記第2画像の前記点の周りの第2領域を表す第2二値ストリングを構築して第2BRIEF記述子を生成し、且つ、
前記第1BRIEF記述子と前記第2BRIEF記述子との間のハミング距離が第1ハミング閾値未満である際に前記第2画像の前記点が前記選択された特徴点にマッチングしているものと判定する
ため構成されている、請求項67に記載の装置。 - 前記類似性は、前記第1画像の前記選択された特徴点を前記第2画像上の前記点を中心としてセンタリングされた3×3ピクセルエリアと比較することにより、算出される、請求項68に記載の装置。
- 前記3×3ピクセルエリアは、カラー画像のそれぞれのピクセルのそれぞれの色成分ごとの差の合計又は白黒画像のそれぞれのピクセルのグレースケール値の差の合計によって比較される、請求項69に記載の装置。
- 前記差異は、前記特徴差異の平均値に基づいて判定される、請求項70に記載の装置。
- 前記プロセッサは、1つ又は複数の特徴点を選択すると共に前記選択された特徴点の前記特徴差異に基づいて前記差異を取得するように構成されている、請求項70又は71に記載の装置。
- モバイルプラットフォームの動作モードを判定する方法であって、
前記モバイルプラットフォームの高さグレードを検出するステップと、
前記検出の結果に基づいて1つ又は複数のセンサを選択するステップと、
前記選択されたセンサから計測値を得るステップと
を有し、
前記高さグレードは、4つの高さグレードの群から選択される、方法。 - 前記1つ又は複数のセンサを選択する前記ステップは、第1高さグレードにおいて1つの画像センサを選択するステップを有する、請求項73に記載の方法。
- 前記1つ又は複数のセンサを選択する前記ステップは、第1高さグレードにおいて1つの画像センサ及び1つの距離センサを選択するステップを有する、請求項73に記載の方法。
- 前記距離センサは、超音波検出器及び/又はレーザー検出デバイスを有する、請求項75に記載の方法。
- 前記1つ又は複数のセンサを選択する前記ステップは、第2高さグレードにおいて少なくとも2つの画像センサを選択するステップを更に有し、
前記少なくとも2つの画像センサは、第1解像度を有する、請求項75又は76に記載の方法。 - 前記1つ又は複数のセンサを選択する前記ステップは、第3高さグレードにおいて第2解像度を有する少なくとも2つの画像センサを選択するステップを更に有し、前記第2解像度は、改善された解像度である、請求項77に記載の方法。
- 前記第2解像度は、第1解像度を上回っている、請求項78に記載の方法。
- 前記1つ又は複数のセンサを選択する前記ステップは、第4高さグレードにおいて1つの画像センサ及び1つの高さセンサを選択するステップを更に有する、請求項79に記載の方法。
- 前記高さセンサは、バロメータ及び/又は全地球測位システム(「GPS」)を有する、請求項80に記載の方法。
- モバイルプラットフォームの飛行動作システムであって、
前記モバイルプラットフォームの高さグレードを検出する高さセンサと、
前記検出された高さグレードに基づいて1つ又は複数のセンサを選択すると共に前記選択されたセンサから計測を取得するように構成されたプロセッサと
を有し、
前記高さグレードは、4つの高さグレードの群から選択される、システム。 - 前記プロセッサは、第1高さグレードにおいて1つの画像センサを選択するように構成されている、請求項82に記載の方法。
- 前記プロセッサは、第1高さグレードにおいて1つの画像センサ及び1つの距離センサを選択するように構成されている、請求項82に記載の方法。
- 前記高さセンサは、距離センサを有し、且つ、前記距離センサは、超音波検出器及び/又はレーザー検出デバイスを有する、請求項83又は84に記載の方法。
- 前記プロセッサは、第2高さグレードにおいて少なくとも2つの画像センサを選択するように構成されており、
前記少なくとも2つの画像センサは、第1解像度を有する、請求項84又は85に記載の方法。 - 前記プロセッサは、第3高さグレードにおいて第2解像度を有する少なくとも2つの画像センサを選択するように構成されており、前記第2解像度は、改善された解像度である、請求項86に記載の方法。
- 前記第2解像度は、前記第1解像度を上回っている、請求項87に記載の方法。
- 前記プロセッサは、第4高さグレードにおいて1つの画像センサ及び1つの高さセンサを選択するように構成されている、請求項88に記載の方法。
- 前記高さセンサは、バロメータ及び/又は全地球測位システム(「GPS」)を有する、請求項89に記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/082524 WO2016206107A1 (en) | 2015-06-26 | 2015-06-26 | System and method for selecting an operation mode of a mobile platform |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019216277A Division JP6867465B2 (ja) | 2019-11-29 | 2019-11-29 | モバイルプラットフォームの動作モードを選択するシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017522621A true JP2017522621A (ja) | 2017-08-10 |
JP6666245B2 JP6666245B2 (ja) | 2020-03-13 |
Family
ID=57584399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016534917A Expired - Fee Related JP6666245B2 (ja) | 2015-06-26 | 2015-06-26 | モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10730618B2 (ja) |
EP (2) | EP3195076B1 (ja) |
JP (1) | JP6666245B2 (ja) |
CN (1) | CN107710091B (ja) |
DK (1) | DK3195076T3 (ja) |
ES (1) | ES2865491T3 (ja) |
WO (1) | WO2016206107A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018086133A1 (en) * | 2016-11-14 | 2018-05-17 | SZ DJI Technology Co., Ltd. | Methods and systems for selective sensor fusion |
WO2018139879A1 (en) | 2017-01-25 | 2018-08-02 | Samsung Electronics Co., Ltd. | Method and apparatus for determining stereoscopic multimedia information |
CN106814744A (zh) * | 2017-03-14 | 2017-06-09 | 吉林化工学院 | 一种无人机飞行控制***以及方法 |
US11048273B2 (en) * | 2018-06-08 | 2021-06-29 | Textron Innovations Inc. | System and method for rotorcraft height control |
CN109238225B (zh) * | 2018-09-03 | 2021-02-05 | 浙江大丰实业股份有限公司 | 移动式车台实时高度监护平台 |
CN110888441B (zh) * | 2019-11-29 | 2023-04-07 | 广州乐比计算机有限公司 | 一种基于陀螺仪的轮椅车控制*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004017743A (ja) * | 2002-06-14 | 2004-01-22 | Kumamoto Technology & Industry Foundation | 自律飛行カイトプレーンシステムおよびカイトプレーン制御装置 |
JP2006264573A (ja) * | 2005-03-25 | 2006-10-05 | Yamaha Motor Co Ltd | 無人ヘリコプタ |
JP2008304260A (ja) * | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
JP2010208501A (ja) * | 2009-03-10 | 2010-09-24 | Mitsubishi Heavy Ind Ltd | 無人航空機及び無人航空機システム |
WO2013094526A1 (ja) * | 2011-12-19 | 2013-06-27 | 三菱重工業株式会社 | 制御装置及び方法並びにプログラム |
JP2013139256A (ja) * | 2012-01-05 | 2013-07-18 | Parrot | 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法 |
JP2014062789A (ja) * | 2012-09-20 | 2014-04-10 | Topcon Corp | 写真計測用カメラ及び航空写真装置 |
JP2015101198A (ja) * | 2013-11-25 | 2015-06-04 | トヨタ自動車株式会社 | 移動体 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3743221A (en) * | 1970-04-09 | 1973-07-03 | Lear Siegler Inc | Aircraft flight control apparatus |
US4754327A (en) * | 1987-03-20 | 1988-06-28 | Honeywell, Inc. | Single sensor three dimensional imaging |
DE19633868A1 (de) * | 1996-08-16 | 1998-04-23 | Deutsch Zentr Luft & Raumfahrt | Stereokamera für die Photogrammetrie |
KR100505334B1 (ko) * | 2003-03-28 | 2005-08-04 | (주)플렛디스 | 운동 시차를 이용한 입체 영상 변환 장치 |
DE102005046045A1 (de) | 2005-09-27 | 2007-03-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Steuerung mindestens eines Objektdetektionssensors |
US7808617B2 (en) | 2007-09-17 | 2010-10-05 | Quality Vision International, Inc. | Dual resolution, dual range sensor system and method |
US7852461B2 (en) | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
CN101504287B (zh) * | 2009-01-22 | 2011-01-05 | 浙江大学 | 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法 |
CN101692283B (zh) * | 2009-10-15 | 2012-05-23 | 上海大学 | 无人旋翼机仿生着陆***的摄像机外参数在线自标定方法 |
CN101807080B (zh) * | 2010-03-16 | 2011-11-16 | 浙江大学 | 架空线路巡检机器人飞艇控制***及其控制方法 |
US20110228074A1 (en) * | 2010-03-22 | 2011-09-22 | Parulski Kenneth A | Underwater camera with presssure sensor |
CN102541054A (zh) * | 2010-12-20 | 2012-07-04 | 西安韦德沃德航空科技有限公司 | 无人机用组合高度控制方法及*** |
CN102708379B (zh) * | 2012-05-09 | 2014-05-14 | 慈溪思达电子科技有限公司 | 一种立体视觉的遮挡像素分类算法 |
US8948935B1 (en) * | 2013-01-02 | 2015-02-03 | Google Inc. | Providing a medical support device via an unmanned aerial vehicle |
US9225969B2 (en) * | 2013-02-11 | 2015-12-29 | EchoPixel, Inc. | Graphical system with enhanced stereopsis |
CN103226356A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于图像处理的无人机精确位置降落方法 |
CN103278139B (zh) * | 2013-05-06 | 2016-11-23 | 北京航空航天大学 | 一种可变焦单双目视觉传感装置 |
EP2852145B1 (en) * | 2013-09-19 | 2022-03-02 | Airbus Operations GmbH | Provision of stereoscopic video camera views to aircraft passengers |
US20150100182A1 (en) * | 2013-10-04 | 2015-04-09 | Shouqin Zhu | Method for fighter takeoff and landing within ultra-short distance (ultra-stol) |
CN103559734B (zh) * | 2013-10-17 | 2016-08-24 | 中国科学院自动化研究所 | 双目成像三维视觉***装置及控制方法 |
CN104635743A (zh) * | 2013-11-13 | 2015-05-20 | 中国电子科技集团公司第二十七研究所 | 一种高速无人机超低空全程自主飞行控制*** |
CN103587708B (zh) * | 2013-11-14 | 2016-05-25 | 上海大学 | 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法 |
CN103809598B (zh) * | 2014-03-12 | 2016-08-10 | 北京航空航天大学 | 一种基于三层品字形多色降落坪的旋翼无人机自主起降*** |
CN104238580B (zh) * | 2014-09-30 | 2017-05-10 | 中国航天空气动力技术研究院 | 一种应用于无人机航空物探的低空飞行控制方法 |
CN111371986A (zh) * | 2015-03-16 | 2020-07-03 | 深圳市大疆创新科技有限公司 | 用于焦距调节和深度图确定的装置和方法 |
US10587790B2 (en) * | 2015-11-04 | 2020-03-10 | Tencent Technology (Shenzhen) Company Limited | Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle |
US10232940B2 (en) * | 2016-09-09 | 2019-03-19 | Wing Aviation Llc | Methods and systems for raising and lowering a payload |
-
2015
- 2015-06-26 CN CN201580081258.1A patent/CN107710091B/zh active Active
- 2015-06-26 ES ES15871315T patent/ES2865491T3/es active Active
- 2015-06-26 JP JP2016534917A patent/JP6666245B2/ja not_active Expired - Fee Related
- 2015-06-26 EP EP15871315.6A patent/EP3195076B1/en active Active
- 2015-06-26 WO PCT/CN2015/082524 patent/WO2016206107A1/en active Application Filing
- 2015-06-26 EP EP20212080.4A patent/EP3806038A1/en not_active Withdrawn
- 2015-06-26 DK DK15871315.6T patent/DK3195076T3/da active
-
2017
- 2017-12-15 US US15/844,252 patent/US10730618B2/en active Active
-
2020
- 2020-07-24 US US16/938,458 patent/US11465743B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004017743A (ja) * | 2002-06-14 | 2004-01-22 | Kumamoto Technology & Industry Foundation | 自律飛行カイトプレーンシステムおよびカイトプレーン制御装置 |
JP2006264573A (ja) * | 2005-03-25 | 2006-10-05 | Yamaha Motor Co Ltd | 無人ヘリコプタ |
JP2008304260A (ja) * | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
JP2010208501A (ja) * | 2009-03-10 | 2010-09-24 | Mitsubishi Heavy Ind Ltd | 無人航空機及び無人航空機システム |
WO2013094526A1 (ja) * | 2011-12-19 | 2013-06-27 | 三菱重工業株式会社 | 制御装置及び方法並びにプログラム |
JP2013139256A (ja) * | 2012-01-05 | 2013-07-18 | Parrot | 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法 |
JP2014062789A (ja) * | 2012-09-20 | 2014-04-10 | Topcon Corp | 写真計測用カメラ及び航空写真装置 |
JP2015101198A (ja) * | 2013-11-25 | 2015-06-04 | トヨタ自動車株式会社 | 移動体 |
Also Published As
Publication number | Publication date |
---|---|
US20200354058A1 (en) | 2020-11-12 |
WO2016206107A1 (en) | 2016-12-29 |
CN107710091B (zh) | 2021-07-16 |
EP3806038A1 (en) | 2021-04-14 |
EP3195076B1 (en) | 2021-01-20 |
EP3195076A4 (en) | 2018-06-06 |
US10730618B2 (en) | 2020-08-04 |
US11465743B2 (en) | 2022-10-11 |
DK3195076T3 (da) | 2021-03-22 |
US20180105269A1 (en) | 2018-04-19 |
JP6666245B2 (ja) | 2020-03-13 |
ES2865491T3 (es) | 2021-10-15 |
CN107710091A (zh) | 2018-02-16 |
EP3195076A1 (en) | 2017-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6666245B2 (ja) | モバイルプラットフォームの動作モードを選択する方法、システム、コンピュータプログラム製品及び装置 | |
US10671862B2 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
US11645757B2 (en) | Method of and apparatus for analyzing images | |
CN106233219B (zh) | 移动平台操作***及方法 | |
KR102052114B1 (ko) | 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법 | |
US11346666B2 (en) | System and method for measuring a displacement of a mobile platform | |
US8723987B2 (en) | Uncertainty estimation of planar features | |
JP2015201183A (ja) | 走行路メタデータを用いた空中写真/映像におけるコンテキスト・アウェア物体検出 | |
JP2021530821A (ja) | 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム | |
JP2009186364A (ja) | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム | |
JP6460700B2 (ja) | トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム | |
KR20110084028A (ko) | 이미지 데이터를 이용한 거리 측정 장치 및 방법 | |
JP7057632B2 (ja) | ジオアーク(geoarc)を使用したビークルの二次元位置の特定 | |
JP7386136B2 (ja) | 雲高計測装置、計測点決定方法、および雲種類決定方法 | |
Chan et al. | Temporal analysis and automatic calibration of the Velodyne HDL-32E LiDAR system | |
JP2016118502A (ja) | 点群解析処理装置、方法、及びプログラム | |
JP6867465B2 (ja) | モバイルプラットフォームの動作モードを選択するシステム及び方法 | |
KR101392222B1 (ko) | 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법 | |
JP6762108B2 (ja) | 目標物検知装置、処理方法、プログラム | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
JP2010107224A (ja) | 位置特定装置及び異動建物検出装置 | |
KR101782299B1 (ko) | 가스시설물 점검 방법 | |
WO2023286217A1 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
de Haag et al. | Implementation of a Flash-LADAR aided inertial navigator | |
JP7317684B2 (ja) | 移動体、情報処理装置、及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160527 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160527 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180409 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181112 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181120 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20181214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6666245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |