JP7396691B2 - 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション - Google Patents
様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション Download PDFInfo
- Publication number
- JP7396691B2 JP7396691B2 JP2021501050A JP2021501050A JP7396691B2 JP 7396691 B2 JP7396691 B2 JP 7396691B2 JP 2021501050 A JP2021501050 A JP 2021501050A JP 2021501050 A JP2021501050 A JP 2021501050A JP 7396691 B2 JP7396691 B2 JP 7396691B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- infrared
- exposure time
- visual
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims description 144
- 230000007613 environmental effect Effects 0.000 title claims description 8
- 238000005286 illumination Methods 0.000 claims description 182
- 238000000034 method Methods 0.000 claims description 59
- 238000013507 mapping Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 230000004807 localization Effects 0.000 claims description 10
- 230000001953 sensory effect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 241001465754 Metazoa Species 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 35
- 230000003287 optical effect Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
- G01S1/703—Details
- G01S1/7032—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Exposure Control For Cameras (AREA)
Description
本出願は、2018年7月13日に出願された米国仮特許出願第62/697,520号に基づく優先権を主張し、上記出願の全体の内容は、参照することにより本明細書に援用される。
[技術分野]
本発明は、概して、モバイル機器(自律走行車、移動式配送ロボット、及び、ウェアラブル機器、娯楽機器、移動支援機器などのユーザに位置付けられる機器を含むが、それらに限定されるものではない)のナビゲーションに関し、より詳細には、動的非構造化環境におけるこのような機器のためのナビゲーションに関する。
[背景]
多種多様な無人搬送車(AGV)が、数十年の間、製造、及び倉庫の現場で物品を自動搬送するために用いられてきた。これらの環境は、一般的に、(例えば、機械可読な目標の提供によって)ロボットと共に用いられるように構築され、通常は、新たなまたは予期せぬ障害物に関してほとんど動的な変化を伴わず、一般的に一貫した照明条件が与えられる。これらAGVのタイプは、時間と共に、病院、研究所、及び、オフィス環境などの他の現場で、物品を運搬し、配送するための使用に適合されてきた。
[概要]
本開示の態様は、モバイル機器のためのビジュアルポジショニングシステム及び方法(訓練方法を含む)に関する。本明細書に開示されるビジュアルポジショニングシステムは、少なくとも1つの赤外線照明源に加えて、赤外線波長を検出するように構成される少なくとも1つのカメラも備える。赤外線投光照明源は、モバイル機器の位置推定(例えば、位置の確認)のために環境内の物体を照明するために用いられてもよく、構造化赤外線照明源は、環境内の(静的及び動的の両方の)障害物の検出及びマッピングのために物体を照明するために用いられてもよい。少なくとも1つのカメラ及び照明源の動作は、少なくとも1つのプロセッサによって調整され、赤外線投光照明源が、第1照明時間の間アクティブであり、構造化赤外線照明源が、第2照明時間の間アクティブであるようにされる。少なくとも1つのカメラは、第1照明時間を有する第1カメラ、及び第2照明時間を有する第2(例えば、深度)カメラを含んでもよい。画像による自己位置推定と地図作成の同時実行(ビジュアルSLAM)による地図は、第1カメラにて得られる画像を用いて構成されてもよい。カメラ及び照明源の調整、及び、カメラ及び少なくとも赤外線投光照明源の出力強度の選択は、様々な環境照明条件において1つのビジュアルSLAM地図を用いて、モバイル機器の位置推定及びナビゲーションを可能とするために、画像の一貫した露光量を提供する。非構造化住宅環境を自律ナビゲートするようにモバイルロボットを高速で訓練するための方法がさらに提供され、この方法は、モバイルロボットと関連付けられるオペレータインターフェースからオペレータ入力信号を受信することを含み、オペレータ入力信号は、異なる組の所望のロボット目的地の間の経路に沿ってモバイルロボットを案内する間に、規定ルートの記録を開始及び停止をするように構成され、規定ルートは、その後の位置特定及びナビゲーション動作の間にモバイルロボットによって用いられることとなるルートを特定する。非構造化住宅環境の少なくとも一部のビジュアルSLAM地図は、経路に沿ってモバイルロボットを案内する間に記録される周辺環境の画像から作成される。ビジュアルSLAM地図は、モバイルロボットによる非構造化住宅環境の事前の探索なく、且つ、非構造化住宅環境のいかなるビジュアルSLAM地図の事前の構築なく作成されてもよい。
モバイル機器のためのビジュアルポジショニングシステム及び関連する方法は、赤外線波長を検出するように構成される少なくとも1つのカメラ(任意に第1及び第2カメラに具体化される)、少なくとも1つの赤外線照明源、及び、少なくとも1つのプロセッサを利用する。赤外線投光照明源は、モバイル機器の位置推定(例えば、位置の確認)のために、環境において物体を照明するために用いられてもよく、構造化赤外線照明源は、環境において(静的及び動的の両方の)障害物の検出及びマッピングのために物体を照明するように用いられてもよい。少なくとも1つの赤外線カメラ及び照明源の動作は、赤外線投光照明源が、第1照明時間の間アクティブであり、構造化赤外線照明源が、第2照明時間の間アクティブであるように、少なくとも1つのプロセッサによって調整される。第1赤外線カメラは、環境内でモバイル機器の位置推定のために、赤外線投光照明源と連動して利用されてもよく、第2赤外線カメラ(例えば、深度カメラ)は、環境において(静的及び動的の両方の)障害物の検出及びマッピングのために物体を照明するように、構造化赤外線照明源と連動して利用されてもよい。第1赤外線カメラによって得られた画像は、モバイル機器の環境の、画像による自己位置推定と地図作成の同時実行(ビジュアルSLAM)による地図を作成するために用いられてもよい。カメラと照明源との調整、及び、カメラ及び少なくとも1つの赤外線投光照明源の出力強度の選択は、様々な環境照明条件において、1つのビジュアルSLAM地図を用いたモバイル機器の位置推定及びナビゲーションを可能にするために、画像の一貫した露光量を提供する。
Claims (13)
- モバイル機器のためのビジュアルポジショニングシステムであって、
赤外線波長を検出するように構成され、画像による自己位置推定と地図作成の同時実行(ビジュアルSLAM)モジュールに画像を供給するように構成される少なくとも1つの第1カメラと、
赤外線波長を検出するように構成され、前記ビジュアルSLAMモジュールに画像を供給するように構成される少なくとも1つの第2カメラと、
第1照明時間の間に、前記少なくとも1つの第1カメラの視野内の環境に、実質的に非構造化の投光照明を提供するように構成される第1赤外線照明源と、
第2照明時間の間に、前記少なくとも1つの第2カメラの視野内の環境に、構造化赤外線照明パターンを提供するように構成される第2赤外線照明源と、
前記少なくとも1つの第1カメラ、前記少なくとも1つの第2カメラ、前記第1赤外線照明源、及び前記第2赤外線照明源の動作を制御するように構成される少なくとも1つのプロセッサと、
を備え、
前記少なくとも1つの第2カメラの視野の少なくとも一部は、前記少なくとも1つの第1カメラの視野と重なり、
前記少なくとも1つのプロセッサは、前記少なくとも1つの第1カメラの第1露光時間及び前記少なくとも1つの第2カメラの第2露光時間を制御するように構成され、
前記第1露光時間は、前記第1照明時間と少なくとも部分的に重なり、前記第2赤外線照明源は前記第1露光時間の間、非アクティブであり、
前記第2露光時間は、前記第2照明時間と少なくとも部分的に重なり、
前記第2露光時間は、前記第1露光時間と一致しない、
ビジュアルポジショニングシステム。 - モバイル機器のためのビジュアルポジショニングシステムであって、
赤外線波長を検出するように構成され、画像による自己位置推定と地図作成の同時実行(ビジュアルSLAM)モジュールに画像を供給するように構成される少なくとも1つの第1カメラと、
赤外線波長を検出するように構成され、前記ビジュアルSLAMモジュールに画像を供給するように構成される少なくとも1つの第2カメラと、
第1照明時間の間に、前記少なくとも1つの第1カメラの視野内の環境に、実質的に非構造化の投光照明を提供するように構成される第1赤外線照明源と、
第2照明時間の間に、前記少なくとも1つの第2カメラの視野内の環境に、構造化赤外線照明パターンを提供するように構成される第2赤外線照明源と、
前記少なくとも1つの第1カメラ、前記少なくとも1つの第2カメラ、前記第1赤外線照明源、及び前記第2赤外線照明源の動作を制御するように構成される少なくとも1つのプロセッサと、
を備え、
前記少なくとも1つのプロセッサは、前記少なくとも1つの第1カメラの第1露光時間及び前記少なくとも1つの第2カメラの第2露光時間を制御するように構成され、
前記第1露光時間は、前記第1照明時間と少なくとも部分的に重なり、前記第2赤外線照明源は前記第1露光時間の間、非アクティブであり、
前記第2露光時間は、前記第2照明時間と少なくとも部分的に重なり、
前記第2露光時間は、前記第1露光時間と一致せず、
前記少なくとも1つのプロセッサは、(i)前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラによって取得される画像の露光量を評価し、(ii)前記第1カメラによって取得される画像の露光量の評価に対応して前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラの前記露光時間を変化させるように構成される、
ビジュアルポジショニングシステム。 - 前記第1照明時間は、前記第2露光時間と少なくとも部分的に重なる、請求項1または請求項2に記載のビジュアルポジショニングシステム。
- 前記第2照明時間は、前記第1露光時間と重ならない、請求項1または請求項2に記載のビジュアルポジショニングシステム。
- 前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラを含むステレオ赤外線カメラを含む、請求項1~4の何れか1項に記載のビジュアルポジショニングシステム。
- (i)前記少なくとも1つの第1カメラまたは(ii)前記少なくとも1つの第2カメラの1つまたは複数は、少なくとも1つの単眼赤外線カメラを含む、請求項1~4の何れか1項に記載のビジュアルポジショニングシステム。
- 前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラによって取得される画像の一貫した露光量を提供して様々な環境照明条件にわたって1つのビジュアルSLAM地図を用いた前記モバイル機器の位置推定及びナビゲーションを可能とするために、前記少なくとも1つのプロセッサは構成され、前記少なくとも1つの第1カメラと前記少なくとも1つの第2カメラの感度は選択され、前記第1赤外線照明源の出力強度は選択される、請求項1~6の何れか1項に記載のビジュアルポジショニングシステム。
- 前記ビジュアルSLAMモジュールに、前記モバイル機器の方位及び加速度の変化を示す信号を供給するように構成される少なくとも1つの慣性計測装置をさらに備える、請求項1~7の何れか1項に記載のビジュアルポジショニングシステム。
- 前記モバイル機器と関連付けられる少なくとも1つのセンサをさらに備え、前記ビジュアルポジショニングシステムは、環境内の前記モバイル機器の手動または自律ナビゲーションの間に、(i)前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラによって取得される映像情報、及び/または画像と、(ii)前記少なくとも1つのセンサによって提供される知覚情報と、を記録するように構成される、請求項1~7の何れか1項に記載のビジュアルポジショニングシステム。
- 前記少なくとも1つのプロセッサは、前記環境のビジュアルSLAM地図を作成、且つ/または更新するために、記録された、前記少なくとも1つのカメラによって取得される映像情報、及び/または画像を処理し、前記少なくとも1つのセンサによって提供される知覚情報を処理するように構成される、請求項9に記載のビジュアルポジショニングシステム。
- 前記少なくとも1つのプロセッサは、(i)前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラによって取得される画像の露光量を評価し、(ii)前記第1カメラによって取得される画像の露光量の評価に対応して前記少なくとも1つの第1カメラ及び前記少なくとも1つの第2カメラの前記露光時間を変化させるように構成される、請求項1に記載のビジュアルポジショニングシステム。
- 自律または半自律移動走行車と請求項1~11の何れか1項に記載のビジュアルポジショニングシステムを備えるモバイル機器。
- 人間または動物のユーザによって身に着けられるように構成される、請求項1~11の何れか1項に記載のビジュアルポジショニングシステムを備えるモバイル機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023198151A JP2024042693A (ja) | 2018-07-13 | 2023-11-22 | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862697520P | 2018-07-13 | 2018-07-13 | |
US62/697,520 | 2018-07-13 | ||
PCT/US2019/041846 WO2020014706A1 (en) | 2018-07-13 | 2019-07-15 | Visual navigation for mobile devices operable in differing environmental lighting conditions |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023198151A Division JP2024042693A (ja) | 2018-07-13 | 2023-11-22 | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021532462A JP2021532462A (ja) | 2021-11-25 |
JPWO2020014706A5 JPWO2020014706A5 (ja) | 2022-07-27 |
JP7396691B2 true JP7396691B2 (ja) | 2023-12-12 |
Family
ID=69142074
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501050A Active JP7396691B2 (ja) | 2018-07-13 | 2019-07-15 | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション |
JP2023198151A Pending JP2024042693A (ja) | 2018-07-13 | 2023-11-22 | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023198151A Pending JP2024042693A (ja) | 2018-07-13 | 2023-11-22 | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション |
Country Status (5)
Country | Link |
---|---|
US (2) | US11287262B2 (ja) |
EP (1) | EP3821206A4 (ja) |
JP (2) | JP7396691B2 (ja) |
CN (1) | CN112714858B (ja) |
WO (1) | WO2020014706A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI3805733T3 (fi) * | 2018-05-31 | 2024-01-18 | Psm Int Inc | Laadunmittausmenetelmä ja laadunmittauslaite pitkää levymateriaalia varten |
WO2020014706A1 (en) | 2018-07-13 | 2020-01-16 | Labrador Systems, Inc. | Visual navigation for mobile devices operable in differing environmental lighting conditions |
US11829143B2 (en) * | 2018-11-02 | 2023-11-28 | Aurora Operations, Inc. | Labeling autonomous vehicle data |
CN111209353B (zh) * | 2018-11-21 | 2024-06-14 | 驭势科技(北京)有限公司 | 一种视觉定位地图加载方法、装置、***和存储介质 |
EP3890300B1 (en) * | 2020-04-03 | 2023-01-25 | Uav Autosystems Hovering Solutions España, S.L. | A self-propelled vehicle |
CN111692456A (zh) * | 2020-06-23 | 2020-09-22 | 李柏松 | 一种用于管道检测的slam***及方法 |
US20220070353A1 (en) * | 2020-08-27 | 2022-03-03 | Shield Ai | Unmanned aerial vehicle illumination system |
US11609583B2 (en) * | 2020-10-09 | 2023-03-21 | Ford Global Technologies, Llc | Systems and methods for nighttime delivery mobile robot with hybrid infrared and flash lighting |
CN112864778A (zh) * | 2021-03-08 | 2021-05-28 | 北京石头世纪科技股份有限公司 | 线激光模组和自移动设备 |
US20220284707A1 (en) * | 2021-03-08 | 2022-09-08 | Beijing Roborock Technology Co., Ltd. | Target detection and control method, system, apparatus and storage medium |
SE544614C2 (en) * | 2021-03-22 | 2022-09-27 | Husqvarna Ab | Improved navigation for a robotic work tool in an area of insufficient signal reception |
WO2023133419A2 (en) * | 2022-01-04 | 2023-07-13 | Labrador Systems, Inc. | Tip-resistant caster assembly and mobile apparatus, and method facilitating autonomous navigation |
WO2024102083A1 (en) * | 2022-07-11 | 2024-05-16 | Delivers Ai Robotik Otonom Surus Bilgi Teknolojileri A.S. | A delivery system and mapping method for a delivery robot |
CN115276813B (zh) * | 2022-07-18 | 2023-07-21 | 瑞斯康达科技发展股份有限公司 | 波长自动适配方法、光纤通信***及计算机可读存储介质 |
WO2024016101A1 (en) * | 2022-07-18 | 2024-01-25 | Intelligent Cleaning Equipment Holdings Co., Ltd. | Systems and methods for robotic navigation, teaching and mapping |
US11800244B1 (en) * | 2022-08-13 | 2023-10-24 | Mojtaba Vaziri | Method and apparatus for an imaging device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013544449A (ja) | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
JP2016540186A (ja) | 2013-09-27 | 2016-12-22 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ハイブリッドフォトナビゲーションおよびマッピング |
JP2017527777A (ja) | 2014-06-20 | 2017-09-21 | クアルコム,インコーポレイテッド | 時間共有を使用する自動複数深度カメラ同期化 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4954962A (en) * | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
US8538636B2 (en) * | 1995-06-07 | 2013-09-17 | American Vehicular Sciences, LLC | System and method for controlling vehicle headlights |
JP4161910B2 (ja) * | 2004-01-28 | 2008-10-08 | 株式会社デンソー | 距離画像データ生成装置及び生成方法,プログラム |
US9250081B2 (en) * | 2005-03-25 | 2016-02-02 | Irobot Corporation | Management of resources for SLAM in large environments |
JP2010130343A (ja) * | 2008-11-27 | 2010-06-10 | Fujifilm Corp | 撮像装置及びその駆動制御方法 |
KR101241803B1 (ko) * | 2010-06-25 | 2013-03-14 | 엠텍비젼 주식회사 | 멀티 카메라 시스템을 이용한 차량용 영상 녹화 장치 및 방법 |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
US8779681B2 (en) | 2011-06-03 | 2014-07-15 | Osram Sylvania Inc. | Multimode color tunable light source |
US9037396B2 (en) | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
US11208628B2 (en) * | 2013-08-09 | 2021-12-28 | Massachusetts Institute Of Technology | Nanobionic engineering of organelles and photosynthetic organisms |
CN113916230A (zh) * | 2014-11-26 | 2022-01-11 | 艾罗伯特公司 | 用于使用机器视觉***执行同时定位和映射的***和方法 |
CN107850899B (zh) * | 2015-05-23 | 2022-04-19 | 深圳市大疆创新科技有限公司 | 使用惯性传感器和图像传感器的传感器融合 |
WO2017041303A1 (en) * | 2015-09-11 | 2017-03-16 | SZ DJI Technology Co., Ltd. | Systems and methods for detecting and tracking movable objects |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
CN105607635B (zh) * | 2016-01-05 | 2018-12-14 | 东莞市松迪智能机器人科技有限公司 | 自动导引车全景光学视觉导航控制***及全向自动导引车 |
KR102417177B1 (ko) | 2016-02-18 | 2022-07-05 | 애플 인크. | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 |
US10204262B2 (en) * | 2017-01-11 | 2019-02-12 | Microsoft Technology Licensing, Llc | Infrared imaging recognition enhanced by 3D verification |
CN111727158B (zh) | 2017-11-03 | 2022-05-06 | 拉布拉多***公司 | 用于物件取放和运输的室内自动机器人*** |
US10565720B2 (en) * | 2018-03-27 | 2020-02-18 | Microsoft Technology Licensing, Llc | External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality |
US10890921B2 (en) * | 2018-05-31 | 2021-01-12 | Carla R. Gillett | Robot and drone array |
US11048265B2 (en) * | 2018-06-18 | 2021-06-29 | Zoox, Inc. | Occlusion aware planning |
WO2020014706A1 (en) | 2018-07-13 | 2020-01-16 | Labrador Systems, Inc. | Visual navigation for mobile devices operable in differing environmental lighting conditions |
-
2019
- 2019-07-15 WO PCT/US2019/041846 patent/WO2020014706A1/en unknown
- 2019-07-15 JP JP2021501050A patent/JP7396691B2/ja active Active
- 2019-07-15 EP EP19835081.1A patent/EP3821206A4/en active Pending
- 2019-07-15 CN CN201980059460.2A patent/CN112714858B/zh active Active
- 2019-07-15 US US17/257,472 patent/US11287262B2/en active Active
-
2022
- 2022-03-24 US US17/703,096 patent/US11898848B2/en active Active
-
2023
- 2023-11-22 JP JP2023198151A patent/JP2024042693A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013544449A (ja) | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
JP2016540186A (ja) | 2013-09-27 | 2016-12-22 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | ハイブリッドフォトナビゲーションおよびマッピング |
JP2017527777A (ja) | 2014-06-20 | 2017-09-21 | クアルコム,インコーポレイテッド | 時間共有を使用する自動複数深度カメラ同期化 |
Also Published As
Publication number | Publication date |
---|---|
US11898848B2 (en) | 2024-02-13 |
JP2021532462A (ja) | 2021-11-25 |
WO2020014706A1 (en) | 2020-01-16 |
EP3821206A1 (en) | 2021-05-19 |
CN112714858A (zh) | 2021-04-27 |
US20210164785A1 (en) | 2021-06-03 |
US20220214172A1 (en) | 2022-07-07 |
JP2024042693A (ja) | 2024-03-28 |
US11287262B2 (en) | 2022-03-29 |
EP3821206A4 (en) | 2021-08-18 |
CN112714858B (zh) | 2024-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7396691B2 (ja) | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション | |
US11830618B2 (en) | Interfacing with a mobile telepresence robot | |
US11468983B2 (en) | Time-dependent navigation of telepresence robots | |
CN110475717A (zh) | 用于uav和其他自主车辆的室内测绘和模块化控制以及相关***和方法 | |
KR20220017515A (ko) | 게임 플레이를 통한 환경의 세부 데이터 세트 생성 방법 및 시스템 | |
CN104850120B (zh) | 基于ihdr自主学习框架的轮式移动机器人导航方法 | |
CN108780319A (zh) | 软件更新方法、***、移动机器人及服务器 | |
Magallán-Ramírez et al. | Implementation of NAO robot maze navigation based on computer vision and collaborative learning | |
JP2006051864A (ja) | 自動飛行制御システムおよび自動飛行制御方法 | |
US11076137B1 (en) | Modifying projected images | |
US20230205198A1 (en) | Information processing apparatus, route generation system, route generating method, and non-transitory recording medium | |
Teh et al. | Vision Based Indoor Surveillance Patrol Robot Using Extended Dijkstra Algorithm in Path Planning: Manuscript Received: 18 October 2021, Accepted: 4 November 2021, Published: 15 December 2021 | |
JP2021071765A (ja) | 経路データ収集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7396691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |