TWI816387B - 語意距離地圖的建構方法及其相關移動裝置 - Google Patents
語意距離地圖的建構方法及其相關移動裝置 Download PDFInfo
- Publication number
- TWI816387B TWI816387B TW111116954A TW111116954A TWI816387B TW I816387 B TWI816387 B TW I816387B TW 111116954 A TW111116954 A TW 111116954A TW 111116954 A TW111116954 A TW 111116954A TW I816387 B TWI816387 B TW I816387B
- Authority
- TW
- Taiwan
- Prior art keywords
- obstacle
- image
- pixel
- distance map
- semantic distance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000010408 sweeping Methods 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Robotics (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Mobile Radio Communication Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一種語意距離地圖的建構方法，用於一移動裝置，其包含有擷取一影像；取得該影像一單點測距結果；對該影像進行辨識，以獲得該影像中之每一障礙物之一辨識結果；以及根據該影像、該單點測距結果以及該影像之每一障礙物之該辨識結果，決定對應於該影像之一語意距離地圖；其中，該語意距離地圖之每一像素包含一障礙物資訊，並且該障礙物資訊包含該移動裝置與一障礙物之一距離、該障礙物之一種類以及該障礙物之一辨識機率。
Description
本發明係指一種語意距離地圖的建構方法及其相關移動裝置，尤指一種可準確判斷障礙物以執行清掃的語意距離地圖的建構方法及其相關移動裝置。
掃地機器人普遍用於家庭中，在掃地機器人執行清掃的過程中，需避開室內環境的各種障礙物。現有的掃地機器人通常採用單目相機進行測距，以根據量測到的距離進行避障，因此，當掃地機器人偵測到前方有障礙物時則直接避開，而無法進入障礙物底部進行清掃的功能。或者，當掃地機器人無法判斷障礙物底部的高度，而直接進入障礙物底部進行清掃，造成撞擊或受困。
因此，現有的技術有改進的必要。
有鑑於此，本發明之主要目的即在於提供一種語意距離地圖的建構方法及其相關移動裝置，以提升移動裝置於進行清掃時的避障能力。
本發明實施例揭露一種語意距離地圖的建構方法，用於一移動裝置，其包含有擷取一影像；取得該影像之一單點測距結果；對該影像進行辨識，以獲得該影像中之每一障礙物之一辨識結果；以及根據該影像、該單點測距結果以及該影像之每一障礙物之該辨識結果，決定對應於該影像之一語意距離地圖；其中，該語意距離地圖之每一像素包含一障礙物資訊，並且該障礙物資訊包含該移動裝置與一障礙物之一距離、該障礙物之一種類以及該障礙物之一辨識機率。
本發明實施例另揭露一種移動裝置，其包含有：一單目影像擷取裝置，用來擷取一影像；一非接觸式測距模組，用來取得該影像之一單點測距結果；以及一處理單元，耦接於該單目影像擷取裝置以及該非接觸式測距模組，用來對該影像進行辨識，以獲得該影像中之每一障礙物之一辨識結果；以及根據該影像、該單點測距結果以及該影像之每一障礙物之該辨識結果，決定對應於該影像之一語意距離地圖；其中，該語意距離地圖之每一像素包含一障礙物資訊，並且該障礙物資訊包含該移動裝置與一障礙物之一距離、該障礙物之一種類以及該障礙物之一辨識機率。
10:移動裝置
102:單目影像擷取裝置
104:非接觸式測距模組
106:記憶體單元
108:處理單元
1000:語意距離地圖之建構方法
1002-1022:步驟
1100:避障方法
1102-1116:步驟
BB:障礙物定界框
D1、D2:距離
H1、H2:高度
LS:光源
PN_1、PN_2:像素數量
p1:前辨識機率
p2:目前辨識機率
p3:更新後辨識機率
ratio:加權數值
SA:感測區域
第1圖為本發明實施例之一移動裝置之示意圖。
第2圖為本發明實施例之一非接觸式測距模組之運作方式之示意圖。
第3圖為本發明實施例之一障礙物定界框與一真實距離之一關係示意圖。
第4圖為本發明實施例之一成像映射關係之示意圖。
第5圖為本發明實施例之全局更新之示意圖。
第6圖及第7圖為本發明實施例之局部更新之示意圖。
第8圖為本發明實施例之移動裝置之一行走路徑之示意圖。
第9圖為本發明實施例之確定一障礙物底部高度之示意圖。
第10圖為本發明實施例之一語意距離地圖之建構方法之示意圖。
第11圖為本發明實施例之一避障方法之示意圖。
請參考第1圖，第1圖為本發明實施例之一移動裝置10之示意圖。移動裝置10包含一單目影像擷取裝置102、一非接觸式測距模組104、一記憶體單元106及一處理單元108。移動裝置10可以是一掃地機器人，以於地面上依照處理單元108的指示，於一空間中行走進行吸塵。單目影像擷取裝置102可設置於移動裝置10的前方，以擷取移動裝置10前方的一影像，例如一單眼鏡頭相機。非接觸式測距模組104可以是一雷射測距儀或紅外測距儀等光學式之單點測距模組，用來取得影像之一單點測距結果，其中單點測距結果可以是根據單目影像擷取裝置102所擷取的影像中，對應於影像中非接觸式測距模組104發出一光源(一雷射光源或一紅外光源)的照射位置的像素位置與移動裝置10之間之一距離。由於非接觸式測距模組104會被安裝於移動裝置10之一固定位置，因此非接觸式測距模組104的照射位置與單目影像擷取裝置102所擷取的影像的像素位置也為固定的。在一實施例中，非接觸式測距模組104可用來取得影像之部分像素或每一像素之單點測距結果。處理單元108可以是具有處理能力之一處理器，用來辨識影像以獲得影像中之每一障礙物之一辨識結果，以及根據影像、單點測距結果以及影像之障礙物之辨識結果，決定對應於影像之一語意距離地圖。如此一來，本發明實施例之移動裝置10即可根據具有障礙物資訊的語意距離地圖作為移動裝置10的行走策略依據。
詳細而言，請參考第2圖，第2圖為本發明實施例之非接觸式測距模組104之運作方式之示意圖。非接觸式測距模組104包含一光源LS及一感測區域SA，光源LS朝向移動裝置10前方發射一光束，當光束遇到前方障礙物並且散射回來至非接觸式測距模組104之感測區域SA後，可根據成像位置計算前方障礙物的距離。
語意距離地圖的每個像素可包含單目影像擷取裝置102所擷取的影像的障礙物資訊，其中每一像素包含最多一個障礙物資訊。換句話說，語意距離地圖的每個像素最多包含有距離移動裝置10的一個障礙物資訊。
障礙物資訊包含移動裝置10與一障礙物之一距離、障礙物之一種類以及障礙物之一辨識機率，並且語意距離地圖中每一像素的障礙物資訊可儲存於記憶體單元106。在一例中，辨識機率可以是一辨識結果的信心程度。此外在建構語意距離地圖之前，非接觸式測距模組104所取得的單點測距結果之一預設種類為一牆壁。
由於本發明實施例移動裝置10之非接觸式測距模組104所測量與障礙物的距離為一真實距離，因此當非接觸式測距模組104量測到前方有障礙物時，處理單元108將對應於障礙物的像素的辨識機率設為100%。在一實施例中，物件辨識的方法可採用基於YOLO(You Only Look Once)系列的Yolov4-tiny或Yolov5s等物件辨識網路模型，以降低整體參數量與運算需求。
在本發明實施例之處理單元108對影像進行辨識後，可得到影像中的
所有障礙物資訊，以及對應於障礙物的障礙物定界框(bounding box)BB，其中障礙物定界框BB的一最低座標高度可經由一座標高度對距離映射表決定，因此處理單元108可根據影像中的障礙物與對應於影像之像素之單點測距結果，決定障礙物之一深度資訊。在一實施例中，座標高度對距離映射表可儲存於記憶體單元106中。
如第3圖所示，障礙物定界框BB內的所有像素皆可視為障礙物於影像中所占的位置，因此，移動裝置10即可根據物件辨識結果的障礙物定界框BB的最低座標高度，參照座標高度對距離映射表，以決定與障礙物之間的距離。在第3圖的範例中，障礙物定界框BB的最低座標高度可對應至真實距離20公分。
藉由上述方法，處理單元108即可以辨識出障礙物定界框內BB的最低座標高度是否低於的地面成像最高高度，以決定落在影像中之地面之一地面障礙物，其中地面成像高度是指影像中地平線的座標高度，即地面與其他地方的分界線的座標高度。
詳細而言，請參考第4圖，當移動裝置10的前方沒有任何障礙物時(即地板無窮遠)，單目影像擷取裝置102所擷取到的影像中的地面成像高度接近一高度H1(單位為像素單元)；當移動裝置10的前方有牆壁時，移動裝置10的單目影像擷取裝置102所擷取到的地面成像高度為一高度H2(單位為像素單元)。因此，當單目影像擷取裝置102所擷取的環境位在室內時，高度H2小於高度H1。
當非接觸式測距模組104確定像素的障礙物種類為牆壁時，則可由其距離查詢座標高度對距離映射表，以確定地板成像高度H2；相反地，當非接觸
式測距模組104確定像素的障礙物種類為非牆壁時，高度H1等於高度H2。因此，本發明實施例之處理單元108即可根據單目影像擷取裝置102所擷取到的影像中的地面成像高度H2與高度H1之中較低的值，決定地面成像最高高度。
於處理單元108確定障礙物種類、辨識機率與障礙物距離後，處理單元108可據以更新每個像素的更新辨識機率，並且儲存至記憶體單元106的障礙物資訊。在一實施例中，用於更新像素的更新辨識機率公式可為：
其中，p3為更新後辨識機率，p1為前辨識機率，p2為目前辨識機率，ratio為用於更新的加權數值。公式(1)將極端的機率(即靠近0%或100%)視為具有較高信心度的機率，因此以距離50%作為更新加權數值的依據。如此一來，本發明實施例之移動裝置10即可快速辨識影像中的物件，以提高檢測的準確率，進而提高避障的性能。
值得注意的是，當更新後辨識機率大於或等於一預設機率時，處理單元108將對應的障礙物資訊(即障礙物距離與種類)儲存至記憶體單元106；反之，當更新後辨識機率小於預設機率時，則處理單元108不更新對應像素的障礙物資訊。舉例而言，當像素的更新後辨識機率大於或等於預設機率65%時，則更新其障礙物資訊；反之，當像素的更新後辨識機率小於預設機率65%時，則不更新其障礙物資訊。
如此一來，本發明實施例即可根據上述更新影像中所有像素的更新辨識機率，以完成一全局更新，並且將其更新辨識機率、障礙物資訊更新至對
應的記憶體單元106中。
在一實施例中，請參考第5圖，第5圖為本發明實施例之全局更新之示意圖。儲存於語意距離地圖的地面上障礙物資訊為「椅子、80%、30公分」、「玩具、10%、10公分」以及對應的原機率為「90%」及「5%」。處理單元108根據更新辨識機率公式可得到椅子的更新辨識機率為84%、玩具的更新辨識機率為7.9%，假設在此例中的更新辨識機率的預設機率為70%，於全局更新後，玩具的更新辨識機率為7.9%小於預設機率的70%，因此處理單元108刪除玩具的障礙物資訊，僅將「椅子、84%、30公分」儲存於語意距離地圖中。
由於本發明實施例之非接觸式測距模組104所測量的距離為真實距離，因此，當非接觸式測距模組104量測到與障礙物的距離與對應於像素的障礙物的座標高度對距離映射表的距離不同時，則採用非接觸式測距模組104所測量的距離，以完成一局部更新。
第6圖及第7圖為本發明實施例之局部更新之示意圖。如第6圖所示，全局更新的結果為「椅子、84%、30公分」，而非接觸式測距模組104所測量到與椅子對應到的像素距離為「牆壁、100%、40公分」，代表在椅子的後方有牆壁，因此重疊的像素部分以非接觸式測距模組104所執行的像素測距為主。
在另一實施例中，如第7圖所示，全局更新的結果為「椅子、84%、30公分」，而非接觸式測距模組104所測量到與椅子對應到的像素距離為「牆壁、100%、30公分」。由於非接觸式測距模組104所測量的距離為真實距離，因此重疊的像素部分以非接觸式測距模組104所執行的像素測距為主。在第7圖的實施
例中，非接觸式測距模組104所偵測到的障礙物種類由「牆壁」改為「椅子」。
本發明實施例之移動裝置10於更新完成語意距離地圖後，可進一步根據語意距離地圖決定一避障策略。第8圖為本發明實施例之移動裝置10之一行走路徑之示意圖。如第8圖所示，移動裝置10先根據座標高度對距離映射表與移動裝置10的寬度在特定距離下的成像寬度，確定移動裝置10的行走路徑在語意距離地圖上的像素位置。
接著，移動裝置10於局部更新時，透過非接觸式測距模組104的單點測距結果並且進行查表以得知障礙物的距離，以確定障礙物是否有具有底部空間(例如沙發、櫃子等障礙物距離地面的高度)，進而決定移動裝置10之一避障路徑。如此一來，當移動裝置10之行走路徑於對應的語意距離地圖上的像素具有障礙物圍著牆壁，並且與牆壁的距離大於與障礙物的距離時，移動裝置10之處理單元108即可計算障礙物底部高度，以確定移動裝置10是否進入障礙物的底部空間。
請參考第9圖，第9圖為本發明實施例之確定障礙物底部高度之示意圖。假設第9圖中的障礙物為沙發，當移動裝置10之單目影像擷取裝置102於第一時間所擷取的影像中，與障礙物之間具有一距離D1時，沙發之一底部像素至影像上緣的像素數量為PN_1個像素單元。由於移動裝置10向前移動時，單目影像擷取裝置102所擷取的影像會隨著靠近障礙物而放大，因此當移動裝置10之單目影像擷取裝置102於第二時間所擷取的影像中，與障礙物之間具有一距離D2時，沙發之底部像素至影像上緣的像素數量為PN_2個像素單元，此時距離D1大於D2，並且像素數量PN_1個大於像素數量PN_2個。
根據上述距離D1、D2以及像素數量PN_1、PN_2與單目影像擷取裝置102的映射關係，本發明實施例之處理單元108即可計算障礙物底部位置的實際高度，以確認移動裝置10是否進入障礙物的底部空間。
也就是說，若上述障礙物底部的高度大於移動裝置10之一高度時，移動裝置10即可略過與障礙物的距離，而以牆壁的距離作為避障依據，進而讓移動裝置10進入到障礙物底部之下；相反地，若上述障礙物底部的高度小於移動裝置10之高度時，移動裝置10避開障礙物。
上述關於移動裝置10之操作方式，可以歸納為一語意距離圖的建構方法1000，如第10圖所示，語意距離地圖之建構方法1000包含有下列步驟：步驟1002：開始；步驟1004：擷取影像；步驟1006：取得影像之單點測距結果；步驟1008：對影像進行辨識；步驟1010：決定落在影像中之地面之地面障礙物；步驟1012：查找障礙物定界框BB所對應的距離；步驟1014：更新地面上障礙物種類及辨識機率；步驟1016：全局更新；步驟1018：判斷單點測距模組的像素是否與全局更新之語意距離地圖重疊，若是，執行步驟1020，若否，執行步驟1022；步驟1020：局部更新；步驟1022：更新結束。
另一方面，上述關於移動裝置10於進行清掃時之決定避障路徑的流程也可歸納為一避障方法1100，避障方法1100包含下列步驟：步驟1102：完成更新語意距離圖；步驟1104：決定對應於行走路徑之語意距離圖之像素；步驟1106：行走路徑是否具有障礙物包圍著牆壁，若是，執行步驟1108，若否，執行步驟1114；步驟1108：確定障礙物底部高度；步驟1110：障礙物底部高度是否大於移動裝置10之高度，若是，執行步驟1112，若否，執行步驟1114；步驟1112：以牆壁距離作為避障依據；步驟1114：以障礙物距離作為避障依據；步驟1116：完成避障。
需注意的是，前述實施例係用以說明本發明之精神，本領域具通常知識者當可據以做適當之修飾，而不限於此。舉例來說，移動裝置10可另包含一物件辨識模型用來對影像進行物件辨識，另外，更新後辨識機率或更新辨識機率的預設機率等，皆可根據系統設定或使用者的需求進行更改，而不限於此，皆屬本發明之範疇。
綜上所述，本發明提供一種語意距離地圖的建構方法及其相關移動裝置，於移動裝置操作時，根據語意距離地圖以及非接觸式測距模組減少以物理碰撞進行避障的次數，並且以局部更新的方法，提升判別障礙物是否有底部空間，增加掃地機器人之便利性。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
1000:語意距離地圖之建構方法
1002-1022:步驟
Claims (16)
- 一種語意距離地圖的建構方法，用於一移動裝置，其包含有：擷取一影像；取得該影像之一單點測距結果；對該影像進行辨識，以獲得該影像中之每一障礙物之一辨識結果；以及根據該影像、該單點測距結果以及該影像之每一障礙物之該辨識結果，決定對應於該影像之一語意距離地圖；其中，該語意距離地圖之每一像素包含一障礙物資訊，並且該障礙物資訊包含該移動裝置與一障礙物之一距離、該障礙物之一種類以及該障礙物之一辨識機率；根據該影像之該至少一障礙物與對應於該影像之該單點測距結果，決定該至少一障礙物之一深度資訊；以及將對應於該語意距離地圖之每一像素之一障礙物資訊儲存至對應的像素記憶體；根據該語意距離地圖之每一像素之障礙物資訊，決定該影像之至少一障礙物定界框(bounding box)；決定落在該影像中之一地面之一地面障礙物；以及根據對應於該地面障礙物之該障礙物定界框於該影像中之一最低座標高度，決定該地面障礙物之深度資訊。
- 如請求項1所述之語意距離地圖的建構方法，其中該語意距離地圖之每一像素之一預設障礙物為一牆壁。
- 如請求項1所述之語意距離地圖的建構方法，其中該深度資訊是根據一映射關係獲得。
- 如請求項1所述之語意距離地圖的建構方法，其中根據該語意距離地圖之每一像素之該障礙物資訊，決定落在該影像中之該地面之該地面障礙物之步驟包含有：設定該移動裝置所取得之該影像中之一無窮遠地板為一第一成像高度；根據該語意距離地圖之每一像素之該障礙物資訊，決定對應於該影像之一第二成像高度，其中該第二成像高度為該影像中之一最高成像高度；根據該第一成像高度及該第二成像高度，決定一地板成像高度；以及根據該地板成像高度及該語意距離地圖之每一像素之障礙物資訊，決定落在該影像之該地面之該地面障礙物。
- 如請求項1所述之語意距離地圖的建構方法，其另包含：更新每一像素之辨識機率，以進行該語意距離地圖之一全局更新；根據該影像之該單點測距結果是否與該語意距離地圖之每一像素包含一障礙物資訊重疊；以及當該影像之任一像素之該單點測距結果與對應之該語意距離地圖之像素之障礙物資訊重疊時，對該語意距離地圖進行一局部更新。
- 如請求項5所述之語意距離地圖的建構方法，其中確定該影像之該單點測距結果是否與該語意距離地圖之每一像素包含該障礙物資訊重疊，以進行該全局更新之步驟包含：當該影像之任一像素之辨識機率高於一預設值時，更新該語意距離地圖之對應的辨識機率；以及當該影像之任一像素之辨識機率低於該預設值時，不更新該語意距離地圖之 對應的辨識機率。
- 如請求項1所述之語意距離地圖的建構方法，其另包含：確認該移動裝置之一行走路徑對應於該語意距離地圖之像素位置；根據該語意距離地圖之障礙物資訊，決定於該行走路徑之一避障路徑；以及根據該避障路徑以及於該避障路徑之障礙物資訊，確定對應之障礙物之底下是否具有一空間，以決定是否避開該障礙物。
- 如請求項7所述之語意距離地圖的建構方法，其中根據該避障路徑以及於該避障路徑上之障礙物資訊，確定對應之障礙物之底下是否具有該空間，以決定是否避開該障礙物之步驟包含：確定於一第一時間該移動裝置與一第一障礙物之一第一距離、該第一障礙物之一第一底部像素位置；確定於一第二時間該移動裝置與該第一障礙物之一第二距離、該第一障礙物之一第二底部像素位置；根據該第一距離、該第一底部像素位置、該第二距離及該第二底部像素位置，決定該第一障礙物之一底層高度；以及根據該第一障礙物之該底層高度，決定是否避開該第一障礙物。
- 一種移動裝置，其包含有：一單目影像擷取裝置，用來擷取一影像；一非接觸式測距模組，用來取得該影像之一單點測距結果；以及一處理單元，耦接於該單目影像擷取裝置以及該非接觸式測距模組，用來對該影像進行辨識，以獲得該影像中之每一障礙物之一辨識結果；以及根 據該影像、該單點測距結果以及該影像之每一障礙物之該辨識結果，決定對應於該影像之一語意距離地圖；其中，該語意距離地圖之每一像素包含一障礙物資訊，並且該障礙物資訊包含該移動裝置與一障礙物之一距離、該障礙物之一種類以及該障礙物之一辨識機率；其中該處理單元根據該影像之該至少一障礙物與對應於該影像之該單點測距結果，決定該至少一障礙物之一深度資訊；以及將對應於該語意距離地圖之每一像素之一障礙物資訊儲存至對應的像素記憶體；其中該處理單元根據該語意距離地圖之每一像素之障礙物資訊，決定該影像之至少一障礙物定界框(bounding box)；決定落在該影像中之一地面之一地面障礙物；以及根據對應於該地面障礙物之該障礙物定界框於該影像中之一最低座標高度，決定該地面障礙物之深度資訊。
- 如請求項9所述之移動裝置，另包含：一記憶體單元，用來儲存該語意距離地圖，其中該語意距離地圖之每一像素之一預設障礙物為一牆壁。
- 如請求項9所述之移動裝置，其中該深度資訊是根據一映射關係獲得。
- 如請求項9所述之移動裝置，其中該處理單元用來設定該移動裝置所取得之該影像中之一無窮遠地板為一第一成像高度；根據該語意距離地圖之每一像素之該障礙物資訊，決定對應於該影像之一第二成像高度，其中該第二成像高度為該影像中之一最高成像高度；根據該第一成像高度及該第 二成像高度，決定一地板成像高度；以及根據該地板成像高度及該語意距離地圖之每一像素之障礙物資訊，決定落在該影像之該地面之該地面障礙物。
- 如請求項9所述之移動裝置，其中該處理單元更新每一像素之辨識機率，以進行該語意距離地圖之一全局更新；根據該影像之該單點測距結果是否與該語意距離地圖之每一像素包含一障礙物資訊重疊；以及當該影像之任一像素之該單點測距結果與對應之該語意距離地圖之像素之障礙物資訊重疊時，對該語意距離地圖進行一局部更新。
- 如請求項13所述之移動裝置，其中該處理單元於該影像之任一像素之辨識機率高於一預設值時，重新調整更新該語意距離地圖之對應的辨識機率；以及當該影像之任一像素之辨識機率低於該預設值時，不調整更新該語意距離地圖之對應的辨識機率。
- 如請求項9所述之移動裝置，其中該處理單元用來確認該移動裝置之一行走路徑對應於該語意距離地圖之像素位置；根據該語意距離地圖之障礙物資訊，決定於該行走路徑之一避障路徑；以及根據該避障路徑以及於該避障路徑之障礙物資訊，確定對應之障礙物之底下是否具有一空間，以決定是否避開該障礙物。
- 如請求項15所述之移動裝置，其中該處理單元用來確定於一第一時間該移動裝置與一第一障礙物之一第一距離、該第一障礙物之一第一底部像素位置；確定於一第二時間該移動裝置與該第一障礙物之一第二距離、該第一障礙物之一第二底部像素位置；根據該第一距離、該第一底部像素位 置、該第二距離及該第二底部像素位置，決定該第一障礙物之一底層高度；以及根據該第一障礙物之該底層高度，決定是否避開該第一障礙物。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111116954A TWI816387B (zh) | 2022-05-05 | 2022-05-05 | 語意距離地圖的建構方法及其相關移動裝置 |
| US17/750,391 US11972587B2 (en) | 2022-05-05 | 2022-05-22 | Method for establishing semantic distance map and related moving device |
| CN202210574060.9A CN117053785A (zh) | 2022-05-05 | 2022-05-24 | 语意距离地图的建构方法及其相关移动装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111116954A TWI816387B (zh) | 2022-05-05 | 2022-05-05 | 語意距離地圖的建構方法及其相關移動裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI816387B true TWI816387B (zh) | 2023-09-21 |
| TW202344863A TW202344863A (zh) | 2023-11-16 |
Family
ID=88648129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111116954A TWI816387B (zh) | 2022-05-05 | 2022-05-05 | 語意距離地圖的建構方法及其相關移動裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11972587B2 (zh) |
| CN (1) | CN117053785A (zh) |
| TW (1) | TWI816387B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201920982A (zh) * | 2017-08-25 | 2019-06-01 | 大陸商北京嘀嘀無限科技發展有限公司 | 用於檢測運輸工具的環境資訊之方法和系統 |
| US20200326715A1 (en) * | 2017-11-13 | 2020-10-15 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| CN113228137A (zh) * | 2018-12-27 | 2021-08-06 | 英特尔公司 | 碰撞规避***、深度成像***、交通工具、障碍物地图生成器及其方法 |
| US20220075074A1 (en) * | 2019-05-20 | 2022-03-10 | Denso Corporation | Obstacle detection device and obstacle detection method |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10788836B2 (en) * | 2016-02-29 | 2020-09-29 | AI Incorporated | Obstacle recognition method for autonomous robots |
| US9996944B2 (en) * | 2016-07-06 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for mapping an environment |
| JP6984215B2 (ja) * | 2017-08-02 | 2021-12-17 | ソニーグループ株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
| WO2019111702A1 (ja) * | 2017-12-05 | 2019-06-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2019135246A1 (en) * | 2018-01-08 | 2019-07-11 | Foresight Automotive Ltd | A multi-spectral system for providing pre-collision alerts |
| WO2019182974A2 (en) * | 2018-03-21 | 2019-09-26 | Nvidia Corporation | Stereo depth estimation using deep neural networks |
| CN109682381B (zh) * | 2019-02-22 | 2020-09-25 | 山东大学 | 基于全向视觉的大视场场景感知方法、***、介质及设备 |
| CN111724430A (zh) * | 2019-03-22 | 2020-09-29 | 株式会社理光 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口（深圳）智能科技有限公司 | 移动机器人及其控制方法和控制*** |
| CN111028350B (zh) * | 2019-11-21 | 2022-05-20 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
| US11967161B2 (en) * | 2020-06-26 | 2024-04-23 | Amazon Technologies, Inc. | Systems and methods of obstacle detection for automated delivery apparatus |
| WO2022000260A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳市大疆创新科技有限公司 | 地图的更新方法、装置、可移动平台及存储介质 |
| US20220057806A1 (en) * | 2020-08-18 | 2022-02-24 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for obstacle detection using a neural network model, depth maps, and segmentation maps |
| EP4217963A1 (en) * | 2020-09-23 | 2023-08-02 | QUALCOMM Incorporated | Decoding an image for active depth sensing to account for optical distortions |
| US11584525B2 (en) * | 2020-11-30 | 2023-02-21 | Saudi Arabian Oil Company | Deep learning-based localization of UAVs with respect to nearby pipes |
| CN114817426A (zh) * | 2021-01-28 | 2022-07-29 | 中强光电股份有限公司 | 地图建构装置及方法 |
-
2022
- 2022-05-05 TW TW111116954A patent/TWI816387B/zh active
- 2022-05-22 US US17/750,391 patent/US11972587B2/en active Active
- 2022-05-24 CN CN202210574060.9A patent/CN117053785A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201920982A (zh) * | 2017-08-25 | 2019-06-01 | 大陸商北京嘀嘀無限科技發展有限公司 | 用於檢測運輸工具的環境資訊之方法和系統 |
| US20200326715A1 (en) * | 2017-11-13 | 2020-10-15 | Raven Industries, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| CN113228137A (zh) * | 2018-12-27 | 2021-08-06 | 英特尔公司 | 碰撞规避***、深度成像***、交通工具、障碍物地图生成器及其方法 |
| US20220075074A1 (en) * | 2019-05-20 | 2022-03-10 | Denso Corporation | Obstacle detection device and obstacle detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202344863A (zh) | 2023-11-16 |
| US20230360239A1 (en) | 2023-11-09 |
| US11972587B2 (en) | 2024-04-30 |
| CN117053785A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10518414B1 (en) | Navigation method, navigation system, movement control system and mobile robot | |
| US11130238B2 (en) | Mobile control method, mobile robot and computer storage medium | |
| WO2019144541A1 (zh) | 一种清洁机器人 | |
| KR102219276B1 (ko) | 인테리어 공간의 3d 그리드 표현에서 2d 플로어 플랜 추출 | |
| CN114847803B (zh) | 机器人的定位方法及装置、电子设备、存储介质 | |
| CN109643127B (zh) | 构建地图、定位、导航、控制方法及***、移动机器人 | |
| EP4043988A1 (en) | Robot edge treading areal sweep planning method, chip, and robot | |
| CN112867424B (zh) | 导航、划分清洁区域方法及***、移动及清洁机器人 | |
| WO2022027869A1 (zh) | 一种基于边界的机器人区域划分方法、芯片及机器人 | |
| JP6732746B2 (ja) | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム | |
| TWI706763B (zh) | 移動式機器人及其控制方法 | |
| WO2020248458A1 (zh) | 一种信息处理方法、装置及存储介质 | |
| KR20120044768A (ko) | 로봇 청소기 및 이의 제어 방법 | |
| WO2022088611A1 (zh) | 障碍检测方法、装置、电子设备、存储介质及计算机程序 | |
| WO2023115658A1 (zh) | 智能避开障碍的方法及装置 | |
| KR101943359B1 (ko) | 로봇 청소기 및 이의 제어 방법 | |
| TWI816387B (zh) | 語意距離地圖的建構方法及其相關移動裝置 | |
| CN117008594A (zh) | 基于线激光的自行走设备避障方法及装置、设备和介质 | |
| KR20170106274A (ko) | 로봇 청소기 및 이의 제어 방법 | |
| CN113516715A (zh) | 目标区域录入方法、装置、存储介质、芯片及机器人 | |
| TWI824503B (zh) | 自移動設備及其控制方法 | |
| WO2024125318A1 (zh) | 一种机器人检测地毯的方法、避障方法、机器人和芯片 | |
| WO2024140348A1 (zh) | 障碍物识别方法、装置、电子设备及存储介质 | |
| CN117086887A (zh) | 机器人控制方法及装置、设备、介质、清洁机器人 | |
| KR20240057297A (ko) | 신경망 모델을 학습시키는 방법 및 전자 장치 |