TW201825037A - 移動式清掃機器人及其控制方法 - Google Patents

移動式清掃機器人及其控制方法 Download PDF

Info

Publication number
TW201825037A
TW201825037A TW106140379A TW106140379A TW201825037A TW 201825037 A TW201825037 A TW 201825037A TW 106140379 A TW106140379 A TW 106140379A TW 106140379 A TW106140379 A TW 106140379A TW 201825037 A TW201825037 A TW 201825037A
Authority
TW
Taiwan
Prior art keywords
obstacle
cleaning robot
mobile cleaning
image
unit
Prior art date
Application number
TW106140379A
Other languages
English (en)
Other versions
TWI660703B (zh
Inventor
盧東琦
白承勉
白承珉
李成勳
Original Assignee
南韓商Ｌｇ電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商Ｌｇ電子股份有限公司 filed Critical 南韓商Ｌｇ電子股份有限公司
Publication of TW201825037A publication Critical patent/TW201825037A/zh
Application granted granted Critical
Publication of TWI660703B publication Critical patent/TWI660703B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

本發明揭示一種移動式清掃機器人，包括：一行進單元，被配置以移動一本體；一影像獲取單元，被配置以獲取該本體的一周圍影像；一感測器單元，具有一個或多個感測器，被配置以在該本體移動時檢測障礙物；一控制器，被配置以在該感測器單元檢測到障礙物時，基於該影像獲取單元所獲取的影像，識別該障礙物的屬性，並且基於該障礙物的屬性，控制該行進單元的驅動；以及一聲音輸出單元，被配置以當所識別的障礙物的屬性係表示可移動障礙物時，輸出預設聲音。因此，該移動式清掃機器人提高穩定性、使用者便利性、行駛效率、以及清潔效率。

Description

移動式清掃機器人及其控制方法
本發明涉及一種移動式清掃機器人及其控制方法，尤其是涉及一種移動式清掃機器人及其控制方法，該移動式清掃機器人能夠識別諸如可移動障礙物的障礙物並執行迴避行駛。
一般來說，機器人已經被開發出來用於工業使用，並負責一部分工廠自動化。近年來，機器人的應用領域進一步擴大，並且醫療機器人、航天機器人等已得到了發展，且家庭中可以使用的家用機器人也被製造出來。在這些機器人中，存在一種能夠自主行駛的移動式機器人。
家用機器人的代表性示例是清掃機器人，它是一種用於自行行進特定區域的同時，並吸入和清潔周圍灰塵和異物的電子裝置。
移動式清掃機器人能夠自行移動，並且使用複數個感測器執行迴避行駛，以避開障礙物。
通常，移動式清掃機器人利用紅外線感測器或超音波感測器來檢測障礙物。紅外線感測器基於從障礙物反射的光量和接收反射光所需的時間來判定障礙物的存在和到該障礙物的距離。超音波感測器發射超音波，並且如果存在由障礙物反射的超音波，則超音波感測器基於何時發射超音波與何時接收到反射超音波之間的時間差來判定到障礙物的距離。
同時，障礙物的識別和迴避不僅極大地影響行駛性能，而且進一步影響移動式清掃機器人的清潔性能，因此，需要確保完美的障礙物識別信賴。
現有技術(韓國專利第10-0669892號)揭露一種透過組合紅外線感測器和超音波感測器以高可靠性識別障礙物的技術。
然而，該現有技術(韓國專利第10-0669892號)不能判定障礙的屬性。
圖1係說明由現有的移動式清掃機器人檢測並避開障礙物的方法的視圖。
參考圖1，機器人真空吸塵器在移動的同時透過抽吸灰塵和異物來進行清潔(S11)。
超音波感測器檢測由障礙物反射的超音波信號，並識別障礙物的存在(S12)，然後判定障礙物的高度是否低到足以讓吸塵器越過(S13)。
如果判定障礙物低到足以讓機器人真空吸塵器越過，則機器人真空吸塵器直線前進(S14)。否則，機器人真空吸塵器可能會旋轉90°(S15)再繼續行進。
例如，如果障礙物是低台階，則機器人真空吸塵器識別該台階，並且如果可能越過該台階，則越過該台階並繼續行進。
然而，如果機器人真空吸塵器考慮的障礙是電線，則機器人真空吸塵器在行進時可能被電線卡住並限制住。
另外，由於風扇基座的高度與台階的高度相近或者比台階的高度低，因此可以判定機器人真空吸塵器可以越過。在這種情況下，機器人真空吸塵器可以設法爬上風扇基座，但是在某些時候，輪子可能保持旋轉而沒有任何牽引力。
此外，如果諸如人和寵物的可移動障礙物移動，則在機器人真空吸塵器的迴避行駛期間，障礙物可能與機器人真空吸塵器碰撞。
此外，機器人真空吸塵器可能會跟隨著注意到機器人真空吸塵器移動的使用者來移動，並且試圖避開機器人真空吸塵器，因此，機器人真空吸塵器可能干擾使用者。
因此，需要一種識別前方障礙物的屬性並基於該屬性改變運動模式的技術。
同時，諸如深度學習等人工智慧和機器學習也越來越受到人們的關注。
機器學習是一種人工智慧領域，透過電腦學習資料並基於學習到的資料執行諸如預測和分類等任務。
湯米．米切爾(Tom M.Mitchell)提出一個最著名的機器學習定義：“電腦程式被認為是從相對某個任務T的經驗E和一些性能衡量P來學習，如果在該任務T上的表現，經過P的衡量，隨著經驗E而增長“，也就是說，機器學習是通過經驗E相對於任務T來改善性能。
現有的機器學習主要是關於分類(classification)、迴歸(regression)、和群集(clustering)模型。特別是，在迴歸中的地圖學習的情況下，使用者需要定義學習資料的特徵和用於基於所定義的特徵區分新資料的學習模型。
同時，最近又開發了不同於現有機器學習的深度學習技術。深度學習是一種人工智慧技術，它允許電腦基於類神經網路(Artificial Neural Networks,ANN)進行學習，也就是說，深度學習是一種電腦能夠自行探索和判定其特徵的技術。
加速深度學習發展的觸發因素之一是提供作為開放原始碼(open source)的深度學習框架。例如，深度學習框架的示例包括：加拿大蒙特利爾大學的Theano、美國紐約大學的Torch、加利福尼亞州巴克利大學的Caffe、和Google的TensorFlow。
由於深度學習框架是公開的，為了高效率學習和識別，使用何種學習過程、何種學習方法、以及擷取和選擇哪些資料用於學習變得越來越重要。
此外，將人工智慧和機器學習應用於各種產品和服務都在持續努力中。
本發明的目的是提供一種移動式清掃機器人和控制方法，該移動式清掃機器人能夠判定障礙物的屬性並且基於該屬性來調整行駛模式，從而能夠高度自信地識別障礙物並執行迴避行駛。
本發明的另一個目的是提供一種移動式清掃機器人和控制方法，該移動式清掃機器人能夠獲取影像資料以提高識別障礙物屬性的準確性。
本發明的另一目的在於提供一種移動式清掃機器人及其控制方法，該移動式清掃機器人根據障礙物的識別結果，進行諸如前進行駛、後退行駛、停止、繞行等動作，從而增強移動式清掃機器人的穩定性和使用便利性，並且提高行駛效率和清潔效率。
本發明的另一個目的是提供一種移動式清掃機器人和控制方法，該移動式清掃機器人能夠基於機器學習準確地識別障礙物的屬性。
本發明的另一個目的是提供一種移動式清掃機器人和控制方法，該移動式清掃機器人能夠有效率地執行機器學習並提取用於識別障礙物屬性的資料。
在本發明的一總體態樣中，提供一種移動式清掃機器人，包括：依行進單元，被配置以移動一本體；一影像獲取單元，被配置以獲取該本體的一周圍影像；一感測器單元，具有一個或多個感測器，被配置以在該本體移動時檢測一障礙物；一控制器，被配置以在該感測器單元檢測到一障礙物時，基於該影像獲取單元所獲取的影像，識別該障礙物的屬性，並且基於該障礙物的屬性，控制該行進單元的行駛；以及一聲音輸出單元，被配置以當所識別的該障礙物的屬性係表示一可移動障礙物時，輸出預設聲音。因此，該移動式清掃機器人提高穩定性、使用者便利性、行駛效率、以及清潔效率。
在本發明的另一總體態樣中，提供一種移動式清掃機器人的控制方法，該方法包括：在該移動式清掃機器人的一本體移動的同時，由一感測器單元檢測一障礙物；當該感測器單元檢測到一障礙物時，基於一影像獲取單元所獲取的影像，識別該障礙物的屬性；當該障礙物的屬性係表示一可移動障礙物時，輸出預設聲音；以及基於該障礙物的屬性，控制一行進單元的行駛。
根據本發明的實施例，移動式清掃機器人可以判定一障礙物的屬性並且根據該屬性調整行駛模式，從而能夠以高度自信執行一障礙物識別操作和一迴避行駛操作。
另外，根據本發明的至少一個實施例，可以獲取提高障礙物屬性的識別精度的影像資料。
此外，根據本發明的至少一個實施例，可以提供一種移動式清掃機器人及其控制方法，該移動式清掃機器人執行諸如向前行駛、向後行駛、停止、和繞行的操作從而提高移動式清掃機器人的穩定性和使用者便利性，並且提高行駛效率和清潔效率。
另外，根據本發明的至少一個實施例，可以提供一種移動式清掃機器人及其控制方法，該移動式清掃機器人能夠基於機器學習而準確地識別障礙物的屬性。
此外，根據本發明的至少一個實施例，移動式清掃機器人能夠有效地執行機器學習並且提取用於識別障礙物屬性的資料。
70‧‧‧伺服器
100‧‧‧移動式清掃機器人
110‧‧‧本體
110h‧‧‧吸入孔
111‧‧‧殼體
112‧‧‧灰塵容器罩
120‧‧‧影像獲取單元
120a‧‧‧前置照相機
120b‧‧‧上置照相機
131‧‧‧障礙物檢測感測器
132‧‧‧懸崖檢測感測器
133‧‧‧充電端子
134‧‧‧主刷
135‧‧‧輔助刷
136(L)‧‧‧右輪
136(R)‧‧‧左輪
137‧‧‧操縱單元
138‧‧‧電池
139‧‧‧按鈕照相機感測器
140‧‧‧控制器
141‧‧‧驅動控制模組
142‧‧‧位置識別模組
143‧‧‧地圖產生模組
144‧‧‧障礙識別模組
144a‧‧‧DNN結構
144b‧‧‧儲存空間
145‧‧‧影像處理模組
150‧‧‧儲存單元
160‧‧‧行進單元
170‧‧‧感測器單元
171‧‧‧障礙物檢測感測器
172‧‧‧障礙物檢測感測器
180‧‧‧輸出單元
181‧‧‧聲音輸出單元
182‧‧‧顯示器
190‧‧‧通信單元
200‧‧‧充電基座
210‧‧‧充電端子
710‧‧‧處理器
720‧‧‧通信單元
730‧‧‧儲存單元
740‧‧‧學習模組
1010‧‧‧輸入資料
1020‧‧‧低級別特徵
1030‧‧‧中間級別特徵
1040‧‧‧高級別特徵
1050‧‧‧結果
1100‧‧‧輸入影像(影像資料)
1101‧‧‧特徵地圖
1102‧‧‧影像資料
1103‧‧‧特徵地圖
1104‧‧‧特徵地圖
P1‧‧‧第一圖案光(第一光圖案)
PV‧‧‧垂直圖案(垂直線)
PH‧‧‧水平圖案(水平線)
P2‧‧‧第二圖案光(第二光圖案)
1510‧‧‧基座單元
1520‧‧‧第一圖案投影單元
1530‧‧‧第二圖案投影單元
1540‧‧‧圖案識別單元
2021‧‧‧發光單元
2022‧‧‧光接收單元
2023‧‧‧基座
2024‧‧‧基座蓋
2025‧‧‧支撐件
2042‧‧‧滑輪
2043‧‧‧皮帶
2110‧‧‧光源
2120‧‧‧影像感測器
2130‧‧‧光接收透鏡
2132‧‧‧透明構件
2700‧‧‧障礙物
2800‧‧‧影像
2810‧‧‧部分(中央下部)區域
2820‧‧‧提取影像
3000‧‧‧提取影像
3010‧‧‧右下區域
3020‧‧‧提取影像
3100‧‧‧障礙物
3110‧‧‧第一位置
3120‧‧‧第二位置
3130‧‧‧第三位置
3111‧‧‧第一影像
3121‧‧‧第二影像
3131‧‧‧第三影像
h1‧‧‧距離
h2‧‧‧距離
h3‧‧‧距離
Θr1‧‧‧第一入射角
Θr2‧‧‧第二入射角
Θs‧‧‧角度視角
D1‧‧‧距離
D2‧‧‧距離
D3‧‧‧距離
ref1‧‧‧參考水平面
L1‧‧‧光
L2‧‧‧光
f‧‧‧焦距
o‧‧‧影像感測器的中心
p‧‧‧光點的位置
g‧‧‧光源與透鏡之間的距離
Θ‧‧‧角度
L‧‧‧物距
D11‧‧‧第一距離
D12‧‧‧第二距離
S11~S15‧‧‧步驟
S2210~S2290‧‧‧步驟
S2310~S2380‧‧‧步驟
圖1係說明由現有的移動式清掃機器人檢測並避開障礙物的方法的視圖；圖2係根據本發明一實施例之移動式清掃機器人和充電基座的立體圖；圖3係說明在圖2中所示之移動式清掃機器人的上部的視圖；圖4係說明在圖2中所示之移動式清掃機器人的前部；圖5係說明在圖2中所示之移動式清掃機器人的底部；圖6係說明根據本發明一實施例之移動式清掃機器人的主要元件之間的控制關係的方塊圖；圖7係說明根據本發明一實施例之伺服器的示意性方塊圖；圖8係說明根據本發明一實施例之移動式清掃機器人和伺服器的操作方法的視圖；圖9至圖11係解釋深度學習的視圖；圖12和圖13係用於解釋障礙物識別的視圖；圖14係根據本發明一實施例之移動式清掃機器人的立體圖；圖15係在圖14中所示之移動式清掃機器人的障礙物檢測感測器的前視圖和側視圖； 圖16至圖18係用於說明在圖14中所示之移動式清掃機器人的障礙物檢測感測器的操作的視圖；圖19和圖20係說明根據本發明一實施例之移動式清掃機器人的障礙物檢測感測器單元的視圖；圖21係用於說明在圖19及圖20中所示之感測器單元如何在檢測範圍內偵測到障礙物的原理的視圖；圖22係說明根據本發明一實施例之移動式清掃機器人的控制方法的流程圖；圖23係說明根據本發明一實施例之移動式清掃機器人的控制方法的流程圖；以及圖24至圖32係用於說明根據本發明一實施例之移動式清掃機器人的控制方法的視圖。
在下文中，現在將參照附圖詳細描述根據本發明的示例性實施例。雖然本發明將結合示例性實施例進行說明，但是應該理解的是，本說明並不是要將本發明限制到示例性實施例。
在附圖中，為了清楚和簡要地描述本發明，將省略與說明無關的部分，並且為了更清楚地描述本發明，元件的厚度、面積等係被放大或縮小，從而元件的厚度、面積等不受限於圖式。
同時，在以下描述中使用的元件的詞尾“模組”和“部分”僅僅考慮到說明書的易於編寫而被指定或使用，並且不具有彼此區分並且可以交換的含義或角色。
根據本發明一實施例的移動式清掃機器人100是指能夠使用輪子等自行移動的機器人，並且移動式清掃機器人100的示例可以包括輔助機器人和清潔機器人。參照圖式，將描述具有清潔功能的清潔機器人作為移動式清掃機器人100的示例。然而，本發明不限於此。
圖2係根據本發明一實施例之移動式清掃機器人和充電基座的立體圖。
圖3係說明在圖2中所示之移動式清掃機器人的上部的視圖；圖4係說明在圖2中所示之移動式清掃機器人的前部；以及圖5係說明在圖2中所示之移動式清掃機器人的底部。
圖6係說明根據本發明一實施例之移動式清掃機器人的主要元件之間的控制關係的方塊圖。
參照圖2至圖6，移動式清掃機器人100包括本體110以及用於獲取本體110的周圍影像的影像獲取單元120、120a、和120b。
在下文中，本體110的每個部分以如下方式限定：朝向行駛區域的上限的本體110的一部分是頂部(參見圖3)；朝向行駛區域的底面的本體110的一部分是底部(參見圖5)；以及在頂部與底部之間限定本體110的周邊的部分是前部(參見圖4)。
移動式清掃機器人100包括使本體110移動的行進單元160。行進單元160包括使本體110移動的至少一個驅動輪136。行進單元160包括連接到驅動輪136以使驅動輪136轉動的驅動馬達(圖中未示)。驅動輪136可以設置在本體110的左右兩側上，並且在本體110的左側和右側上的驅動輪136在下文中被稱為左輪136L和右輪136R。
左輪136L和右輪136R可以由單個驅動馬達驅動。在一些實施例中，可以提供用於驅動左輪136L的左驅動馬達和用於驅動右輪136R的右驅動馬達。透過以不同的轉速驅動左輪136L和右輪136R，可以改變本體110的行進方向。
用於抽吸空氣的抽吸單元可以形成在本體110的底部上。本體110可以包括：吸入孔，用於提供抽吸力以使空氣能夠通過吸入孔110h被抽吸；以及用於儲存灰塵與所吸入的空氣的灰塵容器(圖中未示)。
本體110可以包括殼體111，該殼體111形成容納移動式清掃機器人100的各種部件於其中的空間。在殼體111中，可以形成用於***和取出灰塵容器的開口，並且可以相對於殼體111可旋轉地設置用於打開和覆蓋開口的灰塵容器罩112。
可以設置具有通過吸入孔110h向外部露出刷毛的輥式主刷134、以及位於本體110的底部的前部區域且包括具有複數個徑向延伸的翼部的刷毛 的輔助刷135。透過這些刷子134和135的旋轉，灰塵可以從行駛區域內的地板上除去，並且從地板分離的灰塵通過吸入孔110h被吸入並收集在灰塵殼體中。
電池138提供移動式清掃機器人100的整體操作所需的電力以及驅動馬達。當電池138放電時，移動式清掃機器人100可以行進以返回到充電基座200，以便對電池138再充電。在這樣的返回行程中，移動式清掃機器人100可以自主地檢測充電基座200的位置。
充電基座200可以包括用於發送一預定返回信號的信號發送單元(圖中未示)。該返回信號可以是超音波信號或紅外線信號，但是本發明的態樣不限於此。
移動式清掃機器人可以包括用於接收返回信號的信號檢測單元(圖中未示)。充電基座200可以通過信號傳輸單元傳輸紅外線信號，並且信號檢測單元可以包括檢測紅外線信號的紅外線感測器。移動式清掃機器人100根據來自充電基座200的紅外線信號移動到充電基座200的位置，使得移動式清掃機器人100對接到充電基座200。由於這種對接，在移動式清掃機器人100的充電端子133與充電基座200的充電端子210之間進行充電。
在一些實施例中，移動式清掃機器人100可以行進以基於影像的方式或雷射圖案提取方式返回到充電基座200。
移動式清掃機器人100可以透過使用來自本體110的光學信號來識別並提取形成在充電基座200中的特定圖案，使得移動式清掃機器人100返回到充電基座200。
例如，根據本發明一實施例的移動式清掃機器人100可以包括圖案光學感測器(圖中未示)。
圖案光學感測器可以設置在本體110中。圖案光學感測器可以將光學圖案照射到移動式清掃機器人100的行駛區域上，並且拍攝光學圖案照射在其上的區域的影像，以便獲取一個輸入影像。例如，光學圖案可以是具有特定圖案的光，例如十字圖案。
同時，充電基座200可以包括以預定間隔彼此隔開的兩個或多個位置標記。
當光學圖案照射在其表面上時，位置標記使區域中的標記與其它區域區分開。因為照射在表面上的光學圖案由於位置標記的形態特徵而變形，或者因為表面由於位置標記的材料性質而具有與其它區域不同的光反射率值(或光吸收值)，於是產生此種標記。
位置標記可以包括形成標記的邊緣。照射在位置標記的表面上的光學圖案在邊緣上以一定角度彎曲，使得在輸入影像中可以找到一個點作為標記。
移動式清掃機器人100可以在電池用完時或者當從使用者接收到充電命令時自動搜索基站。
當移動式清掃機器人100搜索充電基地時，圖案提取單元從輸入影像中提取數個點，並且控制器140獲取所提取數個點的位置資訊。這樣的位置資訊可以包括透過考量從移動式清掃機器人100到點的距離所形成的三維(3D)空間上的位置。
控制器140可以計算所獲取數個點的位置資訊之間的點與點之間的實際距離，並且將實際距離與預設的參考值進行比較。如果實際距離與參考值之間的差落入預定範圍內，則可以判定找到了充電基座200。
另外，在使用影像獲取單元120的照相機獲取周圍影像之後，移動式清掃機器人100可以提取並識別對應於充電基座200的形狀，以返回充電基座200。
此外，移動式清掃機器人100可以使用影像獲取單元120的照相機來獲取周圍影像，並且識別來自充電基座200的特定光信號，以便返回到充電基座200。
影像獲取單元120可以包括拍攝行駛區域的影像的照相機模組。該照相機模組可以包括數位相機。該數位相機可以包括：至少一個光學透鏡；一影像感測器(例如，CMOS影像感測器)，包含其中由通過光學透鏡的光而形成影像的複數個光電二極體(例如像素)；以及一數位信號處理器(Digital Signal Processor,DSP)，基於從光電二極體輸出的信號形成影像。DSP可以產生靜止影像以及由靜止影像組成的畫面所組成的視頻。
期望的是影像獲取單元120包括：用於獲取本體110的前方影像的前置照相機120a；以及設置在本體110的頂部上的上置照相機120b，以獲取行駛區域的天花板的影像。然而，影像獲取單元120的位置和拍攝範圍不限於此。
在本實施例中，照相機安裝在移動式清掃機器人的一些部分(例如，前側、後側和底側)上，並且在清潔期間連續獲取影像。複數個這樣的照相機可以被安裝在每個部分以有效地捕捉影像。由照相機拍攝的影像可以用於識別存在於區域中之諸如灰塵，頭髮和地板的物質的類型，以檢查是否已經完成清潔或者判定清潔時間。
前置照相機120a可以捕捉行進方向上存在於移動式清掃機器人100前方的障礙物，或者可以拍攝清潔區域的情況。
根據本發明的一實施例，影像獲取單元120可以透過拍攝本體110的周圍來獲取複數個影像，並且複數個影像可以被儲存在儲存單元150中。
移動式清掃機器人100可以透過使用複數個影像或透過使用從複數個影像中選擇的一個或多個影像的高效資料來提高識別障礙物的準確性。
另外，移動式清掃機器人100可以包括感測器單元170，該感測器單元170包括複數個感測器，感測與操作有關的各種類型的資料和移動式清掃機器人100的狀態。
例如，感測器單元170可以包括障礙物檢測感測器131，用於檢測移動式清掃機器人100前方的障礙物。另外，感測器單元170可以進一步包括：懸崖檢測感測器132，用於檢測行駛區域的地板上是否存在懸崖；以及按鈕照相機感測器139，用於獲取地板的影像。
參照圖2至圖4，障礙物檢測感測器131可以包括以預定間隔安裝在移動式清掃機器人100的外周面上的複數個感測器。
例如，感測器單元170可以包括：設置在本體110的前表面上的第一感測器、以及在左右方向上與第一感測器間隔開的第二感測器和第三感測器。
障礙物檢測感測器131可以包括：紅外線感測器、超音波感測器、RF感測器、地磁感測器、位置感應裝置(PSD)等。
同時，包括在障礙物檢測感測器131中的感測器的位置和類型可以根據移動式清掃機器人100的型號而有不同，並且障礙物檢測感測器131可以包括更多種類的感測器。
障礙物檢測感測器131是檢測與牆壁或障礙物的距離的感測器，並且在本發明中的感測器的種類不限於上述示例。以下，將超音波感測器作為障礙物檢測感測器131的示例進行描述，並且將參照圖14到圖21來描述不同的示例性障礙物檢測方法。
障礙物檢測感測器131檢測在移動式清掃機器人100的行進方向上存在的物體，特別是障礙物，並將障礙物資訊發送到控制器140。即，障礙物檢測感測器131可以檢測移動式清掃機器人100的路線，存在於移動式清掃機器人100、家用電器、家具、牆壁、牆邊等的前方或一側的突起物，並且將關於檢測的資訊傳輸至控制器140。
此時，控制器140可以基於從超音波感測器接收到的至少兩個信號來檢測障礙物的位置，並且基於檢測到的障礙物的位置來控制移動式清掃機器人100的移動。
在一些實施例中，設置在殼體110的外表面上的障礙物檢測感測器131可以包括發射器和接收器。
例如，超音波感測器可以包括至少一個發射器和至少兩個彼此交叉的接收器。因此，超音波感測器可以在任何方向上發出信號並且從障礙物接收在任何方向上反射的信號。
在一些實施例中，由障礙物檢測感測器131接收到的信號可以經過諸如放大和濾波的信號處理程序，然後可以計算到障礙物的距離和方向。
同時，感測器單元170可以進一步包括操作檢測感測器，其根據本體110的驅動，檢測移動式清掃機器人100的操作並輸出操作資訊。例如，操作檢測感測器可以是陀螺儀感測器、車輪感測器、加速度感測器等。
當移動式清掃機器人100根據操作模式移動時，陀螺儀感測器感測旋轉方向並檢測旋轉角度。陀螺儀感測器檢測移動式清掃機器人100的角速度 並輸出與角速度成比例的電壓值。使用從陀螺儀感測器輸出的電壓值，控制器140計算旋轉的方向和速度的角度。
車輪感測器連接到左車輪136L和右車輪136R以檢測車輪的轉數。車輪感測器可以是旋轉編碼器。旋轉編碼器檢測左輪136L和右輪136R中的每一個的旋轉數，並且輸出關於旋轉數的資訊。
控制器140可以透過使用旋轉數來計算左輪136L和右輪136R中的每一個的旋轉速度。另外，控制器140可以透過使用左輪136L與右輪136R之間的旋轉數的差來計算旋轉角度。
加速度感測器檢測由於開始、停止、改變方向、碰撞障礙所引起的移動式清掃機器人100的速度變化。加速度感測器可以安裝在與主輪或輔助輪相鄰的位置處，以檢測車輪的打滑或空轉狀態。
另外，加速度感測器可以嵌入在控制器140中以檢測移動式清掃機器人100的速度變化。也就是說，加速度感測器檢測由速度變化引起的脈衝，並輸出與檢測到的脈衝相對應的電壓值。因此，加速度感測器可以執行電子保險槓的功能。
控制器140可以基於從操作檢測感測器輸出的操作資訊來計算移動式清掃機器人100的位置改變。這樣的位置是與以影像資訊為基礎的絕對位置對應的相對位置。通過這種識別相對位置，可以提高基於影像資訊和障礙物資訊在識別位置上的性能。
同時，移動式清掃機器人100可以包括電源單元(圖中未示)，該電源單元包括用於向清潔機器人供電的可充電電池138。
電源單元可以向移動式清掃機器人100的每個元件提供驅動電力和工作電力，並且可以在電力耗盡時，利用從充電基座200接收的充電電流來充電。
移動式清掃機器人100可以進一步包括電池檢測單元(圖中未示)，其檢測電池138的充電狀態並將檢測結果發送到控制器140。電池138連接到電池檢測單元，並將電池剩餘電量和電池充電狀態發送到控制器140，電池剩餘電量可以顯示在輸出單元180的顯示器182上。
另外，移動式清掃機器人100包括操縱單元137，通過該操縱單元137能夠輸入開/關指令或各種指令。通過操縱單元137，移動式清掃機器人100可以接收移動式清掃機器人100的整體操作所需的各種控制指令。
另外，移動式清掃機器人100可以包括輸出單元180，以影像或聲音的形式顯示預定資訊、電池狀態、操作模式、操作狀態、錯誤狀態等。
輸出單元180可以包括輸出音頻信號的聲音輸出單元181。在控制器140的控制下，聲音輸出單元181可以以聲音的形式輸出表示警告聲音的操作模式、操作狀態、錯誤狀態等的通知消息。聲音輸出單元181可以將來自控制器140的電信號轉換為音頻信號，並且輸出該音頻信號。為此，聲音輸出單元181可以包括揚聲器等。
另外，輸出單元180可以進一步包括顯示器182，其以影像的形式顯示預定資訊、電池狀態、操作模式、操作狀態、錯誤狀態等。
參考圖6，移動式清掃機器人100包括：控制器140，用於處理和判定關於各種類型的資訊，諸如識別移動式清掃機器人100的當前位置；以及用於儲存各種類型資料的儲存單元150。另外，移動式清掃機器人100可以進一步包括用於相對於外部終端發送和接收資料的通信單元190。
外部終端可以包括用於控制移動式清掃機器人100的應用程式；在執行應用程式時，顯示將由移動式清掃機器人清潔的區域的地圖；以及在地圖上指定用於清潔的特定區域。外部終端可以是例如安裝有用於設定地圖的應用程式的遙控器、個人數位助理(PDA)、膝上型電腦、智慧型手機、或平板電腦。
通過與移動式清掃機器人100的通信，外部終端可以顯示移動式清掃機器人100的當前位置和地圖以及關於複數個地區的資訊。另外，外部終端在移動式清掃機器人100的行駛期間更新並顯示移動式清掃機器人100的當前位置。
控制器140透過控制影像獲取單元120、操縱單元137、和行進單元160來控制移動式清掃機器人100的整體操作。
儲存單元150是用於儲存控制移動式清掃機器人100所需的各種類型的資訊的裝置，並且可以包括揮發性性或非揮發性記錄媒體。記錄媒體儲存能夠被微處理器讀取的資料，並且可以包括：硬碟驅動器(HDD)、固態硬碟(SDD)、矽硬碟機(SDD)、ROM、RAM、CD ROM、磁帶、軟碟機和光學資料儲存裝置。
另外，可以在儲存單元150中儲存行駛區域的地圖。地圖可以從外部裝置或伺服器接收，該外部裝置或伺服器能夠通過與移動式清掃機器人100以有線或無線通信交換資訊，或者可以透過移動式清掃機器人100產生地圖。
行駛區內的房間位置可能會顯示在地圖上。另外，移動式清掃機器人100的當前位置可以被設置在地圖上，並且移動式清掃機器人100在地圖上的當前位置可以在移動式清掃機器人100的行進期間被更新。外部終端儲存與儲存在儲存單元150中的地圖完全一樣的地圖。
儲存單元150可以儲存清潔歷史資訊。清潔歷史資訊可以在每次清潔時產生。
儲存在儲存單元150中的行駛區域的地圖可以是用於在清潔期間駕駛的導航地圖、用於位置識別的同步定位與地圖構建(Simultaneous Localization and Mapping,SLAM)地圖、在與障礙物碰撞時所儲存和學習且用於清潔的學習地圖、用於全球定位識別的全球定位地圖、以及儲存關於已識別障礙物的資訊的障礙物識別圖。
同時，如上所述，儲存在儲存單元150中的地圖可以基於使用來進行分類和管理，但是可能不能清楚地區分每個地圖的使用。例如，複數個資訊項目可以被儲存在一個地圖中，使得地圖可以用於至少兩個目的。例如，關於識別的障礙物的資訊可以被記錄在學習圖中以代替障礙物識別圖，並且用於位置識別的SLAM地圖可以被用來替代全球定位地圖或者可以與全球定位地圖一起使用。
控制器140可以包括：驅動控制模組141、位置識別模組142、地圖產生模組143、以及障礙物識別模組144。
參照圖2至圖6，驅動控制模組141被配置以控制移動式清掃機器人100的驅動，並且基於驅動設定來控制行進單元160的行駛。另外，驅動控制模組141可以基於行進單元160的操作來計算出移動式清掃機器人100的行駛路徑。例如，驅動控制模組141可以基於驅動輪136的旋轉速度計算出移動式清掃機器人100的當前或先前的速度以及行進的距離，並且驅動控制模組141可基於每個驅動輪136L或136R的行進方向來計算出當前或前一個方向的轉變過程。基於如上獲得的移動式清掃機器人100的行駛資訊，可以在地圖上更新移動式清掃機器人100的位置。
地圖產生模組143可以產生行駛區域的地圖。地圖產生模組143可以處理通過影像獲取單元120所獲取的影像以產生地圖。也就是說，可以產生對應於清潔區域的清潔地圖。
另外，地圖產生模組143可以通過影像獲取單元120處理從每個位置所獲取的影像，並將該影像與地圖相關聯以識別移動式清掃機器人100的姿勢。
位置識別模組142估計並識別移動式清掃機器人100的當前位置。位置識別模組142基於影像獲取單元120的影像資訊識別移動式清掃機器人100的位置，因此，即使當移動式清掃機器人100被突然改變，位置識別模組142可以能夠估計和識別移動式清掃機器人100的當前位置。
使用位置識別模組142，移動式清掃機器人100能夠在連續行進期間識別其位置。使用沒有位置識別模組142的地圖產生模組143和障礙物識別模組144，移動式清掃機器人100能夠學習地圖並估計移動式清掃機器人100的當前位置。
在移動式清掃機器人100行進期間，影像獲取單元120獲取移動式清掃機器人100的周圍影像。在下文中，由影像獲取單元120所獲取的影像被定義為“獲取影像”。
獲取影像包括各種特徵，例如天花板上的照明裝置、邊緣、角落、斑點、和屋脊。
地圖產生模組143從每個獲取影像中檢測特徵。在電腦視覺技術中，存在著許多眾所周知的特徵檢測方法，用於從影像中檢測特徵。有眾所周知的特徵檢測器適合於檢測這些特徵。例如，這樣的特徵檢測器包括：坎尼(Canny)、索貝爾(Sobel)、哈理斯(Harris)和史蒂芬斯(Stephens)/Plessey(普萊西)、蘇珊(SUSAN)、希&托馬西(Shi&Tomasi)、水平曲線曲率、費思特(FAST)、高斯的拉普拉斯(Laplacian of Gaussian)、高斯差分(Difference of Gaussians)、海斯行列式(Hessian determinant)、最大穩定極值區域(MSER)、PCBR、灰階斑點檢測器。
地圖產生模組143基於每個特徵計算描述符。地圖產生模組143可以使用用於特徵檢測的尺度不變特徵轉換(Scale-invariant feature transform,SIFT)方法將特徵轉換為描述符。
同時，描述符被定義為存在於特定空間中的一群個體特徵，並且可以以第n維向量的形式來表示。例如，在各個描述符中計算諸如天花板中的邊緣、角落、斑點、和屋脊的各種特徵，並將其儲存在儲存單元150中。
基於通過每個位置的獲取影像所獲取的描述符資訊，根據預定的子分類規則，將每個獲取影像的至少一個描述符分類為複數個群組，並且可以根據預定的子代表性規則將屬於同一群組的描述符轉換為子代表性描述符。也就是說，可能需要這樣的處理：其中代表值被指定用於從每個單獨的影像獲取的描述符，然後被標準化。
SIFT方法可以檢測任憑成像物體的比例、旋轉、和亮度發生變化也不變的特徵，並且因此即使當移動式清掃機器人100在不同位置對相同區域成像時，SIFT方法也能夠檢測不變的(旋轉不變)特徵。然而，本發明的態樣不限於此，可以應用其它各種技術(例如，方向梯度直方圖(Histogram of Oriented Gradient,HOG)、哈爾(Haar)特徵、Fems、局部二元圖形(Local Binary Pattern,LBP)、改進式普查轉換(Modified Census Transform,MCT))。
基於從每一個位置的獲取影像所獲取的描述符資訊，地圖產生模組143可以根據預定的子分類規則，將每個獲取影像的至少一個描述符分類為複數個群組。地圖產生模組143可以根據預定的子代表性規則，將屬於同一群組的描述符轉換成各自的子代表性描述符。
在另一個示例中，地圖產生模組143可以根據預定的子分類規則將從諸如房間的特定區域的獲取影像所收集的描述符分類為複數個群組，並且可以將屬於同一群組的描述符轉換為根據預定的子代表性規則的各個代表性描述符。
這樣做，地圖產生模組143可以獲得每個位置的特徵分佈。每個位置處的特徵位置可以被表示為直方圖或者第n維向量。在另一示例中，在不使用預定的子分類規則和預定的子代表性規則的情況下，地圖產生模組143可以基於從每個特徵計算出的描述符來估計未知的當前位置。
另外，當由於位置跳躍等使得移動式清掃機器人100的當前位置變得未知時，可以基於諸如預先儲存的描述符或子代表性描述符的資料來估計移動式清掃機器人100的當前位置。
移動式清掃機器人100可以從未知當前位置獲取由影像獲取單元120獲取的獲取影像。使用該影像，可以找到各種特徵，包括：照明裝置、邊緣、角落、斑點、和天花板上的屋脊。
位置識別模組142從獲取影像中檢測特徵。在電腦視覺技術中用於從影像中檢測特徵的各種方法、以及適於檢測特徵的各種特徵檢測裝置與上述相同。
位置識別模組142基於識別描述符計算程序中的每個識別特徵計算識別描述符。識別特徵和識別描述符描述由位置識別模組142執行的程序，並且它們被用於區別由地圖產生模組143執行的程序。然而，這些術語僅用於以不同的措辭來定義移動式清掃機器人100外部的特徵。
對於特徵檢測，位置識別模組143可以使用SIFT方法將識別特徵轉換成識別描述符。識別描述符可以表示為第n維向量。
SIFT方法是用於從獲取影像中選擇諸如角落之易於區分的特徵並且計算第n維向量的一種影像識別方法，該第n維向量係表示在每個特徵點附近的預定區域中像素的亮度梯度的分佈特徵的關聯維數值(即，亮度變化的方向和變化程度)。
位置識別模組142根據預定的子轉換規則，將從未知當前位置的獲取影像獲取的至少一個識別描述符資訊轉換成經過比較和可比較位置(例如，子識別特徵分佈)的位置資訊(例如，每一個位置處的特徵分佈)。
每個級別的相似度可以根據預定的子比較規則透過比較每個位置處的特徵分佈與每個位置處的識別特徵分佈來計算。針對每個位置計算相似度(概率)，並且可以將具有最高概率的位置判定為當前位置。
這樣，控制器140可以產生其中定義了行駛區域並被劃分成複數個區域的地圖，或者可以基於預先儲存的地圖來識別本體110的當前位置。
當產生地圖時，控制器140可以通過通信單元190將所產生的地圖發送到外部終端、伺服器等。另外，如上所述，當接收來自外部終端、伺服器等地圖時，控制器140可以儲存地圖。
另外，當在行駛期間更新地圖時，控制器140可以將更新的資訊發送到外部終端，使得相同的地圖被儲存在外部終端和移動式清掃機器人100中。當外部終端和移動式清掃機器人100被管理為了儲存相同的地圖，移動式清掃機器人100能夠根據來自外部終端的清潔指令清潔指定區域，並且外部終端可以傳送移動式清掃機器人100的當前位置。
此時，地圖可以將清潔區域劃分成複數個區域；包括將複數個區域彼此連接的通道；以及儲存在清潔區域內關於障礙物的資訊。
當輸入清潔命令時，控制器140可以判定移動式清掃機器人100的當前位置是否與地圖上示出的位置一致。清潔命令可以從遙控器、操縱單元、或外部終端輸入。
當移動式清掃機器人100的當前位置與地圖上示出的位置不一致或者當不可能檢查移動式清掃機器人100的當前位置時，控制器140可以識別當前位置並且恢復移動式清掃機器人100的當前位置，然後控制行進單元，使得移動式清掃機器人100基於當前位置移動到指定區域。
當移動式清掃機器人100的當前位置與地圖中顯示的位置不一致或者當不可能檢查移動式清掃機器人100的當前位置時，位置識別模組142可以通過分析從影像獲取單元120接收到的獲取影像，基於地圖估計移動式清掃機器 人100的當前位置。另外，障礙物識別模組144或者地圖產生模組143也可以以相同的方式識別移動式清掃機器人100的當前位置。
在識別出當前位置並恢復移動式清掃機器人100的當前位置之後，驅動控制模組141可以計算從當前位置到指定區域的行駛路徑，並控制行動單元160移動到指定區域。
當從伺服器接收到清潔模式資訊時，驅動控制模組141可以基於所接收到的清潔模式資訊將整個行駛區域劃分成複數個區域，並將至少一個區域設定為指定區域。
另外，驅動控制模組141可以基於接收到的清潔模式資訊計算行駛路徑，並且通過沿著行駛路徑行進來執行清潔。
當設定的指定區域的清潔完成時，控制器140可以將清潔記錄儲存在儲存單元150中。
另外，控制器140可以通過通信單元190將移動式清掃機器人100的操作狀態或清潔狀態以預定間隔時間發送到外部終端或伺服器。
因此，外部終端基於所接收到的資料將移動式清掃機器人100的位置與地圖一起顯示在正在執行的應用程式的螢幕上，並輸出關於清潔狀態的資訊。
根據本發明實施例的移動式清掃機器人100可以在一個方向上移動，直到檢測到障礙物或牆壁。一旦障礙物識別模組144識別出障礙物，移動式清掃機器人100就可以根據所識別的障礙物的屬性來判定行駛模式，例如直線行進或旋轉行進。
例如，如果識別出的障礙物的屬性係表示移動式清掃機器人100能夠越過的障礙物，則移動式清掃機器人100可以保持筆直行進。另一種方式，如果識別的障礙物的屬性係表示移動式清掃機器人100不能越過的障礙物，則移動式清掃機器人100可以以Z字形模式透過旋轉行進一預定距離，然後以與原始移動方向相反的方向再次行進，直到檢測到任何障礙物。
同時，如果識別的障礙物的屬性係表示諸如人和寵物的可移動障礙物，則控制器140可以執行控制操作，使得聲音輸出單元181輸出預設聲音。
預設聲音可以是警告聲音或用於引導該可移動障礙物移動的信息。
例如，當識別出諸如腳和手的人體的至少一部分時，控制器140可以控制聲音輸出單元181輸出用於引導人離開的信息。
另外，當識別諸如狗和貓的寵物時，控制器140可以控制聲音輸出單元181輸出警告聲音，使得寵物回應該聲音而移動。
同時，當識別的障礙物的屬性係表示可移動障礙物時，控制器140可以控制行進單元160，使得本體110停止移動。
另外，控制器140可以輸出警告聲音或用於引導可移動障礙物移動的信息，並且等待一特定待機時間，直到可移動障礙物移動。
在識別的障礙物是可移動障礙物的情況下，控制器140可以根據在該特定待機時間之後可移動障礙物是否移動來控制移動式清掃機器人100以不同方式行進。
在這種情況下，當在特定待機時間內檢測到可移動障礙物的移動時，控制器140可以執行控制操作，以使得先前的行進移動被恢復。
也就是說，如果可移動障礙物在該特定待機時間內移動，則移動式清掃機器人100的移動限制被消除，因此，可以恢復先前行進模式中的移動。
如果在特定待機時間內未檢測到可移動障礙物的移動，則控制器140可執行迴避行駛以避開可移動障礙物。
也就是說，如果可移動障礙物在特定待機時間內不移動，則移動式機器人可以對障礙物執行迴避行駛。
同時，控制器140可以執行控制操作，使得本體110在一預定距離範圍內重複前後移動。
較佳地，控制器140可以執行控制操作，使得本體110在該預定距離範圍內重複地前進和後退，就像在該預定距離範圍內受到震動達到一特定的待機時間，直到可移動障礙物移動。因此，透過移動式清掃機器人100的震動以及信息，使用者可以直觀地注意到移動式清掃機器人100等待使用者的移動。
同時，基於識別的障礙物的屬性，控制器140可以執行控制操作，從而以不同的模式執行迴避行駛。根據諸如非危險障礙物(正常障礙物)、危險障礙物、可移動障礙物等障礙物的屬性，控制器140可以執行以不同模式執行迴避行駛的控制操作。
例如，控制器140可以執行控制操作，使得移動式清掃機器人100與危險障礙物以更大的安全距離繞行，以便通過繞過危險障礙物行進。
另外，如果即使在一特定待機時間之後，可移動障礙物也不移動，則控制器140可針對正常障礙物執行迴避行駛或針對危險障礙物執行迴避行駛。另外，如果設定了關於可移動障礙物的迴避行駛模式，則控制器140可以執行移動式清掃機器人100以迴避行駛模式行進的控制操作。
根據本發明實施例的移動式清掃機器人100可以基於機器學習執行障礙物識別和迴避行駛。
控制器140可以包括：障礙物識別模組144，從輸入影像識別使用機器學習而預先知悉的障礙物；以及驅動控制模組141，基於所識別的障礙物的屬性，控制行進單元160的行駛。
根據本發明實施例的移動式清掃機器人可以包括障礙物識別模組144，其使用機器學習具有預先知悉的障礙物屬性。
機器學習是一種技術，透過這種技術，電腦可以在沒有人指示的邏輯的情況下學習資料，從而電腦能夠根據資料自行解決問題。
深度學習是一種基於類神經網路(Artificial Neural Networks,ANN)作為配置人工智慧的嘗試來教導電腦的人類思維的方法。也就是說，深度學習是一種人工智慧技術，電腦可以在沒有人幫助的情況下自行學習。
ANN可以被實現為軟體或者諸如晶片的硬體。
障礙物識別模組144可以包括已經學習到的障礙物屬性的軟體或硬體類型的ANN。
例如，障礙識別模組144可以包括使用深度學習訓練的深度神經網路(Deep Neural Network,DNN)，例如卷積神經網路(Convolutional Neural Network,CNN)、遞迴式神經網路(Recurrent Neural Network,RNN)、和深度信賴網路(Deep Belief Network,DBN)。
將參照圖9至圖11更詳細地描述深度學習。
障礙物識別模組144可以基於包括在DNN中的節點之間的權重來判定包括在輸入影像資料中的障礙物的屬性。
同時，如果感測器單元170在移動式清掃機器人100的行進期間，檢測到障礙物，則控制器140可以執行控制操作，以從由影像獲取單元120所獲取的影像中沿著感測器170檢測障礙物的方向提取部分區域。
影像獲取單元120、特別是前置照相機120a、可以在移動式清掃機器人100的移動方向上的一預定角度範圍內獲取影像。
控制器140可以不透過使用由影像獲取單元120、尤其是前置照相機120a、所獲取的整個影像而是僅使用該影像的部分區域，來檢測存在於移動式清掃機器人100的移動方向上的障礙物的屬性。
參考圖6，控制器140可以進一步包括影像處理模組145，沿感測器單元170檢測到障礙物的方向從影像獲取單元120所獲取的影像中提取部分區域。
在另一示例中，移動式清掃機器人100可以進一步包括額外的影像處理單元，沿著感測器單元170檢測障礙物的方向上從影像獲取單元120所獲取的影像中提取部分區域。在又一示例中，影像獲取單元120可以自己處理影像。
由於其特性，如果學習的對象佔據輸入影像資料的較大部分，則使用機器學習訓練的障礙識別模組144具有高識別率。
因此，本發明可以透過根據感測器單元170檢測到障礙物的方向從影像獲取單元120所獲取的影像中提取不同的區域來提高障礙物識別模組144的識別率，例如超音波感測器。
障礙物識別模組144可以基於從影像獲取單元120所獲取的影像中使用機器學習而預先學習的資料來識別障礙物。
更希望的是，障礙物識別模組144可以基於從影像獲取單元120所獲取的影像提取的影像中透過機器學習而預先學習的資料來識別障礙物。
同時，驅動控制模組141可以基於所識別的障礙物的屬性來控制行進單元160的行駛。
同時，當從本體110的右前側檢測到障礙物時，控制器140可以提取由影像獲取單元120所獲取的影像的右下區域。當從本體110的左前側檢測到障礙物時，控制器140可以提取由影像獲取單元120所獲取的影像的左下區域。當從本體110的前側檢測到障礙物時，控制器140可以提取由影像獲取單元120所獲取的影像的中央下部區域。
另外，控制器140可以執行控制操作，以從影像獲取單元120所獲取的影像中沿著檢測到障礙物的方向移動並提取目標區域。
從影像獲取單元120所獲取的影像中剪切部分區域將參照圖27至圖30詳細描述。
另外，當感測器單元170在移動式清掃機器人100的行進期間檢測到障礙物時，控制器140可以基於本體110的移動方向和速度執行控制操作，使得從影像獲取單元120所獲取的複數個連續影像中選擇在感測器單元170檢測到障礙物之前一特定時間所拍攝的影像。
如果影像獲取單元120透過使用感測器單元170的障礙物檢測時間作為觸發信號來獲取影像，則障礙物可以不包括在所獲取的影像中，或者可以在所獲取的影像中顯示較小的障礙物，因為移動式清掃機器人100仍在移動中。
因此，在本發明的一實施例中，可以從影像獲取單元基於本體110的移動方向和速度所獲取的複數個連續影像中選擇在感測器單元170的障礙物檢測時間之前一特定時間所拍攝的影像，並且可以使用所選擇的影像作為用於障礙物識別的資料。
從影像獲取單元120所獲取的影像中選擇在一特定時間所拍攝的影像，並將所選影像用作障礙物識別的資料將參照圖31和圖32詳細描述。
同時，障礙物識別模組144可以基於使用機器學習而預先學習的資料識別包括在該特定時間的所選影像中的障礙物的屬性。
同時，儲存單元150可以儲存用於判定障礙物屬性的輸入資料和用於訓練DNN的資料。
儲存單元150可以儲存由影像獲取單元120所獲取的原始影像、以及提取的部分區域的提取影像。
另外，在一些實施例中，儲存單元150可以儲存形成DNN結構的權重和偏差。
另外，在一些實施例中，形成DNN結構的權重和偏差可被儲存在障礙物識別模組144的嵌入式記憶體中。
同時，每當影像獲取單元120獲取影像或者從影像提取部分區域時，障礙物識別模組144可以透過使用特定影像作為訓練資料來執行學習處理，或者可以在獲取一特定數量的影像之後執行學習處理。
也就是說，障礙物識別模組144可以透過每當識別到障礙物時加入識別結果或透過確保一特定數量的訓練資料，然後使用所確保的訓練資料執行學習處理來更新諸如權重的DNN結構。
或者，移動式清掃機器人100可以通過通信單元190從特定伺服器接收機器學習相關資料。
在這種情況下，移動式清掃機器人100可以基於從特定伺服器所接收到的機器學習相關資料來更新障礙識別模組144。
同時，移動式清掃機器人100可以通過通信單元190將由影像獲取單元120所獲取或提取的影像發送到特定伺服器。
圖7係說明根據本發明一實施例之伺服器的示意性方塊圖。
參考圖7，伺服器70可以包括：通信單元720、儲存單元730、學習模組740、以及處理器710。
處理器710可以控制伺服器70的整體操作。
同時，伺服器70可以是由家用電器製造商，諸如移動式清掃機器人100的製造商，所經營的伺服器；由服務提供商經營的伺服器；或者雲端伺服器。
通信單元720可以從諸如行動終端和移動式清掃機器人100的閘道器或家用電器接收各種類型的資料，諸如狀態資訊、操作資訊、和操縱資訊。
通信單元720可以將與各種類型的接收到的資訊相對應的資料發送到閘道器或家用電器，諸如行動終端和移動式清掃機器人100。
為此，通信單元720可以包括一個或多個通信模組，諸如互聯網模組和行動通信模組。
儲存單元730可以儲存接收的資訊和產生結果資訊所需的對應資料。
另外，儲存單元730可以儲存用於機器學習的資料和結果資料。
學習模組740可以充當諸如移動式清掃機器人100的家用電器的學習裝置。
學習模組740可以包括DDN，例如CNN、RNN、和DBN，並且可以訓練DNN。
作為學習模組740的學習方法，可以使用無監督學習和監督學習。
同時，取決於設定，控制器140可以執行學習處理，然後利用學習的ANN結構更新諸如移動式清掃機器人100的家用電器的ANN結構。
圖8係說明根據本發明一實施例之移動式清掃機器人和伺服器的操作方法的視圖。
參考圖8，移動式清掃機器人100的控制器140，特別是障礙物識別模組144，可以嵌入具有如CNN的DNN結構144a。
預先學習的DNN結構144a可以接收識別輸入資料、識別包括在輸入資料中的障礙物的屬性、以及輸出結果。
DNN結構144a不能識別的未知資料可以被儲存在儲存單元150中或在障礙物識別模組144的儲存空間144b中。
同時，障礙物識別模組144不能識別的未知資料可以通過通信單元190發送到伺服器70。另外，甚至可以將障礙物識別模組144識別的資料發送到伺服器70。
伺服器70可以產生學習權重的配置，並且伺服器70可以使用訓練資料來訓練DNN結構。
伺服器70可以基於所接收到的資料訓練DNN，並且將更新後的DNN結構資料發送到移動式清掃機器人100以更新DNN結構。
圖9至圖11係用於解釋深度學習的視圖。
是一種機器學習的深度學習是一種多層次深入學習資料的方法。
深度學習可以表示一組機器學習演算法，當設定較高級別時，從複數個資料集中提取關鍵資料。
深度學習結構可以包括ANN，並且可以被配置為DNN，諸如CNN、RNN、和DNB。
參考圖9，ANN可以包括：輸入層、隱藏層、以及輸出層。每層包括複數個節點，並且每層連接到下一層。相鄰層之間的節點可以用權重相互連接。
參考圖10，電腦(機器)可以透過從輸入資料1010探索特定圖案來產生特徵地圖。電腦(機器)可以提取低級別特徵1020、中間級別特徵1030、和高級別特徵1040；識別主題；以及輸出結果1050。
可以將ANN配置為使更下一層被提取為更高級別的特徵。
參照圖9和圖10，每一個節點可以基於激發模式進行操作，並且可以透過激發模式判定對應於輸入值的輸出值。
隨機節點(例如，低級別特徵1020的輸出值)可以被輸入到連接到隨機層的下一層，例如中間級別特徵1030的節點。下一層的節點，例如中間級別特徵1030的節點可以接收從低級別特徵1020的複數個節點輸出的值。
此時，對每個節點的輸入值可以是透過對從前一層輸出的值施加一權重而獲得的值。權重可以表示節點之間的連接強度。
另外，深度學習過程可以被視為是探索適當權重的過程。
同時，從隨機節點(例如，中間級別特徵1030)輸出的值可以被輸入到與隨機節點(例如，高級別特徵1040的節點)連接的下一層。下一層的 節點(例如，高級別特徵1040的節點)可以接收從中間級別特徵1030的複數個節點輸出的值。
ANN可以透過使用對應於每個級別的學習層來提取與每個級別對應的特徵資訊。ANN可以依次提取各層，並透過使用最高級別的特徵資訊來識別特定主題。
例如，在基於深度學習的人臉識別過程中，電腦可以根據像素的亮度從輸入影像中區分明亮的像素和暗的像素；區分簡單的形狀，如邊界和邊緣；然後區分更複雜的形狀或物體。最後，電腦可以識別定義人臉的形狀。
根據本發明的深度學習結構可以利用各種結構。例如，根據本發明的深度學習結構可以是CNN、RNN、和DBN。
RNN通常用於處理自然語言，並有效處理隨時間變化的時間序列資料。RNN每次添加一個圖層以配置ANN結構。
DBN是一種深度學習結構，配置了多層受限玻爾茲曼機(Restricted Boltzmann machine,RBM)，這是一種深度學習技術。如果透過重複執行RBM學習來建立預定數目的層，則可以配置具有預定數目的層的DBN。
CNN通常用在物體識別領域中，並將參照圖11進行描述。
CNN是一種類比人類大腦功能的模型，其假設一個人提取一個物體的基本特徵，在他的大腦中進行複雜的計算，並根據計算結果識別出物體。
圖11係說明CNN結構的視圖。
CNN可以包括輸入層、隱藏層、和輸出層。
特定的影像1100可以被輸入到輸入層。
參考圖11，隱藏層可以由複數個層組成，並且包括卷積層和子採樣層。
CNN主要使用各種濾波器，用於通過卷積計算從影像中提取特徵，以及用於添加非線性特徵的合併或非線性激發功能。
卷積主要用於影像處理領域中的濾波器計算，以實現從影像中提取特徵的濾波器。
例如，如果透過移動3×3視窗對整個影像重複執行卷積計算，則可以根據視窗的權重獲得適當的結果。
卷積層可以用於卷積濾波，以利用預定大小的濾波器濾出從先前層提取的資訊。
卷積層對使用卷積濾波器接收到的影像資料1100和1102進行卷積運算，並且產生預設輸入影像1100的特徵的特徵地圖1101和1103。
作為卷積濾波結果，可以產生其數量與包括在卷積層中的濾波器的數量相對應的濾波影像。卷積層可以由包含在過濾影像中的節點構成。
另外，與卷積層配對的子採樣層可以包括特徵圖，其數量與卷積層的數量相同。
子採樣層可以透過採樣或合併來減小特徵地圖1101和1103的尺寸。
輸出層透過組合在特徵地圖1104上呈現的各種特徵來識別輸入影像1100。
根據本發明的移動式清掃機器人的障礙物識別模組可以利用各種深度學習結構。例如，障礙物識別模組可以利用通常用於識別影像內的物體的CNN結構，但是本發明的態樣不限於此。
同時，可以透過調整節點之間的連接線的權重來執行ANN的學習，以響應給定的輸入而輸出期望的輸出。另外，ANN可以通過學習不斷更新權值。另外，反向傳播可以用來訓練ANN。
圖12和圖13係用於說明障礙物識別的視圖。
參考圖12，障礙物識別模組144可以將障礙物分類為諸如風扇、家庭影院、多插頭插座、燈座、台階、人類(腳)、人類(手)、以及寵物等等的類別，並且基於該類別識別障礙。
另外，障礙物識別模組144可將風扇、家庭影院、多插頭插座、和燈座分類為高級別危險障礙超級類別，並用此種類別來識別它們。
另外，障礙物識別模組也可以將能使移動式清掃機器人100直行之諸如台階的障礙物分類為非危險障礙物超級類別，並用此種類別來識別它。
另外，障礙物識別模組144可以將人類(腳)、人類(手)和寵物分類為可移動障礙物超級類別，並且用此種類別來識別它們。
參考圖13的(a)，障礙物識別模組144可以識別輸入影像並獲得指示風扇具有0.95的信賴度且家庭影院具有0.7的信賴度的識別結果。在這種情況下，作為輸入影像的識別結果，障礙物識別模組144可以輸出具有較高信賴度的風扇。
同時，信賴度可以被標準化為0.0到1.0的範圍。
參考圖13的(b)，障礙物識別模組144可識別輸入影像並獲得指示風扇具有0.35的信賴度並且家庭影院具有0.4的信賴度的識別結果。
例如，如果設定忽略了0.6或更小的信賴度，則上述兩個信賴度小於參考值，因此，障礙物識別模組144可以不選擇兩個識別結果中的任何一個，並且判定物體是未知資料。
參照圖13的(c)，障礙物識別模組144可以識別輸入影像並且獲得指示風扇具有0.95的信賴度並且家庭影院具有0.9的信賴度的識別結果。
例如，如果設定選擇具有0.9或更大信賴度的識別結果作為最終識別結果，則上述兩個識別結果的信賴度大於參考值，因此，障礙物識別模組144可以判定障礙物是較高級別的危險障礙而不選擇任何一個識別結果。
或者，在信賴度差為0.15以上的情況下，如果設定為接受具有較高信賴度的識別結果，則障礙物識別模組144也可以判斷該危險障礙物是較高級別的危險障礙物。
同時，即使當障礙物被判斷為危險障礙物時，驅動控制模組141也可以控制驅動單元160繞過危險障礙物移動。
圖14係根據本發明一實施例之移動式清掃機器人的立體圖。
圖15係在圖14中所示之移動式清掃機器人的障礙物檢測感測器的前視圖和側視圖；以及圖16至圖18係說明在圖14中所示之移動式清掃機器人的障礙物檢測感測器的動作的視圖。
參照圖14至圖18，根據本發明實施例的移動式清掃機器人100可以包括障礙物檢測感測器171，該障礙物檢測感測器171使用一個或多個光學圖案P1和P2來檢測障礙物。
光學圖案P1和P2可以是水平圖案PH。在一些情況下，光學圖案P1和P2可以包括垂直圖案PV。
使用光學圖案的障礙物檢測感測器171可以包括：第一圖案投影單元1520、第二圖案投影單元1530、和圖案識別單元1540。第一圖案投影單元1520、第二圖案投影單元1530、和圖案識別單元1540可以設置在基座單元1510上。
圖15係障礙物檢測感測器171的前視圖和側視圖。圖16係顯示障礙物檢測感測器171的投影範圍和障礙物檢測範圍。
在圖15中，(a)是障礙物檢測感測器171的前視圖，(b)是障礙物檢測感測器171的側視圖。
如圖15的(a)和(b)所示，障礙物檢測感測器171的第一圖案投影單元1520和第二圖案投影單元1530中的每一個可以包括光源和光學圖案投影元件(Optical Pattern Projection Element,OPPE)，其在從光源發射的光通過時產生特定圖案。光源可以是雷射二極體(LD)、發光二極體(LED)等。與其他光源相比，由於其單色性、直線性、和連接性優良的特點，可以使用雷射光束來測量精確的距離。特別是，紅外線或可見光由於諸如顏色和材料等物體的特性而在距離測量的精度上可能具有很大的偏差，因此，對於光源來說LD是理想的。OPPE可以包括透鏡和繞射光學元件(Diffractive Optical Element,DOE)。取決於設置在每個圖案投影單元1520和1530中的OPPE的配置，可以投影各種類型的圖案。
第一圖案投影單元1520可將具有第一圖案(在下文中，稱為第一圖案光)的光P1投射到本體110的低前側。因此，第一圖案光P1可入射到清潔區域的地板上。
第一圖案光P1可以是水平線PH的形式。另外，第一圖案光P1可以是水平線PH與垂直線PV之間的交叉圖案。
第一圖案投影單元1520、第二圖案投影單元1530、和圖案識別單元1540可以垂直地設置成一排。圖案識別單元1540可以設置在第一圖案投影單元1520和第二圖案投影單元1530的下方，但是本發明的態樣不限於此。圖案識別單元1540可以設置在第一圖案投影單元1520和第二圖案投影單元1530的上方。
在該示例中，第一圖案投影單元1520可以設置在上側，並且向前和向下投影第一圖案光P1以檢測位於比第一圖案投影單元1520低的障礙物，而第二圖案投影單元1530可以設置在第一圖案投影單元1520的下方並且向前和向上投射具有第二圖案的光(在下文中，被稱為第二圖案光)P2。因此，第二圖案光P2可以入射到清潔區域的牆壁或地板上，直到至少比位於比第二圖案投影單元1530或障礙物的特定部分更高的障礙物。
第二圖案光P2可以由與第一圖案光P1不同的圖案構成，並且可以較佳地包括水平線。該水平線不一定是連續的線段，但可以是虛線。
期望的是，第一圖案投影單元1520和第二圖案投影單元1530的水平入射角從130°到140°的範圍中選擇。
圖案識別單元1540可以獲取本體110前方的區域的影像(參見圖1)。特別是，圖案光P1和P2存在於圖案識別單元1540所取得的影像中，此種存在於所取得的影像中的圖案光P1和P2稱為影像的圖案光，該等影像透過入射在實際空間上的圖案光P1和P2在影像感測器上形成。因此，給出與圖案光P1和P2相同的符號，因此分別對應於第一圖案光P1和第二圖案光P2的影像被稱為第一光圖案P1和第二光圖案P2。
圖案識別單元1540可以包括數位照相機，其將物體的影像轉換成電子信號；將電子信號轉換成數位信號；以及將該數位信號儲存在記憶體裝置中。數位相機可以包括影像感測器(圖中未示)和影像處理單元(圖中未示)。
影像感測器是將光學影像轉換成電子信號的裝置，並且由整合複數個光電二極體的晶片組成。光電二極體的一個示例可以是像素。由於通過透鏡的光形成在晶片上的影像，電荷在每個像素中累積，並且在每個像素中累積的電荷被轉換為電子信號(例如，電壓)。影像感測器的示例可以包括電荷耦合裝置(CCD)、互補金屬氧化物半導體(CMOS)等。
影像處理單元基於從影像感測器輸出的類比信號產生數位影像。影像處理單元可以包括：AD轉換器，其將類比信號轉換成數位信號；緩衝記憶體，其根據從AD轉換器輸出的數位信號臨時儲存數位資料；以及數位信號處理器(DSP)，其處理儲存在緩衝記憶體中的資訊以配置數位影像。
控制器140(參見圖6)可以從形成獲取影像的特定像素檢測諸如點、線、以及表面的特徵。基於檢測到的特徵，控制器140可以檢測光圖案P1和P2、或形成光圖案P1和P2的點、線、面等。
例如，控制器140可以提取由在獲取影像中的亮像素形成的片段，並且提取形成第一光圖案P1的水平線PH和形成第二光圖案P2的水平線。
然而，本發明的態樣不限於此，且用於從數位影像中提取期望的圖案的其他各種技術已經眾所周知。使用這種眾所周知的技術，圖案檢測單元可以提取第一光圖案P1和第二光圖案P2。
如圖15所示，第一圖案投影單元1520和第二圖案投影單元1530可以對稱設置。第一圖案投影單元1520和第二圖案投影單元1530以距離h3彼此垂直間隔開，因此，第一圖案投影單元1520向下投影第一圖案光，第二圖案投影單元1530向上投影第二圖案光，使得從第一圖案投影單元1520和第二圖案投影單元1530分別輸出的圖案光彼此交叉。
圖案識別單元1540被設置在距第二圖案投影單元1530更低的距離h2處，以在上下方向上以角度視角θs拍攝本體110前方的區域的影像。較佳地，圖案識別單元1540設置在限定移動式清掃機器人100的本體110的前下部的保險槓(圖中未示)中，或者設置在考慮到移動式清掃機器人100的行進或要清潔的結構，容易對前方區域成像的位置。
第一圖案投影單元1520或第二圖案投影單元1530被安裝為使得在圖案投影單元1520和1530中的透鏡的光軸指向形成一定的入射角。
第一圖案投影單元1520以第一入射角θr1向下投射第一圖案光Pa，並且第二圖案投影單元1530以第二入射角θr2向上投射第二圖案光P2。第一入射角度和第二入射角度基本上是不同的，但是在某些情況下，它們可以被設定為相同的。例如，第一入射角可以設定為60°至70°，而第二入射角可以設定為 50°至55°。第一入射角和第二入射角可以取決於移動式清掃機器人100的下保險槓的結構、用於檢測低位置物體的範圍、以及高位置的待檢測物體的高度而改變。
當由第一圖案投影單元1520及/或第二圖案投影單元1530投影的圖案光入射到障礙物上時，取決於障礙物距第一圖案投影單元1520的距離，光圖案P1或P2可位於不同的位置。例如，當第一圖案光P1和第二圖案光P2入射在特定障礙物上時，障礙物對移動式清掃機器人100越接近，第一光圖案P1呈現在獲取影像上越高，並且第二光圖案P2呈現在獲取影像上越低。也就是說，關於距障礙物對應於在由圖案識別單元1540產生的影像中的一列(其是由橫向佈置的像素所構成的直線)的距離的資料被預先儲存。然後，當從模式識別單元1540所獲取的影像中的特定列檢測到光圖案P1和P2時，障礙物的位置可以基於關於距障礙物對應於該列的距離的資料來估計。
圖案識別單元1540朝向透鏡的光軸的水平方向設置。圖16中的θs表示圖案識別單元1540的角度視圖，並且可以被設定為等於或大於100°的值。θ較佳是在100°與110°之間，但是本發明的態樣不限於此。
另外，從清潔區域的地板到圖案識別單元1540的距離h1可以被設定為大約在60mm和70mm之間。在這種情況下，清潔區域的地板可以在D1之後由圖案識別單元1540所獲取的影像中顯示，並且D2是第一光圖案P1顯示在獲取影像中所示之地板上的位置。如果障礙物位於D2處，則可以透過圖案識別單元1540獲取顯示第一圖案光P1入射在障礙物上的影像。如果障礙物位於比D2更靠近移動式清掃機器人100的附近，則第一光圖案可以響應入射的第一圖案光P1而呈現在參考水平面ref1上方。
從本體110到D1的距離較佳在100mm到150mm之間，並且從本體110到D2的距離較佳在180mm到280mm之間，但是本發明的態樣不限於此。同時，D3是從本體110的前側中的最突出部分到第二圖案光入射的位置的距離。本體110在行進中檢測到障礙物，因此，D3表示允許移動式清掃機器人100在不碰撞障礙物的情況下檢測前方(或上方)障礙物的最小距離。D3可以設定為大約23mm至30mm之間。
同時，如果在獲取影像中顯示的第一光圖案P1在本體110的行進期間消失或者僅當呈現第一光圖案的一部分時，則控制器140可以判定在移動式清掃機器人100的附近存在懸崖。
當在獲取影像中不顯示第一光圖案時，控制器140可以識別存在於移動式清掃機器人100前方的懸崖。當在移動式清掃機器人100的前方存在懸崖(例如樓梯)時，第一圖案光沒有入射到地板上，因此，第一光圖案P1從獲取影像中消失。
基於D2的長度，控制器140判定在本體110前方的距離D2處存在懸崖。在這種情況下，當第一圖案光P1是十字圖案時，水平線消失並且僅留下一垂直線，因此，可以判定懸崖的存在。
另外，當沒有顯示第一光圖案的一部分時，控制器140可以判定在移動式清掃機器人100的左側或右側上存在懸崖。當第一光圖案的右側的一部分不被顯示時，控制器140可以判定在移動式清掃機器人100的右側存在懸崖。
因此，基於懸崖資訊，控制器140可以控制行進單元160(參見圖6)，使得移動式清掃機器人100沿著路徑行進而不會從懸崖上掉下來。
另外，當在移動式清掃機器人100的前方存在懸崖時，控制器140可以使用安裝在本體110的下部的懸崖感測器來控制直線行前進一預定距離，例如D2或更小的行進，然後再次檢查是否有懸崖。移動式清掃機器人100可以首先使用獲取影像來檢查懸崖的存在，然後在行進預定距離之後再次檢查懸崖的存在。
圖17係說明由第一圖案投影單元投影的光圖案的視圖。
控制器140可以從由圖案識別單元1540所獲取的影像中檢測第一光圖案或第二光圖案，分析第一光圖案或第二光圖案，並將第一光圖案的位置與參考水平面ref1比較，以判定障礙物。
如圖17(a)所示，當第一光圖案P1的水平線處於參考水平面ref1時，控制器140判定為正常狀態。該正常狀態表示地板是平坦的且齊平的，並且前方沒有障礙物，因此，移動式清掃機器人100能夠繼續行進。
當障礙物在上部前方區域出現時，第二光圖案P2入射到障礙物上並呈現在獲取影像中，因此，第二光圖案P2通常不是以正常狀態呈現。
如圖17(b)所示，當第一光圖案P1的水平線位於高於參考水平面ref1的位置時，控制器140判定前方存在障礙物。
如圖所示，當檢測到障礙物時，控制器150可以控制行進單元160透過繞過障礙物而行進。
同時，控制器140可以判定響應第二光圖案的存在而檢測到第一光圖案P1和第二光圖案P2的位置以及障礙物的位置和尺寸。另外，控制器140可以基於在行進期間所獲取的影像中顯示的第一光圖案P1和第二光圖案P2的改變來判定障礙物的位置和尺寸。
透過判定是否有可能繼續行進而不管識別出的障礙物、或是否需要繞著所識別的障礙物行進，控制器140可以控制行進單元160。例如，當障礙物的高度低於一預定的高度、或者當可能進入障礙物和地板之間的空間時，控制器140可以判定可以繼續行進。
如圖17(c)所示，第一光圖案P1可以被顯示為低於參考水平面ref1。當第一光圖案P1顯示為低於參考水平面ref1時，控制器140可以判定存在下降斜面。在有懸崖的情況下，第一光圖案P1消失。因此，下降斜面可以與懸崖區分出。
如圖17(d)所示，當第一光圖案P1未被顯示時，控制器140可以判定在行進方向上存在懸崖。
另外，如圖17(e)所示，當第一光圖案P1的部分未被顯示時，控制器140可以判定在移動式清掃機器人100的左側或右側存在懸崖。
同時，當第一光圖案P1是交叉圖案時，控制器140可以透過考慮水平面線的位置和垂直線的長度來判定障礙物的存在。
圖18係說明根據本發明一實施例通過移動式清掃機器人投影到障礙物的圖案的示例的視圖。
如圖18所示，障礙物檢測感測器171將圖案光投影到障礙物並呈現在獲取影像中。因此，控制器140可以判定障礙物的位置、尺寸、和形狀。
如圖18(a)所示，當在移動式清掃機器人100的行進期間前面存在牆壁時，第一圖案光入射在地板上，且第二圖案光入射到牆壁上。因此，第一光圖案P1和第二光圖案P2在獲取影像上顯示為兩條水平面線。在這種情況下，如果到牆壁的距離大於D2，則第一光圖案P1可以被顯示在參考水平面ref1處，但是控制器140可以因為顯示第二光圖案P2而判定障礙物的存在。
同時，如果到牆壁的距離小於D2，則第一圖案光不會入射在地板上而是牆壁上，因此，第一光圖案被顯示為高於獲取影像上的參考水平面ref1，而第二光圖案顯示為高於第一光圖案。本體110位於越靠近障礙物，在獲取影像中顯示第二光圖案較低。因此，如果牆壁與本體110之間的距離大於D2，則在獲取影像中顯示第二光圖案P2較低。然而，在影像中顯示第二圖案光比參考水平面ref1和第一光圖案顯示較高。
因此，控制器140可以基於第一光圖案和第二光圖案計算距作為障礙物的牆壁的距離。
如圖18(b)所示，如果在前方存在障礙物，例如床和抽屜，則第一圖案光P1和第二圖案光P2作為兩條水平線入射在地板和障礙物上。
控制器140基於第一光圖案和第二光圖案來判定障礙物的存在。控制器140可以基於第二光圖案的位置以及在移動式清掃機器人100接近障礙物時發生的第二光圖案的改變來判定障礙物的高度。因此，控制器140透過判定是否可能進入障礙物下方的空間來控制行進單元160。
例如，當在清潔區域中存在與地板形成空間之諸如床的障礙物時，控制器可以判定空間的高度並且判定是否通過或避開障礙物。如果空間的高度低於本體110的高度，則控制器140可以控制行進單元160，使得本體110繞過障礙物行進。相反，如果空間的高度高於本體110的高度，則控制器140可以控制行進單元160，使得本體110進入或穿過該空間。
在這種情況下，即使在圖18(a)中，第一光圖案和第二光圖案被顯示為兩條水平線，但是因為第一光圖案和第二光圖案之間存在距離，所以控制器140可以區分兩條水平線。另外，在圖18(a)的示例的情況下，如果移動式清掃機器人100靠近障礙物，則第一光圖案被顯示為高於參考水平面ref1。但是，在圖18(b)的示例中，在移動式清掃機器人100上方存在障礙物的情況 下，儘管與障礙物距離較短，第一光圖案P1顯示在參考水平面ref1處，並且第二光圖案P2的位置被改變，因此，控制器140可以能夠識別障礙的類型。
如圖18(c)所示，如果障礙物是床或抽屜，則第一圖案光P1以水平線投射在地面上，而第二圖案光P2投射在障礙物的邊緣上。因此，第二圖案光P2中的一些顯示為水平線，而其餘部分則斜向地入射到障礙物上。當障礙物位於遠離本體110的位置時，第二光圖案P2被顯示較高，並且因此障礙物的側表面可以被顯示為斜線，該斜線從投影在本體110的前側上的水平線向上彎曲。
如圖18(d)所示，如果本體10相對於牆壁邊緣的距離小於或等於一預定距離，則第一圖案光P1的一部分被顯示為高於參考水平面ref1的水平線，第一圖案光P1的一部分投影在邊緣上的側表面上並顯示為向下彎曲的斜線，並且第一圖案光P1的其餘部分被投影在地板上並且在參考水平面ref1處被顯示為水平線。
同時，類似於圖18(c)的示例中，第二圖案光中的一些顯示為水平線，投影且入射到邊緣上的側表面之其餘圖案光被顯示為向上彎曲的斜線。
另外，類似於圖18(e)的示例中，第一光圖案相對於從牆壁突出的障礙物在參考水平面ref1處被顯示為水平線，並且第二光圖案P2的部分在該突出表面上被顯示為水平線，第二光圖案P2的部分入射在突出表面上方的側表面上並被顯示為向上彎曲的斜線，並且第二光圖案P2的其餘部分被投影到牆壁上並被顯示為水平線。
因此，控制器140可以基於第一圖案光和第二圖案光的位置和形狀來判定障礙物的位置、形狀、和大小(高度)。
圖19和圖20係說明根據本發明一實施例之移動式清掃機器人的障礙物檢測感測器單元的視圖，圖21係用於說明在圖19和圖20中所示之感測器單元如何在檢測範圍內偵測到障礙物的原理的視圖。
參照圖19和圖20，障礙物檢測感測器單元172發射光L1以檢測障礙物的位置或到障礙物的距離。障礙物檢測感測器單元172可旋轉地且可升降地設置在障礙物檢測感測器單元中。障礙物檢測感測器單元172可以包括發光單元2021、光接收單元2022、和基座2023。
障礙物檢測感測器單元172可以包括：使障礙物檢測感測器單元172上下移動的升降驅動單元(圖中未示)、調整障礙物檢測感測器單元172的感測角度的傾斜驅動單元(圖中未示)、以及使障礙物檢測感測器單元172旋轉的旋轉驅動單元(圖中未示)。
發光單元2021可以發射光L1，並且包括光源和準直透鏡，準直透鏡折射從光源發射的光，使得光沿著平行的方向行進。可以使用發射紅外線或可見光線(例如紅外線或可見光LES)的發光體作為光源。但是，發射雷射光束的發光體是理想的。
光接收單元2022可以包括其上形成由障礙物反射或散射的光L2的光點的影像感測器。影像感測器是以nXm的矩陣形式佈置的一組多個單位像素。每個單位像素可以被實現為諸如硫化鎘電池(Cadmium sulfide,CSC)、光電二極體、光電晶體、太陽能電池、和光電管等各種光接收裝置中的任何一個，並且這種光接收裝置將光的光學信號轉換成電子信號。另外，光接收單元2022可以包括光接收透鏡，由障礙物反射或散射的光通過該光接收透鏡折射並由此形成在影像感測器上。光接收透鏡可以由複數個透鏡組成。
基座2023支撐發光單元2021和光接收單元2022，並且能夠相對於本體110旋轉和升高。發光單元2021和影像感測器可以設置在基座2023上，同時彼此之間隔開一預定距離。
同時，障礙物檢測感測器單元172可以進一步包括支撐件2025，以支撐障礙物檢測感測器單元172，並且基座可以由支撐件2025可旋轉地支撐。支撐件2025可以透過諸如螺釘和螺栓的緊固構件固定到本體110的下部(參見圖1)，並且在這種情況下，將在以下描述的升降驅動單元可以升高基座2023。然而，本發明的態樣不受限制於此。由於升降驅動單元，基座2023可以相對於本體110下部可升降地設置在上下方向上。
基座蓋2024耦接基座2023，以與基座2023連動而轉動。在基座蓋2024與基座2023之間可以存在光發射通道，從發光單元2021發射的光L1通過該光發射通道；以及光接收通道，通過該光接收通道光接收單元2022接收到光。
升降驅動單元升降障礙物檢測感測器單元172。升降驅動單元可以包括線性或旋轉馬達。可以有一個動力傳輸裝置，它有助於在升降驅動單元 與障礙物檢測感測器單元172之間傳輸或移動動力，以升降障礙物檢測感測器單元172，並且動力傳輸裝置可以被實現為各種裝置，例如齒輪、滑輪2042、和皮帶2043。如果升降驅動單元被實現為旋轉馬達，則動力傳輸裝置可以包括由馬達旋轉的驅動小齒輪和固定到底座上並與驅動小齒輪嚙合的齒條。
障礙物檢測感測器單元172可以通過形成在本體110的上部上的升降孔(圖中未示)升降。在障礙物檢測感測器單元172在上下方向上升降的情況下，如果障礙物檢測感測器單元172處於向下位置時，從障礙物檢測感測器單元172的發光單元2021發出的光L1通過安裝在障礙物檢測感測器單元172中的透明構件指向本體110的前方，並且被障礙物反射或散射的光L2可以穿過該透明構件，從而入射在光接收單元2022上。
如果障礙物檢測感測器單元172處於向上位置，則障礙物檢測感測器單元172通過升降孔向本體110的頂部突出，並且甚至發光單元2021和光接收單元2022也位於本體110的上方。
圖21係說明如何測量到物體的距離的原理的視圖。參考圖21，障礙物檢測感測器單元172如何檢測物體的位置的基本原理是使用三角測量。
從光源2110發射的光具有相對於光接收透鏡2130的光軸C的特定角度。特別是，角度與測量到物體的距離的精度密切相關。因此，如果該角度太小，則可能難以測量到附近物體的距離，而如果該角度太大，則可能難以測量到遠處物體的距離。因此，該角度需要具有適當的值，該值較佳為能夠在0.1m至4m的範圍內測量距離的值。
影像感測器2120與光源2110間隔開，並且光接收透鏡2130設置在影像感測器2120與物體或障礙物之間。在這種情況下，在障礙物和光接收透鏡2130之間的距離定義為物距“L”，該物距“L”由等式1計算如下。
在等式1中，f是焦距，g是光源2110與透鏡之間的距離，θ是從光源2110發射的光與光接收透鏡2130的光軸C之間的角度，並且p是相對於影像感測器2120的中心o在影像感測器上被物體反射或散射的光的光點的位置。
同時，只有當從光源2110發射的光穿過透明構件2132時，在影像感測器2120上形成光點，因此，可以從對應於透明構件2132的輪廓的範圍(例如，從0°到180°的角度)獲得用於映射清潔區域的位置資訊。
以下是描述關於使用超音波感測器來檢測物體的示例，但是本發明的態樣不限於此。例如，顯而易見的是，上面參照圖14和圖21所描述的其他方法也是可以使用來檢測物體。
圖22係說明根據本發明一實施例之移動式清掃機器人的控制方法的流程圖。
參照圖2至圖6、以及圖22，移動式清掃機器人100可以在根據指令或其設定移動的同時執行清潔(S2210)。
感測器單元170包括障礙物檢測感測器131、171、或172，並在移動時檢測障礙物。
如果在移動式清掃機器人100移動的同時，使用感測器單元170檢測到障礙物(S2220)，則影像獲取單元120可以獲取本體110前方區域的影像(S2230)。
另外，從影像獲取單元120所獲取的影像當中，選擇和使用與感測器單元170的物體檢測時間同時拍攝的影像或感測器單元170的物體檢測時間之前拍攝的影像作為識別障礙物的影像。
當感測器單元170檢測到障礙物時，障礙物識別模組144可以基於影像獲取單元120所獲取的影像來識別檢測到的障礙物的屬性(S2240)。
更期望的是障礙物識別模組144可以基於從影像獲取單元120所獲取的影像中透過機器學習而預先學習的資料來識別障礙物(S2240)。
障礙物識別模組144可以包括透過機器學習訓練以識別諸如類型的物體屬性的ANN，並且障礙物識別模組144可以基於預先學習的資料識別檢測到的障礙物的屬性。
例如，障礙物識別模組144可以嵌入作為深度學習結構之一的CNN，並且預先學習的CNN可以識別包括在輸入資料中的障礙物屬性並且輸出結果。
如果學習到的物體佔據輸入影像資料的較大部分，則使用機器學習訓練的障礙物識別模組144可以具有較高的識別率。
因此，根據本發明的一實施例，根據感測器檢測到的物體的方向，提取從影像獲取單元120所獲取的影像中的部分區域，然後將其用作識別資料，由此改善識別率。
將參照圖27和圖30，將詳細描述從影像獲取單元120所獲取的影像中裁剪和提取部分區域。
同時，驅動控制模組141可以基於識別的障礙物的屬性，來控制行進單元160的行駛(S2290)。
例如，如果識別的障礙物對於移動式清掃機器人100來說過高，則驅動控制模組141可以執行控制操作，使得移動式清掃機器人100繞過障礙物行進。
另外，如果所識別的障礙物對於移動式清掃機器人100來說是足夠低的障礙物(諸如低台階)，則驅動控制模組141可以執行控制操作，使得移動式清掃機器人100保持筆直向前行進。
另外，如果具有諸如風扇底座、多插頭插座、以及電線等較低高度的障礙物被識別為可能限制移動式清掃機器人100的危險障礙物，則驅動控制模組141可以執行使得移動式清掃機器人100繞過障礙物行進的控制操作。
同時，如果識別的障礙物的屬性係表示一可移動障礙物(S2250)，則控制器140可以控制聲音輸出單元181輸出預設聲音(S2270)。
可移動障礙物可以是人體或寵物的一部分，並且預設聲音可以是警告聲音、或用於引導可移動障礙物移動的信息。
例如，如果識別出諸如腳和手的人體的至少一部分，則控制器140可以控制聲音輸出單元181輸出用於引導人離開的信息。
另外，如果識別出諸如狗和貓的寵物，則控制器140可以控制聲音輸出單元181輸出警報聲音，使得寵物響應該聲音而移動。
同時，如果識別的障礙物的屬性係表示可移動障礙物(S2250)，則控制器140可以控制行進單元160停止移動本體110並等待一會兒(S2260)。
同時，圖22係顯示在等待(S2260)之後如何輸出聲音的流程的示例(S2270)，但是本發明的態樣不限於此。例如，可以輸出聲音，然後停止移動本體110，或者在停止移動本體110時輸出聲音。
同時，控制器140可以輸出警告聲音或用於引導可移動障礙物移動的信息(S2270)，並且等待特定待機時間，直到可移動障礙物移動(S2260)。
同時，感測器單元170可以檢測可移動障礙物是否在特定待機時間內移動(S2280)。在可移動障礙物的情況下，控制器140可以判定可移動障礙物是否移動了一特定待機時間，並且根據判定結果控制移動式清掃機器人以不同方式行進。
當在特定待機時間內檢測到可移動障礙物的移動時(S2280)，控制器140可以執行控制操作，使得移動式清掃機器人100恢復在本體110停止之前執行的先前移動(S2260)。
也就是說，如果可移動障礙物在特定待機時間內移動，則移動式清掃機器人100的移動約束被消除，因此，可以恢復先前行駛模式的移動。
如果在特定待機時間內沒有檢測到可移動障礙物的移動(S2280)，則控制器140可以針對可移動障礙物執行迴避行駛(S2290)。
也就是說，如果可移動障礙物在特定待機時間內沒有移動，則移動式清掃機器人100可以對可移動障礙物執行迴避行駛。
同時，控制器140可以控制本體110在一預定距離範圍內反復地前後行進。
理想的是，控制器140可以控制本體110反復地前進和後退，就好像它在一特定的待機時間被嚇著了，直到可移動障礙物移動。因此，由於移動式清掃機器人100的震動以及引導信息，使用者能夠直觀地知道移動式清掃機器人100等待使用者移動。
通常情況下，如果家庭成員站在清潔區域內，清潔該區域的人會要求家庭成員離開。
考慮到在普通家庭中發現的這種一般情況，移動式清掃機器人100一旦檢測到可移動障礙物，例如人的腳和手等時，可以輸出聲音“現在正在清潔中，請移動你的腳”。
因此，使用者能夠知道移動式清掃機器人100已經識別出使用者的腳，並且具有移動式清掃機器人100的更高可靠性。
另外，如果家庭成員位於清潔區域，則需要執行迴避行駛，因此不能根據現有技術清潔該區域。本發明減少了發生這種情況的可能性，因此提高清潔效率。
圖23係說明根據本發明一實施例之移動式清掃機器人的控制方法的流程圖，並且顯示感測器單元170使用紅外線感測器識別人腳的示例。
參考圖23，移動式清掃機器人100可以根據指令或其設定以預設模式移動(S2310)。例如，移動式清掃機器人100可以在以Z字形模式行進的同時，執行清潔(S2310)。
在感測器單元170包括紅外線感測器的情況下，感測器單元170可以通過檢測反射的超音波信號來檢測障礙物的存在，並且控制器140可以基於透過影像獲取單元120所獲取的影像來識別障礙物的屬性(S2320)。
同時，影像獲取單元120可以透過不斷地拍攝移動式清掃機器人100的前側和周圍的區域、或者在感測器單元170檢測障礙物時拍攝移動式清掃機器人100的前側和周圍的區域來獲取影像。
同時，控制器140可以基於所識別的障礙物的屬性來控制移動式清掃機器人100行進。
例如，如果識別出的障礙物是正常的障礙物(非危險障礙物)(S2331)，則控制器140控制移動式清掃機器人100執行正常的障礙物迴避行駛(S2341)。
另外，如果識別的障礙物是危險的障礙物(S2332)，則控制器140可以控制移動式清掃機器人執行危險的障礙物迴避行駛(S2342)。
正常的障礙物迴避行駛和危險的障礙物迴避行駛在以下至少一個態樣可以是不同的：迴避行駛期間需要確保到障礙物的距離、移動式清掃機器人100的旋轉角度、以及迴避行駛模式。
另外，如果識別的障礙物是人腳(S2333)，則控制器140可以控制聲音輸出單元181輸出聲音(S2350)。
例如，聲音輸出單元181可以向使用者提供“現在正在清潔，請站在一旁”的語音通知。也就是說，可以通知使用者對人腳的識別，並提供使用者能夠移出清潔區域的資訊。
另外，控制器140可以停止移動移動式清掃機器人100(S2360)，並且判定人是否在特定待機時間內移動(S2370、S2380)。
同時，控制器140可打開計時器，以判定特定待機時間是否過去了。定時器可以設置在控制器140內部，或者可以是控制器140外部的附加定時器。
例如，如果由超音波感測器檢測到的障礙物移動，則反射的超音波信號被清除，並且因此可以基於超音波信號是否被清除來判定可移動障礙物的移動。
如果超音波信號被清除(S2370)，則可以判定前方的人站到一旁，從而可以恢復之前的Z字形模式的移動(S2310)。
如果由於在特定待機時間內沒有判定障礙物的移動而導致待機時間結束(S2380)，則控制器140可以執行控制操作，以執行預定的迴避操作。
例如，如果待機時間結束(S2380)，則控制器140可以執行控制操作，從而執行危險的障礙物迴避行駛(S2342)。
圖24至圖32係用於說明根據本發明一實施例之移動式清掃機器人的控制方法的視圖。
參考圖24，當在行進期間識別諸如人(腳)的可移動物體時，移動式清掃機器人100可以提供例如“現在正在清潔，請站在一邊”的通知。然後，如果可移動物體在一預定時間內移動，則移動式清掃機器人100可以繼續清潔， 而如果可移動物體在預定時間內不移動，則移動式清掃機器人100可以執行障礙物迴避行駛。
因此，可以防止移動式清掃機器人100與使用者之間的碰撞，並提高清潔效率。
另外，人們經常坐在地板上，且手放在地板上。
這樣，如圖25所示，當在行進期間檢測到人手或手臂時，移動式清掃機器人100可以向使用者提供通知，例如“請移動你的手”。
另外，如果向使用者準確地通知諸如腳、手、和手臂的識別的身體部位，則可以增加使用者的信心。
圖26係表示移動式清掃機器人100在待機時間中反復進行前進後退的示例的視圖。
參考圖26，當等待可移動物體移動時，移動式清掃機器人100可以向前行進第一距離D11，向後行進第二距離D12，向前行進第一距離，然後再向後行進第二距離D12，以通知移動式清掃機器人100等待使用者移動。
同時，期望的是，第一距離D11是足夠小的值而不會接近障礙物，並且第二距離D12可以被設定為與第一距離D11相對應。
理想是移動式清掃機器人100可以向後行進第二距離D12，然後第二距離D12不超過第一停止位置，使得移動式清掃機器人100不接近障礙物。也就是說，更理想是移動式清掃機器人100反復向後、向前，向後，然後向前行進第二距離D12。
圖27至圖30係說明從影像獲取單元120所獲取的影像中裁剪並提取部分區域的特定示例的視圖。
參考圖27，在行進期間，移動式機器人100可以使用感測器單元170來檢測諸如人腳的障礙物2700。圖27係顯示從移動式清掃機器人100的移動方向的中心檢測到障礙物2700的示例。
如果移動式清掃機器人100在行進期間檢測到存在障礙物2700，則影像獲取單元120拍攝移動式清掃機器人100的前方區域，並獲取包括障礙物2700的至少一部分的影像2800，如圖28(a)所示。
控制器140可以控制影像獲取單元120在感測器單元170檢測到障礙物2700的方向上從所獲取的影像2800中提取部分區域2810。
參照圖27和圖28，當從本體110的前側檢測到障礙物2700時，控制器140可以執行控制操作，以從影像獲取單元所獲取的影像中提取中央下部區域2810。
同時，控制器140可以使用提取影像2820，如圖28(b)所示，作為用於識別障礙物的屬性的輸入資料。
基於透過機器學習預先學習的資料，障礙物識別模組144可以識別出障礙物2700是人腳。例如，深度學習結構之一的CNN被嵌入在障礙物識別模組144中，並且預先訓練的CNN可以識別包括在輸入資料中的障礙物的屬性並且輸出識別的結果。
同時，如果檢測到的障礙物不是移動式清掃機器人100能夠越過的障礙物，則驅動控制模組141可以控制行進單元160執行迴避行駛，例如旋轉後行進。
同時，提取影像2820可以儲存在儲存單元150中。另外，由影像獲取單元獲取的原始影像2800也可以儲存在儲存單元150中。
儲存在儲存單元150中的提取影像2820可以用作訓練資料。
同時，當從本體110的前表面的右側檢測到障礙物時，控制器140可以執行控制操作，以從影像獲取單元120所獲取的影像中提取右下區域。當障礙物從本體110的前表面的左側被檢測到時，控制器140可以執行控制操作以從影像獲取單元120所獲取的影像中提取左下區域。
圖29係顯示從移動式清掃機器人100的移動方向的右側檢測障礙物2700的示例。
參考圖30(a)，當從本體110的前表面的右側檢測到障礙物2700時，控制器140可以執行控制操作以從影像獲取單元120所獲取的影像3000提取右下區域3010。
如圖30(b)所示，控制器140可以使用提取影像3020作為輸入資料來識別障礙物屬性。
本發明不將影像的中央區域裁剪成預定尺寸，而是能夠基於檢測到障礙物的方向從影像中提取中央、左邊、或右邊區域。
因此，在所使用的輸入資料中儘可能包含越多障礙物越好。機器識別考慮到影像的最大部分的元素，因此，障礙物屬性識別率可以提高。
同時，移動式清掃機器人100在特定空間的地板上行進，因此，如果從所獲取的影像中提取出低區域，則用於識別的輸入資料可能包括更多障礙物。
根據本發明一實施例的感測器單元170可以包括設置在移動式清掃機器人100的本體110的前表面上的第一感測器、以及在第一感測器的左右方向上與第一感測器隔開的第二感測器和第三感測器。
在這種情況下，第一感測器可以作為傳送部件操作，第二感測器和第三感測器可以作為接收部件操作。例如，第一感測器可以發送超音波信號，第二感測器和第三感測器可以接收由物體反射的信號。在接收到由障礙物反射的信號時，可以透過使用超音波之熟知的識別方法來判定障礙物存在的方向和到障礙物的距離。
例如，如果檢測到的障礙物與第二感測器之間的距離與檢測到的障礙物與第三感測器之間的距離相同，則可以判定從移動式清掃機器人100的前側的中央檢測到障礙物。
在這種情況下，可以從影像獲取單元120所獲取的原始影像的中央下部提取特定區域。
同時，如果檢測到的障礙物與第二感測器之間的距離大於檢測到的障礙物與第三感測器之間的距離，則可以判定在移動式清掃機器人100的前表面的右側上檢測到障礙物。
在這種情況下，可以從由影像獲取單元獲取的原始影像的右下部分提取特定區域。
控制器140可以執行控制操作，以便從影像獲取單元120所獲取的影像中與檢測到的障礙物與第二感測器之間的距離與檢測到的障礙物與第三感測器之間的距離之間的差成比例地移動並提取目標區域。
同時，根據本發明實施例的移動式清掃機器人100可以透過使用所提取的影像作為訓練資料來執行學習處理，由此能夠不斷更新ANN和DNN結構。
或者，移動式清掃機器人100可以將提取的影像發送到特定伺服器，並從特定伺服器接收機器學習相關資料。然後，移動式清掃機器人100可以基於從特定伺服器接收的機器學習相關資料來更新障礙識別模組144。
圖31和圖32係顯示從影像獲取單元120所獲取的影像中選擇在特定時間點拍攝的影像並用作障礙物識別資料的示例。
圖31係顯示從移動式清掃機器人100的前側檢測到障礙物3100的示例。
參考圖31，影像獲取單元120可以在移動式清掃機器人100的行進期間持續拍攝以獲取複數個影像。移動式清掃機器人100可以獲取第一位置3110處的第一影像3111、第二位置3120處的第二影像3121、以及第三位置3130處的第三影像3131。
參考圖32，預設數量的影像可以儲存在儲存單元150中。另外，如果獲取預設數量的影像，則可以刪除在最早的時間點拍攝的影像，並且可以儲存新獲取的影像。
移動式清掃機器人100可以根據由檢測到超音波信號而引起的觸發信號來開始識別影像。
然而，使用觸發信號的超音波感測器具有較短的範圍，因此，如果檢測到障礙物3100並且接收到觸發信號，則被識別的物體的特徵可以從所獲取的影像3131中消失。
因此，本發明可以將連續影像儲存在儲存單元150中，判定移動式清掃機器人100是否向前直線移動，並且如果接收到觸發信號，則使用第一影像3111而不使用第三影像3131以便識別障礙物。
通常，移動式清掃機器人100以恆定速度行進。因此，簡單地透過判定移動式清掃機器人100是否直行向前行進，然後選擇在特定時間點拍攝的 影像(例如，在感測器單元170檢測到障礙物之前拍攝兩個畫面的影像)可以識別障礙物。
另外，考慮感測器單元170的檢測範圍和感測器單元170的障礙物識別處理的速度，可以判定要選擇所拍攝的哪一個先前影像比感測器單元170的檢測時間早。
同時，在一些實施例中，在選定時間點拍攝的整個影像不被用作用於障礙物識別的輸入影像，而是僅提取並識別來自對應影像的部分區域，由此增加識別率。
根據本發明的一實施例，移動式清掃機器人可以判定障礙物的屬性並且根據該屬性調整行駛模式，從而能夠以高信賴度執行障礙物識別操作和迴避行駛操作。
另外，根據本發明的至少一個實施例，可以獲取提高障礙物屬性的識別精度的影像資料。
另外，根據本發明的至少一個實施例，可以提供一種移動式清掃機器人及其控制方法，該移動式清掃機器人根據障礙物的識別結果執行諸如向前行進、向後行進、停止、和繞行的操作，從而提高移動式清掃機器人的穩定性和使用便利性，並且提高行駛效率和清潔效率。
另外，根據本發明的至少一個實施例，可以提供一種移動式清掃機器人及其控制方法，該移動式清掃機器人能夠基於機器學習準確地識別障礙物的屬性。
另外，根據本發明的至少一個實施例，移動式清掃機器人能夠高效地執行機器學習並提取用於識別障礙屬性的資料。
根據本發明的移動式清掃機器人不限於上述實施例的配置和方法。相反地，實施例可以部分地或全部地選擇性地彼此組合，以進行各種修改。
同時，根據本發明一實施例之移動式清掃機器人的控制方法可以被實現為包括在電子裝置中之處理器可讀取記錄媒體中的軟體。處理器可讀取記錄媒體可以包括儲存處理器可讀資料的所有類型的記錄裝置。處理器可讀取記錄媒體的示例可以包括：ROM、RAM、CD-ROM、磁帶、軟碟機、光學資料 儲存裝置等。另外，這些示例包括載波型實施方式，例如作為透過互聯網的傳輸。此外，由於處理器可讀取記錄媒體被分散到經由網路連接的電腦系統，處理器可讀代碼可以以分散式方式被保存和執行。
此外，儘管已經說明和描述了本發明的較佳實施例，但是本發明不限於上述的某個實施例，本領域技術人員在不脫離如申請專利範圍所限定的本發明之標的下可以做出各種修改和變化。此外，這些修改的實施例不應與本發明的精神或範圍分開來理解
本申請案主張於2016年11月24日向韓國知識產權局提交的韓國專利申請第10-2016-0157552號的優先權權益，其公開內容通過引用併入本文中作為參考。

Claims (20)

  1. 一種移動式清掃機器人，包括：一行進單元，被配置以移動一本體；一影像獲取單元，被配置以獲取該本體的一周圍影像；一感測器單元，具有一個或多個感測器，被配置以在該本體移動時檢測一障礙物；一控制器，被配置以在該感測器單元檢測到一障礙物時，基於該影像獲取單元所獲取的影像，識別該障礙物的屬性，並且基於所識別的該障礙物的屬性，控制該行進單元的驅動；以及一聲音輸出單元，被配置以當所識別的該障礙物的屬性係表示一可移動障礙物時，輸出預設聲音。
  2. 依據申請專利範圍第1項所述的移動式清掃機器人，其中，該可移動障礙物是人體或寵物的一部分。
  3. 依據申請專利範圍第1項所述的移動式清掃機器人，其中，該控制器進一步被配置以當所識別的該障礙物的屬性係表示可移動障礙物時，停止移動該本體。
  4. 依據申請專利範圍第3項所述的移動式清掃機器人，其中，該控制器進一步被配置以當在一特定待機時間內檢測到該可移動物體的移動時，恢復先前的移動。
  5. 依據申請專利範圍第3項所述的移動式清掃機器人，其中，該控制器進一步被配置以當在該特定待機時間內未檢測到該可移動物體的移動時，對該可移動物體執行迴避驅動。
  6. 依據申請專利範圍第3項所述的移動式清掃機器人，其中，該控制器進一步被配置以控制該本體在一預定距離範圍內重複地前後移動。
  7. 依據申請專利範圍第1項所述的移動式清掃機器人，其中，該控制器進一步被配置以執行一控制操作，使得基於所識別的該障礙物的屬性，以一不同模式執行迴避行駛。
  8. 依據申請專利範圍第1項所述的移動式清掃機器人，其中，該預設聲音是警報聲、或者是用於引導該可移動障礙物移動的信息。
  9. 依據申請專利範圍第1項所述的移動式清掃機器人，其中，該控制器包括：一障礙物識別模組，被配置以基於使用機器學習預先學習的資料，從該影像獲取單元所獲取的影像中識別一障礙物；以及一行進控制模組，被配置以基於該障礙物的屬性，控制該行進單元的驅動。
  10. 依據申請專利範圍第9項所述的移動式清掃機器人，進一步包括：一通信單元，被配置以從一特定伺服器接收機器學習相關資料，其中，基於從該特定伺服器接收的該機器學習相關資料，更新該障礙物識別模組。
  11. 依據申請專利範圍第1項所述的移動式清掃機器人，其中，該控制器進一步被配置以執行一控制操作，使得在該感測器檢測到物體的方向上從該影像獲取單元所獲取的影像中提取一部分區域。
  12. 依據申請專利範圍第11項所述的移動式清掃機器人，其中，該控制器進一步被配置以執行控制操作，其包括：當從該本體的一右前側檢測到該障礙物時，提取該影像獲取單元所獲取的影像的一右下部分；當從該本體的一左前側檢測到該障礙物時，提取該影像獲取單元所獲取的影像的一左下部分；以及當從該本體的一前側檢測到該障礙物時，提取所獲取的影像的一中央下部。
  13. 依據申請專利範圍第1項所述的移動式清掃機器人，進一步包括一儲存單元，被配置以儲存該影像獲取單元所獲取的複數個連續影像，其中，該控制器進一步被配置以：在該感測器單元檢測到一障礙物時，基於該本體的一移動方向和一速度，從該複數個連續影像中選擇在該感測器檢測到該障礙物之前的一特定時間點所拍攝的影像；基於使用機器學習之預先學習的資料，識別包含在該特定時間點所拍攝的影像中的一障礙物的屬性。
  14. 依據申請專利範圍第13項所述的移動式清掃機器人，其中，該控制器進一步被配置以當該移動速度較慢時，選擇在該感測器單元檢測到一障礙物之前的較早時間點所拍攝的影像。
  15. 一種移動式清掃機器人的控制方法，該方法包括：在該移動式清掃機器人的一本體移動的同時，由一感測器單元檢測一障礙物；當該感測器單元檢測到一障礙物時，基於一影像獲取單元所獲取的影像，識別該障礙物的屬性；當所識別出的該障礙物的屬性係表示一可移動障礙物時，輸出預設聲音；以及基於所識別的該障礙物的屬性，控制一行進單元的驅動。
  16. 依據申請專利範圍第15項所述之移動式清掃機器人的控制方法，其中，該可移動障礙物是人體或寵物的一部分。
  17. 依據申請專利範圍第15項所述之移動式清掃機器人的控制方法，其中，所識別該障礙物的屬性包括：基於使用機器學習預先學習的資料，從該影像獲取單元所獲取的影像中識別該障礙物。
  18. 依據申請專利範圍第15項所述之移動式清掃機器人的控制方法，其中，進一步包括：當所識別該障礙物的屬性係表示一可移動障礙物時，停止移動該本體。
  19. 依據申請專利範圍第18項所述之移動式清掃機器人的控制方法，進一步包括：檢測該可移動障礙物是否在一特定待機時間內移動；其中，當在該特定待機時間內檢測到該可移動障礙物的移動時，恢復該停止之前該本體的先前移動。
  20. 依據申請專利範圍第18項所述之移動式清掃機器人的控制方法，進一步包括：檢測該可移動障礙物是否在該特定待機時間內移動，其中，當在該特定待機時間內未檢測到該可移動障礙物的移動時，基於所識別的該障礙物的屬性，控制該行進單元的驅動包括控制該行進單元以對該可移動障礙物執行迴避行駛。
TW106140379A 2016-11-24 2017-11-21 移動式清掃機器人及其控制方法 TWI660703B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??10-2016-0157552 2016-11-24
KR1020160157552A KR102662949B1 (ko) 2016-11-24 2016-11-24 인공지능 이동 로봇 및 그 제어방법

Publications (2)

Publication Number Publication Date
TW201825037A true TW201825037A (zh) 2018-07-16
TWI660703B TWI660703B (zh) 2019-06-01

Family

ID=62196012

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106140379A TWI660703B (zh) 2016-11-24 2017-11-21 移動式清掃機器人及其控制方法

Country Status (6)

Country Link
US (2) US11330948B2 (zh)
EP (2) EP3950234B1 (zh)
KR (1) KR102662949B1 (zh)
AU (1) AU2017363769B2 (zh)
TW (1) TWI660703B (zh)
WO (1) WO2018097574A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI671610B (zh) * 2018-09-28 2019-09-11 財團法人工業技術研究院 自動引導車、自動引導車控制系統、以及自動引導車之控制方法
TWI679378B (zh) * 2018-08-22 2019-12-11 崑山科技大學 空氣品質微型監測系統及空氣品質淨化方法
TWI687785B (zh) * 2019-02-25 2020-03-11 華碩電腦股份有限公司 自動回充方法
CN111398968A (zh) * 2018-12-28 2020-07-10 浙江舜宇智能光学技术有限公司 Tof精度检测***及其精度检测方法
CN111609852A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 语义地图构建方法、扫地机器人及电子设备
CN111679661A (zh) * 2019-02-25 2020-09-18 北京奇虎科技有限公司 基于深度相机的语义地图构建方法及扫地机器人
TWI712960B (zh) * 2019-01-29 2020-12-11 大陸商深圳市商湯科技有限公司 圖像處理方法、裝置、電腦設備和電腦儲存介質
TWI716064B (zh) * 2018-08-14 2021-01-11 日本千葉工業大學 移動機器人
TWI718455B (zh) * 2018-12-20 2021-02-11 燕成祥 機器人偵測困住裝置
CN112438664A (zh) * 2019-08-27 2021-03-05 Lg电子株式会社 通过人工智能识别卡堵情形的机器人清洁器及其操作方法
CN112506204A (zh) * 2020-12-17 2021-03-16 深圳市普渡科技有限公司 机器人遇障处理方法、装置、设备和计算机可读存储介质
TWI743519B (zh) * 2019-07-18 2021-10-21 萬潤科技股份有限公司 自走式裝置及其建立地圖方法
TWI753510B (zh) * 2019-07-31 2022-01-21 南韓商Ｌｇ電子股份有限公司 移動式機器人及其控制方法
US11458627B2 (en) 2020-08-13 2022-10-04 National Chiao Tung University Method and system of robot for human following
TWI798739B (zh) * 2020-07-01 2023-04-11 南韓商Ｌｇ電子股份有限公司 清掃機器人及包含該清掃機器人的機器人清掃系統
WO2023103515A1 (zh) * 2021-12-07 2023-06-15 北京石头世纪科技股份有限公司 自行走设备的控制方法、自行走设备和存储介质
US11774593B2 (en) 2019-12-27 2023-10-03 Automotive Research & Testing Center Method of simultaneous localization and mapping
TWI821774B (zh) * 2021-11-01 2023-11-11 萬潤科技股份有限公司 地圖定位方法及自走式裝置
EP4110560A4 (en) * 2020-02-28 2024-05-29 LG Electronics, Inc. MOBILE ROBOT AND ITS CONTROL METHOD

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220203524A1 (en) * 2013-11-01 2022-06-30 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US10882186B1 (en) 2017-05-11 2021-01-05 AI Incorporated Method for efficient operation of mobile robotic devices
JP7194914B2 (ja) * 2018-03-29 2022-12-23 パナソニックＩｐマネジメント株式会社 自律移動掃除機、自律移動掃除機による掃除方法、及び自律移動掃除機用プログラム
KR102531201B1 (ko) * 2018-07-19 2023-05-11 엘지전자 주식회사 로봇 청소기
CN108972630A (zh) * 2018-08-22 2018-12-11 安徽爱依特科技有限公司 机器人防撞装置
KR102629036B1 (ko) * 2018-08-30 2024-01-25 삼성전자주식회사 로봇 및 그의 제어 방법
WO2020060091A1 (ko) * 2018-09-20 2020-03-26 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
KR102577785B1 (ko) * 2018-09-20 2023-09-13 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
US11929157B2 (en) * 2018-11-02 2024-03-12 Stryker Corporation Techniques for transporting autonomous patient support apparatuses and medical equipment to an incident scene
KR20200084449A (ko) 2018-12-26 2020-07-13 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
US11353884B2 (en) * 2019-01-28 2022-06-07 Pixart Imaging Inc. Robot without detection dead zone
KR20200115696A (ko) * 2019-03-07 2020-10-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US20210331314A1 (en) * 2019-03-08 2021-10-28 Lg Electronics Inc. Artificial intelligence cleaner
KR102155095B1 (ko) * 2019-03-26 2020-09-11 엘지전자 주식회사 로봇 청소기
CN110065081A (zh) * 2019-05-24 2019-07-30 北京深醒科技有限公司 一种支持sip的家庭安全巡防机器人
KR102169879B1 (ko) * 2019-06-03 2020-10-27 한국기계연구원 학습을 이용한 로봇의 충돌 감지 시스템 및 방법
US20210401255A1 (en) * 2019-06-14 2021-12-30 Lg Electronics Inc. Artificial intelligence robot and method of operating the same
KR102378800B1 (ko) * 2019-06-27 2022-03-25 세메스 주식회사 챔버내 로봇추적제어시스템
KR102281346B1 (ko) * 2019-07-25 2021-07-23 엘지전자 주식회사 로봇 청소기 및 그 제어방법
KR20210028426A (ko) * 2019-09-04 2021-03-12 엘지전자 주식회사 로봇 청소기 및 그 제어방법
JP7225262B2 (ja) * 2020-02-26 2023-02-20 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車の障害物回避に関する軌跡計画
KR102361982B1 (ko) * 2020-03-04 2022-02-11 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
JP7373746B2 (ja) * 2020-03-13 2023-11-06 パナソニックＩｐマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
KR20210130478A (ko) * 2020-04-22 2021-11-01 삼성전자주식회사 로봇 청소기 및 그 제어 방법
KR102261754B1 (ko) * 2020-05-12 2021-06-07 한국과학기술원 박쥐를 모방한 3차원 초음파 이미징 방법 및 장치
CN112130555B (zh) * 2020-06-09 2023-09-15 广东科学技术职业学院 基于激光导航雷达及计算机视觉感知融合的自行走机器人及***
CN112087899B (zh) * 2020-09-17 2021-09-10 广州高腾科技有限公司 一种干线放大器用保护装置
US20230005312A1 (en) * 2020-10-14 2023-01-05 1Ahead Technologies Access management system
US11756357B2 (en) 2020-10-14 2023-09-12 1Ahead Technologies Access management system
US11854328B2 (en) 2020-10-14 2023-12-26 1Ahead Technologies Access management system
ES2906821A1 (es) * 2020-10-15 2022-04-20 Cecotec Res And Development Sl Sistema de deteccion de espacios desordenados para robot de limpieza y/o desinfeccion y metodo asociado
CN112506189B (zh) * 2020-11-19 2024-06-21 深圳优地科技有限公司 一种控制机器人移动的方法
CN114571472B (zh) * 2020-12-01 2024-01-23 北京小米机器人技术有限公司 用于足式机器人的地面属性检测方法及驱动方法及其装置
WO2022142394A1 (zh) * 2020-12-28 2022-07-07 追觅创新科技(苏州)有限公司 一种清洗盘及清洁坞
CN112847443B (zh) * 2020-12-31 2022-03-22 安徽飞凯电子技术有限公司 一种机器人用自主视觉辨别***
CN113558523A (zh) * 2021-06-22 2021-10-29 惠州越登智能科技有限公司 激光雷达障碍检测装置、设备及检测方法
CN113413091B (zh) * 2021-06-30 2023-04-18 科沃斯商用机器人有限公司 清洁机器人及其避障方法
TWI772177B (zh) * 2021-09-10 2022-07-21 迪伸電子股份有限公司 自走裝置的移動控制方法及自走裝置
US20230320551A1 (en) * 2022-04-11 2023-10-12 Vorwerk & Co. Interholding Gmb Obstacle avoidance using fused depth and intensity from nnt training
WO2023205252A1 (en) * 2022-04-19 2023-10-26 Eyevac, Llc Automated vacuum and charger system and method
CN114904825A (zh) * 2022-05-12 2022-08-16 湖北汽车工业学院 一种共享多功能洗眼镜机
CN116991152B (zh) * 2022-06-25 2024-06-07 九众九机器人有限公司 一种物料整理方法、***、终端及存储介质
CN117502974B (zh) * 2024-01-08 2024-03-22 九阳股份有限公司 一种表面清洁装置的助力控制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2648071B1 (fr) * 1989-06-07 1995-05-19 Onet Procede et appareil autonomes de nettoyage automatique de sol par execution de missions programmees
JPH09185412A (ja) * 1995-12-28 1997-07-15 Yaskawa Electric Corp 自律移動装置
JP2005296510A (ja) 2004-04-15 2005-10-27 Funai Electric Co Ltd 監視カメラを備えた自走式掃除機
KR100669892B1 (ko) 2005-05-11 2007-01-19 엘지전자 주식회사 장애물 회피 기능을 갖는 이동로봇과 그 방법
KR100791381B1 (ko) * 2006-06-01 2008-01-07 삼성전자주식회사 이동 로봇의 원격 조종을 위한 충돌방지 시스템, 장치 및방법
KR100769909B1 (ko) 2006-09-06 2007-10-24 엘지전자 주식회사 이동 로봇 및 그 동작방법
JP4871160B2 (ja) 2007-02-16 2012-02-08 株式会社東芝 ロボットおよびその制御方法
KR100933539B1 (ko) * 2007-12-11 2009-12-23 포스데이타 주식회사 이동로봇의 주행 제어 방법 및 이를 이용한 이동 로봇
EP2249998B1 (en) * 2008-01-28 2013-03-20 Seegrid Corporation Methods for real-time interaction with robots
JP4658155B2 (ja) 2008-03-17 2011-03-23 株式会社日立製作所 自律移動ロボット装置及び自律移動ロボット装置の回避方法
US8706297B2 (en) * 2009-06-18 2014-04-22 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
KR101338246B1 (ko) 2012-02-16 2013-12-09 인하대학교 산학협력단 이동로봇의 충돌방지 시스템 및 방법
KR102061511B1 (ko) * 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
KR102094347B1 (ko) * 2013-07-29 2020-03-30 삼성전자주식회사 자동 청소 시스템, 청소 로봇 및 그 제어 방법
KR20150104311A (ko) * 2014-03-05 2015-09-15 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
US9415513B2 (en) * 2014-08-29 2016-08-16 General Electric Company Systems and methods for railyard robotics
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
WO2016095966A1 (en) * 2014-12-16 2016-06-23 Aktiebolaget Electrolux Cleaning method for a robotic cleaning device
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
DE102015107598A1 (de) 2015-05-13 2016-11-17 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines selbsttätig verfahrbaren Reinigungsgerätes
EP3338151A4 (en) * 2015-08-18 2019-04-17 Nilfisk A/S MOBILE ROBOTIC VACUUM CLEANER

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409306B2 (en) 2018-08-14 2022-08-09 Chiba Institute Of Technology Movement robot
TWI766410B (zh) * 2018-08-14 2022-06-01 日本千葉工業大學 移動機器人
TWI716064B (zh) * 2018-08-14 2021-01-11 日本千葉工業大學 移動機器人
TWI679378B (zh) * 2018-08-22 2019-12-11 崑山科技大學 空氣品質微型監測系統及空氣品質淨化方法
US11086330B2 (en) 2018-09-28 2021-08-10 Industrial Technology Research Institute Automatic guided vehicle, AGV control system, and AGV control method
TWI671610B (zh) * 2018-09-28 2019-09-11 財團法人工業技術研究院 自動引導車、自動引導車控制系統、以及自動引導車之控制方法
TWI718455B (zh) * 2018-12-20 2021-02-11 燕成祥 機器人偵測困住裝置
CN111398968B (zh) * 2018-12-28 2022-10-18 浙江舜宇智能光学技术有限公司 Tof精度检测***及其精度检测方法
CN111398968A (zh) * 2018-12-28 2020-07-10 浙江舜宇智能光学技术有限公司 Tof精度检测***及其精度检测方法
TWI712960B (zh) * 2019-01-29 2020-12-11 大陸商深圳市商湯科技有限公司 圖像處理方法、裝置、電腦設備和電腦儲存介質
CN111679661A (zh) * 2019-02-25 2020-09-18 北京奇虎科技有限公司 基于深度相机的语义地图构建方法及扫地机器人
TWI687785B (zh) * 2019-02-25 2020-03-11 華碩電腦股份有限公司 自動回充方法
CN111609852A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 语义地图构建方法、扫地机器人及电子设备
TWI743519B (zh) * 2019-07-18 2021-10-21 萬潤科技股份有限公司 自走式裝置及其建立地圖方法
TWI753510B (zh) * 2019-07-31 2022-01-21 南韓商Ｌｇ電子股份有限公司 移動式機器人及其控制方法
US11892849B2 (en) 2019-07-31 2024-02-06 Lg Electronics Inc. Moving robot and control method thereof
US11378966B2 (en) 2019-08-27 2022-07-05 Lg Electronics Inc. Robot cleaner for recognizing stuck situation through artificial intelligence and method of operating the same
CN112438664A (zh) * 2019-08-27 2021-03-05 Lg电子株式会社 通过人工智能识别卡堵情形的机器人清洁器及其操作方法
US11774593B2 (en) 2019-12-27 2023-10-03 Automotive Research & Testing Center Method of simultaneous localization and mapping
EP4110560A4 (en) * 2020-02-28 2024-05-29 LG Electronics, Inc. MOBILE ROBOT AND ITS CONTROL METHOD
TWI798739B (zh) * 2020-07-01 2023-04-11 南韓商Ｌｇ電子股份有限公司 清掃機器人及包含該清掃機器人的機器人清掃系統
US11458627B2 (en) 2020-08-13 2022-10-04 National Chiao Tung University Method and system of robot for human following
CN112506204A (zh) * 2020-12-17 2021-03-16 深圳市普渡科技有限公司 机器人遇障处理方法、装置、设备和计算机可读存储介质
TWI821774B (zh) * 2021-11-01 2023-11-11 萬潤科技股份有限公司 地圖定位方法及自走式裝置
WO2023103515A1 (zh) * 2021-12-07 2023-06-15 北京石头世纪科技股份有限公司 自行走设备的控制方法、自行走设备和存储介质

Also Published As

Publication number Publication date
US20190320867A1 (en) 2019-10-24
US11330948B2 (en) 2022-05-17
US20220265106A1 (en) 2022-08-25
EP3546139B1 (en) 2021-09-22
KR102662949B1 (ko) 2024-05-02
US11737635B2 (en) 2023-08-29
KR20180058511A (ko) 2018-06-01
EP3546139A4 (en) 2020-07-22
AU2017363769B2 (en) 2020-10-29
AU2017363769A1 (en) 2019-07-11
EP3950234B1 (en) 2024-04-10
EP3950234A1 (en) 2022-02-09
EP3546139A1 (en) 2019-10-02
WO2018097574A1 (ko) 2018-05-31
TWI660703B (zh) 2019-06-01

Similar Documents

Publication Publication Date Title
TWI660703B (zh) 移動式清掃機器人及其控制方法
JP7055127B2 (ja) 移動ロボット及びその制御方法
US10695906B2 (en) Moving robot and controlling method
KR102000067B1 (ko) 이동 로봇
JP6039611B2 (ja) 可動式ロボットシステム
JP2019528535A5 (zh)
KR102548936B1 (ko) 인공지능 이동 로봇 및 그 제어방법
JP2014509417A (ja) 可動式ヒューマンインターフェースロボット
KR102500525B1 (ko) 이동 로봇
KR102681557B1 (ko) 이동 로봇 및 그 제어방법
KR20230143800A (ko) 이동 로봇 및 그의 제어 방법
KR20180098040A (ko) 이동 로봇 및 그 제어방법