TWI619462B - Electric sweeper - Google Patents

Electric sweeper Download PDF

Info

Publication number
TWI619462B
TWI619462B TW105132967A TW105132967A TWI619462B TW I619462 B TWI619462 B TW I619462B TW 105132967 A TW105132967 A TW 105132967A TW 105132967 A TW105132967 A TW 105132967A TW I619462 B TWI619462 B TW I619462B
Authority
TW
Taiwan
Prior art keywords
distance
image
obstacle
electric sweeper
camera
Prior art date
Application number
TW105132967A
Other languages
English (en)
Other versions
TW201716027A (zh
Inventor
Hirokazu Izawa
Yuuki Marutani
Kota Watanabe
Kazuhiro Furuta
Original Assignee
Toshiba Lifestyle Products & Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products & Services Corp filed Critical Toshiba Lifestyle Products & Services Corp
Publication of TW201716027A publication Critical patent/TW201716027A/zh
Application granted granted Critical
Publication of TWI619462B publication Critical patent/TWI619462B/zh

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02Nozzles
    • A47L9/04Nozzles with driven brushes or agitators
    • A47L9/0405Driving means for the brushes or agitators
    • A47L9/0411Driving means for the brushes or agitators driven by electric motor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/02Nozzles
    • A47L9/04Nozzles with driven brushes or agitators
    • A47L9/0461Dust-loosening tools, e.g. agitators, brushes
    • A47L9/0466Rotating tools
    • A47L9/0472Discs
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Measurement Of Optical Distance (AREA)
  • Electric Suction Cleaners (AREA)

Abstract

本發明提供一種提高了障礙物的檢測精度的電動掃除機。電動掃除機(11)包括本體殼體、驅動輪、控制機構(27)、相機(51a)、相機(51b)、圖像生成部(63)及判定部(64)。驅動輪使本體殼體可移行。控制機構(27)藉由控制驅動輪的驅動來使本體殼體自主移行。相機(51a)、相機(51b)配置於本體殼體且相互隔開,對本體殼體的移行方向側進行拍攝。圖像生成部(63)根據相機(51a)、相機(51b)所拍攝到的圖像,生成位於所述移行方向側的物體的距離圖像。判定部(64)根據圖像生成部(63)所生成的距離圖像,判定所拍攝到的物體是否為障礙物。

Description

電動掃除機
本發明的實施形態是有關於一種包括對本體殼體(case)的移行方向側進行拍攝的多個攝像機構的電動掃除機。
先前,已知有一邊在作為被掃除面的地面上進行自主移行,一邊對地面進行掃除的所謂自主移行型的電動掃除機(掃除機器人)。
此種電動掃除機需要在移行時避開障礙物。因此,使用超聲波感測器或紅外線感測器等感測器來作為對移行造成障礙的障礙物的檢測用構件。然而,在例如使用超聲波感測器的情況下,在移行方向上存在柔軟的簾子或細軟線類等時,超聲波無法適當地反射,從而不容易進行作為障礙物的檢測。又,例如在使用紅外線感測器的情況下,對象物為黑色物體或為細軟線類時,無法適當地接收經反射的紅外線,從而不容易進行障礙物的檢測。
即,在此種自主移行型的電動掃除機的情況,儘管藉由提高障礙物的檢測精度,可藉由穩定的移行而提高掃除性能,但是當無法檢測障礙物時,則會因與障礙物的衝撞或擱置等而使得移行停止等,掃除不得進展。
因此,在自主移行型的電動掃除機中,為了使掃除順暢,重要的是障礙物的檢測,從而期望障礙物的檢測精度提高。
[現有技術文獻] [專利文獻]
[專利文獻1]日本專利特開2007-163223號公報
[專利文獻2]日本專利特開2013-235351號公報
本發明所欲解決的問題在於提供一種提高了障礙物的檢測精度的電動掃除機。
實施形態的電動掃除機包括本體殼體、驅動輪、控制機構、攝像機構、距離圖像生成機構及判定機構。驅動輪使本體殼體可移行。控制機構藉由對驅動輪的驅動進行控制而使本體殼體自主移行。攝像機構配置於本體殼體且相互隔開,對本體殼體的移行方向側進行拍攝。距離圖像生成機構根據攝像機構所拍攝到的圖像,生成位於所述移行方向側的物體的距離圖像。判定機構根據距離圖像生成機構所生成的距離圖像,判定所拍攝到的物體是否為障礙物。
11‧‧‧電動掃除機
12‧‧‧充電裝置
14‧‧‧家用閘道器
15‧‧‧網路
16‧‧‧伺服器
17‧‧‧外部裝置
17a‧‧‧PC
17b‧‧‧智慧型手機
20‧‧‧本體殼體
20a‧‧‧側面部
20b‧‧‧上表面部
20c‧‧‧下表面部
21‧‧‧移行部
22‧‧‧掃除部
23‧‧‧通信部
25‧‧‧攝像部
26‧‧‧感測部
27‧‧‧控制機構
28‧‧‧蓄電池
31‧‧‧吸入口
32‧‧‧排氣口
34‧‧‧驅動輪
35‧‧‧馬達
36‧‧‧回旋輪
41‧‧‧電動鼓風機
42‧‧‧旋轉刷
43‧‧‧有刷馬達
44‧‧‧邊刷
45‧‧‧邊刷馬達
46‧‧‧集塵部
47‧‧‧無線LAN器件
51a、51b、51c‧‧‧作為攝像機構的相機
53‧‧‧燈
55‧‧‧轉數感測器
61‧‧‧記憶體
63‧‧‧作為距離圖像生成機構的圖像生成部
64‧‧‧作為判定機構的判定部
65‧‧‧圖像處理部
66‧‧‧移行控制部
67‧‧‧掃除控制部
68‧‧‧攝像控制部
69‧‧‧照明控制部
71‧‧‧充電端子
73‧‧‧作為光輸出機構的光束照射部
A1a、A1b、A2a、A2b‧‧‧圖像範圍
B‧‧‧光束
CA‧‧‧掃除區域
D、D1、D2‧‧‧設定距離
FR、RR‧‧‧箭頭
L‧‧‧中心線
O‧‧‧物體
P1a、P1b‧‧‧圖像
PL1、PL2‧‧‧距離圖像
S‧‧‧點
T‧‧‧度數臨限值
Va、Vb、Vc‧‧‧攝像範圍
S1~S4、S11~S17、S21~S25‧‧‧步驟
圖1是表示第1實施形態的電動掃除機的內部構造的方塊圖。
圖2是表示所述電動掃除機的立體圖。
圖3是自下方表示所述電動掃除機的俯視圖。
圖4是示意性地表示包含所述電動掃除機的電動掃除系統的說明圖。
圖5是示意性地表示所述電動掃除機的物體的距離的計算方法的說明圖。
圖6(a)是表示其中一個攝像機構所拍攝到的圖像的一例的說明圖,圖6(b)是表示另一個攝像機構所拍攝到的圖像的一例的說明圖,圖6(c)是表示在設定距離相對小時根據圖6(a)及圖6(b)而生成的距離圖像的一例的說明圖,圖6(d)是表示在設定距離相對大時根據圖6(a)及圖6(b)而生成的距離圖像的一例的說明圖。
圖7(a)是表示用於所述電動掃除機的判定機構的障礙物判定的直方圖(histogram)的一例的說明圖,圖7(b)是表示電動掃除機自圖7(a)的狀態前進時的直方圖的一例的說明圖。
圖8是示意性地表示所述電動掃除機的地圖生成機構的地圖的生成方法的說明圖。
圖9是表示所述電動掃除機的地圖生成時的移行控制的流程圖。
圖10是表示所述電動掃除機的移行控制的流程圖。
圖11是表示第2實施形態的電動掃除機的移行控制的流程圖。
圖12是示意性地表示第3實施形態的電動掃除機的物體的距離的計算方法的說明圖。
圖13是示意性地表示第4實施形態的電動掃除機的物體的距離的計算方法的說明圖。
以下,參照圖式對第1實施形態的構成進行說明。
在圖1至圖4中,11是電動掃除機,所述電動掃除機11與成為所述電動掃除機11的充電用基地部的作為基地裝置的充電裝置(充電台)12(圖4)一併構成電動掃除裝置(電動掃除系統)。並且,電動掃除機11在本實施形態中,是一邊在作為移行面的被掃除面即地面上進行自主移行(自移),一邊對地面進行掃除的所謂自移式的機器人清除器(掃除機器人),例如與配置在掃除區域內等的作為中継機構(中継部)的家用閘道器(路由器(router))14之間利用有線通信或Wi-Fi(註冊商標)或Bluetooth(註冊商標)等無線通信進行通信(收發),由此可經由網際網路等(外部)網路15,與作為資料儲存機構(資料儲存部)的通用的伺服器16、或作為顯示機構(顯示部)的通用的外部裝置17等進行有線通信或無線通信。
又,所述電動掃除機11包括中空狀的本體殼體20、使所述本體殼體20在地面上移行的移行部21、對地面等的塵埃進行掃除的掃除部22、與包含充電裝置12的外部裝置進行通信的通信部23、對圖像進行拍攝的攝像部25、感測部26、對移行部21、掃除部22、通信部23及攝像部25等進行控制的控制器即控制機構(控制部)27、對這些移行部21、掃除部22、通信部23、攝像 部25、感測部26及控制機構27等進行供電的蓄電池28。再者,以下,將沿電動掃除機11(本體殼體20)的移行方向的方向設為前後方向(圖2所示的箭頭FR方向、RR方向),將與所述前後方向交叉(正交)的左右方向(兩側方向)設為寬度方向來進行說明。
本體殼體20例如由合成樹脂等形成為扁平的圓柱狀(圓盤狀)等。即,所述本體殼體20包括側面部20a、以及與所述側面部20a的上部及下部分別連續的上表面部20b(圖2)及下表面部20c(圖3)。所述本體殼體20的側面部20a形成為大致圓筒面狀,在所述側面部20a,例如配置有攝像部25等。又,本體殼體20的上表面部20b及下表面部20c分別形成為大致圓形,如圖3所示,在與地面相對向的下表面部20c,分別開設有作為集塵口的吸入口31及排氣口32等。
移行部21包括作為多個(一對)驅動部的驅動輪34、驅動輪34,作為使這些驅動輪34、驅動輪34驅動的動作部的驅動機構即馬達35、馬達35(圖1),以及回旋用的回旋輪36等。
各驅動輪34是使電動掃除機11(本體殼體20)在地面上沿前進方向及後退方向移行(自主移行)的構件,即移行用的構件,沿左右寬度方向具有未圖示的旋轉軸,在寬度方向上對稱配置。
各馬達35(圖1)例如與各個驅動輪34相對應而配置,可使各驅動輪34獨立驅動。
回旋輪36是位於本體殼體20的下表面部20c的寬度方向上的大致中央部且位於前部、可沿地面進行回旋的從動輪。
掃除部22包括例如位於本體殼體20內自吸入口31與空氣一併吸入塵埃且自排氣口32排出的電動鼓風機41、可旋轉地安裝在吸入口31而將塵埃攏上去的作為旋轉清掃體的旋轉刷42及使所述旋轉刷42旋轉驅動的有刷馬達43(圖1)、可旋轉地安裝在本體殼體20的前側等的兩側而將塵埃攏集起來的作為回旋清掃部的輔助掃除機構(輔助掃除部)即邊刷44及使所述邊刷44驅動的邊刷馬達45(圖1)、以及與吸入口31連通而蓄積塵埃的集塵部46(圖2)等。再者,只要至少包括電動鼓風機41、旋轉刷42及有刷馬達43(圖1)、邊刷44及邊刷馬達45(圖1)中的任一者即可。
圖1所示的通信部23包括用以經由家用閘道器14及網路15與外部裝置17進行無線通信的無線通信機構(無線通信部)及作為掃除機信號接收機構(掃除機信號接收部)的無線區域網路(local area network,LAN)器件47、向充電裝置12(圖4)等發送無線信號(紅外線信號)的例如紅外線發光元件等未圖示的發送機構(發送部)、以及接收來自充電裝置12或未圖示的遙控器等的無線信號(紅外線信號)的例如光電晶體(phototransistor)等未圖示的接收機構(接收部)等。再者,亦可設為例如在通信部23上搭載存取點(access point)功能,不經由家用閘道器14而與外部裝置17直接進行無線通信。又,亦可例如在通信部23 上附加網站伺服器(web server)功能。
無線LAN器件47是自電動掃除機11經由家用閘道器14相對於網路15收發各種資訊的構件。
攝像部25包括作為(其中一個及另一個)攝像機構(攝像部本體)的相機51a、相機51b,以及對這些相機51a、相機51b賦予照明的作為照明機構(照明部)的發光二極體(light-emitting diode,LED)等的燈53。
如圖2所示,相機51a、相機51b在本體殼體20的側面部20a,配置在前部的兩側。即,在本實施形態中,相機51a、相機51b在本體殼體20的側面部20a,相對於電動掃除機11(本體殼體20)的寬度方向上的中心線L,分別配置在向左右方向傾斜大致相等的規定角度(銳角)的位置。換而言之,這些相機51a、相機51b相對於本體殼體20沿寬度方向大致對稱地配置,這些相機51a、相機51b的中心位置與和電動掃除機11(本體殼體20)的移行方向即前後方向交叉(正交)的寬度方向上的中心位置大致一致。此外,這些相機51a、相機51b分別配置在沿上下方向大致相等的位置,即大致相等的高度位置。因此,這些相機51a、相機51b在將電動掃除機11載置於地面上的狀態下自所述地面算起的高度設定為彼此大致相等。因此,相機51a、相機51b隔開地配置在相互錯開的位置(在左右方向上錯開的位置)。又,這些相機51a、相機51b是對本體殼體20的移行方向即前方,分別以規定的鏡頭最大角度(horizontal angle of view)(例如105°等)每隔規 定時間,例如每隔數十毫秒等每隔微小時間,或每隔數秒等拍攝數位圖像的數位相機。此外,這些相機51a、相機51b的彼此的攝像範圍(視場)Va、攝像範圍(視場)Vb重合(圖5),這些相機51a、相機51b所拍攝的(其中一個及另一個)圖像P1a、圖像P1b(圖6(a)及圖6(b))在其攝像區域包含將電動掃除機11(本體殼體20)的寬度方向上的中心線L加以延長的前方位置在內的區域內在左右方向上重疊。在本實施形態中,這些相機51a、相機51b例如設為對可見光區域的圖像進行拍攝。再者,這些相機51a、相機51b所拍攝到的圖像例如亦可藉由未圖示的圖像處理電路等而壓縮成規定的資料格式。
燈53是輸出藉由相機51a、相機51b對圖像進行拍攝時的照明用的光的構件,配置在相機51a、相機51b的中間位置,即本體殼體20的側面部20a的中心線L上的位置。即,燈53與相機51a、相機51b相距的距離大致相等。又,所述燈53配置在與相機51a、相機51b在上下方向上大致相等的位置,即大致相等的高度位置。因此,所述燈53配置在相機51a、相機51b的寬度方向上的大致中央部。在本實施形態中,所述燈53對包含可見光區域的光進行照明。
圖1所示的感測部26例如包括對各驅動輪34(各馬達35)的轉數進行檢測的光編碼器等轉數感測器55。所述轉數感測器55藉由所測定的驅動輪34(圖3)或馬達35的轉數,對電動掃除機11(本體殼體20(圖3))的回旋角度或行進距離進行檢測。 因此,所述轉數感測器55是檢測例如自充電裝置12(圖4)等的基準位置算起的電動掃除機11(本體殼體20(圖3))的相對位置的位置檢測感測器。
控制機構27是包括例如作為控制機構本體(控制部本體)的中央處理單元(Central Processing Unit,CPU)、儲存有由所述CPU讀取的程式等固定的資料的儲存部即唯讀記憶體(read only memory,ROM)、動態形成成為藉由程式而進行的資料處理的作業區域的工作區(work area)等各種記憶區的區儲存部即隨機存取記憶體(random access memory,RAM)(分別未圖示)等的微電腦(microcomputer)。所述控制機構27更包括:例如記憶相機51a、相機51b所拍攝到的圖像的資料等的作為記憶機構(記憶部)的記憶體61,根據相機51a、相機51b所拍攝到的圖像計算自相機51a、相機51b算起的物體(特徵點)的距離(深度),並根據所述計算出的物體的距離生成距離圖像的作為距離圖像生成機構(距離圖像生成部)的圖像生成部63,判定在由所述圖像生成部63生成的距離圖像中所拍攝的物體是否為障礙物的作為判定機構的判定部64,以及根據判定部64的障礙物判定來生成掃除區域的地圖的作為地圖生成機構(地圖生成部)的圖像處理部65等。又,所述控制機構27包括:對移行部21的馬達35、馬達35(驅動輪34、驅動輪34(圖3))的動作進行控制的移行控制部66,對掃除部22的電動鼓風機41、有刷馬達43及邊刷馬達45的動作進行控制的掃除控制部67,對攝像部25的相機51a、相機 51b進行控制的攝像控制部68,以及對攝像部25的燈53進行控制的照明控制部69等。而且,所述控制機構27具有例如對驅動輪34、驅動輪34(圖3)即馬達35、馬達35進行驅動而使電動掃除機11(本體殼體20(圖3))自主移行的移行模式,經由充電裝置12(圖4)對蓄電池28進行充電的充電模式,以及動作待機中的待機模式。
記憶體61是不論電動掃除機11的電源的接通或斷開(on-off)均保持所記憶的各種資料的例如快閃記憶體(flash memory)等非揮發性記憶體。
圖像生成部63是利用已知的方法,根據相機51a、相機51b所拍攝到的圖像以及相機51a、相機51b間的距離來計算物體(特徵點)的距離,並且生成表示所述計算出的物體(特徵點)的距離的距離圖像。即,所述圖像生成部63例如應用基於相機51a、相機51b與物體(特徵點)O的距離及相機51a、相機51b間的距離的三角測量(圖5),自相機51a、相機51b所拍攝到的各圖像中檢測出表示同一位置的像素點(pixel dot),計算所述像素點的上下方向及左右方向上的角度,根據這些角度與相機51a、相機51b間的距離來計算所述位置的與相機51a、相機51b相隔的距離。因此,相機51a、相機51b所拍攝的圖像較佳為儘可能地範圍重合(重疊)。又,所述圖像生成部63生成距離圖像是藉由如下方式來進行:將所算出的各像素點的距離,例如針對每個點等規定點轉換成可藉由明度或色調等的視認而識別的灰階來顯示。 在本實施形態中,圖像生成部63生成距離圖像,作為距離越大明度越小的黑白圖像,即自電動掃除機11(本體殼體20)算起向前方的距離越遠越黑且距離越近越白的例如256灰階(8位元=28)的灰度(gray scale)的圖像。因此,所述距離圖像是使位於所謂電動掃除機11(本體殼體20)的移行方向前方的相機51a、相機51b所拍攝的範圍內的物體的距離資訊(距離資料)的集合體可視化的圖像。在所述圖像生成部63中,僅針對相機51a、相機51b所拍攝到的各圖像中的規定的圖像範圍內的像素點生成距離圖像。
判定部64根據圖像生成部63所生成的距離圖像,判定相機51a、相機51b所拍攝到的物體是否為障礙物,即成為移行的障礙的障礙物是否位於前方。具體而言,所述判定部64將圖像生成部63所生成的距離圖像(構成距離圖像的像素點的距離的數值資料)中的物體(特徵點)的距離與預先設定的或經可變設定的規定的臨限值即設定距離進行比較,當物體(特徵點)位於小於或等於所述設定距離的距離(自電動掃除機11(本體殼體20)算起的距離)時,將所述物體(特徵點)判定為障礙物,不處於小於或等於設定距離的距離(自電動掃除機11(本體殼體20)算起的距離)的物體(特徵點)則判定為非障礙物。更詳細而言,在本實施形態中,判定部64利用將每個規定的距離寬度(組界(bin))的像素數表示為度數的直方圖(例如圖7(a)及圖7(b)中示例的)藉由度數資料來對距離圖像中的像素點(物體(特徵點))的 距離資訊進行管理,將所述直方圖中的包含設定距離的距離寬度的度數與預先設定的度數臨限值進行比較,當較規定的設定距離更近的距離的度數達到大於或等於規定的度數臨限值時,判定為已拍攝到在距離圖像中成為障礙物的物體。
此處,藉由圖像生成部63及判定部64而分別設定的規定的圖像範圍只要滿足(藉由圖像生成部63而設定的圖像範圍)≧(藉由判定部64而設定的圖像範圍)的大小關係,亦可不必相一致,但是當使處理進一步簡化時,較佳為相一致,因此在本實施形態中設為這些圖像範圍相一致來進行說明。又,這些圖像範圍是根據判定部64所設定的設定距離來確定大小。具體而言,判定部64所設定的設定距離越大(越遠),圖像範圍設定得越窄。所述圖像範圍亦可設為與設定距離成比例而設定,且亦可設為根據針對設定距離而設定的單個臨限值或多個臨限值與所述設定距離的大小關係,自預先設定的多個圖像範圍選擇最佳的圖像範圍。所述圖像範圍設定為與設定距離所對應的本體殼體20的外形同等。即,所述圖像範圍是對應於電動掃除機11(本體殼體20)位於自相機51a、相機51b相距設定距離的位置時的所述電動掃除機11(本體殼體20)的外形形狀(上下左右的大小)而設定。在本實施形態的情況,本體殼體20為扁平的大致圓柱狀(大致圓盤狀),故而圖像範圍設定為在左右方向上較長的(橫向長的)四邊形狀。換言之,所述圖像範圍設定為電動掃除機11(本體殼體20)直接直線前進設定距離時所接觸的範圍。再者,判定部64的設定 距離亦可根據電動掃除機11(本體殼體20)的移動速度或移行模式來適當設定,且亦可設為由使用者任意輸入。
圖像處理部65根據與經判定部64判定為障礙物的物體(特徵點)的距離、以及感測部26的轉數感測器55所檢測到的電動掃除機11(本體殼體20)的位置,計算配置有電動掃除機11(本體殼體20)的掃除區域及位於所述掃除區域內的物體等的位置關係而生成地圖。再者,所述圖像處理部65並非必需的構成。
移行控制部66藉由對流入至馬達35、馬達35的電流的大小及方向進行控制,而使馬達35、馬達35正轉或反轉,由此對馬達35、馬達35的驅動進行控制,藉由對這些馬達35、馬達35的驅動進行控制而對驅動輪34、驅動輪34(圖3)的驅動進行控制。
掃除控制部67藉由對電動鼓風機41、有刷馬達43及邊刷馬達45的通電量分別各別地進行控制,而對這些電動鼓風機41、有刷馬達43(旋轉刷42(圖3))及邊刷馬達45(邊刷44(圖3))的驅動進行控制。再者,亦可分別對應於這些電動鼓風機41、有刷馬達43及邊刷馬達45而各別地設置控制部。
攝像控制部68包括對相機51a、相機51b的快門(shutter)的動作進行控制的控制電路,以藉由每隔規定時間使所述快門運行,而使相機51a、相機51b每隔規定時間拍攝圖像的方式進行控制。
照明控制部69經由開關等來控制燈53的接通或斷開。 所述照明控制部69在本實施形態中,包括對電動掃除機11的周圍的亮度進行檢測的感測器,設為當所述感測器所檢測到的亮度為小於或等於規定值時使燈53點燈,其他時候則不使燈53點燈。
又,蓄電池28例如與露出於圖3所示的本體殼體20的下表面部20c的後部兩側的作為連接部的充電端子71、充電端子71電性連接,這些充電端子71、充電端子71與充電裝置12(圖4)側電性連接及機械連接,藉此經由所述充電裝置12(圖4)而充電。
圖1所示的家用閘道器14亦被稱作存取點等,設置於房屋內,例如藉由有線而與網路15連接。
伺服器16是與網路15連接的電腦(雲端伺服器),可保存各種資料。
外部裝置17是在房屋的內部可經由例如家用閘道器14與網路15進行有線或無線通信,並且在房屋的外部可與網路15進行有線或無線通信的例如個人電腦(personal computer,PC)(平板終端(平板PC))17a或智慧型手機(行動電話)17b等通用器件。所述外部裝置17具有至少顯示圖像的顯示功能。
其次,對所述第1實施形態的動作進行說明。
通常,電動掃除裝置大致分為藉由電動掃除機11進行掃除的掃除作業、以及藉由充電裝置12對蓄電池28進行充電的充電作業。充電作業是使用利用內置於充電裝置12中的定電流電路等充電電路的已知的方法,故而僅對掃除作業進行說明。又, 亦可另行包括根據來自外部裝置17等的命令藉由相機51a、相機51b中的至少任一者對規定的對象物進行拍攝的攝像作業。
電動掃除機11例如在達到預先設定的掃除開始時刻時或接收到遙控器或外部裝置17發送的掃除開始的命令信號時等的時序,控制機構27自待機模式切換至移行模式,所述控制機構27(移行控制部66)使馬達35、馬達35(驅動輪34、驅動輪34)驅動而與充電裝置12分離規定距離。
其次,電動掃除機11藉由圖像處理部65,生成掃除區域的地圖。在生成所述地圖時,作為概略,電動掃除機11一面沿掃除區域的外壁等進行移行,一面計算相機51a、相機51b所拍攝到的圖像中的物體的距離,根據所述距離判定牆壁或障礙物,並基於當前的電動掃除機11的位置生成地圖(地圖生成模式)。
更詳細而言,若一面亦參照圖9所示的流程圖等一面進行說明,則首先,控制機構27一面(藉由移行控制部66)使馬達35、馬達35(驅動輪34、驅動輪34)驅動而使電動掃除機11(本體殼體20)沿掃除區域CA的外壁移行,一面利用(藉由攝像控制部68)經驅動的相機51a、相機51b拍攝移行方向前方的圖像(圖8、步驟S1)。這些所拍攝到的圖像中的至少任一者可記憶於記憶體61中。其次,根據這些相機51a、相機51b所拍攝到的圖像與相機51a、相機51b之間的距離,藉由圖像生成部63來計算規定的圖像範圍內的物體(特徵點)的距離(步驟S2)。具體而言,例如當藉由相機51a、相機51b而拍攝到如圖6(a)及圖6(b) 所示的圖像P1a、圖像P1b時,利用圖像生成部63計算所述圖像P1a、圖像P1b中的規定的圖像範圍A1a、圖像範圍A1b內的各像素點的距離。圖像範圍A1a、圖像範圍A1b設為例如經判定部64設定的設定距離相對大的(遠的)例如1m等的設定距離D1(圖5)時的圖像範圍。然後,圖像生成部63根據所計算出的距離資訊生成距離圖像(步驟S3),基於牆壁等障礙物、以及經感測部26的轉數感測器55檢測到的自充電裝置12(圖8)算起的電動掃除機11(本體殼體20)相對位置即自身的位置,圖像處理部65繪製掃除區域CA(圖8)的粗略外形或布局,將各物體(特徵點)的距離記憶於記憶體61中(步驟S4),並返回至步驟S1,所述障礙物為判定部64根據將距離圖像中的每個規定的距離寬度內的各像素點的個數設為度數的直方圖判定。例如控制機構27在判定為已繪製整個掃除區域時,結束地圖生成模式,轉移至後述掃除模式。再者,所述地圖若在生成時預先暫時記憶於例如記憶體61等之中,則在下次掃除以後可僅自記憶體61讀出,不需要在每次掃除時生成,但是亦存在對與記憶於記憶體61中的地圖不同的掃除區域進行掃除的情況、或者即使是相同的掃除區域物體的布局等亦發生改變的情況,因此可設為可根據例如使用者的命令等,或每隔規定期間等而適當生成,亦可根據掃除作業時的物體的距離測定,對暫時生成的地圖進行隨時更新。
其次,電動掃除機11根據所生成的地圖,一面在掃除區域內自主移行一面進行掃除(掃除模式)。在所述自主移行時, 概略而言,電動掃除機11一面前進,一面計算相機51a、相機51b所拍攝到的圖像中的物體的距離,並根據所述距離或所繪製的地圖判定牆壁或障礙物,一面避開這些牆壁或障礙物一面進行移行,並且藉由掃除部22進行掃除。
更詳細而言,若一面亦參照圖10所示的流程圖等一面進行說明,則首先,藉由控制機構27(移行控制部66)使馬達35、馬達35(驅動輪34、驅動輪34)驅動而使電動掃除機11(本體殼體20)移行(步驟S11),藉由經控制機構27(攝像控制部68)驅動的相機51a、相機51b對移行方向前方進行拍攝(步驟S12)。這些所拍攝到的圖像可記憶於記憶體61中。其次,根據這些相機51a、相機51b所拍攝到的圖像與相機51a、相機51b之間的距離,藉由圖像生成部63來計算規定的圖像範圍內的物體(特徵點)的距離(步驟S13)。具體而言,例如當相機51a、相機51b拍攝到如圖6(a)及圖6(b)所示的圖像P1a、圖像P1b時,藉由圖像生成部63來計算所述圖像P1a、圖像P1b中的規定的圖像範圍A1a、圖像範圍A1b或圖像範圍A2a、圖像範圍A2b內的各像素點的距離。圖像範圍A1a、圖像範圍A1b是例如為經判定部64設定的設定距離相對大的(遠的)設定距離D1(圖5)時的圖像範圍,圖像範圍A2a、圖像範圍A2b設為例如經判定部64設定的設定距離相對小的(近的)例如30cm等的設定距離D2(圖5)時的圖像範圍。然後,圖像生成部63根據所計算出的距離生成距離圖像(步驟S14)。將經所述圖像生成部63生成的距離圖像PL1、 距離圖像PL2的例子示於圖6(c)、圖6(d)。所述距離圖像PL1、距離圖像PL2分別表示經判定部64設定的設定距離相對大的情況(設定距離D1(圖5))及相對小的情況(設定距離D2(圖5))的示例。所述距離圖像亦可例如記憶於記憶體61中。並且,根據所述經生成的距離圖像,判定部64對物體(特徵點)的距離及規定的設定距離進行比較,判定物體是否為小於或等於所述設定距離,即判定物體是否為障礙物(在電動掃除機11(本體殼體20)的前方是否有成為移行(前進)的障礙的障礙物)(步驟S15)。具體而言,判定部64在將距離圖像中的每個規定的距離寬度內的各像素點的個數設為度數的直方圖中,包含規定的設定距離的距離寬度的度數為大於或等於預先設定的規定的度數臨限值時,判定為在小於或等於設定距離有成為障礙物的物體。例如,當將距離圖像中的每個規定的距離寬度內的各像素點的個數設為度數的直方圖為圖7(a)時,若電動掃除機11(本體殼體20)直接前進,則設想度數整體向距離小的一側偏離而成為如圖7(b)所示的直方圖,當包含設定距離D(設定距離D1(圖5)或設定距離D2(圖5))的距離寬度(組界)的度數達到大於或等於度數臨限值T時,判定部64判定為在小於或等於規定距離有成為障礙物的物體。然後,在圖10所示的流程圖的步驟S15中,判定為物體並非障礙物時,直接繼續進行移行(步驟S16),並返回至步驟S11。所述物體並非障礙物的判定亦包括例如在圖像中未拍攝到任何物體的情況。另一方面,在步驟S15中,當判定為物體為障礙物時,進入 至規定的避開動作常式(routine)(步驟S17)。作為所述避開動作常式,有各種方法,例如控制機構27(移行控制部66)對馬達35、馬達35(驅動輪34、驅動輪34)的驅動進行控制,使電動掃除機11(本體殼體20)停止,並在所述位置或已後退規定距離的位置進行回旋以改變移行方向。在所述避開動作常式之後,電動掃除機11進入至步驟S16而繼續移行。如此,電動掃除機11(本體殼體20)在掃除區域內的地面上一面避開障礙物,一面自主移行至各個角落,並且藉由控制機構27(掃除控制部67)使掃除部22運行而掃除地面的塵埃。即,電動掃除機11進行即使檢測出障礙物亦繼續進行掃除作業等繼續的動作。
在掃除部22中,藉由經控制機構27(掃除控制部67)驅動的電動鼓風機41、旋轉刷42(有刷馬達43)或邊刷44(邊刷馬達45)而將地面的塵埃經由吸入口31收集至集塵部46。然後,在所繪製的掃除區域的掃除結束時,或在掃除作業中蓄電池28的容量下降至規定量而不足以使掃除或攝像結束(蓄電池28的電壓下降至放電終止電壓附近)等的規定條件時,在電動掃除機11中,藉由控制機構27(移行控制部66)對馬達35、馬達35(驅動輪34、驅動輪34)的動作進行控制以返回至充電裝置12。其後,當將充電端子71、充電端子71與充電裝置12的充電用端子加以連接時,結束掃除作業,控制機構27轉移至待機模式或充電模式。
再者,記憶體61中所記憶的圖像的資料是在例如電動 掃除機11返回至充電裝置12時,在掃除作業中隨時、每隔規定時間、或有來自外部裝置17的請求時等,介由無線LAN器件47經由家用閘道器14及網路15發送至伺服器16。再者,發送已結束的資料藉由自記憶體61刪除,或在記憶新資料時覆寫,可高效率地使用記憶體61的容量。
在伺服器16中,可保存自電動掃除機11發送的圖像的資料,並根據來自外部裝置17的請求(存取(access))下載這些圖像的資料。
並且,在外部裝置17中,顯示自伺服器16下載的圖像。
如上所述,根據第1實施形態,藉由多個相機51a、相機51b所拍攝到的本體殼體20的移行方向側的圖像,利用圖像生成部63生成位於移行方向側的物體的距離圖像,並且根據所述生成的距離圖像,藉由判定部64判定所拍攝到的物體是否為成為移行(前進)的障礙的障礙物,藉此可提高障礙物的檢測精度,可使電動掃除機11(本體殼體20)穩定地移行,從而可提高移行性能及掃除性能。
又,藉由度數資料對距離圖像的距離資訊進行管理,當較規定的設定距離更近的距離的度數達到大於或等於規定的度數臨限值時,判定部64將距離圖像中的物體判定為障礙物,藉此與如下情況,即,根據是否為例如像素點中的一個已達到大於或等於規定的設定距離的情況來判定圖像中的物體是否為障礙物的情況相比,不易受到圖像雜訊的影響,從而可進一步高精度地判定 障礙物。
然後,相機51a、相機51b中的至少任一者,在本實施形態中是相機51a、相機51b均對可見光區域的圖像進行拍攝,故而所拍攝到的圖像的畫質良好,不實施複雜的圖像處理,即可容易地顯示為使用者能夠用肉眼觀察,並且藉由利用燈53對包含可見光區域在內的光進行照明,即使在暗處或夜間等,亦可藉由相機51a、相機51b而確實地拍攝圖像。
其次,參照圖11對第2實施形態進行說明。再者,關於與所述第1實施形態同樣的構成及作用,標註相同的符號並省略其說明。
所述第2實施形態與所述第1實施形態中的掃除模式時的移行控制不同。具體而言,在所述第2實施形態中,經判定部64判定為所拍攝到的物體為障礙物(在電動掃除機11(本體殼體20)的前方有成為移行(前進)的障礙的障礙物)時,使藉由驅動輪34、驅動輪34而進行的本體殼體20(電動掃除機11)的移行速度相對下降之後,將藉由判定部64的判定用的設定距離設定得較小,藉由判定部64來再次判定所拍攝到的物體是否為障礙物,即在電動掃除機11(本體殼體20)的前方是否有成為移行(前進)的障礙的障礙物。
更詳細而言,若一面亦參照圖11所示的流程圖一面進行說明,則控制機構27(移行控制部66)首先使馬達35、馬達35(驅動輪34、驅動輪34)驅動而使電動掃除機11(本體殼體 20)以相對高速的第1速度移行(步驟S21),並進行步驟S12至步驟S14的控制。又,代替步驟S15,判定部64進行步驟S22的控制,即,對物體(特徵點)的距離與規定的設定距離進行比較,判定物體是否在所述設定距離或所述設定距離以下,即物體是否為障礙物。此時,設定距離設為相對大的(遠的)設定距離D1(圖5)。所述步驟S22的具體處理與步驟S15相同,故而省略說明。然後,在所述步驟S22中,判定部64判定為物體並非障礙物(前方無障礙物)時,返回至步驟S21。又,在所述步驟S22中,判定為物體為障礙物(前方有障礙物)時,判定部64對物體(特徵點)的距離與規定的設定距離進行比較,判定物體是否在所述設定距離或所述設定距離以下,即物體是否為障礙物(步驟S23)。此時,設定距離設為相對小的(近的)設定距離D2(圖5)。所述步驟S23的具體處理與步驟S15相同,因此省略說明。然後,在所述步驟S23中,判定為物體並非障礙物(前方無障礙物)時,控制機構27(移行控制部66)使馬達35、馬達35(驅動輪34、驅動輪34)驅動而使電動掃除機11(本體殼體20)以相對低速的第2速度移行(步驟S24),即,使電動掃除機11(本體殼體20)的移行速度下降,返回至步驟S12。又,在步驟S23中,判定為物體為障礙物(前方有障礙物)時,即,繼在步驟S22中判定為物體為障礙物之後在所述步驟S23中亦再次判定為物體為障礙物時,控制機構27(移行控制部66)使馬達35、馬達35(驅動輪34、驅動輪34)停止而使電動掃除機11(本體殼體20)的移行停 止(步驟S25),從而結束控制。
如此,當藉由判定部64,將所拍攝到的物體判定為障礙物時,將規定的設定距離設定得較小而再次判定物體是否為障礙物,藉此可更詳細地評估所拍攝到的物體,從而可提高障礙物的檢測精度。
具體而言,若判定部64將所拍攝到的物體判定為障礙物,則藉由控制機構27使電動掃除機11(本體殼體20)的移行速度相對下降之後,判定部64將規定的設定距離設定得較小而再次判定物體是否為障礙物,故而可在不同的條件下對所拍攝到的物體進行再次評估,從而可抑制障礙物的誤測。
又,當判定部64將物體再次判定為障礙物時,控制機構27使驅動輪34、驅動輪34停止而使電動掃除機11(本體殼體20)的移行停止,故而可抑制錯誤地擱置於障礙物上,或與障礙物發生衝撞等錯誤動作。再者,在所述第2實施形態中,判定部64將物體判定為障礙物之後,使移行速度下降而再次判定是否為障礙物時,設定有第1速度及第2速度兩個階段,但亦可重複相同的處理,一面使移行速度減速三個階段或三個階段以上,一面重複大於或等於三次的是否為障礙物的判定。此時,較佳為越使移行速度下降,越使規定的設定距離減小(使距離圖像的圖像範圍增大)。
又,當判定部64將物體判定為障礙物之後,亦可不使移行速度下降,而例如使電動掃除機11(本體殼體20)回旋少許 的規定角度之後,再次判定是否為障礙物。此時,亦可在不同的條件下對所拍攝到的物體進行再次評估,從而可抑制障礙物的誤測。
如此,當判定部64將物體判定為障礙物時,一面改變條件,一面藉由判定部64來多次判定物體是否為障礙物,故而可進一步提高障礙物檢測的精度。
此外,亦可設為在判定部64將物體判定為障礙物之後,進行180°回旋而進行避開方向上的障礙物判定。
其次,參照圖12對第3實施形態進行說明。再者,關於與所述各實施形態同樣的構成及作用,標註相同的符號並省略其說明。
所述第3實施形態在所述各實施形態的相機51a、相機51b之間,具備與燈53不同的作為光輸出機構(光輸出部)的光束照射部73。
所述光束照射部73包括例如利用LED或半導體雷射等發光元件,將可見光或紅外線等的光束B照射至本體殼體20的移行方向前方。所述光束照射部73配置於相機51a、相機51b的中間位置,即本體殼體20的側面部20a的中心線L上的位置。即,光束照射部73與相機51a、相機51b的距離大致相等。因此,所述光束照射部73可配置於燈53的上方或下方等。自所述光束照射部73照射的光束B既可為一條,亦可為多條,在本實施形態中例如照射有多條。這些光束B較佳為照射至相機51a、相機51b 的相互重合的攝像範圍(視場)Va、攝像範圍(視場)Vb內。
然後,自所述光束照射部73照射的光束B照射至位於本體殼體20(電動掃除機11)的前方的物體O,藉此作為點(spot)S而映入至相機51a、相機51b所拍攝的圖像中。
因此,對於例如均勻顏色的牆壁或透明的玻璃等難以直接映入至圖像中、而難以根據圖像計算距離的物體O,將藉由光束B而生成於物體O上的點S作為物體O的特徵點而計算至所述點S為止的距離,藉此可根據相機51a、相機51b所拍攝到的圖像獲得物體O的距離。其結果為,可進一步提高障礙物的檢測精度。
又,藉由將光束B照射至拍攝圖像的相機51a、相機51b的相互重合的攝像範圍Va、攝像範圍Vb內,可更確實地將光束B照射至位於本體殼體20(電動掃除機11)的移行方向前方的物體O,從而可進一步提高物體O的檢測精度。
然後,藉由自光束照射部73輸出多條光束B,可在物體O上的不同位置生成多個點S,並且可利用這些多個點S計算物體O的距離,故而可更確實地檢測物體O的距離。因此,可進一步提高障礙物的檢測精度。
再者,在所述第3實施形態中,光束照射部73亦可配置於與相機51a、相機51b的中間位置即本體殼體20的側面部20a的中心線L上的位置偏離的位置(與相機51a、相機51b的中間位置不同的位置)。此時,藉由在計算至點S為止的距離時根據光束照射部73的位置進行修正,可獲得物體O的距離。
其次,參照圖13對第4實施形態進行說明。再者,關於與所述各實施形態相同的構成及作用,標註相同符號並省略其說明。
所述第4實施形態在所述各實施形態的相機51a、相機51b之間具備作為攝像機構的相機51c。
所述相機51c配置於相機51a、相機51b的中間位置,即本體殼體20的側面部20a的中心線L上的位置。即,所述相機51c與相機51a、相機51b相隔的距離大致相等。因此,相機51a、相機51c之間的間距,相機51c、相機51b之間的間距彼此相等。換而言之,這些相機51a、相機51c、相機51b是相互大致等間隔地配置。即,將相機51a、相機51c之間的間距及相機51c、相機51b之間的間距設定為相機51a、相機51b之間的間距的大致1/2。換言之,相機51a、相機51c及相機51c、相機51b構成配置間隔相對窄的兩個相機對(camera pair),相機51a、相機51b構成配置間隔相對寬的兩個相機對。這些相機51a、相機51b、相機51c的攝像範圍Va、攝像範圍Vb、攝像範圍Vc重合,這些相機51a、相機51b、相機51c所拍攝的各圖像的攝像區域在左右方向上重疊。在本實施形態中,這些相機51a、相機51b、相機51c設為例如拍攝可見光區域的圖像的相機。再者,這些相機51a、相機51b、相機51c所拍攝到的圖像亦可藉由例如未圖示的圖像處理迴路等而壓縮成規定的資料格式。
燈53雖未圖示,但亦可分別配置於相機51a、相機51c 之間以及相機51c、相機51b之間,且亦可配置於與相機51a、相機51b、相機51c相隔大致相等的距離。
又,圖像生成部63利用與所述各實施形態同樣的已知的方法,根據相互鄰接的相機51a、相機51c所拍攝到的圖像與相互鄰接的相機51a、相機51c之間的距離計算物體(特徵點)的距離,並且根據相機51c、相機51b所拍攝到的圖像與相機51c、相機51b之間的距離來計算物體(特徵點)的距離。然後,在所述圖像生成部63中,利用這些分別計算出的物體的距離的平均值而生成距離圖像。當生成所述距離圖像時,亦可基於根據相機51a、相機51c所拍攝到的圖像而計算出的物體的距離生成距離圖像(中間距離圖像),並且基於根據相機51c、相機51b所拍攝到的圖像而計算出的物體的距離生成距離圖像(中間距離圖像),將這些中間距離圖像的平均圖像設為距離圖像,且亦可不生成這些中間距離圖像,而基於分別計算出的物體的距離的平均值而直接生成距離圖像。
因此,在判定部64中,基於作為距離圖像的平均值而生成的距離圖像,判定所拍攝到的物體是否為障礙物,所述距離圖像是利用相互鄰接的兩個相機51a、相機51c及相互鄰接的兩個相機51c、相機51b所分別拍攝到的圖像中的物體的各距離的平均值而生成,故而圖像雜訊得以降低,可提高障礙物的檢測精度。
又,由於利用相機51a、相機51c及相機51c、相機51b以不同的相機角度進行拍攝,故而可拍攝利用一對相機無法拍攝 到的物體,從而可進一步提高障礙物的檢測精度。
此外,在圖像生成部63中,亦可例如在設定距離相對大時,基於配置間隔寬的即不相互鄰接的相機51a、相機51b所拍攝到的圖像計算物體的距離,在設定距離相對小時,基於配置間隔窄的即相互鄰接的相機51a、相機51c及/或相機51c、相機51b所拍攝到的圖像計算物體的距離。因此,亦可在圖像生成部63中,例如在設定距離相對大時,基於根據配置間隔寬的即不相互鄰接的相機51a、相機51b所拍攝到的圖像而計算出的物體的距離來生成距離圖像,在設定距離相對小時,基於根據配置間隔窄的即相互鄰接的相機51a、相機51c及/或相機51c、相機51b所拍攝到的圖像而計算出的物體的距離來生成距離圖像。
在圖像生成部63中,利用三角測量檢測物體的距離時,物體的距離越近,相機間的距離越窄則距離的計算精度越好。因此,藉由根據設定距離的大小,靈活使用相機51a、相機51b所拍攝到的圖像及相機51a、相機51c及/或相機51c、相機51b的圖像,可進一步提高物體的距離的檢測精度,即障礙物的檢測精度。
然後,亦可進行如下之類的應用:例如當藉由判定部64判定是否有成為移行的障礙的障礙物時,圖像生成部63根據配置間隔窄的即相互鄰接的相機51a、相機51c及/或相機51c、相機51b所拍攝到的圖像計算物體的距離,利用基於所述計算出的距離而生成的距離圖像,當生成地圖時,圖像生成部63根據配置間隔寬的即不相互鄰接的相機51a、相機51b所拍攝到的圖像來計算物 體的距離,藉由判定部64基於所述計算出的物體的距離利用距離圖像來進行判定。
再者,在所述第4實施形態中,相機亦可設定為四個或四個以上。
又,在所述各實施形態中,亦可將相機51a、相機51b(及相機51c)配置於在本體殼體20(側面部20a)的左右方向上大致相等的位置,即上下配置。
此外,亦可將相機51a、相機51b(及相機51c)中的至少任一者設為對紅外區域的圖像進行拍攝的紅外線相機。
又,圖像的顯示除了藉由控制機構27而處理成可在外部裝置17中顯示的構成以外,例如亦可藉由分別安裝於外部裝置17中的專用程式(應用程式)來處理成在外部裝置17中顯示,且亦可在控制機構27或伺服器16中預先進行處理,藉由外部裝置17的瀏覽器(browser)等通用的程式來進行顯示。即,作為顯示控制機構(顯示控制部),亦可設為藉由保存於伺服器16中的程式、安裝於外部裝置17中的程式等來使圖像顯示的構成。
此外,暫時記憶於記憶體61中的圖像等的資料是設為發送至伺服器16並記憶於伺服器16中,但既可直接記憶於記憶體61中,亦可記憶於外部裝置17中。
又,相機51a、相機51b所拍攝到的圖像或圖像生成部63所生成的距離圖像並不限於外部裝置17,亦可顯示於例如設置於電動掃除機11自身中的顯示部等。此時,可不自記憶體61向 伺服器16經由家用閘道器14及網路15發送資料,亦可使電動掃除機11的構成或控制進一步簡化。
此外,為了輔助相機51a、相機51b對障礙物的檢測,例如亦可另行設置在本體殼體20的後部等相機51a、相機51b的視場外的位置的障礙物檢測用的接觸感測器等感測器,或者在本體殼體20的下表面部20c,設置對地面的階差等進行檢測的紅外線感測器等階差檢測機構(階差檢測部)。
並且,圖像生成部63、判定部64、掃除控制部67、攝像控制部68及照明控制部69分別包含於控制機構27中,但既可分別設為彼此分開的構成,亦可將任兩者或兩者以上加以任意組合。
此外,圖像生成部63的距離計算不僅可在掃除作業時使用,而且可在電動掃除機11(本體殼體20)的任意的移行時使用。
又,判定部64是利用將每個規定的距離寬度(組界)的像素數表示為度數的直方圖來判定物體是否為障礙物,但是亦可對每個像素點的距離與設定距離進行直接比較來判定物體是否為障礙物。
並且,根據以上所說明的至少一個實施形態,根據隔開地配置於本體殼體20的相機51a、相機51b(相機51a、相機51b、相機51c)所拍攝到的圖像,利用圖像生成部63生成位於所述移行方向側的物體的距離圖像,並根據所述生成的距離圖像,藉由 判定部64而判定所拍攝到的物體是否為障礙物,故而與利用例如紅外線感測器或超聲波感測器等的情況相比,可不受物體的物性(柔軟度或顏色等)影響,且不看漏小的物體,而高精度地檢測物體及其距離。因此,可提高障礙物的檢測精度。
具體而言,判定部64在圖像生成部63所生成的距離圖像中的物體較預先設定的規定的設定距離更近時將物體判定為障礙物,故而可藉由簡單的處理高精度地檢測障礙物。
其結果為,對驅動輪34、驅動輪34(馬達35、馬達35)的驅動進行控制,以避開經所述判定部64判定為障礙物的物體,因此可提高自主移行的精度,從而可高效率地對掃除區域的進而各個角落進行掃除。
然後,圖像生成部63分別利用相機51a、相機51b(相機51a、相機51b、相機51c)所拍攝到的圖像的資料之中規定的圖像範圍內的資料生成距離圖像,故而與利用相機51a、相機51b(相機51a、相機51b、相機51c)所拍攝到的圖像的所有資料生成距離圖像的情況相比,可高速地進行處理。
又,圖像生成部63根據規定的設定距離使圖像範圍發生變化,故而可根據設定距離僅在需要的範圍設有圖像處理,從而可使處理進一步高速化。
具體而言,圖像生成部63在規定的設定距離相對小時將圖像範圍設定得相對大,在規定的設定距離相對大時將圖像範圍設定得相對小,故而在例如電動掃除機11(本體殼體20)的移 行速度快的情況等需要將規定的設定距離設定得相對大的情況下,只要進行僅設定得相對小的圖像範圍的圖像處理即可,從而處理速度變快,並且在電動掃除機11(本體殼體20)的移行速度慢的情況等亦可將規定的設定距離設定得相對小的情況下,藉由將圖像範圍設定得相對大,可進一步提高成為障礙物的物體的檢測精度。
因此,例如可根據電動掃除機11(本體殼體20)的移行速度等的用途適當地靈活運用設定距離及圖像範圍。
又,藉由將圖像範圍設為與所述圖像範圍相對應的設定距離所對應的本體殼體20的外形同等,可僅檢測成為電動掃除機11(本體殼體20)的前進移行的障礙的必要最低限度的障礙物。 因此,在除此以外的位置即使存在障礙物亦對電動掃除機11(本體殼體20)的前進移行無影響,因此藉由僅所述圖像範圍內的處理,可充分檢測成為移行的障礙的障礙物,從而可一面高速地進行處理,一面獲得充分的障礙物檢測的效果。
已對本發明的若干實施形態進行說明,但這些實施形態是作為例示起提示作用,並不意圖限定發明的範圍。這些新穎的實施形態可藉由其他各種形態來實施,在不脫離發明的主旨的範圍內,可進行各種省略、置換、變更。這些實施形態及其變形包含於發明的範圍及主旨內,並且包含於與申請專利範圍所述的發明及其同等範圍內。

Claims (16)

  1. 一種電動掃除機,其特徵在於包括:本體殼體;驅動輪,使所述本體殼體可移行;控制機構,藉由對所述驅動輪的驅動進行控制而使所述本體殼體自主移行;多個攝像機構,配置在所述本體殼體而相互隔開,對所述本體殼體的移行方向側進行拍攝;距離圖像生成機構,根據所述多個攝像機構所拍攝到的圖像,生成位於所述移行方向側的物體的距離圖像;以及判定機構,根據所述距離圖像生成機構所生成的所述距離圖像,判定所拍攝到的所述物體是否為障礙物;所述判定機構在所述距離圖像生成機構所生成的所述距離圖像中的物體較預先設定的規定的設定距離更近時,將所述物體判定為所述障礙物。
  2. 如申請專利範圍第1項所述的電動掃除機,其中所述距離圖像生成機構分別使用各所述攝像機構所拍攝到的所述圖像的資料之中規定的圖像範圍內的資料而生成所述距離圖像。
  3. 如申請專利範圍第2項所述的電動掃除機,其中所述距離圖像生成機構根據所述規定的設定距離使所述規定的圖像範圍發生變化。
  4. 如申請專利範圍第3項所述的電動掃除機,其中所述距離圖像生成機構在所述規定的設定距離相對小時,將所述規定的圖像範圍設定得相對大,在所述規定的設定距離相對大時,將所述規定的圖像範圍設定得相對小。
  5. 如申請專利範圍第2項至第4項中任一項所述的電動掃除機,其中所述距離圖像生成機構將所述規定的圖像範圍設定為與所述規定的設定距離所對應的所述本體殼體的外形相等。
  6. 如申請專利範圍第1項至第4項中任一項所述的電動掃除機,其中所述判定機構在將所述物體判定為所述障礙物時,將所述規定的設定距離設定得較小而再次判定所述物體是否為所述障礙物。
  7. 如申請專利範圍第6項所述的電動掃除機,其中所述控制機構在所述判定機構將所述物體判定為所述障礙物時,使藉由所述驅動輪而進行的所述本體殼體的移行速度相對下降,所述判定機構在藉由所述控制機構而使所述本體殼體的移行速度相對下降的狀態下,將所述規定的設定距離設定得較小而再次判定所述物體是否為所述障礙物。
  8. 申請專利範圍第6項所述的電動掃除機,其中所述控制機構在所述判定機構將所述物體判定為所述障礙物時,使所述本體殼體回旋,所述判定機構在利用所述控制機構使所述本體殼體回旋之後,將所述規定的設定距離設定得較小而再次判定所述物體是否為所述障礙物。
  9. 如申請專利範圍第5項所述的電動掃除機,其中所述控制機構在所述判定機構將所述物體再次判定為所述障礙物時,使所述驅動輪停止而使所述本體殼體的移行停止。
  10. 如申請專利範圍第1項所述的電動掃除機,其中所述判定機構藉由度數資料來管理所述距離圖像的距離資訊,並且當較規定的設定距離更近的距離的度數為大於或等於規定值時,將所述物體判定為所述障礙物。
  11. 如申請專利範圍第1項所述的電動掃除機,其中所述攝像機構設定有三個或三個以上,且每兩個相互鄰接的所述攝像機構大致等間隔地隔開而配置,所述距離圖像生成機構藉由相互鄰接的兩個所述攝像機構各自所拍攝到的所述圖像中的所述物體的距離的平均值而生成所述距離圖像。
  12. 如申請專利範圍第11項所述的電動掃除機,其中所述攝像機構設定有三個或三個以上,包含配置間隔相對窄的兩個及配置間隔相對寬的兩個,所述距離圖像生成機構在規定的設定距離相對小時,藉由配置間隔相對窄的兩個所述攝像機構所拍攝到的所述圖像而生成所述距離圖像,在所述規定的設定距離相對大時,藉由配置間隔相對寬的兩個所述攝像機構所拍攝到的所述圖像而生成所述距離圖像。
  13. 如申請專利範圍第12項所述的電動掃除機,其中所述攝像機構設定有三個,且相互鄰接的兩個所述攝像機構大致等間隔地配置,所述距離圖像生成機構在所述規定的設定距離相對大時,藉由不相互鄰接的兩個所述攝像機構所拍攝到的所述圖像而生成所述距離圖像,在所述規定的設定距離相對小時,藉由相互鄰接的兩個所述攝像機構所拍攝到的所述圖像而生成所述距離圖像。
  14. 如申請專利範圍第1項所述的電動掃除機,包括:光輸出機構,輸出所述攝像機構可拍攝的波長的光束;且所述距離圖像生成機構藉由算出所述圖像中的光束的距離,而算出至所述光輸出機構所輸出的光已照射至所述物體的位置為止的距離。
  15. 如申請專利範圍第14項所述的電動掃除機,其中所述光輸出機構將光束照射至拍攝所述圖像的所述多個攝像機構的相互重合的攝像範圍內。
  16. 如申請專利範圍第14項或第15項所述的電動掃除機,其中所述光輸出機構輸出多條光束。
TW105132967A 2015-10-14 2016-10-13 Electric sweeper TWI619462B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015202910A JP6705636B2 (ja) 2015-10-14 2015-10-14 電気掃除機

Publications (2)

Publication Number Publication Date
TW201716027A TW201716027A (zh) 2017-05-16
TWI619462B true TWI619462B (zh) 2018-04-01

Family

ID=58518192

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105132967A TWI619462B (zh) 2015-10-14 2016-10-13 Electric sweeper

Country Status (8)

Country Link
US (1) US10932635B2 (zh)
EP (1) EP3363342B1 (zh)
JP (1) JP6705636B2 (zh)
KR (1) KR102001422B1 (zh)
CN (1) CN106998983B (zh)
MY (1) MY188231A (zh)
TW (1) TWI619462B (zh)
WO (1) WO2017065171A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659317B2 (ja) * 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
JP6944274B2 (ja) * 2017-05-23 2021-10-06 東芝ライフスタイル株式会社 電気掃除機
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
US10898042B2 (en) * 2017-08-16 2021-01-26 Sharkninja Operating Llc Robotic vacuum
US20200245837A1 (en) 2017-10-13 2020-08-06 Chiba Institute Of Technology Self-propelled vacuum cleaner
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
CN108283466A (zh) * 2017-12-27 2018-07-17 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
CN108209746A (zh) * 2017-12-27 2018-06-29 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
JP7020359B2 (ja) * 2018-09-28 2022-02-16 株式会社豊田自動織機 警告装置
JP7261958B2 (ja) * 2019-04-18 2023-04-21 パナソニックIpマネジメント株式会社 自律走行型掃除機
KR102224637B1 (ko) 2019-07-05 2021-03-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102275300B1 (ko) 2019-07-05 2021-07-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102361130B1 (ko) 2019-07-11 2022-02-09 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102297496B1 (ko) * 2019-07-11 2021-09-02 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US11666195B2 (en) 2020-02-17 2023-06-06 Samsung Electronics Co., Ltd. Robot and control method thereof
KR102390039B1 (ko) * 2020-03-10 2022-04-25 엘지전자 주식회사 로봇 청소기 및 그 제어 방법
US11553824B2 (en) * 2020-06-25 2023-01-17 Power Logic Tech, Inc. Automatic guiding method for self-propelled apparatus
US20220125265A1 (en) * 2020-10-26 2022-04-28 Guangzhou Thirty Seven Degree Smarthome Co., Ltd. Intelligent vacuum device with extendable and deformable suction arm

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260098A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 障害物検出装置
US7346191B2 (en) * 2004-07-13 2008-03-18 Nissan Motor Co., Ltd. Moving obstacle detecting device
TWI327536B (en) * 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
CN102314176A (zh) * 2010-07-01 2012-01-11 德国福维克控股公司 自动行驶装置及其定向方法
CN102846273A (zh) * 2011-06-28 2013-01-02 三星电子株式会社 机器人吸尘器及其控制方法
US8395659B2 (en) * 2010-08-26 2013-03-12 Honda Motor Co., Ltd. Moving obstacle detection using images
TWI464689B (zh) * 2012-06-08 2014-12-11

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921496B2 (ja) * 1996-07-15 1999-07-19 三菱電機株式会社 画像処理装置および物体移載装置
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
JP4233723B2 (ja) * 2000-02-28 2009-03-04 本田技研工業株式会社 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
KR100619758B1 (ko) 2004-11-10 2006-09-07 엘지전자 주식회사 로봇청소기의 움직임 추적장치 및 방법
KR100633444B1 (ko) 2005-02-24 2006-10-13 삼성광주전자 주식회사 로봇 청소기 및 그 제어 방법
JP2007163223A (ja) 2005-12-12 2007-06-28 Sharp Corp 移動量検知装置
JP4871160B2 (ja) 2007-02-16 2012-02-08 株式会社東芝 ロボットおよびその制御方法
CN101458083B (zh) * 2007-12-14 2011-06-29 财团法人工业技术研究院 结构光视觉导航***与方法
US8961695B2 (en) * 2008-04-24 2015-02-24 Irobot Corporation Mobile robot for cleaning
CN102083352B (zh) * 2008-04-24 2014-10-15 艾罗伯特公司 用于机器人使能的移动产品的定位、位置控制和导航***的应用
JP2011175477A (ja) 2010-02-24 2011-09-08 Canon Inc 3次元計測装置、処理方法及びプログラム
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
JP2012247364A (ja) * 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム
JP2013235351A (ja) 2012-05-07 2013-11-21 Sharp Corp 自走式電子機器
JP2013250694A (ja) * 2012-05-31 2013-12-12 Ricoh Co Ltd 画像処理装置
JP2014089548A (ja) 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
JP6030405B2 (ja) 2012-10-25 2016-11-24 シャープ株式会社 平面検出装置およびそれを備えた自律移動装置
WO2014064990A1 (ja) * 2012-10-25 2014-05-01 シャープ株式会社 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
JP6132659B2 (ja) 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP5698815B2 (ja) * 2013-09-30 2015-04-08 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6729997B2 (ja) 2014-12-25 2020-07-29 東芝ライフスタイル株式会社 電気掃除機

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346191B2 (en) * 2004-07-13 2008-03-18 Nissan Motor Co., Ltd. Moving obstacle detecting device
JP2006260098A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 障害物検出装置
TWI327536B (en) * 2007-05-16 2010-07-21 Univ Nat Defense Device and method for detecting obstacle by stereo computer vision
CN102314176A (zh) * 2010-07-01 2012-01-11 德国福维克控股公司 自动行驶装置及其定向方法
US8395659B2 (en) * 2010-08-26 2013-03-12 Honda Motor Co., Ltd. Moving obstacle detection using images
CN102846273A (zh) * 2011-06-28 2013-01-02 三星电子株式会社 机器人吸尘器及其控制方法
TWI464689B (zh) * 2012-06-08 2014-12-11

Also Published As

Publication number Publication date
US10932635B2 (en) 2021-03-02
US20180296049A1 (en) 2018-10-18
JP2017074191A (ja) 2017-04-20
KR20170065620A (ko) 2017-06-13
CN106998983A (zh) 2017-08-01
EP3363342B1 (en) 2020-04-01
WO2017065171A1 (ja) 2017-04-20
EP3363342A4 (en) 2019-05-22
TW201716027A (zh) 2017-05-16
CN106998983B (zh) 2020-06-09
EP3363342A1 (en) 2018-08-22
MY188231A (en) 2021-11-24
JP6705636B2 (ja) 2020-06-03
KR102001422B1 (ko) 2019-07-18

Similar Documents

Publication Publication Date Title
TWI619462B (zh) Electric sweeper
TWI653022B (zh) Autonomous mobile body
KR101840158B1 (ko) 전기청소기
TWI670579B (zh) 自律移動體
TWI641349B (zh) Electric sweeper
CN109891348B (zh) 自主行走体
TWI726031B (zh) 電動掃除機
US11119484B2 (en) Vacuum cleaner and travel control method thereof
JP2018075191A (ja) 電気掃除機
CN110325089B (zh) 电动吸尘器
JP2018196513A (ja) 電気掃除機

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees