JP2020174899A - Autonomically travelling type cleaner, system, and object recognition method - Google Patents

Autonomically travelling type cleaner, system, and object recognition method Download PDF

Info

Publication number
JP2020174899A
JP2020174899A JP2019078993A JP2019078993A JP2020174899A JP 2020174899 A JP2020174899 A JP 2020174899A JP 2019078993 A JP2019078993 A JP 2019078993A JP 2019078993 A JP2019078993 A JP 2019078993A JP 2020174899 A JP2020174899 A JP 2020174899A
Authority
JP
Japan
Prior art keywords
sensor
learning model
distance
vacuum cleaner
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019078993A
Other languages
Japanese (ja)
Other versions
JP7261958B2 (en
Inventor
渡邉　優
Masaru Watanabe
優 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019078993A priority Critical patent/JP7261958B2/en
Priority to PCT/JP2020/010044 priority patent/WO2020213294A1/en
Publication of JP2020174899A publication Critical patent/JP2020174899A/en
Application granted granted Critical
Publication of JP7261958B2 publication Critical patent/JP7261958B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

To provide an autonomically travelling type cleaner capable of avoiding interruption of a cleaning action when a cable or the like is caught as much as possible.SOLUTION: An autonomically travelling type cleaner includes a camera 5 for photographing an object existing in a space, an object recognition algorithm for executing recognition of the object from a photographed image, and a range finding sensor 6 directed on a floor surface in an advancing direction of the autonomically travelling type cleaner for calculating a distance. When the object is recognized by the object recognition algorithm, the autonomically travelling type cleaner advances while obtaining an average of values of the range finding sensor 6, and when a difference between the average and the newest sensor value exceeds a threshold, the autonomically travelling type cleaner determines presence or absence of the object and a distance to the object.SELECTED DRAWING: Figure 3

Description

本発明は自律走行型掃除機、システム、及び物体認識方法に関する。 The present invention relates to an autonomous traveling vacuum cleaner, a system, and an object recognition method.

近年、自律走行型掃除機に関する技術が数多く公開特許公報にて公開されている。例えば特許文献１には、撮像装置によって撮像された画像に基づいて物体を検出すると共に物体までの距離を算出し、検出された物体の警戒度を設定し、設定した警戒度と物体までの距離に基づいて移動制御する自律走行型掃除機が記載されている。 In recent years, many technologies related to autonomous driving vacuum cleaners have been published in published patent gazettes. For example, in Patent Document 1, an object is detected based on an image captured by an imaging device, the distance to the object is calculated, the alertness of the detected object is set, and the set alertness and the distance to the object are set. An autonomous traveling type vacuum cleaner that controls movement based on the above is described.

特開２００８−２００７７０号公報JP-A-2008-200770

しかしながら、特許文献１に示されるように空間内に存在する物体を撮影するための撮像手段と、距離を算出するためのセンサを備えることで障害物を判定して、その結果を用いて駆動装置を制御する自律走行型掃除機はあるが、画像から物体を認識する際に、例えば、実際に敷物が存在するのか、窓から差し込む光が床面に反射して敷物であるかのように見えているのか判別することが難しい場合もある。また、物体までの距離を算出する場合に、超音波センサやレーザセンサ等が用いられることがあるが、このようなセンサだけでは物体が何であるのか判別は難しい場合があり、家庭内に配置される敷物、ケーブルのような高さの低い対象物は測距のために必要な照射面が確保できず、正確に距離を算出することが難しい場合もある。このため、自律走行型掃除機がケーブル等をブラシなどに巻き込みモータがロックされ、清掃行動が中断されることも考えられる。 However, as shown in Patent Document 1, an image pickup means for photographing an object existing in space and a sensor for calculating a distance are provided to determine an obstacle, and the result is used as a driving device. There is an autonomous driving type vacuum cleaner that controls, but when recognizing an object from an image, for example, it looks as if there is actually a rug or the light coming in through the window is reflected on the floor surface and is a rug. It may be difficult to determine if it is. In addition, when calculating the distance to an object, an ultrasonic sensor, a laser sensor, or the like may be used, but it may be difficult to determine what the object is with such a sensor alone, and it is placed in the home. For low-height objects such as rugs and cables, the irradiation surface required for distance measurement cannot be secured, and it may be difficult to calculate the distance accurately. For this reason, it is conceivable that the autonomous driving type vacuum cleaner wraps the cable or the like in a brush or the like, locks the motor, and interrupts the cleaning action.

このような課題を解決するために、本発明の自律走行型掃除機は、物体の有無を検知する第１のセンサと、物体の位置を検知する第２のセンサと、制御ユニットと、を有し、前記制御ユニットは、前記第１のセンサの検知結果と前記第２のセンサの検知結果に基づいて物体を認識する、自律走行型掃除機である。 In order to solve such a problem, the autonomous driving type vacuum cleaner of the present invention has a first sensor for detecting the presence or absence of an object, a second sensor for detecting the position of the object, and a control unit. The control unit is an autonomous traveling type vacuum cleaner that recognizes an object based on the detection result of the first sensor and the detection result of the second sensor.

本発明のシステムは、学習用画像データから物体認識アルゴリズムを用いて学習モデルを生成する学習モデル生成装置と、前記学習モデル生成装置からの学習モデルデータを受信する自律走行型掃除機と、を有するシステムであり、前記自律走行型掃除機は、前記学習モデル生成装置から受信した学習モデルとカメラで撮像した画像を用いて物体を認識する第１の物体認識機能と、前記第１の物体認識機能で認識した物体との距離に基づいて、物体を認識する第２の物体認識機能と、を有するシステムである。 The system of the present invention includes a learning model generator that generates a learning model from learning image data using an object recognition algorithm, and an autonomous traveling type vacuum cleaner that receives learning model data from the learning model generator. The autonomous traveling type vacuum cleaner is a system, and the autonomous traveling type vacuum cleaner has a first object recognition function for recognizing an object using a learning model received from the learning model generator and an image captured by a camera, and the first object recognition function. It is a system having a second object recognition function of recognizing an object based on the distance to the object recognized in.

本発明の物体認識方法は、学習用画像データから特徴を抽出し、学習し、学習モデルを生成するステップと、生成された学習モデルとカメラで撮像された画像から物体を認識するステップと、認識した物体との距離に基づいて物体を認識するステップと、を有する物体認識方法である。 The object recognition method of the present invention recognizes a step of extracting features from learning image data, learning, and generating a learning model, and a step of recognizing an object from the generated learning model and an image captured by a camera. It is an object recognition method having a step of recognizing an object based on a distance from the object.

本発明によると、敷物、ケーブルのような自律走行型掃除機が巻き込み、清掃行動が中断されやすい対象物を検知して、清掃行動が中断されることをできるだけ回避することができる。 According to the present invention, it is possible to prevent the cleaning action from being interrupted as much as possible by detecting an object in which an autonomous traveling type vacuum cleaner such as a rug or a cable is involved and the cleaning action is likely to be interrupted.

本発明の実施の形態１における自律走行型掃除機の底面図である。It is a bottom view of the autonomous traveling type vacuum cleaner in Embodiment 1 of this invention. 本発明の実施の形態１における自律走行型掃除機の断面図である。It is sectional drawing of the autonomous traveling type vacuum cleaner in Embodiment 1 of this invention. 本発明の実施の形態１における自律走行型掃除機のブロック図である。It is a block diagram of the autonomous driving type vacuum cleaner in Embodiment 1 of this invention. 本発明の実施の形態１における物体認識アルゴリズムの認識結果例を示す図である。It is a figure which shows the recognition result example of the object recognition algorithm in Embodiment 1 of this invention.

第１の実施態様は、物体の有無を検知する第１のセンサと、物体の位置を検知する第２のセンサと、制御ユニットと、を有し、前記制御ユニットは、前記第１のセンサの検知結果と前記第２のセンサの検知結果に基づいて物体を認識する自律走行型掃除機である。 The first embodiment includes a first sensor for detecting the presence or absence of an object, a second sensor for detecting the position of an object, and a control unit, wherein the control unit is of the first sensor. It is an autonomous traveling type vacuum cleaner that recognizes an object based on the detection result and the detection result of the second sensor.

このような構成とすることにより、本実施例の自律走行型掃除機では、検知することが難しい敷物、ケーブルのような高さが低く、自律走行型掃除機が巻き込み清掃動作が中断されやすい物体を正確に検知して、清掃行動が中断されることをできるだけ回避することができる。 With such a configuration, the height of the rug and the cable, which are difficult to detect in the autonomous driving vacuum cleaner of the present embodiment, is low, and the autonomous driving vacuum cleaner is easily involved and the cleaning operation is interrupted. Can be accurately detected to avoid interruption of cleaning behavior as much as possible.

第２の実施態様は、前記第１のセンサは動画又は静止画を撮像する撮像部であり、前記制御ユニットは、前記撮像部により撮像した画像から物体の認識をおこなう物体認識アルゴリズムを備えている自律走行型掃除機である。 In the second embodiment, the first sensor is an imaging unit that captures a moving image or a still image, and the control unit includes an object recognition algorithm that recognizes an object from an image captured by the imaging unit. It is an autonomous vacuum cleaner.

第３の実施態様は、前記第２のセンサは物体までの距離を測定する測距センサであり、ボディに配された２つの駆動輪を駆動する駆動ユニットを有し、前記制御ユニットは、前記物体認識アルゴリズムにより対象物を認識すると、前記測距センサからの出力値の平均値を取りながら、前記駆動ユニットを駆動し前記ボディを前進させ、前記平均値と前記測距センサからの最新の出力値との差分が閾値を上回ると、物体の有無と、その物体までの距離を算出する、自律走行型掃除機である。 In a third embodiment, the second sensor is a distance measuring sensor that measures the distance to an object, has a drive unit that drives two drive wheels arranged on the body, and the control unit is the control unit. When an object is recognized by the object recognition algorithm, the drive unit is driven to move the body forward while taking the average value of the output values from the distance measuring sensor, and the latest output from the average value and the distance measuring sensor is taken. When the difference from the value exceeds the threshold value, it is an autonomous traveling type vacuum cleaner that calculates the presence or absence of an object and the distance to the object.

第４の実施態様は、学習用画像データから物体認識アルゴリズムを用いて学習モデルを生成する学習モデル生成装置と、前記学習モデル生成装置からの学習モデルデータを受信する自律走行型掃除機と、を有するシステムであり、前記自律走行型掃除機は、前記学習モデル生成装置から受信した学習モデルとカメラで撮像した画像を用いて物体を認識する第１の物体認識機能と、前記第１の物体認識機能で認識した物体との距離に基づいて、物体を認識する第２の物体認識機能と、を有するシステムである。 A fourth embodiment comprises a learning model generator that generates a learning model from learning image data using an object recognition algorithm, and an autonomous traveling vacuum cleaner that receives the learning model data from the learning model generator. The autonomous traveling type vacuum cleaner has a first object recognition function for recognizing an object using a learning model received from the learning model generator and an image captured by a camera, and the first object recognition. It is a system having a second object recognition function of recognizing an object based on the distance to the object recognized by the function.

第５の実施態様は、学習用画像データから特徴を抽出し、学習し、学習モデルを生成するステップと、生成された学習モデルとカメラで撮像された画像から物体を認識するステップと、認識した物体との距離に基づいて物体を認識するステップと、を有する物体認識方法である。 A fifth embodiment recognizes a step of extracting features from learning image data, learning, and generating a learning model, and a step of recognizing an object from the generated learning model and an image captured by a camera. It is an object recognition method having a step of recognizing an object based on a distance from the object.

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、この実施の形態によって本発明が限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present invention is not limited to this embodiment.

（実施の形態１）
図１は、本発明の実施の形態における自律走行型掃除機の底面図である。 (Embodiment 1)
FIG. 1 is a bottom view of the autonomous traveling type vacuum cleaner according to the embodiment of the present invention.

図１において、本実施例装置である自律走行型掃除機のボディ１には、ゴミを吸い込むための吸込口２と、２つの駆動輪３と、サイドブラシ４と、カメラ５と、測距センサ６が
搭載されている。更に、ボディ１内部には制御ユニット１００が配置されている。 In FIG. 1, the body 1 of the autonomous traveling vacuum cleaner, which is the device of the present embodiment, has a suction port 2 for sucking dust, two drive wheels 3, a side brush 4, a camera 5, and a distance measuring sensor. 6 is installed. Further, a control unit 100 is arranged inside the body 1.

吸込口２には、絨毯等に付着したゴミをかき上げる為のメインブラシ（図示せず）が配置されており。ボディ１内部に配置されている吸引モータ（図示せず）が発生した吸引風によりメインブラシによりかきかき上げられたゴミが吸込口２に吸込まれるようになっている。 A main brush (not shown) is arranged at the suction port 2 to scoop up dust adhering to a rug or the like. The dust scooped up by the main brush is sucked into the suction port 2 by the suction wind generated by the suction motor (not shown) arranged inside the body 1.

右側の駆動輪３と左側の駆動輪３夫々には駆動輪３用のモータ（後述する駆動部１２）が接続されており、右側の駆動輪３と左側の駆動輪３は、夫々同時に或いは別々に駆動される。 A motor for the drive wheels 3 (drive unit 12 described later) is connected to each of the right drive wheel 3 and the left drive wheel 3, and the right drive wheel 3 and the left drive wheel 3 are simultaneously or separately. Driven by.

サイドブラシ４は、ボディ１裏面の図１中左側前方に設けられており、吸込口２に向かって、即ち図１において時計周りに回転する。これにより、ボディ１前方に存在するゴミを吸込口２に向けて集めることができる。尚、本実施例ではサイドブラシ４はボディ１裏面の図１中左側前方に設けられているが、ボディ１裏面の図１中右側前方にも設けても良い。 The side brush 4 is provided on the front left side of FIG. 1 on the back surface of the body 1 and rotates toward the suction port 2, that is, clockwise in FIG. As a result, dust existing in front of the body 1 can be collected toward the suction port 2. In this embodiment, the side brush 4 is provided on the front left side in FIG. 1 on the back surface of the body 1, but may also be provided on the front right side in FIG. 1 on the back surface of the body 1.

カメラ５は、ボディ１の前方に配置されており、ボディ１前方を撮影するためのカメラである。カメラ５は動画または静止画を撮像するものであり、本実施例装置では、制御ユニット１００が、カメラ５が撮像した情報に基づいて物体の有無を判定することが可能である。 The camera 5 is arranged in front of the body 1 and is a camera for photographing the front of the body 1. The camera 5 captures a moving image or a still image, and in the present embodiment, the control unit 100 can determine the presence or absence of an object based on the information captured by the camera 5.

測距センサ６は、例えば赤外線センサ等でありボディ１の前方に配されており、障害物までの距離を検知する。測距センサ６は、本実施例では発光素子と受光素子からなる光学式のセンサを使用しており、赤外線センサ以外にレーザセンサ等を用いても良い。 The distance measuring sensor 6 is, for example, an infrared sensor or the like and is arranged in front of the body 1 to detect the distance to an obstacle. In this embodiment, the distance measuring sensor 6 uses an optical sensor including a light emitting element and a light receiving element, and a laser sensor or the like may be used in addition to the infrared sensor.

ボディ１内部に配された制御ユニット１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような半導体素子であり、この半導体素子そのもの或いは、この半導体素子を搭載した回路基板全体を指している。 The control unit 100 arranged inside the body 1 is a semiconductor element such as a CPU (Central Processing Unit), and refers to the semiconductor element itself or the entire circuit board on which the semiconductor element is mounted.

図２は、本発明の実施の形態における自律走行型掃除機の側面図である。尚、本発明と関連のある構成の一部は破線により示している。 FIG. 2 is a side view of the autonomous traveling type vacuum cleaner according to the embodiment of the present invention. A part of the configuration related to the present invention is shown by a broken line.

図２に示すように、ボディ１前面近傍に搭載されている測距センサ６は、ボディ１前面から距離Ｄ先の床面へセンサ軸が向けられている。 As shown in FIG. 2, the distance measuring sensor 6 mounted near the front surface of the body 1 has the sensor axis directed from the front surface of the body 1 to the floor surface at a distance D ahead.

測距センサ６から得られる測距値を監視することで、前進方向の床面８までの高さが変化することに加えて、その変化が起こる地点から自律走行型掃除機までの距離Ｄが分かる。 By monitoring the distance measurement value obtained from the distance measurement sensor 6, in addition to changing the height to the floor surface 8 in the forward direction, the distance D from the point where the change occurs to the autonomous driving vacuum cleaner can be changed. I understand.

測距センサ６の上方にはカメラ５が配置されている。尚、本実施例では測距センサ６の上方にはカメラ５を配置したが、測距センサ６の下方、或いは左右側に配置しても良い。 A camera 5 is arranged above the distance measuring sensor 6. Although the camera 5 is arranged above the distance measuring sensor 6 in this embodiment, it may be arranged below the distance measuring sensor 6 or on the left and right sides.

図３は本実施例装置である自律走行型掃除機及びシステムのブロック図である。 FIG. 3 is a block diagram of an autonomous traveling vacuum cleaner and a system, which are the devices of the present embodiment.

図４は本発明の実施の形態における物体認識アルゴリズムの認識結果例を示す図である。 FIG. 4 is a diagram showing an example of a recognition result of the object recognition algorithm according to the embodiment of the present invention.

図３において、制御ユニット１００は主に第１ブロック１０１と第２ブロック１０２とを有している。第１ブロック１０１は、物体認識アルゴリズムによりカメラ５で撮像され
た画像から物体を認識するためのブロックである。 In FIG. 3, the control unit 100 mainly has a first block 101 and a second block 102. The first block 101 is a block for recognizing an object from an image captured by the camera 5 by an object recognition algorithm.

第２ブロック１０２は、第１ブロック１０１の認識結果から、更に正確に物体を認識するまでの各種処理を行うためのブロックであり、詳細は後述する。 The second block 102 is a block for performing various processes from the recognition result of the first block 101 to the more accurate recognition of the object, and the details will be described later.

ＰＣ２００は、所謂パーソナルコンピュータであり、複数の学習用画像データを格納しており、この学習用画像データから物体認識アルゴリズムを用いて特徴抽出を行い、学習を行った後に学習モデルを生成する。 The PC 200 is a so-called personal computer, which stores a plurality of learning image data. Features are extracted from the learning image data using an object recognition algorithm, and a learning model is generated after learning.

制御ユニット１００とＰＣ２００は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等により接続可能であり、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２００で生成された学習モデルは制御ユニット１００に送信することが可能である。
また、制御ユニット１００は、ＰＣ２００から受信した学習モデルを例えばフラッシュメモリのような不揮発性メモリに記憶することが可能である。学習モデルの容量が多くなる程メモリの容量も必要であるため、半導体メモリではなくハードディスクのような記憶媒体を用いても良い。 The control unit 100 and the PC 200 can be connected by, for example, a USB (Universal General Bus) cable or the like, and the learning model generated by the PC (Personal Computer) 200 can be transmitted to the control unit 100.
Further, the control unit 100 can store the learning model received from the PC 200 in a non-volatile memory such as a flash memory. Since the memory capacity is required as the capacity of the learning model increases, a storage medium such as a hard disk may be used instead of the semiconductor memory.

或いは、ＰＣ２００の図３に示すブロックをサーバー等に設け、ネットワークを介してサーバーと制御ユニット１００を接続する構成としても良い。この場合、サーバーから制御ユニット１００に学習モデルが送信されることになる。 Alternatively, the block shown in FIG. 3 of the PC 200 may be provided on the server or the like to connect the server and the control unit 100 via a network. In this case, the learning model is transmitted from the server to the control unit 100.

本実施例では、物体認識アルゴリズムと測距センサ６の検知結果に基づいて、物体（対象物１０）の認識を行っている。本実施例のシステムでは、予め、ＰＣ２００側で物体認識アルゴリズムに自律走行型掃除機が巻き込み清掃動作が中断されやすい物体である敷物、ケーブル等の画像データを多数取り込み、特徴抽出を行い、学習モデルを生成する。 In this embodiment, the object (object 10) is recognized based on the object recognition algorithm and the detection result of the distance measuring sensor 6. In the system of this embodiment, a large amount of image data such as rugs and cables, which are objects whose cleaning operation is likely to be interrupted, are taken in advance by the autonomous traveling vacuum cleaner in the object recognition algorithm on the PC200 side, feature extraction is performed, and a learning model To generate.

次に、ＰＣ２００側から制御ユニット１００に学習モデルを実装する。この制御ユニット１００への実装は、先ほど述べたように例えばＵＳＢケーブル等でＰＣ２００と制御ユニット１００を接続することにより行われる。 Next, the learning model is mounted on the control unit 100 from the PC 200 side. This mounting on the control unit 100 is performed by connecting the PC 200 and the control unit 100 with, for example, a USB cable or the like as described above.

本実施例の自律走行型掃除機は清掃中にカメラ５で自律走行型掃除機の前方を撮影し、制御ユニット１００に撮影した画像データを送信する。 The autonomous traveling type vacuum cleaner of this embodiment photographs the front of the autonomous traveling type vacuum cleaner with the camera 5 during cleaning, and transmits the photographed image data to the control unit 100.

制御ユニット１００は、各対象物の特徴を学習した学習モデルを既に有しており、図４に示すように、送信された画像データ９内から学習した種類の対象物１０（例えば敷物）の有無と画像内のどの位置に対象物１０が存在するか、検知枠１１を出力することで表し、この画像データから、検知枠１１の下端から画像下端までの画素数より距離Ｘを算出する。 The control unit 100 already has a learning model that has learned the characteristics of each object, and as shown in FIG. 4, the presence or absence of an object 10 (for example, a rug) of the type learned from the transmitted image data 9. The position of the object 10 in the image is expressed by outputting the detection frame 11, and the distance X is calculated from the number of pixels from the lower end of the detection frame 11 to the lower end of the image from this image data.

なお、画像データ９から距離Ｘを取得する処理は制御ユニット１００内部で行われる処理であり必ずしも画像を出力、表示して確認する必要はない。 The process of acquiring the distance X from the image data 9 is a process performed inside the control unit 100, and it is not always necessary to output, display, and confirm the image.

次に、制御ユニット１００の第１ブロック１０１で対象物１０を認識し、第２ブロック１０２で、自律走行型掃除機から対象物１０までの距離がｘ以下と判定したとき、駆動部１２を制御することにより自律走行型掃除機を減速させ、測距センサ６のセンサ値Ｓを取得し始める。 Next, when the first block 101 of the control unit 100 recognizes the object 10 and the second block 102 determines that the distance from the autonomous traveling vacuum cleaner to the object 10 is x or less, the drive unit 12 is controlled. By doing so, the autonomous traveling type vacuum cleaner is decelerated, and the sensor value S of the distance measuring sensor 6 is started to be acquired.

第２ブロック１０２は、減速走行中のセンサ値は常に平均を取り、その値をＳａｖｅとする。測距センサ６のセンサ値は前進方向床面を向いているが、敷物が敷かれているなど
走行面の高さが変化するとセンサ値に変化が起こる。 In the second block 102, the sensor values during deceleration traveling are always averaged, and the values are set as Save . The sensor value of the distance measuring sensor 6 faces the floor surface in the forward direction, but the sensor value changes when the height of the traveling surface changes, such as when a rug is laid.

第２ブロック１０２は、それを想定した閾値Ｔを用意して、減速中のセンサ値平均と最新のセンサ値の差分が閾値を超える、すなわち、Ｓａｖｅ―Ｓ＞Ｔとなるとき自律走行型掃除機の前進方向の距離Ｄに自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物があると判断できる。 The second block 102 prepares a threshold value T assuming that, and when the difference between the average sensor value during deceleration and the latest sensor value exceeds the threshold value, that is, Save-S> T, the autonomous traveling type vacuum cleaner. It can be determined that there is an object in which the autonomous traveling type vacuum cleaner is involved in the distance D in the forward direction of the above and the cleaning operation is likely to be interrupted.

尚、閾値Ｔを用意したのは、例えばゴミ等により測距センサ６の検知した値が変動し、絨毯等があると誤検知することを回避するためである。 The threshold value T is prepared in order to prevent the value detected by the distance measuring sensor 6 from fluctuating due to dust or the like and erroneously detecting that there is a carpet or the like.

また、より確実に対象物を判断するため物体認識アルゴリズムが対象物１０を認識した後、駆動輪３を制御して減速を行っているが、行わなくとも自律走行型掃除機の前進方向の距離Ｄに自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物があると判断できる。 Further, in order to determine the object more reliably, after the object recognition algorithm recognizes the object 10, the drive wheel 3 is controlled to decelerate, but the distance in the forward direction of the autonomous traveling vacuum cleaner is not required. It can be determined that there is an object in D in which the autonomous traveling type vacuum cleaner is involved and the cleaning operation is easily interrupted.

また、測距センサ６のセンサ値取得について、物体認識アルゴリズムを用いず、自律走行型掃除機が走行中、常にセンサ値を取得する方式でも走行面の高さが変化する距離は分かるが、その場合、走行面の凹凸や塵埃のような、自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物以外と区別がつかず、対象物を正確に判断できない。 Further, regarding the acquisition of the sensor value of the distance measuring sensor 6, the distance at which the height of the traveling surface changes can be known even by the method of constantly acquiring the sensor value while the autonomous traveling type vacuum cleaner is traveling without using the object recognition algorithm. In this case, it is indistinguishable from an object other than an object in which the autonomous traveling type vacuum cleaner is likely to be involved and the cleaning operation is interrupted, such as unevenness of the traveling surface and dust, and the object cannot be accurately determined.

また、測距センサ６を使用せずに画像データ９から距離Ｘを取得して、対象物の位置を算出することも可能だが、図４に示すような検知枠１１は物体認識技術の性質上、必ずしも対象物１０の下端と検知枠の下端が一致するわけではなく、さらに、本当に対象物が存在するのか、例えば、窓から差し込む光が床面に反射して敷物であるかのように見えているだけなのか、誤認識をする可能性もあるが、本実施の形態であれば、測距センサ６で走行面の高さの変化を見ることで、より正確に対象物を検知できる。 Further, it is possible to acquire the distance X from the image data 9 and calculate the position of the object without using the distance measuring sensor 6, but the detection frame 11 as shown in FIG. 4 is due to the nature of the object recognition technology. , The lower end of the object 10 and the lower end of the detection frame do not always match, and it looks as if the object really exists, for example, the light coming in from the window is reflected on the floor surface and is a rug. There is a possibility of erroneous recognition, but in the present embodiment, the object can be detected more accurately by observing the change in the height of the traveling surface with the distance measuring sensor 6.

以上のように、本実施の形態においては、従来の技術では検知することが難しかった敷物、ケーブルのような高さが低く、自律走行型掃除機が巻き込み清掃動作が中断されやすい対象物を正確に検知できることで、清掃行動が中断されない自律走行型掃除機を提供できる。 As described above, in the present embodiment, the height of the rug and the cable, which are difficult to detect by the conventional technology, is low, and the autonomous driving vacuum cleaner is involved and the cleaning operation is easily interrupted. By being able to detect it, it is possible to provide an autonomous driving type vacuum cleaner in which the cleaning action is not interrupted.

本発明は、家庭用の自律走行型掃除機や業務用の自律走行型掃除機等広く適用できる。 The present invention can be widely applied to an autonomous driving vacuum cleaner for home use, an autonomous driving vacuum cleaner for business use, and the like.

１ ボディ
２ 吸込口
３ 駆動輪
４ サイドブラシ
５ カメラ
６ 測距センサ
８ 床面
９ 画像データ
１０ 対象物
１１ 検知枠
１２ 駆動部
１００ 制御ユニット
１０１ 第１ブロック
１０２ 第２ブロック
２００ ＰＣ 1 Body 2 Suction port 3 Drive wheel 4 Side brush 5 Camera 6 Distance measurement sensor 8 Floor surface 9 Image data 10 Object 11 Detection frame 12 Drive unit 100 Control unit 101 1st block 102 2nd block 200 PC

Claims (5)

物体の有無を検知する第１のセンサと、物体の位置を検知する第２のセンサと、制御ユニットと、を有し、
前記制御ユニットは、前記第１のセンサの検知結果と前記第２のセンサの検知結果に基づいて物体を認識する、自律走行型掃除機。 It has a first sensor that detects the presence or absence of an object, a second sensor that detects the position of an object, and a control unit.
The control unit is an autonomous traveling vacuum cleaner that recognizes an object based on the detection result of the first sensor and the detection result of the second sensor. 前記第１のセンサは動画又は静止画を撮像する撮像部であり、
前記制御ユニットは、前記撮像部により撮像した画像から物体の認識をおこなう物体認識アルゴリズムを備えている、請求項１に記載の自律走行型掃除機。 The first sensor is an imaging unit that captures a moving image or a still image.
The autonomous driving type vacuum cleaner according to claim 1, wherein the control unit includes an object recognition algorithm that recognizes an object from an image captured by the imaging unit. 前記第２のセンサは物体までの距離を測定する測距センサであり、
ボディに配された２つの駆動輪を駆動する駆動ユニットを有し、
前記制御ユニットは、前記物体認識アルゴリズムにより対象物を認識すると、前記測距センサからの出力値の平均値を取りながら、前記駆動ユニットを駆動し前記ボディを前進させ、前記平均値と前記測距センサからの最新の出力値との差分が閾値を上回ると、物体の有無と、その物体までの距離を算出する、請求項２に記載の自律走行型掃除機。 The second sensor is a distance measuring sensor that measures the distance to an object.
It has a drive unit that drives two drive wheels arranged on the body,
When the control unit recognizes an object by the object recognition algorithm, the control unit drives the drive unit to move the body forward while taking an average value of output values from the distance measurement sensor, and the average value and the distance measurement. The autonomous traveling type vacuum cleaner according to claim 2, wherein when the difference from the latest output value from the sensor exceeds the threshold value, the presence / absence of an object and the distance to the object are calculated. 学習用画像データから物体認識アルゴリズムを用いて学習モデルを生成する学習モデル生成装置と、
前記学習モデル生成装置からの学習モデルデータを受信する自律走行型掃除機と、を有するシステムであり、
前記自律走行型掃除機は、前記学習モデル生成装置から受信した学習モデルとカメラで撮像した画像を用いて物体を認識する第１の物体認識機能と、
前記第１の物体認識機能で認識した物体との距離に基づいて、物体を認識する第２の物体認識機能と、を有するシステム。 A learning model generator that generates a learning model from image data for training using an object recognition algorithm,
It is a system having an autonomous driving type vacuum cleaner that receives learning model data from the learning model generator.
The autonomous traveling type vacuum cleaner has a first object recognition function for recognizing an object using a learning model received from the learning model generator and an image captured by a camera.
A system having a second object recognition function for recognizing an object based on the distance to the object recognized by the first object recognition function. 学習用画像データから特徴を抽出し、学習し、学習モデルを生成するステップと、
生成された学習モデルとカメラで撮像された画像から物体を認識するステップと、
認識した物体との距離に基づいて物体を認識するステップと、
を有する物体認識方法。 Steps to extract features from image data for training, learn, and generate a learning model,
Steps to recognize an object from the generated learning model and the image captured by the camera,
The step of recognizing an object based on the distance to the recognized object,
Object recognition method having.
JP2019078993A 2019-04-18 2019-04-18 Autonomous vacuum cleaner Active JP7261958B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019078993A JP7261958B2 (en) 2019-04-18 2019-04-18 Autonomous vacuum cleaner
PCT/JP2020/010044 WO2020213294A1 (en) 2019-04-18 2020-03-09 Self-propelled vacuum cleaner, system, and object recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019078993A JP7261958B2 (en) 2019-04-18 2019-04-18 Autonomous vacuum cleaner

Publications (2)

Publication Number Publication Date
JP2020174899A true JP2020174899A (en) 2020-10-29
JP7261958B2 JP7261958B2 (en) 2023-04-21

Family

ID=72837447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019078993A Active JP7261958B2 (en) 2019-04-18 2019-04-18 Autonomous vacuum cleaner

Country Status (2)

Country Link
JP (1) JP7261958B2 (en)
WO (1) WO2020213294A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180586A (en) * 2001-12-14 2003-07-02 Hitachi Ltd Self-propelled cleaner
JP2017074191A (en) * 2015-10-14 2017-04-20 東芝ライフスタイル株式会社 Vacuum cleaner

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256041A (en) * 2002-02-28 2003-09-10 Matsushita Electric Ind Co Ltd Self-contained travel device, its monitoring method and remote control method
KR102017148B1 (en) * 2017-03-03 2019-09-02 엘지전자 주식회사 Artificial intelligence Moving Robot and controlling method
KR20180134230A (en) * 2017-06-08 2018-12-18 삼성전자주식회사 Cleaning robot and controlling method of thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003180586A (en) * 2001-12-14 2003-07-02 Hitachi Ltd Self-propelled cleaner
JP2017074191A (en) * 2015-10-14 2017-04-20 東芝ライフスタイル株式会社 Vacuum cleaner

Also Published As

Publication number Publication date
WO2020213294A1 (en) 2020-10-22
JP7261958B2 (en) 2023-04-21

Similar Documents

Publication Publication Date Title
US11846950B2 (en) Mobile robot and control method thereof
CN110852312B (en) Cliff detection method, mobile robot control method, and mobile robot
US10877484B2 (en) Using laser sensor for floor type detection
US20170332862A1 (en) Mobile robot and method of controlling the same
KR101570377B1 (en) 3 Method for builing 3D map by mobile robot with a single camera
NL1024426C2 (en) Method for detecting a locator mark for a robot cleaner and a robot cleaner using the method.
EP3549726B1 (en) Robotic vacuum cleaner, cleaning function control apparatus equipped in robotic vacuum cleaner, and multi-channel lidar-based obstacle detection apparatus equipped in robotic vacuum cleaner
KR102147207B1 (en) Moving Robot and controlling method
KR20100100520A (en) Method for gradually building map by mobile robot and correcting position of mobile robot
KR102201144B1 (en) Mobile robot and its control method
CN111572737B (en) AUV capturing and guiding method based on acoustic and optical guidance
KR20180089235A (en) Cleaner
KR20210110064A (en) Moving Robot and controlling method
TWI748534B (en) Robot cleaner and method for controlling the same
CN112386177A (en) Cleaning device motion control method, storage medium and cleaning device
KR101371038B1 (en) Mobile robot and method for tracking target of the same
JP2014106638A (en) Moving device and control method
KR101965739B1 (en) Mobile robot and method for controlling the same
WO2018193653A1 (en) Mobile device, object detection method, and program
US12036668B2 (en) Method for eliminating misjudgment of reflective light and optical sensing system
JP2020174899A (en) Autonomically travelling type cleaner, system, and object recognition method
KR100662638B1 (en) Apparatus for correcting obstacle detection error of robot cleaner and method therefor
KR102306436B1 (en) Moving Robot and controlling method
KR102300790B1 (en) Moving Robot and controlling method
KR102428214B1 (en) Moving Robot and controlling method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220203

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R151 Written notification of patent or utility model registration

Ref document number: 7261958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151