JP2024074658A

JP2024074658A - Autonomous cleaning robot

Info

Publication number: JP2024074658A
Application number: JP2022185962A
Authority: JP
Inventors: 率矢山本; 克典荒木; 高明勝浦
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2024-05-31
Also published as: WO2024111784A1

Abstract

【課題】液体に接触しなくても濡れた場所を高い精度で検知して回避できるようにする。【解決手段】自律走行型の掃除ロボット１である。床面の上を走行するロボット本体２の進路前方の床面を撮像し、光照射部１０が照射する赤外光のうち、水による吸光が認められる特定波長の赤外光を含む光を検出する特定赤外光撮像センサ１２、特定赤外光撮像センサ１２が出力する赤外光信号を受信する制御部２０などを備える。制御部２０が、ロボット本体２の進路前方の床面に存在する濡れ場所Ｗの有無を赤外光信号に基づいて判断し、それによって掃除ロボット１の運転を変更する。【選択図】図６[Problem] To detect and avoid wet places with high accuracy without coming into contact with liquid. [Solution] An autonomous cleaning robot 1. The robot includes a specific infrared light imaging sensor 12 that images the floor surface ahead of the path of the robot body 2 traveling on the floor and detects infrared light emitted by a light emitting unit 10 that includes infrared light of a specific wavelength that is absorbed by water, and a control unit 20 that receives an infrared light signal output by the specific infrared light imaging sensor 12. The control unit 20 determines the presence or absence of a wet place W on the floor surface ahead of the path of the robot body 2 based on the infrared light signal, and changes the operation of the cleaning robot 1 accordingly. [Selected Figure] Figure 6

Description

開示する技術は、一般家庭向けの自律走行型の掃除ロボットに関し、特に濡れた場所を検知する技術に関する。 The technology disclosed relates to an autonomous cleaning robot for general household use, and in particular to technology for detecting wet areas.

近年、障害物を回避しながら走行し、床面を自動的に掃除するロボット（自律走行型の掃除ロボット、以下単に掃除ロボットともいう）が注目されている。掃除ロボットは、ブラシで塵埃を巻き上げ、吸引して掃除するタイプが一般的であるが、モップなどで汚れを拭き取って掃除するタイプやこれらを併用したタイプも実用化されている。 In recent years, robots that can move around while avoiding obstacles and automatically clean floors (autonomous cleaning robots, hereafter simply referred to as cleaning robots) have been attracting attention. Cleaning robots are generally of the type that use a brush to stir up dust and then suck it up to clean, but types that wipe off dirt with a mop or types that use both methods have also been put to practical use.

コンピュータ技術の進歩により、掃除ロボットは、家具、家電製品、インテリアなどの室内に常備されている障害物については、比較的高い精度で検知でき、これらを回避して床面を走行できるようになってきている。 Advances in computer technology have enabled cleaning robots to detect common indoor obstacles such as furniture, home appliances, and interior items with a relatively high degree of accuracy, and to avoid these obstacles while moving across the floor.

しかし、ペットの尿や零れ落ちた飲料などにより、床面の一部が濡れている場合があり得る。 However, parts of the floor may be wet due to pet urine or spilled drinks.

濡れた場所を掃除ロボットが掃除すると、掃除ロボットが液体を吸い込んで故障するおそれがある。また、濡れた場所を通過して掃除ロボットが走行を続けると、その液体による汚れを拡散するおそれもある。従って、掃除ロボットは、走行経路に存在する濡れ場所を事前に検知して、回避する必要がある。 When a cleaning robot cleans a wet area, there is a risk that the cleaning robot will absorb the liquid and break down. Also, if the cleaning robot continues moving through a wet area, there is a risk that the dirt caused by the liquid will spread. Therefore, the cleaning robot needs to detect wet areas on its moving path in advance and avoid them.

濡れ場所を検知する従来技術は、例えば特許文献１に開示されている。具体的には、その実施の形態２に、電極間に所定の電圧を印加した一対の電極で液体の有無を検知する技術が開示されている。電極が液体に触れると電極間の抵抗値が変化する。その抵抗値を所定の閾値と比較し、液体の有無を検知する。 Conventional technology for detecting wet locations is disclosed, for example, in Patent Document 1. Specifically, in embodiment 2, a technology is disclosed for detecting the presence or absence of liquid using a pair of electrodes with a predetermined voltage applied between the electrodes. When the electrodes come into contact with liquid, the resistance value between the electrodes changes. The resistance value is compared with a predetermined threshold value to detect the presence or absence of liquid.

なお、特許文献１の実施の形態１にカメラで撮影した画像から液体を検知することが記載されているが、その具体的な内容は開示されていない。 Note that, although Patent Document 1 describes in its first embodiment that liquid is detected from images captured by a camera, the specific details are not disclosed.

特許文献２には、尿を含むペットの***物を検知する技術が開示されている。具体的には、赤外線カメラによって進路前方の熱画像を撮像し、その熱画像で所定以上の温度差がある領域が認められた場合、その領域に***物が有ると検知する。 Patent Document 2 discloses a technology for detecting pet waste, including urine. Specifically, an infrared camera captures a thermal image of the area ahead, and if an area with a temperature difference of a predetermined level or more is identified in the thermal image, it is detected that there is waste in that area.

特開２０２２－０２５６７８号公報JP 2022-025678 A 特表２０１８－５１５１９１号公報JP 2018-515191 A

特許文献１の技術は、液体に電極を接触させる必要がある。従って、掃除ロボットが濡れた場所に到達しなければ検知できない。そのため、掃除ロボットが液体を検知して停止や方向転換しても、掃除ロボットが濡れた場所を回避できないおそれがある。 The technology in Patent Document 1 requires that electrodes be brought into contact with the liquid. Therefore, the cleaning robot cannot detect a wet area unless it reaches the wet area. Therefore, even if the cleaning robot detects liquid and stops or changes direction, there is a risk that the cleaning robot will not be able to avoid the wet area.

特許文献２の技術は、液体と環境との間に所定以上の温度差が無ければ検知できない。すなわち、尿で濡れてからある程度時間が経過すると検知できないし、温度差の無い液体は検知できない。 The technology in Patent Document 2 cannot detect liquids unless there is a temperature difference of a certain level or more between the liquid and the environment. In other words, it cannot detect liquids that have been wet with urine for a certain amount of time, and it cannot detect liquids with no temperature difference.

掃除ロボットの多くには、カラー画像やモノクロ画像を撮像するカメラが搭載されているが、そのようなカメラでは透明な液体は検知できない。すなわち、ペットの尿や水などで濡れた場所は検知できない。 Many cleaning robots are equipped with cameras that capture color or monochrome images, but such cameras cannot detect transparent liquids. In other words, they cannot detect areas that are wet with pet urine or water.

そこで、開示する技術は、液体に接触しなくても濡れ場所を高い精度で検知して回避できる掃除ロボットの実現を目的とする。 The disclosed technology aims to realize a cleaning robot that can detect and avoid wet areas with high accuracy without coming into contact with liquid.

開示する技術は、自律走行型の掃除ロボットに関する。 The technology disclosed relates to an autonomous cleaning robot.

前記掃除ロボットは、床面の上を走行するロボット本体と、前記ロボット本体の下面に設けられて前記床面を掃除する掃除部と、前記ロボット本体の進路前方に向けて、水による吸光が認められる特定波長を含む赤外光を照射する光照射部と、前記ロボット本体の進路前方の前記床面を含む領域を撮像し、前記光照射部が照射する赤外光のうち、前記特定波長の赤外光を含む光を検出する特定赤外光撮像センサと、前記特定赤外光撮像センサが出力する赤外光信号を受信する制御部と、を備える。そして、前記制御部が、前記ロボット本体の進路前方の前記床面に存在する濡れ場所の有無を前記赤外光信号に基づいて判断し、それによって前記掃除ロボットの運転を変更する。 The cleaning robot includes a robot body that travels on a floor surface, a cleaning unit that is provided on the underside of the robot body and cleans the floor surface, a light irradiation unit that irradiates infrared light including a specific wavelength that is absorbed by water toward the path ahead of the robot body, a specific infrared light imaging sensor that images an area including the floor surface ahead of the path of the robot body and detects infrared light including the specific wavelength among the infrared light irradiated by the light irradiation unit, and a control unit that receives an infrared light signal output by the specific infrared light imaging sensor. The control unit then determines the presence or absence of a wet spot on the floor surface ahead of the path of the robot body based on the infrared light signal, and changes the operation of the cleaning robot accordingly.

すなわち、この掃除ロボットによれば、ロボット本体の進路前方に向けて、水による吸光が認められる特定波長を含む赤外光を光照射部で照射する。その赤外光のうち、その特定波長の赤外光のみを検出する特定赤外光撮像センサでロボット本体の進路前方の床面を撮像する。そうして、制御部が、特定赤外光撮像センサが出力する赤外光信号を受信し、その赤外光信号に基づいてロボット本体の進路前方の床面に存在する濡れ場所の有無を判断する。 That is, with this cleaning robot, the light irradiation unit irradiates infrared light including a specific wavelength that is absorbed by water toward the path ahead of the robot body. A specific infrared light imaging sensor that detects only the infrared light of that specific wavelength captures an image of the floor surface ahead of the robot body's path. The control unit then receives the infrared light signal output by the specific infrared light imaging sensor, and determines the presence or absence of a wet spot on the floor surface ahead of the robot body's path based on the infrared light signal.

従って、無色の水や尿でも、更にはその液体の温度に関係無く、水分を含む濡れ場所であれば、濡れ場所に達する前に、その有無を適切に判断できる。そして、制御部は、その判断に基づいて掃除ロボットの運転を変更するので、濡れ場所を精度高く回避できる。 Therefore, even if the liquid is colorless water or urine, and regardless of the temperature of the liquid, the presence or absence of moisture in the wet area can be properly determined before the robot reaches the wet area. The control unit then changes the operation of the cleaning robot based on this determination, allowing the robot to avoid wet areas with high accuracy.

前記特定波長が９３０ｎｍ以上１０３０ｎｍ以下である、としてもよい。 The specific wavelength may be greater than or equal to 930 nm and less than or equal to 1030 nm.

水による赤外吸収を考えた時、１９４０ｎｍ付近や１４５０ｎｍ付近に吸収の強いピークを持つ。しかしながら、１４５０ｎｍや１９４０ｎｍ付近の吸収を観測するにはＩｎＧａＡｓのような高価な撮像素子が必要になる。 When considering infrared absorption by water, there are strong absorption peaks around 1940 nm and 1450 nm. However, to observe absorption around 1450 nm and 1940 nm, an expensive imaging element such as InGaAs is required.

一方で、水による赤外吸収は上記と比べれば微弱ではあるが９７０ｎｍ付近にもピークを持つ。一般的なカメラの撮像素子はＳｉ半導体を用いており、可視域と比べて感度は劣るものの原理上１１００ｎｍ程度まで検知可能であり、上記波長域の赤外光を用いることで、一般的なカメラを用いた安価な構成が実現可能となる。 On the other hand, infrared absorption by water is weaker than the above, but it also has a peak at around 970 nm. The image sensor of a typical camera uses a silicon semiconductor, and although its sensitivity is inferior to that of the visible range, in principle it can detect up to about 1100 nm. By using infrared light in the above wavelength range, it is possible to realize an inexpensive configuration using a typical camera.

前記特定赤外光撮像センサが、可視光を検出するカメラとすくなくとも前記特定波長の赤外光を含む光を透過し、可視光を遮断する光学フィルタを有し、当該光学フィルタで透過した赤外光を前記カメラで受光するように構成されている、としてもよい。 The specific infrared light imaging sensor may have a camera that detects visible light and an optical filter that transmits light including at least the specific wavelength of infrared light and blocks visible light, and is configured so that the infrared light transmitted by the optical filter is received by the camera.

また、一般的なカメラの素子は原理上、１１００ｎｍ程度までの光に感度を持つが、波長が長くなるにつれて感度は低くなり、相対的に影響が少なくなる。このため、バンドパスフィルタのかわりに、少なくとも可視光を遮断し、特定波長を含む赤外光を透過するロングパスフィルタを用いる構成としてもよい。 In principle, the elements of a typical camera are sensitive to light up to about 1100 nm, but as the wavelength becomes longer, the sensitivity decreases and the effect becomes relatively small. For this reason, instead of a bandpass filter, a longpass filter that blocks at least visible light and transmits infrared light including specific wavelengths may be used.

そうすれば、一般的なカメラと光学フィルタ（バンドパスフィルタ）とによる簡素な構成で特定赤外光撮像センサを構成できる。従って、特定赤外光撮像センサをよりいっそう安価にできる。 This allows the specific infrared light imaging sensor to be constructed simply with a general camera and an optical filter (bandpass filter). This makes it possible to make the specific infrared light imaging sensor even more inexpensively.

可視光を検出して前記ロボット本体の進路前方の前記床面を含む領域を撮像するカメラからなる可視光撮像センサを更に備え、前記制御部が、前記可視光撮像センサが出力する可視光信号を受信し、前記赤外光信号と前記可視光信号とに基づいて前記濡れ場所の有無を判断する、としてもよい。 The robot may further include a visible light imaging sensor consisting of a camera that detects visible light and images an area including the floor surface ahead of the path of the robot body, and the control unit may receive a visible light signal output by the visible light imaging sensor and determine the presence or absence of the wet area based on the infrared light signal and the visible light signal.

赤外光による濡れ場所の検知では、濡れ場所が相対的に暗く表示されるので、黒色のものや物体の影を誤検知し得る。それに対し、可視光撮像センサであれば、色の情報が加わるため黒色のものや陰の部分を検知できる。従って、これら双方の情報を含む赤外光信号と可視光信号とに基づいて濡れ場所の有無を判断すれば、誤検知を抑制でき、濡れ場所の有無の判断精度を向上できる。その結果、掃除ロボットは濡れ場所を精度高く回避できる。 When detecting wet areas using infrared light, wet areas appear relatively dark, which can lead to false detection of black objects or the shadows of objects. In contrast, a visible light imaging sensor adds color information, making it possible to detect black objects and shadow areas. Therefore, if the presence or absence of a wet area is determined based on an infrared light signal and a visible light signal that contain both types of information, false detections can be suppressed and the accuracy of determining whether or not there is a wet area can be improved. As a result, the cleaning robot can avoid wet areas with high accuracy.

前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する、としてもよい。 The control unit may have a trained machine learning model that is preset to determine whether or not the wet area exists, and may determine whether or not the wet area exists by applying the infrared light signal to the trained machine learning model.

前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号および前記可視光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する、としてもよい。 The control unit may have a trained machine learning model that is preset to determine whether or not the wet area exists, and may determine whether or not the wet area exists by applying the infrared light signal and the visible light signal to the trained machine learning model.

そうすれば、双方の情報で誤検知を抑制しながら、学習済み機械学習モデルで濡れ場所の有無の高度な判断が行える。その結果、掃除ロボットは濡れ場所を精度高く回避できる。 This way, both sets of information can be used to reduce false positives, while the trained machine learning model can make advanced judgments about whether or not there are wet areas. As a result, the cleaning robot can avoid wet areas with high accuracy.

前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像とを合成して合成画像を作成し、当該合成画像を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する、としてもよい。 The control unit may create a composite image by combining a specific infrared light image obtained by processing the infrared light signal with a visible light image obtained by processing the visible light signal, and apply the composite image to the trained machine learning model to determine the presence or absence of the wet area.

前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像を第１の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第１判断処理と、前記可視光信号を処理して得られる可視光画像を第２の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第２判断処理と、を実行し、前記第１判断処理と前記第２判断処理の双方に基づいて前記濡れ場所の有無を総合的に判断する、としてもよい。なお、前記制御部が、前記特定赤外光画像と前記可視光画像の２つの画像を入力とする機械学習モデルによって前記濡れ場所を判断する、としてもよい。 The control unit may execute a first judgment process for judging the presence or absence of the wet place by applying a specific infrared light image obtained by processing the infrared light signal to the first trained machine learning model, and a second judgment process for judging the presence or absence of the wet place by applying a visible light image obtained by processing the visible light signal to the second trained machine learning model, and comprehensively judge the presence or absence of the wet place based on both the first judgment process and the second judgment process. Note that the control unit may judge the wet place using a machine learning model that inputs two images, the specific infrared light image and the visible light image.

これらの手法は画像の入力方法が異なるものの、すべて特定赤外光画像と可視光画像から濡れ場所を検知するものであり、いずれの手法においても濡れ場所を精度高く判断できる。 Although these techniques use different image input methods, they all detect wet areas from specific infrared light images and visible light images, and all of these techniques can accurately identify wet areas.

前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像との差分を用いて特定赤外光画像の暗所、すなわち、濡れ場所を判断するする、としてもよい。 The control unit may determine dark areas, i.e., wet areas, in the specific infrared light image by using the difference between a specific infrared light image obtained by processing the infrared light signal and a visible light image obtained by processing the visible light signal.

これもまた上述したものとは別の判断手法である。この判断手法によれば、画像処理による判断が可能であり、機械学習モデルを用いる場合と比べて少ない計算リソースで高速な検知が期待できる。 This is also a different judgment method from the one mentioned above. With this judgment method, judgment is possible through image processing, and it is expected that faster detection will be possible with fewer computational resources than when using a machine learning model.

開示する技術によれば、液体に接触しなくても濡れた場所を高い精度で検知して回避できる掃除ロボットを実現できる。 The disclosed technology makes it possible to realize a cleaning robot that can detect and avoid wet areas with high accuracy without coming into contact with liquid.

掃除ロボットの運転時の状態を示す概略斜視図である。FIG. 2 is a schematic perspective view showing a state in which the cleaning robot is in operation. 掃除ロボットの下面を示す概略図である。FIG. 2 is a schematic diagram showing the underside of the cleaning robot. 特定赤外光撮像センサの構造を示す概略図である。1 is a schematic diagram showing the structure of a specific infrared light imaging sensor. 水の光の吸光スペクトルを説明するための図である。FIG. 2 is a diagram for explaining the light absorption spectrum of water. 制御部とその主な入出力装置のブロック図である。FIG. 2 is a block diagram of a control unit and its main input/output devices. 濡れ場所の有無を判断する方法の一例を説明するための図である。10A and 10B are diagrams for explaining an example of a method for determining whether or not there is a wet spot. 濡れ場所の有無の判断についての具体例を示す図である。11A and 11B are diagrams illustrating a specific example of how to determine whether or not there is a wet spot. 濡れ場所の有無の判断についての具体例を示す図である。11A and 11B are diagrams illustrating a specific example of how to determine whether or not there is a wet spot. 濡れ場所の有無の判断についての具体例を示す図である。11A and 11B are diagrams illustrating a specific example of how to determine whether or not there is a wet spot. 段差が有る場合での濡れ場所の有無の判断についての具体例を示す図である。11A and 11B are diagrams showing a specific example of how to determine whether or not there is a wet spot when there is a step. 掃除ロボットの制御例を示すフローチャートである。10 is a flowchart showing an example of control of the cleaning robot. 第２実施形態を説明するための図である。FIG. 11 is a diagram for explaining a second embodiment. 第３実施形態を説明するための図である。FIG. 13 is a diagram for explaining a third embodiment.

以下、開示する技術について説明する。ただし、その説明は本質的に例示に過ぎない。 The disclosed technology is described below. However, the description is merely illustrative in nature.

＜掃除ロボット＞
図１、図２に、開示する技術を適用した自律走行型の掃除ロボット１を例示する。図１は、掃除ロボット１の運転時の状態を示す概略斜視図である。図２は、掃除ロボット１の下面を示す概略図である。 <Cleaning robot>
1 and 2 show an example of an autonomous cleaning robot 1 to which the disclosed technology is applied. Fig. 1 is a schematic perspective view showing the state in which the cleaning robot 1 is operating. Fig. 2 is a schematic view showing the bottom surface of the cleaning robot 1.

掃除ロボット１は、扁平な箱形の外観を有するロボット本体２を備える。ロボット本体２の前端部分の下面には、左右方向に長い横長な吸込口３ａが設けられている。吸込口３ａの内部には、吸込口３ａに沿って延びるようにブラシ３ｂが軸支されている。 The cleaning robot 1 has a robot body 2 with a flat, box-like appearance. A horizontally long suction port 3a that is long in the left-right direction is provided on the underside of the front end portion of the robot body 2. A brush 3b is supported inside the suction port 3a so as to extend along the suction port 3a.

ロボット本体２には、図示しないが吸引ポンプやダストボックスなどが内蔵されていて、掃除ロボット１の運転時には、床面の上に存在している塵埃などをブラシ３ｂで掻き上げながら吸込口３ａを通じてダストボックスに吸い込むように構成されている。すなわち、吸込口３ａやブラシ３ｂは床面を掃除する掃除部３を構成している。なお、掃除部３は、拭き掃除する機能を有していてもよい。 The robot body 2 is equipped with a suction pump and a dust box (not shown), and when the cleaning robot 1 is in operation, the brush 3b picks up dust and other particles on the floor and sucks them into the dust box through the suction port 3a. In other words, the suction port 3a and the brush 3b form the cleaning unit 3 that cleans the floor. The cleaning unit 3 may also have a wiping function.

ロボット本体２の下面の左右両側には、一対の駆動輪４ａ，４ａが設置されている。ロボット本体２の下面の横幅中央における前後には、従動輪４ｂ，４ｂが設置されている。各駆動輪４ａは、モータの駆動制御により、独立して前転および後転が自在にできるように構成されている。すなわち、一対の駆動輪４ａ，４ａや従動輪４ｂ，４ｂは床面を走行する走行部４を構成している。 A pair of drive wheels 4a, 4a are installed on both the left and right sides of the underside of the robot body 2. Driven wheels 4b, 4b are installed at the front and back of the center of the width of the underside of the robot body 2. Each drive wheel 4a is configured so that it can freely roll forward and backward independently by driving control of a motor. In other words, the pair of drive wheels 4a, 4a and driven wheels 4b, 4b make up the running part 4 that runs on the floor surface.

それにより、掃除ロボット１は、前進、後退、左または右への旋回などの動作が可能であり、床面の上を自在に走行できる。ただし、ロボット本体２は、前進を基本の運転状態とするものであり、常態では前方に向かって走行する。後退は、障害物を回避する時などに行われる。 As a result, the cleaning robot 1 can move forward, backward, turn left or right, and travel freely across the floor. However, the basic operating state of the robot body 2 is to move forward, and it normally travels forward. It moves backward when it needs to avoid obstacles, etc.

ロボット本体２の上部の前側には、その前方に臨む検知部５が設置されている。検知部５には、光照射部１０、可視光撮像センサ１１、および、特定赤外光撮像センサ１２が設けられている。詳細は後述するが、掃除ロボット１は、この検知部５を用いて進路前方の床面に存在する濡れ場所Ｗの有無を判断する。 A detection unit 5 is installed on the front side of the upper part of the robot body 2, facing forward. The detection unit 5 is provided with a light irradiation unit 10, a visible light imaging sensor 11, and a specific infrared light imaging sensor 12. As will be described in detail later, the cleaning robot 1 uses this detection unit 5 to determine whether or not there is a wet spot W on the floor surface ahead of its path.

光照射部１０は、一対の光源１０ａ，１０ａで構成されており、これら光源１０ａ，１０ａの各々が左右方向に間隔を隔てて配置されている。これら光源１０ａ，１０ａは、ＬＥＤライトからなり、９７０ｎｍにピークがある赤外光を発生させる。 The light irradiation unit 10 is composed of a pair of light sources 10a, 10a, which are arranged at a distance from each other in the left-right direction. These light sources 10a, 10a are LED lights and generate infrared light with a peak at 970 nm.

各光源１０ａは、掃除ロボット１の斜め下前方に向けて放射状に広がるように赤外光を照射する。それにより、掃除ロボット１の進路前方が、赤外光によって略均一に照らされるように設定されている。 Each light source 10a emits infrared light that spreads radially diagonally downward and forward of the cleaning robot 1. This allows the area ahead of the path of the cleaning robot 1 to be illuminated approximately uniformly by infrared light.

可視光撮像センサ１１は、可視光を検出してカラー画像（ＲＧＢ画像）を撮像する一般的なカメラ（ＲＧＢカメラ）である。可視光撮像センサ１１は、ロボット本体２の進路前方の床面を含む領域を撮像できる方向に向いており、ロボット本体２の前方に拡がる走行領域を撮像するように構成されている。なお、可視光撮像センサ１１が撮像するのはカラー画像でなくグレースケール画像ないしモノクロ画像であってもよい。 The visible light imaging sensor 11 is a general camera (RGB camera) that detects visible light and captures a color image (RGB image). The visible light imaging sensor 11 is oriented in a direction that allows it to capture an image of the area including the floor surface ahead of the path of the robot body 2, and is configured to capture an image of the traveling area extending ahead of the robot body 2. Note that the visible light imaging sensor 11 may capture a grayscale image or a monochrome image instead of a color image.

特定赤外光撮像センサ１２もまた、ロボット本体２の進路前方の床面を含む領域を撮像できる方向に向いており、ロボット本体２の前方に拡がる走行領域を撮像する。すなわち、可視光撮像センサ１１と特定赤外光撮像センサ１２の双方は、同じ走行領域を撮像するように設定されている。 The specific infrared light imaging sensor 12 is also oriented in a direction that allows it to image the area including the floor surface ahead of the path of the robot body 2, and images the travel area that extends ahead of the robot body 2. In other words, both the visible light imaging sensor 11 and the specific infrared light imaging sensor 12 are set to image the same travel area.

特定赤外光撮像センサ１２の主体は、図３に示すように、可視光を検出するカメラ１２ａと可視光を遮断し、すくなくとも特定波長の赤外光を含む光を透過する光学フィルタ１２ｂとで構成されている。特定赤外光撮像センサ１２は、濡れ場所Ｗを検知するためのセンサであり、水の吸光特性に基づいて構成されている。 As shown in FIG. 3, the specific infrared light imaging sensor 12 mainly consists of a camera 12a that detects visible light and an optical filter 12b that blocks visible light and transmits light that includes at least infrared light of a specific wavelength. The specific infrared light imaging sensor 12 is a sensor for detecting wet places W, and is configured based on the light absorption characteristics of water.

前記特定波長は一般的な可視光カメラにおけるＳｉ半導体素子で検知可能な１１００ｎｍ未満の領域において、水の吸収が見られる領域の波長である。特に、この掃除ロボット1では、９７０ｎｍ付近の光を用いている。 The specific wavelength is a wavelength in the range below 1100 nm that can be detected by a silicon semiconductor element in a typical visible light camera and in which water absorption is observed. In particular, this cleaning robot 1 uses light in the vicinity of 970 nm.

ここで、可視光を検出するカメラは一般的にその用途から赤外光を遮断する光学フィルタを備えていることがあるが、本構成にて使用する可視光カメラ１２ａは上記フィルタを備えていない、もしくは、取り外したものとする。 Although cameras that detect visible light are generally equipped with optical filters that block infrared light for their intended use, the visible light camera 12a used in this configuration does not have such a filter or has the filter removed.

図４に、水の吸光スペクトルを示す。図４の上図に示すように、水は、１９４０ｎｍや１４５０ｎｍの波長に大きなピークが認められる。ただし、これらの波長域を検知するには安価なＳｉ半導体ではその原理上検知ができず、ＩｎＧａＡｓなどの高価な素子が必要となり、家電製品への搭載はコストの観点から難しい。 Figure 4 shows the absorption spectrum of water. As shown in the upper part of Figure 4, water has large peaks at wavelengths of 1940 nm and 1450 nm. However, in principle, inexpensive Si semiconductors cannot detect these wavelength ranges, and expensive elements such as InGaAs are required, making it difficult to install them in home appliances from a cost perspective.

それに対し、一般的な可視光カメラにおいて使用されるＳｉ半導体素子でも、波長が１１００ｎｍ程度までの近赤外領域の光を検出できる。図４の下図に、拡大して示すように、赤外線領域の吸収に比べると僅かではあるが、約９３０ｎｍから約１０３０ｎｍの範囲に吸収が認められ、約９７０ｎｍにそのピークが存在する。 In contrast, even the silicon semiconductor elements used in typical visible light cameras can detect light in the near-infrared region with wavelengths up to about 1100 nm. As shown in the enlarged view at the bottom of Figure 4, although it is slight compared to absorption in the infrared region, absorption is observed in the range from about 930 nm to about 1030 nm, with a peak at about 970 nm.

そこで、この掃除ロボット１では、このピーク波長を特定波長として利用する。すなわち、バンドパスフィルタ１２ｂに、９７０ｎｍの波長の赤外光を含む光を透過するものを採用し、そのバンドパスフィルタ１２ｂで透過した赤外光を一般的な可視光カメラ１２ａで受光する。それにより、高価な赤外光センサを用いることなく、一般的な可視光カメラ１２ａとバンドパスフィルタ１２ｂの組み合わせにより、特定赤外光撮像センサ１２を構成している。 The cleaning robot 1 therefore uses this peak wavelength as a specific wavelength. That is, a bandpass filter 12b that transmits light including infrared light with a wavelength of 970 nm is used, and the infrared light transmitted by the bandpass filter 12b is received by a general visible light camera 12a. As a result, the specific infrared light imaging sensor 12 is configured by combining the general visible light camera 12a and the bandpass filter 12b, without using an expensive infrared light sensor.

その結果、安価な掃除ロボット１でも、水の吸光を利用した濡れ場所Ｗの検知ができるようにしている。なお、特定波長は、吸収のピークである９７０ｎｍが好ましいが、比較的吸収の大きい９３０ｎｍ以上１０３０ｎｍ以下の範囲であればよい。 As a result, even an inexpensive cleaning robot 1 can detect wet places W by utilizing the light absorption of water. The specific wavelength is preferably 970 nm, which is the absorption peak, but it can be in the range of 930 nm to 1030 nm, where the absorption is relatively strong.

特定赤外光撮像センサ１２は、上述したようにロボット本体２の進路前方の床面を含む領域を撮像する。それにより、光照射部１０が照射する赤外光のうち、特定波長の赤外光のみを検出し、特定波長の赤外光による画像を撮像する。そうすることで、水が有る部分は光の吸収によって相対的に暗くなるので、濡れ場所Ｗが検知できる。 As described above, the specific infrared light imaging sensor 12 images the area including the floor surface ahead of the path of the robot main body 2. As a result, it detects only infrared light of a specific wavelength among the infrared light emitted by the light irradiation unit 10, and captures an image using infrared light of the specific wavelength. In this way, the areas where water is present become relatively dark due to light absorption, so wet places W can be detected.

（制御部２０）
ロボット本体２の内部には、掃除ロボット１の動作を制御する制御部２０が設置されている。制御部２０は、いわゆるコンピュータである。プロセッサ、メモリ、インターフェースなどのハードウエアと、メモリに実装された制御プログラムやデータなどのソフトウエアとによって制御部２０は構成されている。 (Control unit 20)
A control unit 20 that controls the operation of the cleaning robot 1 is installed inside the robot body 2. The control unit 20 is a so-called computer. The control unit 20 is composed of hardware such as a processor, memory, and interface, and software such as a control program and data implemented in the memory.

図５に、制御部２０とその主な入出力装置のブロック図を示す。制御部２０には、機能的な構成として、ロボット本体２の動作を制御する動作制御部２１と、進路前方の床面に存在する濡れ場所Ｗの有無を判断する濡れ場所判断部２２とが設けられている。更に、制御部２０のメモリには、濡れ場所Ｗの有無を判断するために予め設定されたコンピュータプログラム（学習済み機械学習モデル２３）が実装されている。 Figure 5 shows a block diagram of the control unit 20 and its main input/output devices. The control unit 20 is provided with, as its functional components, an operation control unit 21 that controls the operation of the robot main body 2, and a wet place determination unit 22 that determines whether or not there is a wet place W on the floor surface ahead of the path. Furthermore, a computer program (trained machine learning model 23) that is preset to determine whether or not there is a wet place W is implemented in the memory of the control unit 20.

制御部２０は、可視光撮像センサ１１および特定赤外光撮像センサ１２と電気的に接続されている。制御部２０は、可視光撮像センサ１１が取得する可視光画像を受信し、特定赤外光撮像センサ１２が取得する特定赤外光画像を受信する。 The control unit 20 is electrically connected to the visible light imaging sensor 11 and the specific infrared light imaging sensor 12. The control unit 20 receives the visible light image acquired by the visible light imaging sensor 11 and receives the specific infrared light image acquired by the specific infrared light imaging sensor 12.

制御部２０はまた、掃除部３および走行部４と電気的に接続されている。制御部２０（動作制御部２１）は、制御部２０（動作制御部２１）は、掃除部３に制御信号を出力し、掃除動作を制御する。そして、走行部４に制御信号を出力し、掃除ロボット１の走行動作を制御する。 The control unit 20 is also electrically connected to the cleaning unit 3 and the traveling unit 4. The control unit 20 (operation control unit 21) outputs a control signal to the cleaning unit 3 to control the cleaning operation. It also outputs a control signal to the traveling unit 4 to control the traveling operation of the cleaning robot 1.

開示する技術の主題とは異なるため説明は省略するが、動作制御部２１には、ＡＩなどの高度な制御プログラムが実装されている。それにより、ロボット本体２は、自律して走行し、家具やインテリアなどの障害物を避けながら走行できるように構成されている。 Although a detailed explanation is omitted because it is not the subject of the disclosed technology, the operation control unit 21 is equipped with advanced control programs such as AI. This allows the robot main body 2 to move autonomously while avoiding obstacles such as furniture and interior decor.

更にこの掃除ロボット１の場合、ペットの尿や零れ落ちた飲料などによって床面の一部が濡れている場合があるが、ロボット本体２がそのような濡れ場所Ｗを回避して走行できるように構成されている。 Furthermore, in the case of this cleaning robot 1, parts of the floor surface may be wet due to pet urine or spilled drinks, etc., but the robot body 2 is configured to be able to travel while avoiding such wet areas W.

すなわち、可視光撮像センサ１１ではペットの尿や水などの透明な液体は検知できないが、特定赤外光撮像センサ１２であれば検知できる。一方、特定赤外光撮像センサ１２は、黒色のものや陰などの影響で誤検知する場合があり得る。そこで、この掃除ロボット１では、これらを組み合わせることで、濡れ場所Ｗを精度高く検知できるように工夫している。 That is, the visible light imaging sensor 11 cannot detect transparent liquids such as pet urine or water, but the specific infrared light imaging sensor 12 can. On the other hand, the specific infrared light imaging sensor 12 may make a false detection due to the influence of black objects or shadows. Therefore, the cleaning robot 1 is designed to combine these to detect wet areas W with high accuracy.

具体的には、制御部２０（濡れ場所判断部２２）が、赤外光画像と可視光画像とに基づいて、ロボット本体２の進路前方の床面に存在する濡れ場所Ｗの有無を判断する。より具体的には、赤外光画像および可視光画像を学習済み機械学習モデル２３に適用することによって濡れ場所Ｗの有無を判断する。 Specifically, the control unit 20 (wet place determination unit 22) determines whether or not there is a wet place W on the floor surface ahead of the path of the robot main body 2 based on the infrared light image and the visible light image. More specifically, the presence or absence of a wet place W is determined by applying the infrared light image and the visible light image to the trained machine learning model 23.

それにより、制御部２０（動作制御部２１）が、掃除ロボット１の運転を変更するように構成されている。例えば、制御部２０が、進路前方の床面に濡れ場所Ｗが有ると判断すると、掃除ロボット１は、走行経路を変更し、濡れ場所Ｗを回避して走行する。 The control unit 20 (operation control unit 21) is configured to change the operation of the cleaning robot 1. For example, when the control unit 20 determines that there is a wet spot W on the floor surface ahead of the path, the cleaning robot 1 changes its travel path and travels while avoiding the wet spot W.

（濡れ場所Ｗの有無の具体的な判断方法）
図６に、濡れ場所Ｗの有無を判断する方法の一例を示す。例示する方法では、制御部２０（濡れ場所判断部２２）は、特定赤外光画像と可視光画像とを合成して合成画像を作成する。そして、その合成画像を、濡れ場所Ｗの有無を判断するために予め設定された学習済みの機械学習モデルに適用する。そうすることによって濡れ場所Ｗの有無を判断する。 (Specific method for determining the presence or absence of wet place W)
6 shows an example of a method for determining whether or not there is a wet place W. In the illustrated method, the control unit 20 (wet place determination unit 22) creates a composite image by combining a specific infrared light image and a visible light image. Then, the composite image is applied to a machine learning model that has been trained in advance to determine whether or not there is a wet place W. In this way, the presence or absence of the wet place W is determined.

図６の左側に、特定赤外光画像（イメージ１）および可視光画像（イメージ２）の一例を示す。なお、これらの画像はそれぞれのカメラを校正することで、それぞれの位置を合わせるようにしている。これら特定赤外光画像および可視光画像の下側部分６１は撮像視野から外れた部分であり、その上側部分６２が撮像視野である。特定赤外光画像の濡れ場所Ｗはその周辺よりも暗く図示される。一方、可視光画像の濡れ場所Ｗは、画像から識別することは難しい。 An example of a specific infrared light image (Image 1) and a visible light image (Image 2) is shown on the left side of Figure 6. Note that these images are aligned by calibrating the respective cameras. The lower parts 61 of these specific infrared light images and visible light images are outside the imaging field of view, and the upper parts 62 are within the imaging field of view. The wet spots W in the specific infrared light image are shown darker than their surroundings. On the other hand, the wet spots W in the visible light image are difficult to identify from the images.

本構成例では、図６に示す通り、特定赤外光画像を白黒化し、可視光画像のＲＧＢの各チャンネルのうち、Ｒのチャンネルの画像をその白黒画像で置換することで、特定赤外光画像と可視光画像を合成した３チャンネルの画像（イメージ３）を得ている。 In this configuration example, as shown in Figure 6, the specific infrared light image is converted to black and white, and the R channel image of the RGB channels of the visible light image is replaced with the black and white image, thereby obtaining a three-channel image (Image 3) that combines the specific infrared light image and the visible light image.

このようにして得られた合成画像に対して、水の位置をラベル付けした学習用のデータを大量に用意し、あらかじめ機械学習モデルの学習を行う。制御部２０には、そのようにして構築した学習済み機械学習モデル２３が実装されている。 A large amount of learning data is prepared for the synthetic image obtained in this way, with the position of water labeled, and a machine learning model is trained in advance. The trained machine learning model 23 constructed in this way is implemented in the control unit 20.

なお、本構成例では上述のように画像を合成しているが、合成の方法は本質的ではなく、特定赤外光画像と可視光画像双方の情報が得られる形であればよい。すなわち、Ｇ、もしくは、Ｂチャンネルを白黒化した特定赤外光画像で置き換えてもよいし、特定赤外光画像を透過度とした４チャンネル画像としてもよい。また、すでに述べたように特定赤外光画像と可視光画像の双方を入力する形としてもよい。 In this configuration example, the images are synthesized as described above, but the synthesis method is not essential as long as information on both the specific infrared light image and the visible light image can be obtained. In other words, the G or B channel may be replaced with a specific infrared light image in black and white, or a four-channel image may be created in which the specific infrared light image is the transparency. Also, as already mentioned, it is possible to input both the specific infrared light image and the visible light image.

それにより、制御部２０は、学習済み機械学習モデル２３を用いて濡れ場所Ｗの有無を判断する。すなわち、掃除ロボット１の走行中、特定赤外光撮像センサ１２および可視光撮像センサ１１の双方でその進路前方の床面が撮影される。そして、制御部２０は、これらセンサ１１，１２から受信する赤外光画像および可視光画像を処理して合成画像を作成する。その合成画像を、実装されている学習済み機械学習モデル２３に適用し、濡れ場所Ｗの有無を判断する。 The control unit 20 then uses the trained machine learning model 23 to determine whether or not there is a wet place W. That is, while the cleaning robot 1 is moving, both the specific infrared light imaging sensor 12 and the visible light imaging sensor 11 capture images of the floor surface ahead of its path. The control unit 20 then processes the infrared light images and visible light images received from these sensors 11, 12 to create a composite image. The control unit 20 applies this composite image to the trained machine learning model 23 implemented in the system to determine whether or not there is a wet place W.

図６の右側に、学習済み機械学習モデル２３による判断結果を表した判断結果画像（イメージ４）を例示する。判断結果画像には、濡れ場所Ｗが有ると判断された場合、その濡れ場所Ｗが所定の枠６３でマーキングして表示される。 The right side of Figure 6 shows an example of a judgment result image (Image 4) that shows the judgment result by the trained machine learning model 23. If it is determined that there is a wet spot W, the wet spot W is marked with a predetermined frame 63 and displayed in the judgment result image.

図７～図９に、濡れ場所Ｗの有無の判断についての具体例を示す。これら図の各々は、機械学習に用いた所定の画像に対応したものであり、その特定赤外光画像（イメージ１）、可視光画像（イメージ２）、合成画像（イメージ３）、および判断結果画像（イメージ４）を表している。なお、これら画像はグレースケール化してあるので、実際の画像と異なる。 Figures 7 to 9 show specific examples of determining whether or not there is a wet spot W. Each of these figures corresponds to a specific image used in machine learning, and shows the specific infrared light image (Image 1), visible light image (Image 2), composite image (Image 3), and determination result image (Image 4). Note that these images have been converted to grayscale, and therefore differ from the actual images.

床面に段差や障害物があるなど、撮像される床面の画像が一様でない場合でも、この掃除ロボット１によれば、濡れ場所Ｗの有無は精度高く判断できる。 Even if the captured image of the floor surface is not uniform, such as when there are steps or obstacles on the floor surface, this cleaning robot 1 can accurately determine whether or not there is a wet spot W.

図１０に、その一例を示す。図１０の上図は、段差が有る合成画像（イメージ３）である。同図中、符号Ｄで示す部分が段差である。この図では識別できないが、段差の上側に濡れ場所Ｗが有る。図１０の下図は、その判断結果画像（イメージ４）である。濡れ場所Ｗが所定の枠でマーキングして表示されている。 An example is shown in Figure 10. The upper image in Figure 10 is a composite image (Image 3) with a step. In the figure, the part indicated by the symbol D is the step. Although it cannot be identified in this figure, there is a wet spot W above the step. The lower image in Figure 10 is the judgment result image (Image 4). The wet spot W is displayed marked with a specified frame.

このように、撮像される床面の画像が一様でない場合でも、濡れ場所Ｗの有無を精度高く判断できる。特に、特定赤外光画像だけでなく、可視光画像を加えて判断するので、黒色のものや陰などの影響を低減できる。しかも、学習済み機械学習モデル２３を用いて判断するので、精度高く判断できる。 In this way, even if the captured image of the floor surface is not uniform, the presence or absence of wet spots W can be determined with high accuracy. In particular, since the judgment is made using not only the specific infrared light image but also the visible light image, the influence of black objects and shadows can be reduced. Moreover, since the judgment is made using the trained machine learning model 23, the judgment can be made with high accuracy.

＜掃除ロボット１の制御例＞
図１１に、掃除ロボット１が運転して濡れ場所Ｗを検知しながら回避する制御例（フローチャート）を示す。掃除ロボット１が運転を開始してロボット本体２が走行すると、制御部２０（濡れ場所判断部２２）に、赤外光信号および可視光信号が入力される（ステップＳ１）。掃除ロボット１の運転が終了していなければ（ステップＳ２でＮｏ）、制御部２０は、特定赤外光画像および可視光画像を同時に取得する（ステップＳ３，Ｓ４）。 <Control example of cleaning robot 1>
11 shows an example (flowchart) of control in which the cleaning robot 1 detects and avoids a wet place W while operating. When the cleaning robot 1 starts operating and the robot body 2 travels, an infrared light signal and a visible light signal are input to the control unit 20 (wet place determination unit 22) (step S1). If the operation of the cleaning robot 1 has not ended (No in step S2), the control unit 20 simultaneously acquires a specific infrared light image and a visible light image (steps S3 and S4).

そして、制御部２０は、これら特定赤外光画像および可視光画像を、上述したように処理することにより、合成画像を作成する（ステップＳ５）。その合成画像を学習済み機械学習モデル２３に適用する（ステップＳ６）。 Then, the control unit 20 processes the specific infrared light image and the visible light image as described above to create a composite image (step S5). The composite image is applied to the trained machine learning model 23 (step S6).

その結果、制御部２０が濡れ場所Ｗが無いと判断すると（ステップＳ７でＮｏ）、制御部２０（動作制御部２１）は、走行部４に通常の制御信号を出力し、ロボット本体２がそのまま前進して走行するように制御する（ステップＳ８）。 As a result, if the control unit 20 determines that there is no wet area W (No in step S7), the control unit 20 (operation control unit 21) outputs a normal control signal to the traveling unit 4, and controls the robot body 2 to continue moving forward (step S8).

一方、制御部２０が濡れ場所Ｗが有ると判断すると（ステップＳ７でＹｅｓ）、制御部２０（動作制御部２１）が走行部４に運転を変更する制御信号を出力し、ロボット本体２が濡れ場所Ｗを回避して走行するように制御する（ステップＳ９）。 On the other hand, if the control unit 20 determines that a wet area W is present (Yes in step S7), the control unit 20 (operation control unit 21) outputs a control signal to the traveling unit 4 to change the operation, and controls the robot body 2 to travel while avoiding the wet area W (step S9).

掃除ロボット１の運転が終了するまで、これらステップＳ１～ステップＳ９を実行する（ステップＳ２）。それにより、ロボット本体２は、走行経路に濡れ場所Ｗが有っても、その濡れ場所Ｗを回避して走行する。従って、掃除ロボット１を適切に運転できる。 These steps S1 to S9 are executed until the operation of the cleaning robot 1 is completed (step S2). As a result, even if there is a wet place W on the travel path, the robot body 2 travels while avoiding the wet place W. Therefore, the cleaning robot 1 can be operated appropriately.

＜第２実施形態＞
上述した実施形態では、特定赤外光画像と可視光画像とを合成して合成画像を作成し、その合成画像を学習済み機械学習モデル２３に適用することによって濡れ場所Ｗの有無を判断した。 Second Embodiment
In the above-described embodiment, a specific infrared light image and a visible light image are combined to create a composite image, and the presence or absence of a wet spot W is determined by applying the composite image to the trained machine learning model 23.

それに対し、この実施形態では、特定赤外光画像と可視光画像のそれぞれで濡れ場所Ｗの有無を判断する処理を行い、それらの判断結果から総合的に判断する。そうすることで、判断精度を向上させる。 In contrast, in this embodiment, a process is performed to determine whether or not there is a wet spot W in each of the specific infrared light image and the visible light image, and a comprehensive judgment is made from the results of these judgments. This improves the accuracy of the judgment.

具体的には、制御部２０が、特定赤外光画像をそれに対応した学習済み機械学習モデル２３（第１の学習済み機械学習モデル２３ａ）に適用することによって濡れ場所Ｗの有無を判断する処理（第１判断処理）と、可視光画像をそれに対応した学習済み機械学習モデル２３（第２の学習済み機械学習モデル２３ｂ）に適用することによって濡れ場所Ｗの有無を判断する処理（第２判断処理）とを実行する。そして、第１判断処理と第２判断処理の双方に基づいて濡れ場所Ｗの有無を総合的に判断する。 Specifically, the control unit 20 executes a process (first judgment process) of determining the presence or absence of a wet place W by applying a specific infrared light image to a corresponding trained machine learning model 23 (first trained machine learning model 23a), and a process (second judgment process) of determining the presence or absence of a wet place W by applying a visible light image to a corresponding trained machine learning model 23 (second trained machine learning model 23b). Then, the presence or absence of a wet place W is comprehensively judged based on both the first judgment process and the second judgment process.

図１２に、その方法の具体例を示す。上述した実施形態と同様にして、既存の学習済み機械学習モデルを用いて特定赤外光画像および可視光画像の各々に対応した第１および第２の学習済み機械学習モデル２３ａ，２３ｂを構築する。そして、これら学習済み機械学習モデル２３ａ，２３ｂを制御部２０のメモリに実装する。 Figure 12 shows a specific example of the method. As in the above-described embodiment, first and second trained machine learning models 23a, 23b corresponding to the specific infrared light image and the visible light image, respectively, are constructed using existing trained machine learning models. These trained machine learning models 23a, 23b are then implemented in the memory of the control unit 20.

そして、掃除ロボット１の走行中、特定赤外光撮像センサ１２および可視光撮像センサ１１の双方でその進路前方の床面が撮影される。制御部２０は、これらセンサ１１，１２から特定赤外光画像および可視光画像を受信する。 While the cleaning robot 1 is moving, the floor surface ahead of its path is photographed by both the specific infrared light imaging sensor 12 and the visible light imaging sensor 11. The control unit 20 receives the specific infrared light image and the visible light image from these sensors 11 and 12.

そうして、制御部２０は、これら特定赤外光画像および可視光画像の各々に対し、第１判断処理および第２判断処理の各々を個別に実行する。第１判断処理および第２判断処理の双方の判断が一致する場合は、制御部２０は、これら判断通りに判断する。 Then, the control unit 20 executes the first judgment process and the second judgment process separately for each of these specific infrared light images and visible light images. If the judgments of both the first judgment process and the second judgment process are the same, the control unit 20 makes a judgment according to these judgments.

それに対し、第１判断処理での判断と第２判断処理での判断とが異なる場合、制御部２０は、これら判断に対する確度を評価して判断する。 In contrast, if the judgment in the first judgment process differs from the judgment in the second judgment process, the control unit 20 evaluates the accuracy of these judgments and makes a judgment.

すなわち、学習済み機械学習モデルへの適用による判断には、その判断に対する確度が伴う。従って、第１および第２の学習済み機械学習モデル２３ａ，２３ｂに伴う確度を、リスクに応じた所定の基準値と比較したり、これら確度どうしを比較したりすることにより、いずれの判断を採用するか総合的に判断する。 In other words, a judgment based on application of a trained machine learning model is accompanied by a degree of accuracy for that judgment. Therefore, the accuracy of the first and second trained machine learning models 23a, 23b is compared with a predetermined reference value according to the risk, or these accuracy rates are compared with each other, to comprehensively determine which judgment to adopt.

例えば、第１判断処理で濡れ場所Ｗが有ると判断され、第２判断処理で濡れ場所Ｗが無いと判断され、第１判断処理の確度よりも第２判断処理の確度の方が低い場合は、第１判断処理を優先し、濡れ場所Ｗが有ると総合的に判断する。 For example, if the first judgment process determines that there is a wet area W, and the second judgment process determines that there is no wet area W, and the accuracy of the second judgment process is lower than that of the first judgment process, the first judgment process is given priority, and an overall judgment is made that there is a wet area W.

また、第１判断処理で濡れ場所Ｗが無いと判断され、第２判断処理で濡れ場所Ｗが有ると判断され、第１判断処理の確度よりも第２判断処理の確度の方が低い場合は、リスクに応じて双方の判断を総合的に判断する。要するに、評価および総合判断の基準は、仕様に応じて適宜設定すればよい。 In addition, if the first judgment process determines that there is no wet spot W and the second judgment process determines that there is a wet spot W, and the accuracy of the second judgment process is lower than that of the first judgment process, a comprehensive judgment is made on both judgments according to the risk. In short, the criteria for evaluation and comprehensive judgment can be set appropriately according to the specifications.

＜第３実施形態＞
上述した実施形態では、学習済み機械学習モデル２３を用いて判断した。それに対し、この実施形態では、学習済み機械学習モデル２３を用いない判断方法を例示する。 Third Embodiment
In the above-described embodiment, the judgment is made using the trained machine learning model 23. In contrast, in this embodiment, a judgment method that does not use the trained machine learning model 23 will be illustrated.

具体的には、制御部２０が、特定赤外光画像と可視光画像との差分を求め、その差分と所定の閾値とを比較することによって濡れ場所Ｗの有無を判断する。 Specifically, the control unit 20 determines the presence or absence of a wet spot W by calculating the difference between the specific infrared light image and the visible light image and comparing the difference with a predetermined threshold value.

図１３に、その概要を示す。掃除ロボット１の走行中、特定赤外光撮像センサ１２および可視光撮像センサ１１の双方でその進路前方の床面が撮影される。制御部２０は、これらセンサ１１，１２から特定赤外光画像および可視光画像を受信する。 An overview of this is shown in Figure 13. While the cleaning robot 1 is moving, the floor surface ahead of its path is captured by both the specific infrared light imaging sensor 12 and the visible light imaging sensor 11. The control unit 20 receives the specific infrared light image and the visible light image from these sensors 11 and 12.

そうして、制御部２０は、これら画像の差分を算出する。制御部２０は、算出した差分と所定の閾値とを比較する。その結果、差分が閾値以上の場合、濡れ場所Ｗが有ると判断し、閾値が閾値未満の場合、濡れ場所Ｗは無いと判断する。 The control unit 20 then calculates the difference between these images. The control unit 20 compares the calculated difference with a predetermined threshold. As a result, if the difference is equal to or greater than the threshold, it is determined that a wet spot W exists, and if the difference is less than the threshold, it is determined that a wet spot W does not exist.

詳細な説明は省くが、実際には照明が不均一であるため特定赤外光画像の遠方が暗くうつり、可視光画像に関しても色の影響があるため、差分をとる前にこれらを考慮した処理が必要となる。 We won't go into detail here, but in reality, lighting is uneven, so distant areas of a particular infrared image appear dark, and there are also color effects on the visible light image, so processing that takes these factors into account before taking the difference.

特定波長画像では濡れ場所Ｗは暗く表示されるので、可視光画像で明るく表示される場所が濡れ場所Ｗである場合には、差分は大きくなる。従って、可視光画像で明るく表示される場所が濡れ場所Ｗである場合に、その濡れ場所Ｗの有無を精度高く判断できる。 Since the wet spot W appears dark in the specific wavelength image, if the wet spot W is a spot that appears bright in the visible light image, the difference will be large. Therefore, if the wet spot W is a spot that appears bright in the visible light image, the presence or absence of the wet spot W can be determined with high accuracy.

対して、黒色のものや陰の部分は、特定波長画像では、濡れ場所Ｗでなくても、暗く表示される。従って、特定波長画像のみでは、濡れ場所Ｗと区別がつかず、誤検知する可能性がある。一方、黒色のものや陰の部分は、可視光画像でも暗く表示される。従って、これらが重なる場所では差分は小さくなる。 In contrast, black objects and shaded areas appear dark in the specific wavelength image even if they are not wet areas W. Therefore, using only the specific wavelength image, it is difficult to distinguish them from wet areas W, which may result in a false detection. On the other hand, black objects and shaded areas also appear dark in the visible light image. Therefore, the difference is small where these overlap.

それにより、黒色のものや陰の部分が濡れ場所Ｗである場合には、濡れ場所Ｗで無いと判断する確率が高くなる。黒色のものや陰の部分のみが濡れ場所Ｗとなる場合は少ない。従って、濡れ場所Ｗの誤検知を抑制できる。 As a result, when a black object or a shaded area is a wet area W, the probability of determining that it is not a wet area W increases. There are few cases where only black objects or shaded areas are wet areas W. Therefore, false detection of wet areas W can be suppressed.

なお、開示する技術は、上述した実施形態に限定されず、それ以外の種々の構成をも包含する。 The disclosed technology is not limited to the above-described embodiments, but also includes various other configurations.

例えば、実施形態では、赤外光画像と可視光画像とに基づいて濡れ場所Ｗの有無を判断したが、赤外光画像のみに基づいて濡れ場所Ｗの有無を判断してもよい。その場合、実施形態と同様に、赤外光画像に対応した学習済み機械学習モデル２３を実装し、赤外光画像をその学習済み機械学習モデル２３に適用することによって濡れ場所Ｗの有無を判断するのが好ましい。 For example, in the embodiment, the presence or absence of a wet spot W is determined based on an infrared light image and a visible light image, but the presence or absence of a wet spot W may be determined based only on an infrared light image. In that case, similar to the embodiment, it is preferable to implement a trained machine learning model 23 corresponding to the infrared light image and determine the presence or absence of a wet spot W by applying the infrared light image to the trained machine learning model 23.

１掃除ロボット
２ロボット本体
３掃除部
３ａ吸込口
３ｂブラシ
４走行部
４ａ駆動輪
４ｂ従動輪
５検知部
１０光照射部
１０ａ光源
１１可視光撮像センサ
１２特定赤外光撮像センサ
１２ａ可視光カメラ
１２ｂバンドパスフィルタ
２０制御部
２１動作制御部
２２濡れ場所判断部
２３学習済み機械学習モデル
Ｗ濡れ場所 REFERENCE SIGNS LIST 1 Cleaning robot 2 Robot body 3 Cleaning unit 3a Suction port 3b Brush 4 Travel unit 4a Drive wheel 4b Driven wheel 5 Detection unit 10 Light irradiation unit 10a Light source 11 Visible light imaging sensor 12 Specific infrared light imaging sensor 12a Visible light camera 12b Bandpass filter 20 Control unit 21 Operation control unit 22 Wet place determination unit 23 Learned machine learning model W Wet place

Claims

自律走行型の掃除ロボットであって、
床面の上を走行するロボット本体と、
前記ロボット本体の下面に設けられて前記床面を掃除する掃除部と、
前記ロボット本体の進路前方に向けて、水による吸光が認められる特定波長を含む赤外光を照射する光照射部と、
前記ロボット本体の進路前方の前記床面を含む領域を撮像し、前記光照射部が照射する赤外光のうち、前記特定波長の赤外光を含む光を検出する特定赤外光撮像センサと、
前記特定赤外光撮像センサが出力する赤外光信号を受信する制御部と、
を備え、
前記制御部が、前記ロボット本体の進路前方の前記床面に存在する濡れ場所の有無を前記赤外光信号に基づいて判断し、それによって前記掃除ロボットの運転を変更する掃除ロボット。 An autonomous cleaning robot,
A robot body that travels on a floor surface;
a cleaning unit provided on a lower surface of the robot body for cleaning the floor surface;
a light irradiation unit that irradiates infrared light including a specific wavelength that is absorbed by water toward a path ahead of the robot body;
a specific infrared light imaging sensor that images an area including the floor surface ahead of a path of the robot body and detects infrared light including the specific wavelength among the infrared light irradiated by the light irradiating unit;
A control unit that receives an infrared light signal output by the specific infrared light imaging sensor;
Equipped with
The control unit determines whether there is a wet spot on the floor surface ahead of the path of the robot body based on the infrared light signal, and changes the operation of the cleaning robot depending on the determined wet spot.

請求項１に記載の掃除ロボットにおいて、
前記特定波長が９３０ｎｍ以上１０３０ｎｍ以下である掃除ロボット。 The cleaning robot according to claim 1 ,
The specific wavelength is 930 nm or more and 1030 nm or less.

請求項２に記載の掃除ロボットにおいて、
前記特定赤外光撮像センサが、可視光を検出するカメラとすくなくとも前記特定波長の赤外光を含む光を透過し、可視光を遮断する光学フィルタを有し、当該光学フィルタで透過した赤外光を前記カメラで受光するように構成されている掃除ロボット。 The cleaning robot according to claim 2,
The cleaning robot is configured such that the specific infrared light imaging sensor has a camera that detects visible light and an optical filter that transmits light including at least the specific wavelength of infrared light and blocks visible light, and the infrared light that transmits through the optical filter is received by the camera.

請求項１～３のいずれか１つに記載の掃除ロボットにおいて、
可視光を検出して前記ロボット本体の進路前方の前記床面を含む領域を撮像するカメラからなる可視光撮像センサを更に備え、
前記制御部が、前記可視光撮像センサが出力する可視光信号を受信し、前記赤外光信号と前記可視光信号とに基づいて前記濡れ場所の有無を判断する掃除ロボット。 The cleaning robot according to any one of claims 1 to 3,
a visible light imaging sensor including a camera that detects visible light and images an area including the floor surface ahead of the path of the robot body;
The control unit receives the visible light signal output by the visible light imaging sensor, and determines whether or not the wet spot exists based on the infrared light signal and the visible light signal.

請求項１に記載の掃除ロボットにおいて、
前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する掃除ロボット。 The cleaning robot according to claim 1 ,
The control unit has a trained machine learning model preset to determine whether or not there is a wet area, and the cleaning robot determines whether or not there is a wet area by applying the infrared light signal to the trained machine learning model.

請求項４に記載の掃除ロボットにおいて、
前記制御部が、前記濡れ場所の有無を判断するために予め設定された学習済み機械学習モデルを有し、前記赤外光信号および前記可視光信号を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する掃除ロボット。 The cleaning robot according to claim 4,
The control unit has a trained machine learning model preset to determine whether or not there is a wet area, and the cleaning robot determines whether or not there is a wet area by applying the infrared light signal and the visible light signal to the trained machine learning model.

請求項６に記載の掃除ロボットにおいて、
前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像とを合成して合成画像を作成し、当該合成画像を前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する掃除ロボット。 The cleaning robot according to claim 6,
The control unit of the cleaning robot determines whether or not there is a wet spot by creating a composite image by combining a specific infrared light image obtained by processing the infrared light signal with a visible light image obtained by processing the visible light signal, and applying the composite image to the trained machine learning model.

請求項６に記載の掃除ロボットにおいて、
前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像を第１の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第１判断処理と、前記可視光信号を処理して得られる可視光画像を第２の前記学習済み機械学習モデルに適用することによって前記濡れ場所の有無を判断する第２判断処理と、を実行し、
前記第１判断処理と前記第２判断処理の双方に基づいて前記濡れ場所の有無を総合的に判断する掃除ロボット。 The cleaning robot according to claim 6,
the control unit executes a first determination process of determining the presence or absence of the wet place by applying a specific infrared light image obtained by processing the infrared light signal to the first trained machine learning model, and a second determination process of determining the presence or absence of the wet place by applying a visible light image obtained by processing the visible light signal to the second trained machine learning model;
The cleaning robot comprehensively judges whether or not there is a wet place based on both the first judgment process and the second judgment process.

請求項４に記載の掃除ロボットにおいて、
前記制御部が、前記赤外光信号を処理して得られる特定赤外光画像と前記可視光信号を処理して得られる可視光画像との差分を用いて前記濡れ場所を判断する掃除ロボット。 The cleaning robot according to claim 4,
The control unit of the cleaning robot determines the wet location by using a difference between a specific infrared light image obtained by processing the infrared light signal and a visible light image obtained by processing the visible light signal.