WO2019244542A1 - Travel device, method for control of travel device, travel program, and recording medium - Google Patents
Travel device, method for control of travel device, travel program, and recording medium Download PDFInfo
- Publication number
- WO2019244542A1 WO2019244542A1 PCT/JP2019/020039 JP2019020039W WO2019244542A1 WO 2019244542 A1 WO2019244542 A1 WO 2019244542A1 JP 2019020039 W JP2019020039 W JP 2019020039W WO 2019244542 A1 WO2019244542 A1 WO 2019244542A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- traveling
- area
- unit
- travel
- region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000003384 imaging method Methods 0.000 claims description 123
- 238000001579 optical reflectometry Methods 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 48
- 239000000284 extract Substances 0.000 description 24
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000009434 installation Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Definitions
- an area that is not the second area is referred to as a travelable area as an area where the robot apparatus 102 can travel, and an area that is neither the second area nor the third area is recommended to travel by the robot apparatus 102.
- the area is referred to as a recommended travel area. That is, the first criterion for avoiding the second area is, in other words, determining a traveling route so as to travel in the travelable area, and the second criterion for avoiding the third area is, in other words, traveling.
- the travel route is determined so as to travel in the recommended area.
- the recommended travel region setting unit 113 converts the feature amount extracted by the feature amount extraction unit 111 and the representative feature amount extracted by the representative feature amount extraction unit 112 from the possible travel region set by the possible travel region setting unit 110. Based on this, a traveling recommended area and a third area are set.
- the feature amount extraction unit 111 extracts a combination of hue, luminance, texture distribution, and light reflectance as a feature amount, so that the representative feature amount extraction unit 112 can set a higher recommended travel area. Can be set to accuracy. For example, it is assumed that the first area (running surface) is a blue carpet, and blue paper (third area) having a pattern different from that of the blue carpet is dropped on the running surface.
- the representative feature extraction unit 112 extracts a representative feature based on hue or luminance from among the features extracted by the feature extraction unit 111, so that the stain on the blue carpet can be appropriately identified. Can be. Therefore, the representative feature quantity extraction unit 112 can set the travel recommended area with higher accuracy by the feature quantity extraction unit 111 extracting a plurality of feature quantities.
- the recommended travel area setting unit 113 performs a logical OR operation on the recommended travel area set based on the representative feature value of hue and the recommended travel area set based on the representative feature value of luminance.
- the recommended traveling area can be set.
- the recommended travel area setting unit 113 clearly divides the travelable area into two types, the recommended travel area and the third area.
- An index value may be set as an index indicating whether the area is the travel recommended area or the third area.
- the traveling control unit 106 determines a traveling route with reference to the index value.
- the hue of the hue h r h o may be set an index value based on the first mode to lower the higher the index value portion are offset.
- the image processing apparatus 101 further includes an operation unit 1000 (not shown), and the user can arbitrarily set the index value in any one of the first mode and the second mode via the operation unit 1000.
- the setting or the setting may be switched.
- the user can arbitrarily select a method for setting the recommended travel area and the third area in which the robot apparatus 102 is recommended to travel via the operation unit 1000.
- the installation height H [m] of the stereo imaging unit 103 dynamically changes, for example, the installation height H [m] of the stereo imaging unit 103 is switched as described above.
- the travelable area and the second area can be suitably set.
- the traveling control unit 106 can appropriately determine the traveling route according to the height of the stereo imaging unit 103.
- the robot device 102 can be suitably driven according to the height of the stereo imaging unit 103.
- u [pixel] represents the position in the X-axis direction on the image captured by the stereo imaging unit 103
- w represents the number of horizontal pixels [pixel] of the image.
- the travelable region setting unit 110 generates a three-dimensional point group by applying Expressions (1) and (9) to all pixels of the distance information.
- the travelable area setting unit 110 analyzes the principal components of the generated three-dimensional point group, and sets the third principal component vector obtained by the analysis as a normal vector as shown in Expression (10).
- the travelable area setting unit 110 calculates an equation of a plane passing through the center of gravity (x 0 , y 0 , d 0 ) of the three-dimensional point group as shown in Expression (11) based on the normal vector. .
- the image processing apparatus 101 may further include a display unit 1010 (not shown) having a user interface function, and the user may arbitrarily select the area 701 via the display unit 1010. More specifically, as shown in FIG. 10, when the display unit 1010 displays the reference image 301, the user touches the reference image 301 to place an area 701 shown in FIG. May be selected.
- a display unit 1010 (not shown) having a user interface function
- the user may arbitrarily select the area 701 via the display unit 1010. More specifically, as shown in FIG. 10, when the display unit 1010 displays the reference image 301, the user touches the reference image 301 to place an area 701 shown in FIG. May be selected.
- the user can input a selection for setting the third area via the operation unit. This makes it possible to set the third area more suitably and determine the traveling route.
- a method for controlling a traveling device is a method for controlling a traveling device including a traveling unit, and avoids a second region having a step between the first region on which the traveling unit rides.
- the first criterion is set to be higher than the second criterion based on a first criterion and a second criterion that avoids a third territory in which at least one of the color, the pattern, and the reflectance of light differs from the first territory It includes a traveling step in which the traveling unit travels along a traveling route determined with priority.
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
Provided is a travel device enabling travel on a suitable travel route. A robot device comprises a travel part and a travel control part which uses a first reference for avoiding a second region having an elevation difference from a first region in which the travel part is located and a second reference for avoiding a third region which differs from the first region in at least one from among color, pattern, and light reflectivity, so as to determine a travel route of the travel part while prioritizing the first reference over the second reference.
Description
本発明は走行装置、走行装置の制御方法、走行プログラムおよび記録媒体に関する。
本願は、2018年6月22日に、日本に出願された特願2018-119275に優先権を主張し、その内容をここに援用する。 The present invention relates to a traveling device, a traveling device control method, a traveling program, and a recording medium.
Priority is claimed on Japanese Patent Application No. 2018-119275 filed on June 22, 2018, the content of which is incorporated herein by reference.
本願は、2018年6月22日に、日本に出願された特願2018-119275に優先権を主張し、その内容をここに援用する。 The present invention relates to a traveling device, a traveling device control method, a traveling program, and a recording medium.
Priority is claimed on Japanese Patent Application No. 2018-119275 filed on June 22, 2018, the content of which is incorporated herein by reference.
ロボット装置および無人搬送車などの自律移動システム(走行装置)には、移動時にセンサなどによって走行面に存在する障害物および段差などを検知し、走行装置の衝突および落下を防止するように走行装置を走行させる技術がある。
Autonomous mobile systems (traveling devices) such as robots and automatic guided vehicles detect obstacles and steps present on the traveling surface by sensors and the like when moving, and prevent the traveling devices from colliding and falling. There is a technology to run.
例えば、特許文献1には、前方床面に向けて光ビームを照射する照射手段が設けられた自律走行ロボットが記載されている。また、特許文献1には、自律走行ロボットから、車輪が通過しようとする床面幅より外側の床面に向けて斜めに光ビームを発射し、照射された光ビームの反射光に基づいて得られる床面と本体との距離と、あらかじめ設定された床面と本体との距離とから段差を検出し、検出した段差に沿って自律走行ロボットを走行させる技術が開示されている。
For example, Patent Literature 1 describes an autonomous mobile robot provided with an irradiation unit that emits a light beam toward a floor in front. Further, Patent Document 1 discloses that an autonomous traveling robot emits a light beam obliquely toward a floor surface outside the floor surface width over which wheels are to pass, and obtains the light beam based on reflected light of the irradiated light beam. A technology is disclosed in which a step is detected from a distance between a floor surface and a main body to be measured and a preset distance between the floor surface and the main body, and the autonomous mobile robot travels along the detected step.
しかしながら、本発明者らの独自の知見によれば、特許文献1に記載の自立走行ロボットは、走行する領域の状態によっては、好適な走行経路を走行できない場合がある。例えば、走行面と一続きになっている水面やガラス面、床面に描かれたマークなど、走行面との距離差がない、または走行面との距離差が小さい領域を避けることができず、ロボット装置が水辺から水面に侵入したり、走行面に落ちている薄い紙などを踏んで走行したりするという問題がある。
However, according to the inventor's unique knowledge, the self-contained traveling robot described in Patent Literature 1 may not be able to travel on a suitable traveling route depending on the state of the traveling region. For example, there is no distance difference with the running surface, such as a water surface or glass surface that is continuous with the running surface, a mark drawn on the floor surface, or an area where the distance difference with the running surface is small can not be avoided However, there is a problem that the robot device enters the water surface from the waterside or travels on a thin paper or the like falling on the traveling surface.
本発明は上記課題に鑑みてなされたものであり、好適な走行経路を走行することが可能な走行装置およびその制御方法を提供することを目的とする。
The present invention has been made in view of the above problems, and has as its object to provide a traveling device capable of traveling on a suitable traveling route and a control method thereof.
上記の課題を解決するために、本発明の一態様に係る走行装置は、走行部と、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準、ならびに前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路を決定する走行制御部と、を備えている。
In order to solve the above problems, a traveling device according to one embodiment of the present invention includes a first reference that avoids a second region having a step between a traveling portion and a first region on which the traveling portion is riding, And a second section that avoids a third area in which at least one of a color, a pattern, and a reflectance of the light is different from the first area, based on a second criterion that prioritizes the first criterion over the second criterion. And a traveling control unit that determines the traveling route of the vehicle.
本発明の一態様に係る走行装置の制御方法は、走行部を備えた走行装置の制御方法であって、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、前記第2基準よりも前記第1基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップを包含している。
A method for controlling a traveling device according to one embodiment of the present invention is a method for controlling a traveling device including a traveling unit, and avoids a second region having a step between the traveling region and a first region on which the traveling unit rides. The first criterion is set to be higher than the second criterion based on a first criterion and a second criterion that avoids a third territory in which at least one of the color, the pattern, and the reflectance of light differs from the first territory It includes a traveling step in which the traveling unit travels along a traveling route determined with priority.
本発明の一態様によれば、好適な走行経路を走行することが可能な走行装置およびその制御方法を提供することができる。
According to one embodiment of the present invention, it is possible to provide a traveling device capable of traveling on a suitable traveling route and a control method thereof.
本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。
各 Each embodiment according to the present invention will be described in detail below with reference to the accompanying drawings.
<実施形態1>
以下、本発明の一実施形態(実施形態1)に係るロボット装置(走行装置)102およびロボット装置102の制御方法について、図1~9に基づき以下に説明する。 <First embodiment>
Hereinafter, a robot device (traveling device) 102 and a control method of therobot device 102 according to an embodiment (Embodiment 1) of the present invention will be described below with reference to FIGS.
以下、本発明の一実施形態(実施形態1)に係るロボット装置(走行装置)102およびロボット装置102の制御方法について、図1~9に基づき以下に説明する。 <First embodiment>
Hereinafter, a robot device (traveling device) 102 and a control method of the
〔ロボット装置102〕
図1は、本発明の実施形態に係るロボット装置102の構成を示す機能ブロック図である。図1に示すように、ロボット装置102は、ステレオ撮像部(撮像部)103、走行部105、および、走行制御部106を備えている。 [Robot device 102]
FIG. 1 is a functional block diagram showing a configuration of therobot device 102 according to the embodiment of the present invention. As shown in FIG. 1, the robot device 102 includes a stereo imaging unit (imaging unit) 103, a traveling unit 105, and a traveling control unit 106.
図1は、本発明の実施形態に係るロボット装置102の構成を示す機能ブロック図である。図1に示すように、ロボット装置102は、ステレオ撮像部(撮像部)103、走行部105、および、走行制御部106を備えている。 [Robot device 102]
FIG. 1 is a functional block diagram showing a configuration of the
走行制御部106は、画像処理装置101、距離情報算出部104、および、記憶部107を備えており、ステレオ撮像部103が撮像した画像を参照し、走行部105が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、第2基準よりも第1基準を優先して走行部105の走行経路を決定する。
The travel control unit 106 includes an image processing device 101, a distance information calculation unit 104, and a storage unit 107. The travel control unit 106 refers to an image captured by the stereo imaging unit 103, A first criterion for avoiding a second region having a step between the first region and a second criterion for avoiding a third region in which at least one of the color, the pattern, and the reflectance of light is different from the first region. The traveling route of the traveling unit 105 is determined with priority given to the first criterion over the two criterion.
これにより、ロボット装置102は、第1基準に基づいて段差を走行することを避けるとともに、第2基準に基づいて段差が無くとも避けるべき領域(段差を生じさせない紙などの物体が置かれている床面や、材質の異なる床面、液体によって濡れている床面など)を避けることができる。
As a result, the robot apparatus 102 avoids traveling on a step based on the first criterion, and an area to be avoided even if there is no step based on the second criterion (an object such as paper that does not generate a step is placed on the robot apparatus 102). Floors, floors of different materials, floors wet with liquid, etc.) can be avoided.
また、第3領域は、走行自体は可能である領域であることから、走行制御部106が、第2基準よりも第1基準を優先することにより、第1領域だけでは走行が困難な場合は第3領域を走行することができる。以上により、ロボット装置102は、好適な走行経路を走行することができる。
In addition, since the third area is an area where traveling itself is possible, the traveling control unit 106 gives priority to the first criterion over the second criterion, so that it is difficult to travel only in the first area. The vehicle can travel in the third area. As described above, the robot device 102 can travel on a suitable traveling route.
ロボット装置102としては、例えば、自律的に移動する自律移動ロボットが挙げられる。より具体的には、自律走行する監視ロボット、掃除ロボット、配送ロボットおよび案内ロボットなどが挙げられる。なお、上述の例ではロボット装置102について説明しているが、本実施形態では、ロボット装置102に限定されず、走行面を走行することができる走行装置であればよい。
As the robot device 102, for example, an autonomous mobile robot that moves autonomously is cited. More specifically, a surveillance robot, a cleaning robot, a delivery robot, a guide robot, and the like that run autonomously are included. In the above-described example, the robot device 102 is described. However, the present embodiment is not limited to the robot device 102, and any traveling device that can travel on a traveling surface may be used.
なお、本実施形態では、ロボット装置102は、ステレオ撮像部103を用いてステレオ法により距離情報を算出することにより、第1基準における段差を検知しているが、本発明はこれに限定されず、ステレオ法以外の測距技術(例えば、LIDAR法、赤外線TOF法など)により距離情報を算出する構成であってもよい。
In the present embodiment, the robot device 102 detects the step in the first reference by calculating the distance information by the stereo method using the stereo imaging unit 103, but the present invention is not limited to this. Alternatively, the distance information may be calculated by a distance measurement technique other than the stereo method (eg, LIDAR method, infrared TOF method, etc.).
また、ロボット装置102は、ステレオ撮像部103が撮像した画像を用いて第2基準における色、模様等を検知しているが、本発明はこれに限定されず、赤外線カメラ等を用いて光の反射率を検知する構成であってもよい。
Further, the robot apparatus 102 detects the color, pattern, and the like based on the second reference using the image captured by the stereo imaging unit 103. However, the present invention is not limited to this. The structure which detects a reflectance may be sufficient.
[ステレオ撮像部103]
ステレオ撮像部103は、第1撮像部(撮像装置)108と第2撮像部(撮像装置)109とから構成される。ステレオ撮像部103は、第1撮像部108によって生成された第1画像(画像)および第2撮像部109によって生成された第2画像(画像)を距離情報算出部104に出力する。 [Stereo imaging unit 103]
Thestereo imaging unit 103 includes a first imaging unit (imaging device) 108 and a second imaging unit (imaging device) 109. The stereo imaging unit 103 outputs the first image (image) generated by the first imaging unit 108 and the second image (image) generated by the second imaging unit 109 to the distance information calculation unit 104.
ステレオ撮像部103は、第1撮像部(撮像装置)108と第2撮像部(撮像装置)109とから構成される。ステレオ撮像部103は、第1撮像部108によって生成された第1画像(画像)および第2撮像部109によって生成された第2画像(画像)を距離情報算出部104に出力する。 [Stereo imaging unit 103]
The
図2は、ロボット装置102におけるステレオ撮像部103の位置を説明するための図である。一態様において、ステレオ撮像部103はロボット装置102の所定の高さの位置に、第1撮像部108および第2撮像部109の光軸201が、ロボット装置102が乗っている第1領域202と平行になるように設置されている。
FIG. 2 is a diagram for explaining the position of the stereo imaging unit 103 in the robot device 102. In one embodiment, the stereo imaging unit 103 is configured such that the optical axis 201 of the first imaging unit 108 and the second imaging unit 109 is located at a position at a predetermined height of the robot device 102 and the first region 202 on which the robot device 102 is mounted. It is installed to be parallel.
(第1撮像部108、第2撮像部109)
第1撮像部108は、被写体を撮像することによって当該被写体を含む第1画像を生成する。第2撮像部109は、第1撮像部108とは視点が異なるように設置されており、被写体を撮像することによって当該被写体を含む第2画像を生成する。第1撮像部108および第2撮像部109としては、CCD(Charge Couple Device)などの撮像レンズおよび撮像素子を備えているものを挙げることができる。 (First imaging unit 108, second imaging unit 109)
Thefirst imaging unit 108 generates a first image including the subject by imaging the subject. The second imaging unit 109 is installed so as to have a different viewpoint from the first imaging unit 108, and generates a second image including the subject by imaging the subject. Examples of the first imaging unit 108 and the second imaging unit 109 include those including an imaging lens and an imaging element such as a CCD (Charge Couple Device).
第1撮像部108は、被写体を撮像することによって当該被写体を含む第1画像を生成する。第2撮像部109は、第1撮像部108とは視点が異なるように設置されており、被写体を撮像することによって当該被写体を含む第2画像を生成する。第1撮像部108および第2撮像部109としては、CCD(Charge Couple Device)などの撮像レンズおよび撮像素子を備えているものを挙げることができる。 (
The
[距離情報算出部104]
距離情報算出部104は、ステレオ撮像部103から取得した第1画像および第2画像に基づき、ステレオ撮像部103と被写体との間の距離情報を算出する。具体的には、距離情報算出部104は、第1画像および第2画像のうち一方を基準画像301とし、他方を参照画像として視差を算出し、算出した視差と、予め取得した第1撮像部108と第2撮像部109との位置関係情報とから距離情報を算出する。距離情報は、例えば、基準画像301の各画素に対応するように距離を格納した情報であり得る。 [Distance information calculation unit 104]
The distanceinformation calculation unit 104 calculates distance information between the stereo imaging unit 103 and the subject based on the first image and the second image acquired from the stereo imaging unit 103. Specifically, the distance information calculation unit 104 calculates the parallax using one of the first image and the second image as the reference image 301 and the other as the reference image, and calculates the calculated parallax and the first imaging unit acquired in advance. Distance information is calculated from the positional relationship information between the second imaging unit 108 and the second imaging unit 109. The distance information may be, for example, information in which a distance is stored so as to correspond to each pixel of the reference image 301.
距離情報算出部104は、ステレオ撮像部103から取得した第1画像および第2画像に基づき、ステレオ撮像部103と被写体との間の距離情報を算出する。具体的には、距離情報算出部104は、第1画像および第2画像のうち一方を基準画像301とし、他方を参照画像として視差を算出し、算出した視差と、予め取得した第1撮像部108と第2撮像部109との位置関係情報とから距離情報を算出する。距離情報は、例えば、基準画像301の各画素に対応するように距離を格納した情報であり得る。 [Distance information calculation unit 104]
The distance
図3の(a)は、基準画像301の一例を示し、図3の(b)は、基準画像301に対応する距離情報の一例を図示したものである。図3の(b)では、ステレオ撮像部103から各画素に対応する被写体上の位置までの距離を輝度で示しており、距離が短いほど明るい画素で、距離が長いほど暗い画素で表している。
3 (a) shows an example of the reference image 301, and FIG. 3 (b) shows an example of distance information corresponding to the reference image 301. In FIG. 3B, the distance from the stereo imaging unit 103 to the position on the subject corresponding to each pixel is indicated by luminance, and the shorter the distance, the brighter the pixel, and the longer the distance, the darker the pixel. .
距離情報算出部104は、第1画像と、第1画像に対応する距離情報とを、画像処理装置101に出力する。
The distance information calculation unit 104 outputs the first image and the distance information corresponding to the first image to the image processing device 101.
[走行部105]
走行部105は、ロボット装置102を走行させるものであり、車輪およびモータなどの駆動源によって構成されている。なお、走行部105はこれに限定されず、ロボット装置102を走行させ、適宜走行方向および走行速度などを調整できれば、ベルトなどをさらに備えていていたりしてもよい。走行部105は、走行制御部106によって、走行方向および走行速度を制御される。 [Running part 105]
The travelingunit 105 causes the robot device 102 to travel, and is configured by driving sources such as wheels and a motor. Note that the traveling unit 105 is not limited to this, and may further include a belt and the like as long as the traveling direction and the traveling speed of the robot device 102 can be appropriately adjusted. The traveling direction and the traveling speed of the traveling unit 105 are controlled by the traveling control unit 106.
走行部105は、ロボット装置102を走行させるものであり、車輪およびモータなどの駆動源によって構成されている。なお、走行部105はこれに限定されず、ロボット装置102を走行させ、適宜走行方向および走行速度などを調整できれば、ベルトなどをさらに備えていていたりしてもよい。走行部105は、走行制御部106によって、走行方向および走行速度を制御される。 [Running part 105]
The traveling
[走行制御部106]
走行制御部106は、ステレオ撮像部103が撮像した第1画像および第2画像を参照し、第2領域を避ける第1基準と、第3領域を避ける第2基準と、に基づき、第2基準よりも第1基準を優先して走行経路を決定する。第1領域は、走行開始時に走行部105が乗っている領域である。第2領域は、壁および窪みなどの障害物のような、第1領域との間に段差を有し、ロボット装置102が走行できない領域のことを指す。第3領域は、第1領域とは色、模様、および、光の反射率の少なくとも一つが異なる領域を指す。第3領域は、ロボット装置102が走行できる領域であるが、水面、ガラス面、床面に描かれたマーク、微小な凹凸などが存在し、なるべくならロボット装置102に走行して欲しくない領域である。 [Traveling control unit 106]
The travelingcontrol unit 106 refers to the first image and the second image captured by the stereo imaging unit 103, and determines a second reference based on a first reference that avoids the second region and a second reference that avoids the third region. The traveling route is determined with priority given to the first criterion. The first area is an area where the traveling unit 105 is riding at the start of traveling. The second area refers to an area, such as an obstacle such as a wall and a depression, having a step between the first area and the robot apparatus 102 that cannot travel. The third region refers to a region that differs from the first region in at least one of color, pattern, and light reflectance. The third area is an area where the robot device 102 can travel, but there is a mark drawn on the water surface, the glass surface, the floor surface, minute unevenness, and the like, and is an area where the robot device 102 does not want to travel as much as possible. is there.
走行制御部106は、ステレオ撮像部103が撮像した第1画像および第2画像を参照し、第2領域を避ける第1基準と、第3領域を避ける第2基準と、に基づき、第2基準よりも第1基準を優先して走行経路を決定する。第1領域は、走行開始時に走行部105が乗っている領域である。第2領域は、壁および窪みなどの障害物のような、第1領域との間に段差を有し、ロボット装置102が走行できない領域のことを指す。第3領域は、第1領域とは色、模様、および、光の反射率の少なくとも一つが異なる領域を指す。第3領域は、ロボット装置102が走行できる領域であるが、水面、ガラス面、床面に描かれたマーク、微小な凹凸などが存在し、なるべくならロボット装置102に走行して欲しくない領域である。 [Traveling control unit 106]
The traveling
なお、以下では、第2領域ではない領域を、ロボット装置102が走行可能な領域として、走行可能領域と呼び、第2領域でも第3領域でもない領域を、ロボット装置102の走行が推奨される領域として、走行推奨領域と呼ぶ。すなわち、第2領域を避ける第1基準とは、換言すれば、走行可能領域を走行するように走行経路を決定するものであり、第3領域を避ける第2基準とは、換言すれば、走行推奨領域を走行するように走行経路を決定するものである。
In the following, an area that is not the second area is referred to as a travelable area as an area where the robot apparatus 102 can travel, and an area that is neither the second area nor the third area is recommended to travel by the robot apparatus 102. The area is referred to as a recommended travel area. That is, the first criterion for avoiding the second area is, in other words, determining a traveling route so as to travel in the travelable area, and the second criterion for avoiding the third area is, in other words, traveling. The travel route is determined so as to travel in the recommended area.
走行制御部106が第1基準および第2基準に基づいて、さらに、第2基準よりも第1基準を優先して走行経路を決定することで、走行部105はロボット装置102を好適に走行させることができる。第2基準よりも第1基準を優先して走行経路を決定するとは、第2領域および第3領域の両方を避けて走行することが可能な場合は、両者を避けて走行し、第2領域および第3領域の両方を避けて走行することが不可能な場合、すなわち、第2領域および第3領域のいずれかを走行する必要がある場合には、第3領域を走行するように走行経路を決定することを意味する。以下、ロボット装置102の走行経路の決定について、図4を用いて詳しく説明する。
The travel control unit 106 determines the travel route based on the first criterion and the second criterion and prioritizes the first criterion over the second criterion. be able to. Determining the traveling route by giving priority to the first criterion over the second criterion means that if it is possible to travel while avoiding both the second area and the third area, the vehicle travels while avoiding both. When it is impossible to travel while avoiding both the first and third areas, that is, when it is necessary to travel in one of the second area and the third area, the traveling route is made to travel in the third area. Means to determine. Hereinafter, the determination of the traveling route of the robot device 102 will be described in detail with reference to FIG.
図4は、実施形態1に係るロボット装置102の走行経路を説明するための図である。図4の(a)および(b)に示すように、灰色の領域を第1領域406、白色の領域を第2領域407、ドットの領域を第3領域408とする。
FIG. 4 is a diagram for explaining a traveling route of the robot device 102 according to the first embodiment. As shown in FIGS. 4A and 4B, a gray area is a first area 406, a white area is a second area 407, and a dot area is a third area 408.
図4の(a)に示すように、ロボット装置102が地点401から地点402へ移動する際に、走行制御部106が第1基準のみに基づいて走行経路を決定する場合について以下に説明する。この場合、走行制御部106は、地点401から地点402までの経路のうち、最短の経路である経路(走行経路)403を走行経路に決定する。
(4) A case will be described below where the travel control unit 106 determines a travel route based on only the first criterion when the robot apparatus 102 moves from the point 401 to the point 402, as shown in FIG. In this case, the traveling control unit 106 determines a route (traveling route) 403 that is the shortest route among routes from the point 401 to the point 402 as a traveling route.
走行制御部106が、第1基準に加え、第2基準に基づいて走行経路を決定する場合について以下に説明する。この場合、走行制御部106は、地点401から地点402までの経路のうち、第3領域408を避けて走行するように、経路(走行経路)404または405をロボット装置102の走行経路に決定する。
The case where the traveling control unit 106 determines the traveling route based on the second reference in addition to the first reference will be described below. In this case, the traveling control unit 106 determines the route (traveling route) 404 or 405 as the traveling route of the robot device 102 such that the traveling route avoids the third area 408 in the route from the point 401 to the point 402. .
このように、走行制御部106が、第1基準および第2基準に基づいて走行経路を決定することで、紙、水溜り等が存在する第3領域408について、例え第1領域406(走行面)からの段差なく、一続きになっていたとしても、第3領域408を避けて走行することができる(走行推奨領域を走行することができる)。これにより、例えば、ロボット装置102が水辺から水面に侵入したり、走行面に落ちている薄い紙などを踏んで走行したりするという問題を防ぐことができる。
As described above, the travel control unit 106 determines the travel route based on the first reference and the second reference, so that the third area 408 where paper, a puddle, and the like exist, for example, the first area 406 (the travel surface) ), The vehicle can travel while avoiding the third region 408 (the vehicle can travel in the recommended travel region) even if it is continuous. Thus, for example, it is possible to prevent a problem that the robot device 102 enters the water surface from the waterside or runs on a thin paper or the like falling on the running surface.
図4の(b)では、ロボット装置102がある地点(出発地点)409から他の地点(目的地点)410に移動するまでの経路中に第2領域407および第3領域408によって遮られた部位が存在する。この場合、走行制御部106は、第3領域408を避ける第2基準よりも第2領域407を避ける第1基準を優先して、第3領域408を走行する経路(走行経路)411を走行経路に決定する。このように、第2領域があるために、走行可能領域であるが走行推奨領域ではない第3領域を走行しなければ目的地へたどり着けない場合は、走行制御部106は、第3領域を走行するように走行経路を決定する。これにより、部屋の出入り口付近に敷かれているマットまたは描かれているマークなど第1領域と異なる特徴量を有する被写体があっても、当該被写体上をロボット装置102が走行するため、部屋の出入り口を通過することができる。
In FIG. 4B, a part blocked by the second area 407 and the third area 408 in the path from the point (start point) 409 to another point (destination point) 410 of the robot apparatus 102 is shown. Exists. In this case, the traveling control unit 106 gives priority to the first reference that avoids the second area 407 over the second reference that avoids the third area 408, and sets the route (traveling route) 411 that travels in the third area 408 to the traveling route. To decide. As described above, when the vehicle cannot reach the destination without traveling in the third area which is the travelable area but is not the travel recommended area due to the second area, the travel control unit 106 travels in the third area. The traveling route is determined as follows. Accordingly, even if there is a subject having a characteristic amount different from that of the first area such as a mat or a drawn mark placed near the entrance of the room, since the robot apparatus 102 travels on the subject, the entrance and exit of the room Can pass through.
なお、一態様において、ロボット装置102は、図示しない超音波センサ、バンパーセンサなどを更に備え、走行制御部106は、上述のように決定した走行経路をロボット装置102が走行しているときに、当該超音波センサまたはバンパーセンサなどがロボット装置102の周囲に物体が存在することを検知したときに、ロボット装置102の徐行、停止、および走行方向の変更などを行うように走行部105を制御するようになっていてもよい。
Note that in one embodiment, the robot device 102 further includes an ultrasonic sensor (not shown), a bumper sensor, and the like, and the traveling control unit 106 determines whether the robot device 102 is traveling on the traveling route determined as described above. When the ultrasonic sensor or the bumper sensor detects the presence of an object around the robot device 102, the traveling unit 105 is controlled so as to slow down, stop, and change the traveling direction of the robot device 102. It may be as follows.
[記憶部107]
記憶部107は、ステレオ撮像部103によって撮像された画像、ならびに、画像処理装置101によって生成される特徴量および代表特徴量などを記録媒体に記憶する。また、記憶部107は、記録媒体に記録される上述の画像、特徴量および代表特徴量を読み込み、画像処理装置101に出力する。記憶部107としては、上述の機能を有するものであれば、汎用のものを用いることができる。 [Storage unit 107]
Thestorage unit 107 stores an image captured by the stereo imaging unit 103, a feature amount and a representative feature amount generated by the image processing apparatus 101, and the like in a recording medium. The storage unit 107 reads the above-described image, feature amount, and representative feature amount recorded on the recording medium, and outputs the read image to the image processing apparatus 101. A general-purpose storage unit can be used as long as it has the above-described functions.
記憶部107は、ステレオ撮像部103によって撮像された画像、ならびに、画像処理装置101によって生成される特徴量および代表特徴量などを記録媒体に記憶する。また、記憶部107は、記録媒体に記録される上述の画像、特徴量および代表特徴量を読み込み、画像処理装置101に出力する。記憶部107としては、上述の機能を有するものであれば、汎用のものを用いることができる。 [Storage unit 107]
The
[画像処理装置101]
画像処理装置101は、ステレオ撮像部103が撮像した画像に基づいて第1領域、第2領域、第3領域、走行可能領域および走行推奨領域を設定する。画像処理装置101は、例えばCPU(Central Processing Unit:中央処理装置)またはGPU(Graphic Processing Unit:画像処理用処理装置)などから構成される。 [Image processing device 101]
Theimage processing apparatus 101 sets a first area, a second area, a third area, a travelable area, and a recommended travel area based on the image captured by the stereo imaging unit 103. The image processing apparatus 101 includes, for example, a CPU (Central Processing Unit: central processing unit) or a GPU (Graphic Processing Unit: image processing unit).
画像処理装置101は、ステレオ撮像部103が撮像した画像に基づいて第1領域、第2領域、第3領域、走行可能領域および走行推奨領域を設定する。画像処理装置101は、例えばCPU(Central Processing Unit:中央処理装置)またはGPU(Graphic Processing Unit:画像処理用処理装置)などから構成される。 [Image processing device 101]
The
また、図1に示すように、画像処理装置101は、走行可能領域設定部110、特徴量抽出部111、代表特徴量抽出部112、および走行推奨領域設定部113を備えている。
As shown in FIG. 1, the image processing apparatus 101 includes a travelable area setting unit 110, a feature amount extraction unit 111, a representative feature amount extraction unit 112, and a recommended travel area setting unit 113.
(走行可能領域設定部110)
走行可能領域設定部110は、画像に基づき、走行可能領域および第2領域を設定する。具体的には、走行可能領域設定部110は、距離情報算出部104によって算出された距離情報から走行可能領域および第2領域を設定する。 (Drivable area setting unit 110)
The travelablearea setting unit 110 sets a travelable area and a second area based on the image. Specifically, travelable area setting section 110 sets a travelable area and a second area based on the distance information calculated by distance information calculation section 104.
走行可能領域設定部110は、画像に基づき、走行可能領域および第2領域を設定する。具体的には、走行可能領域設定部110は、距離情報算出部104によって算出された距離情報から走行可能領域および第2領域を設定する。 (Drivable area setting unit 110)
The travelable
図5は、本発明の実施形態1における走行可能領域の一例を示す図である。図5では、ロボット装置102の走行面(第1領域)と推定される領域は白色の走行可能領域3020として表されており、壁および箱など、走行面との間に段差を有する黒色の領域は第2領域3021として表されている。ここでは、走行面上に落ちている紙などが存在していても、走行面との距離差が小さいため、走行可能領域設定部110は第1領域と区別できず、走行面の第1領域と同じく走行可能領域として設定される。
FIG. 5 is a diagram showing an example of a travelable area in the first embodiment of the present invention. In FIG. 5, an area estimated as a traveling surface (first area) of the robot apparatus 102 is represented as a white traveling area 3020, and a black area having a step between itself and a traveling surface such as a wall and a box. Are represented as a second region 3021. Here, even if there is paper or the like falling on the running surface, the difference in distance from the running surface is small, so that the runnable area setting unit 110 cannot distinguish it from the first area. Is set as the travelable area.
以下、走行可能領域の設定方法について、図6を用いて詳細に説明する。図6は、本発明の実施形態1における走行可能領域の設定方法を説明するための図である。走行可能領域設定部110は、例えば、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の点を抽出することで走行可能領域を設定できる。なお、図6に示すように、ステレオ撮像部103の設置高さH[m]とは、第1領域(走行面)202からステレオ撮像部103までの長さ、すなわち、ロボット装置102におけるステレオ撮像部103の設置高さとも言うことができる。
Hereinafter, a method of setting the travelable area will be described in detail with reference to FIG. FIG. 6 is a diagram for explaining a method of setting a travelable area in the first embodiment of the present invention. For example, as shown in FIG. 6, when the installation height of the stereo imaging unit 103 is H [m] as shown in FIG. 6, the travelable area setting unit 110 determines a point having a height H ± α [m] based on the distance information. By extracting, a travelable area can be set. As shown in FIG. 6, the installation height H [m] of the stereo imaging unit 103 is a length from the first area (running surface) 202 to the stereo imaging unit 103, that is, the stereo imaging in the robot device 102. It can also be referred to as the installation height of the portion 103.
ここで、αは距離情報の測距精度などによって生じるずれを許容するための値であり、走行可能領域設定部110は、例えば、0.025[m]などに設定する。距離情報における測距精度によって生じるずれは被写体203とステレオ撮像部103との距離の値が大きいほど大きくなるため、走行可能領域設定部110は、αの値を被写体203とステレオ撮像部103との距離に応じて変動させてもよい。例えば、走行可能領域設定部110は、被写体203とステレオ撮像部103との距離が1m以上2m以内の範囲である場合には、αを0.025[m]に設定し、2m以上3m以内の範囲である場合には、αを0.05[m]に設定してもよい。このように、走行可能領域設定部110が、被写体203とステレオ撮像部103との距離が長くなるにつれαの値が大きくなるように設定することで、測距精度によって生じるずれを適切に許容できるようになる。
Here, α is a value for allowing a deviation caused by the distance measurement accuracy of the distance information, and the travelable area setting unit 110 sets the value to, for example, 0.025 [m]. Since the deviation caused by the ranging accuracy in the distance information increases as the value of the distance between the subject 203 and the stereo imaging unit 103 increases, the travelable area setting unit 110 sets the value of α between the subject 203 and the stereo imaging unit 103. It may be changed according to the distance. For example, when the distance between the subject 203 and the stereo imaging unit 103 is in a range of 1 m or more and 2 m or less, the travelable area setting unit 110 sets α to 0.025 [m] and sets α to 2 m or more and 3 m or less. If it is within the range, α may be set to 0.05 [m]. As described above, the travelable area setting unit 110 sets the value of α to increase as the distance between the subject 203 and the stereo imaging unit 103 increases, so that a shift caused by the ranging accuracy can be appropriately tolerated. Become like
また、距離情報d[m]から、ステレオ撮像部103と被写体203とのY軸方向の距離(各画素の高さ)y[m]は式(1)のように算出することができる。
From the distance information d [m], the distance (height of each pixel) y [m] between the stereo imaging unit 103 and the subject 203 in the Y-axis direction can be calculated as in Expression (1).
ここで、v[ピクセル]はステレオ撮像部103によって撮像された画像上のY軸方向の位置、h[ピクセル]は当該画像の縦画素数、f[ピクセル]はステレオ撮像部103の焦点距離を表す。式(1)に距離情報d[m]、v[ピクセル]、h[ピクセル]およびf[ピクセル]を代入することで、高さy[m]を算出できる。走行可能領域設定部110は、高さy[m]がH±α[m]となる画素を走行可能領域として設定し、その他の画素を第2領域として設定する。このように、距離情報から算出される高さに基づいて走行可能領域設定部110が走行可能領域および第2領域を設定することで、走行可能領域の高さを、ロボット装置102が乗っている第1領域(走行面)202上から任意のしきい値分である凹凸のある範囲に限定できる。
Here, v [pixel] is the position in the Y-axis direction on the image captured by the stereo imaging unit 103, h [pixel] is the number of vertical pixels of the image, and f [pixel] is the focal length of the stereo imaging unit 103. Represent. The height y [m] can be calculated by substituting the distance information d [m], v [pixel], h [pixel] and f [pixel] into the equation (1). The travelable area setting unit 110 sets a pixel having a height y [m] of H ± α [m] as a travelable area, and sets other pixels as a second area. As described above, the travelable area setting unit 110 sets the travelable area and the second area based on the height calculated from the distance information, so that the robot apparatus 102 rides on the height of the travelable area. It can be limited to a range with irregularities corresponding to an arbitrary threshold value from the first area (running surface) 202.
(特徴量抽出部111)
特徴量抽出部111は、ステレオ撮像部103または記憶部107から、基準画像を取得し、基準画像から特徴量を抽出する。 (Feature extraction unit 111)
The featureamount extraction unit 111 acquires a reference image from the stereo imaging unit 103 or the storage unit 107, and extracts a feature amount from the reference image.
特徴量抽出部111は、ステレオ撮像部103または記憶部107から、基準画像を取得し、基準画像から特徴量を抽出する。 (Feature extraction unit 111)
The feature
以下に、特徴量抽出部111が、色相を特徴量として抽出する例について説明する。まず、特徴量抽出部111は、画像のRGB値に基づく色相を特徴量として抽出する。このように、RGB値を直接特徴量とせず、色相を特徴量とすることで、陰影などによる明るさおよび彩度の変化に影響を受けず、色相の変化のみを検出することができる。RGB値のうち、最も大きな値をMAX、最も小さな値をMINとすると、色相hoは式(2)~(4)として算出できる。なお、式(2)~(4)は、それぞれMIN=Bとした場合、MIN=Rとした場合、および、MIN=Gとした場合の色相hoを示す式である。
Hereinafter, an example in which the feature amount extraction unit 111 extracts a hue as a feature amount will be described. First, the feature extraction unit 111 extracts a hue based on the RGB values of an image as a feature. As described above, by using the hue as the feature amount instead of directly using the RGB values as the feature amount, it is possible to detect only the change in the hue without being affected by changes in brightness and saturation due to shading or the like. Of RGB values, the most significant value MAX, if the smallest value and MIN, hue h o can be calculated as Equation (2) to (4). Incidentally, formula (2) to (4), when the MIN = B, respectively, when the MIN = R, and is an expression indicating a hue h o in the case of a MIN = G.
特徴量抽出部111は、算出した色相hoを画像に基づいて抽出した特徴量として、代表特徴量抽出部112および走行推奨領域設定部113に出力する。
Feature amount extraction unit 111, the calculated hue h o as the characteristic amount extracted based on the image, and outputs the representative feature amount extraction unit 112 and the traveling recommended area setting unit 113.
(代表特徴量抽出部112)
代表特徴量抽出部112は、ロボット装置102が乗っている第1領域(走行面)上の代表的な特徴量を抽出し、抽出した代表的な特徴量を代表特徴量として設定する。特徴量抽出部111から特徴量として色相の情報が入力された場合、代表特徴量抽出部112は、色相の統計を取ることで、ロボット装置102が乗っている第1領域(走行面)上の代表的な色相を代表特徴量として抽出する。 (Representative feature amount extraction unit 112)
The representative featureamount extraction unit 112 extracts a representative feature amount on the first area (running surface) on which the robot device 102 is riding, and sets the extracted representative feature amount as a representative feature amount. When the hue information is input as the feature amount from the feature amount extraction unit 111, the representative feature amount extraction unit 112 obtains the statistics of the hue, thereby obtaining the statistics on the first area (running surface) on which the robot apparatus 102 is riding. A representative hue is extracted as a representative feature amount.
代表特徴量抽出部112は、ロボット装置102が乗っている第1領域(走行面)上の代表的な特徴量を抽出し、抽出した代表的な特徴量を代表特徴量として設定する。特徴量抽出部111から特徴量として色相の情報が入力された場合、代表特徴量抽出部112は、色相の統計を取ることで、ロボット装置102が乗っている第1領域(走行面)上の代表的な色相を代表特徴量として抽出する。 (Representative feature amount extraction unit 112)
The representative feature
以下、図7を用いて代表特徴量抽出部112による代表特徴量の抽出方法を説明する。図7は、本発明の実施形態1における代表特徴量の抽出方法を説明するための図である。代表特徴量抽出部112は、図7の(a)に示すように、基準画像301の下部中央付近にあらかじめ設定された領域701を、ロボット装置102が走行する走行面(第1領域)と推定し、当該領域701における色相ヒストグラムを作成する。そして、図7の(b)に示すように、代表特徴量抽出部112は、色相ヒストグラムの頻度が任意のしきい値702以上の色相hrを代表的な色相、すなわち、代表特徴量として抽出する。これにより、あらかじめ設定された領域701内に、ロボット装置102が乗っている第1領域(走行面)以外の被写体、すなわち、走行面に落ちている紙などが含まれている場合でも、領域701内に走行面が大部分を占める場合は、走行面以外の被写体の影響を小さくし、走行面の特徴量のみを代表特徴量として抽出できる。
Hereinafter, a method of extracting a representative feature by the representative feature extracting unit 112 will be described with reference to FIG. FIG. 7 is a diagram for describing a method of extracting a representative feature amount according to the first embodiment of the present invention. As illustrated in FIG. 7A, the representative feature amount extraction unit 112 estimates an area 701 set in the vicinity of the lower center of the reference image 301 as a running surface (first area) on which the robot device 102 runs. Then, a hue histogram in the area 701 is created. The extracted, as shown in (b) of FIG. 7, the representative feature quantity extracting unit 112, a hue h r frequently than any of the threshold 702 of the hue histogram representative hues, i.e., as representative feature quantity I do. Accordingly, even when the preset area 701 includes a subject other than the first area (running surface) on which the robot device 102 is riding, that is, even if paper or the like falls on the running surface is included, the area 701 may be included. When the running surface occupies most of the inside, the influence of the subject other than the running surface can be reduced, and only the feature amount of the running surface can be extracted as the representative feature amount.
なお、上述の例では、代表特徴量抽出部112が一つの色相を代表特徴量として抽出しているが、代表特徴量抽出部112は、複数の色相(hr0およびhr1、など)を代表特徴量として抽出してもよい。複数の色相を代表特徴量として抽出することで、例えば、走行面が市松模様など複数の色相から構成されている場合にも、当該走行面に含まれる複数の色相を代表特徴量として抽出できる。
In the above example, the representative feature amount extraction unit 112 extracts one hue as a representative feature amount, but the representative feature amount extraction unit 112 represents a plurality of hues ( hr0 and hr1 , etc.). It may be extracted as a feature amount. By extracting a plurality of hues as representative feature values, for example, even when the running surface is composed of a plurality of hues such as a checkered pattern, a plurality of hues included in the running surface can be extracted as representative feature values.
(走行推奨領域設定部113)
走行推奨領域設定部113は、走行可能領域設定部110によって設定された走行可能領域から、特徴量抽出部111によって抽出された特徴量と代表特徴量抽出部112によって抽出された代表特徴量とに基づき、走行推奨領域および第3領域を設定する。 (Recommended driving area setting unit 113)
The recommended travelregion setting unit 113 converts the feature amount extracted by the feature amount extraction unit 111 and the representative feature amount extracted by the representative feature amount extraction unit 112 from the possible travel region set by the possible travel region setting unit 110. Based on this, a traveling recommended area and a third area are set.
走行推奨領域設定部113は、走行可能領域設定部110によって設定された走行可能領域から、特徴量抽出部111によって抽出された特徴量と代表特徴量抽出部112によって抽出された代表特徴量とに基づき、走行推奨領域および第3領域を設定する。 (Recommended driving area setting unit 113)
The recommended travel
ここでは、走行推奨領域設定部113は、代表特徴量である色相hrと、走行可能領域内の、特徴量である色相hoが等しい領域を走行推奨領域として設定する。すなわち、ロボット装置102の走行面上の代表特徴量の色相が青色であれば、走行推奨領域設定部113は、走行可能領域内の青色の領域を走行面と色相が同じであるように識別し、走行推奨領域に設定する。また、走行推奨領域設定部113は、走行可能領域内の、例えば、赤色および白色などの青色以外の領域を走行面と異なる種類と識別し、第3領域に設定する。
Here, the travel recommendation area setting unit 113, a hue h r a representative feature quantity of the travelable area, it sets a region hue h o is equal, which is a feature quantity as the travel recommendation region. That is, if the hue of the representative feature value on the traveling surface of the robot device 102 is blue, the recommended traveling region setting unit 113 identifies the blue region in the travelable region such that the hue is the same as the traveling surface. , Set to the recommended travel area. In addition, the traveling recommended area setting unit 113 identifies a non-blue area such as red and white in the traveling area as a type different from the traveling surface, and sets it as a third area.
図8は、本発明の実施形態1における走行推奨領域の一例を示す図である。図8では、白色の領域を走行推奨領域3022、壁および箱など、走行面との間に段差を有する黒色の領域を第2領域3021、走行可能領域のうち、走行推奨領域3022とは色相が異なるドットの領域を第3領域3023として示している。図8では、当該紙の色相は代表特徴量の色相とは異なるため、走行面とは異なる色であるように識別される。そのため、走行面上に落ちている紙は、走行推奨領域3022ではなく第3領域3023として設定され、灰色で表されている。このように、代表特徴量と同じ特徴量を有する画像中の領域を走行推奨領域とすることで、距離情報からでは識別するのが難しいが、走行すべきでない領域(たとえば、走行面上に落ちている紙などの微細な凹凸や、水面、ガラス面などの材質の異なる領域)を好適に識別することができる。
FIG. 8 is a diagram showing an example of the recommended traveling area in the first embodiment of the present invention. In FIG. 8, a white area is a recommended travel area 3022, a black area having a step with respect to a travel surface, such as a wall or a box, is a second area 3021, and a hue is different from the recommended travel area 3022 in the travelable area. Regions of different dots are shown as third regions 3023. In FIG. 8, since the hue of the paper is different from the hue of the representative characteristic amount, the paper is identified as having a different color from the running surface. Therefore, the paper falling on the running surface is set as the third area 3023 instead of the recommended running area 3022, and is shown in gray. As described above, by setting an area in an image having the same feature amount as the representative feature amount as the recommended travel area, it is difficult to identify the area based on the distance information, but an area that should not travel (for example, if the area falls on the travel surface). (A region having a different material, such as fine unevenness of paper or a water surface, a glass surface, etc.) can be suitably identified.
なお、上述の例では、走行推奨領域設定部113が、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが一致している領域を走行推奨領域として抽出しているが、本実施形態ではこれに限定されない。本実施形態では、走行推奨領域設定部113は、色相hrと色相hoとの差が任意の許容値β度以内の領域を走行推奨領域に設定し、色相hrと色相hoとの差が許容値β度を超える領域を第3領域に設定してもよい。これにより、ノイズによって僅かに色相が変化した場合でも、走行推奨領域設定部113は、好適に走行推奨領域を設定することができる。走行推奨領域設定部113は、任意の許容値βを、例えば±5度などの値を設定することができる。
In the above example, the travel recommendation area setting unit 113 extracts the area where the hue h o is the characteristic of the hue h r travelable area is a representative feature amount matches the travel recommendation area However, the present embodiment is not limited to this. In the present embodiment, the travel recommendation area setting unit 113, the difference between the hue h r and the hue h o sets a region within an arbitrary tolerance value β ° to the travel recommendation area, the hue h r and the hue h o A region where the difference exceeds the allowable value β degrees may be set as the third region. Thus, even when the hue slightly changes due to noise, the recommended traveling area setting unit 113 can appropriately set the recommended traveling area. The recommended traveling area setting unit 113 can set an arbitrary allowable value β, for example, a value such as ± 5 degrees.
〔ロボット装置102の制御処理〕
続いて、ロボット装置102の制御処理(走行装置の制御方法)について、図9を用いて説明する。図9は、本発明の実施形態1に係るロボット装置102の制御処理の流れの一例を示すフローチャートである。 [Control processing of robot device 102]
Subsequently, a control process of the robot device 102 (a control method of the traveling device) will be described with reference to FIG. FIG. 9 is a flowchart illustrating an example of a flow of a control process of therobot device 102 according to the first embodiment of the present invention.
続いて、ロボット装置102の制御処理(走行装置の制御方法)について、図9を用いて説明する。図9は、本発明の実施形態1に係るロボット装置102の制御処理の流れの一例を示すフローチャートである。 [Control processing of robot device 102]
Subsequently, a control process of the robot device 102 (a control method of the traveling device) will be described with reference to FIG. FIG. 9 is a flowchart illustrating an example of a flow of a control process of the
ステップS901:ステレオ撮像部103は、被写体の画像(基準画像および参照画像)を撮像する(撮像ステップ)。距離情報算出部104は、ステレオ撮像部103が撮像した基準画像および参照画像に基づき、距離情報を算出する。
Step S901: The stereo image capturing section 103 captures an image of a subject (a reference image and a reference image) (imaging step). The distance information calculation unit 104 calculates distance information based on the reference image and the reference image captured by the stereo imaging unit 103.
ステップS902:走行可能領域設定部110は、距離情報算出部104が算出した距離情報に基づき、走行可能領域および第2領域を設定し、走行推奨領域設定部113に出力する。
Step S <b> 902: The travelable area setting unit 110 sets a travelable area and a second area based on the distance information calculated by the distance information calculation unit 104, and outputs to the recommended travel area setting unit 113.
ステップS903:特徴量抽出部111は、ステレオ撮像部103から、基準画像を取得し、基準画像から特徴量を抽出する。特徴量抽出部111は、抽出した特徴量を代表特徴量抽出部112および走行推奨領域設定部113に出力する。
Step S903: The feature amount extraction unit 111 acquires a reference image from the stereo imaging unit 103, and extracts a feature amount from the reference image. The feature amount extraction unit 111 outputs the extracted feature amount to the representative feature amount extraction unit 112 and the recommended traveling area setting unit 113.
ステップS904:代表特徴量抽出部112は、特徴量抽出部から取得した特徴量に基づいて代表特徴量を抽出する。代表特徴量抽出部112は、抽出した代表特徴量を走行推奨領域設定部113に出力する。
Step S904: The representative feature quantity extraction unit 112 extracts a representative feature quantity based on the feature quantity obtained from the feature quantity extraction unit. The representative feature extracting unit 112 outputs the extracted representative feature to the recommended traveling area setting unit 113.
ステップS905:走行推奨領域設定部113は、走行可能領域内の、代表特徴量と特徴量が同じ領域を走行推奨領域に設定し、代表特徴量と特徴量が異なる領域を第3領域に設定する。
Step S905: The recommended traveling area setting unit 113 sets an area having the same characteristic amount as the representative characteristic amount in the possible traveling area as the recommended traveling area, and sets an area different from the representative characteristic amount as the third area. .
ステップS906:走行制御部106は、第1基準と第2基準とに基づき、第2基準よりも第1基準を優先して走行経路を決定する(走行制御ステップ)。
Step S906: The traveling control unit 106 determines a traveling route based on the first criterion and the second criterion, giving priority to the first criterion over the second criterion (a traveling control step).
ステップS907:走行部105はロボット装置102を走行させる(走行ステップ)。
Step S907: The traveling unit 105 causes the robot device 102 to travel (traveling step).
以上のロボット装置102の制御処理を実行することにより、走行面と同じ色相であるように識別された領域を優先して走行経路とすることができる。
By executing the above control processing of the robot device 102, it is possible to preferentially set a region identified as having the same hue as the traveling surface as the traveling route.
〔変形例1〕
上述の例では、特徴量抽出部111および代表特徴量抽出部112は、画像から色相を特徴量および代表特徴量としてそれぞれ抽出しているが、本実施形態において用いる特徴量はこれに限定されない。 [Modification 1]
In the above-described example, the featurevalue extraction unit 111 and the representative feature value extraction unit 112 extract the hue from the image as the feature value and the representative feature value, respectively. However, the feature value used in the present embodiment is not limited to this.
上述の例では、特徴量抽出部111および代表特徴量抽出部112は、画像から色相を特徴量および代表特徴量としてそれぞれ抽出しているが、本実施形態において用いる特徴量はこれに限定されない。 [Modification 1]
In the above-described example, the feature
例えば、画像から、輝度、テクスチャ分布および光の反射率のうちの少なくとも1つを特徴量および代表特徴量としてそれぞれ抽出し、走行可能領域設定部110および走行推奨領域設定部113は、画像の色相、輝度、テクスチャ分布および光の反射率のうちの少なくとも1つの特徴量および代表特徴量を参照し、第1領域、第2領域および第3領域を識別し、走行可能領域および走行推奨領域を設定してもよい。なお、光の反射率は、任意の光の反射率であってよいが、例えば、赤外光の反射率であり得る。
For example, from the image, at least one of luminance, texture distribution, and light reflectance is extracted as a feature value and a representative feature value, respectively. The travelable area setting unit 110 and the recommended travel area setting unit 113 determine the hue of the image. The first area, the second area, and the third area are identified by referring to at least one characteristic amount and the representative characteristic amount among the luminance, the texture distribution, and the light reflectance, and the travelable area and the recommended travel area are set. May be. The light reflectance may be any light reflectance, and may be, for example, infrared light reflectance.
また、輝度またはテクスチャ分布を特徴量および代表特徴量とした場合、ステレオ撮像部103の第1撮像部108および第2撮像部109はカラーカメラではなくモノクロカメラである場合にも適用できる。また、光の反射率を特徴量および代表特徴量とした場合、ステレオ撮像部103の第1撮像部108および第2撮像部109はカラーカメラではなく赤外線カメラ等の任意の光を検出するための光学センサである場合にも適用できる。
In addition, when the luminance or texture distribution is used as the feature amount and the representative feature amount, the first imaging unit 108 and the second imaging unit 109 of the stereo imaging unit 103 can be applied to a case where a monochrome camera is used instead of a color camera. When the light reflectance is a feature amount and a representative feature amount, the first imaging unit 108 and the second imaging unit 109 of the stereo imaging unit 103 are not a color camera but an infrared camera or the like for detecting arbitrary light. The present invention can also be applied to the case of an optical sensor.
一態様において、第1撮像部108および第2撮像部109が生成する第1画像および第2画像が、RGB値ではなくY値(輝度)によって構成されている場合、特徴量抽出部111は輝度を特徴量として抽出してもよい。また、テクスチャ分布としては、例えば、注目点の周辺近傍(N×N画素)のY値(輝度)の平均を式(5)として表すことができ、Y値の分散を式(6)として表すことができる。さらには、RGB値からY値(輝度)へ式(7)を用いて変換すると、色相、輝度およびテクスチャ分布を組み合わせたものを特徴量として抽出することができる。
In one aspect, when the first image and the second image generated by the first imaging unit 108 and the second imaging unit 109 are constituted by Y values (luminance) instead of RGB values, the feature amount extraction unit 111 outputs the luminance value. May be extracted as a feature value. As the texture distribution, for example, the average of the Y values (luminance) in the vicinity of the target point (N × N pixels) can be expressed as Expression (5), and the variance of the Y values is expressed as Expression (6). be able to. Further, when the RGB value is converted into the Y value (luminance) using Expression (7), a combination of hue, luminance, and texture distribution can be extracted as a feature amount.
また、一態様において、特徴量抽出部111が、色相、輝度、テクスチャ分布および光の反射率を組み合わせたものを特徴量として抽出することで、代表特徴量抽出部112は走行推奨領域をより高精度に設定することができる。例えば、第1領域(走行面)が青色のカーペットであり、走行面上に青色のカーペットとは模様が異なる青色の紙(第3領域)が落ちているとする。
In one embodiment, the feature amount extraction unit 111 extracts a combination of hue, luminance, texture distribution, and light reflectance as a feature amount, so that the representative feature amount extraction unit 112 can set a higher recommended travel area. Can be set to accuracy. For example, it is assumed that the first area (running surface) is a blue carpet, and blue paper (third area) having a pattern different from that of the blue carpet is dropped on the running surface.
この場合、代表特徴量抽出部112は、特徴量抽出部111が抽出した特徴量のうち、テクスチャ分布に基づいて代表特徴量を抽出することにより、青色のカーペットは分散値が大きく、青色の紙は分散値が小さいことから、走行面上の青色のカーペットと青色の紙とを好適に識別することができる。
In this case, the representative feature amount extraction unit 112 extracts the representative feature amount based on the texture distribution among the feature amounts extracted by the feature amount extraction unit 111, so that the blue carpet has a large variance value and the blue paper Since the variance value is small, the blue carpet and the blue paper on the running surface can be suitably distinguished.
また、代表特徴量抽出部112が、特徴量抽出部111が抽出した特徴量のうち、色相または輝度に基づいて代表特徴量を抽出することにより、青色のカーペット上の汚れを好適に識別することができる。したがって、特徴量抽出部111が、特徴量を複数抽出することで、代表特徴量抽出部112は、走行推奨領域をより高精度に設定することができる。
In addition, the representative feature extraction unit 112 extracts a representative feature based on hue or luminance from among the features extracted by the feature extraction unit 111, so that the stain on the blue carpet can be appropriately identified. Can be. Therefore, the representative feature quantity extraction unit 112 can set the travel recommended area with higher accuracy by the feature quantity extraction unit 111 extracting a plurality of feature quantities.
なお、上述の例のように、特徴量抽出部111が特徴量を複数抽出し、複数の特徴量を代表特徴量抽出部112に入力した場合、代表特徴量抽出部112は、特徴量ごとに代表特徴量を抽出してもよい。この場合、走行推奨領域設定部113は、抽出された複数の代表特徴量に基づき、代表特徴量の結果を統合することで走行推奨領域を設定することができる。
When the feature amount extraction unit 111 extracts a plurality of feature amounts and inputs the plurality of feature amounts to the representative feature amount extraction unit 112 as in the above-described example, the representative feature amount extraction unit 112 The representative feature may be extracted. In this case, the recommended traveling area setting unit 113 can set the recommended traveling area by integrating the results of the representative characteristic amounts based on the extracted plurality of representative characteristic amounts.
代表特徴量の結果の統合方法について、例えば、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域とがある場合について以下に説明する。
A method of integrating the results of the representative feature amounts will be described below, for example, in a case where there is a recommended travel region set based on the representative feature amount of hue and a recommended travel region set based on the representative feature amount of luminance. I do.
一態様において、走行推奨領域設定部113は、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域との論理和を取る方法によって走行推奨領域を設定することができる。
In one aspect, the recommended travel area setting unit 113 performs a logical OR operation on the recommended travel area set based on the representative feature value of hue and the recommended travel area set based on the representative feature value of luminance. The recommended traveling area can be set.
すなわち、走行推奨領域設定部113は、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域とを比較する。そして、走行推奨領域設定部113は、両方の代表特徴量に基づいて走行推奨領域として設定されている領域のみを走行推奨領域に設定してもよい。
That is, the recommended traveling area setting unit 113 compares the recommended traveling area set based on the representative characteristic amount of hue with the recommended traveling area set based on the representative characteristic amount of luminance. Then, the recommended traveling region setting unit 113 may set only the region set as the recommended traveling region based on both representative feature amounts as the recommended traveling region.
〔変形例2〕
上述の例では、走行推奨領域設定部113は、走行可能領域において、走行推奨領域および第3領域の2種類に明確に区分けしているが、これに代えて、走行可能領域の各部位について、走行推奨領域であるか第3領域であるかの指標となる指標値を設定するようにしてもよい。この場合、走行制御部106は、当該指標値を参照して、走行経路を決定する。 [Modification 2]
In the above-described example, the recommended travelarea setting unit 113 clearly divides the travelable area into two types, the recommended travel area and the third area. An index value may be set as an index indicating whether the area is the travel recommended area or the third area. In this case, the traveling control unit 106 determines a traveling route with reference to the index value.
上述の例では、走行推奨領域設定部113は、走行可能領域において、走行推奨領域および第3領域の2種類に明確に区分けしているが、これに代えて、走行可能領域の各部位について、走行推奨領域であるか第3領域であるかの指標となる指標値を設定するようにしてもよい。この場合、走行制御部106は、当該指標値を参照して、走行経路を決定する。 [Modification 2]
In the above-described example, the recommended travel
例えば、走行推奨領域設定部113は、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが近い部位ほど指標値を高い値に設定し、色相hrから色相hoがずれている部位ほど指標値を低くする第1モードに基づいて指標値を設定してもよい。
For example, running the recommended area setting unit 113 sets the hue h o and the index value as a site near a characteristic amount of the vehicle can travel with the hue h r a representative characteristic amount region to a high value, the hue of the hue h r h o may be set an index value based on the first mode to lower the higher the index value portion are offset.
換言すれば、走行推奨領域設定部113は、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが近いほど走行推奨領域である可能性が高いとみなし、指標値を高い値に設定し、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとがずれているほど第3領域である可能性が高いとみなし、指標値を低い値に設定する。
In other words, the travel recommendation area setting unit 113 considers that there is a high possibility that the hue h o is a characteristic quantity which is traveling recommended region closer in the travelable area and the hue h r a representative feature quantity, the index The value is set to a high value, and the more likely the hue h r as the representative feature and the hue h o as the feature in the travelable area are, the higher the possibility of the third area is, and the index value is set. Set to a lower value.
一例として、走行推奨領域設定部113は、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが等しい場合、指標値を10に設定する。また、走行推奨領域設定部113は、色相hrと色相hoとが1度以上2度以下ずれている場合、指標値を9に設定する。以降、色相hrと色相hoとが2度ずれるごとに走行推奨領域設定部113は指標値を1ずつ減らした値に設定し、20度以上ずれている場合、指標値を0に設定する。
As an example, running the recommended area setting unit 113, when a hue h o is the characteristic of the hue h r a travelable area is a representative feature quantity is equal, sets the index value to 10. The running recommended area setting unit 113, if the hue h r and the hue h o deviates less than 2 degrees 1 degree, and sets the index value to 9. Later, it is set to a value running recommended area setting unit 113 with a reduced index value by one for each hue h r and the hue h o is shifted twice, if the shifted 20 degrees or more, the index value is set to 0 .
この場合、走行制御部106は、指標値が高い部位を優先して走行するようにロボット装置102の走行部105の走行方向を制御する。このように、走行推奨領域設定部113が指標値をさらに設定することで、ロボット装置102は、第3領域である可能性が高い領域を避け、走行推奨領域である可能性が高い領域を優先して走行できる。
In this case, the traveling control unit 106 controls the traveling direction of the traveling unit 105 of the robot device 102 so as to preferentially travel the part having the higher index value. As described above, the travel recommended area setting unit 113 further sets the index value, so that the robot apparatus 102 avoids the area that is likely to be the third area and gives priority to the area that is likely to be the travel recommended area. I can run.
また、一態様において、走行推奨領域設定部113は、色相hrから色相hoがずれるほど指標値を高く設定し、所定の度合いよりも大きくずれている場合に指標値を0に設定する第2モードに基づいて指標値を設定してもよい。
Also, in one embodiment, the travel recommendation area setting unit 113, the index value is set to 0 if the hue h r hue h o set high index value the more deviated, deviates greater than a predetermined degree The index value may be set based on two modes.
一例として、走行推奨領域設定部113は、色相hrと色相hoとが等しい場合、指標値を10に設定し、色相hrと色相hoとが1度以上2度以下ずれている場合、指標値を1に設定する。以降、色相hrと色相hoとが2度ずれるごとに走行推奨領域設定部113は指標値を1ずつ増やした値に設定し、20度以上ずれている場合、指標値を0に設定する。
As an example, running the recommended area setting unit 113, when a hue h r and the hue h o is equal, sets the index value to 10, if the hue h r and the hue h o deviates less than 2 degrees 1 degree , The index value is set to 1. Later, it is set to a value running recommended area setting unit 113 with an increased index value by one for each hue h r and the hue h o is shifted twice, if the shifted 20 degrees or more, the index value is set to 0 .
これは、例えば、走行面(第1領域)の色相hrとのずれが1度以上2度以下程度であり、色相hrと近い色相hoを有する可能性の高いマンホール、側溝蓋および水たまりなどの第3領域の指標値を低く設定することを目的としている。これにより、ロボット装置102は、第3領域を好適に避けて走行することができる。その結果、ロボット装置102は、例えば、マンホール上を走行することによりスリップしたり、側溝蓋上を走行することによりロボット装置102の走行部105(タイヤなど)がはまったりする危険を回避することができる。
This, for example, on the order deviation less than 2 degrees 1 degree of hue h r of the running surface (first area), increased likelihood of having hue h r and closer hue h o manhole, gutter cover and puddle It is intended to set an index value of the third area such as a low value. Thereby, the robot device 102 can travel while avoiding the third region appropriately. As a result, for example, the robot device 102 can avoid a danger of slipping by traveling on a manhole, or a danger that the traveling portion 105 (such as a tire) of the robot device 102 gets stuck by traveling on a gutter cover. it can.
また、一態様において、画像処理装置101が操作部1000(不図示)をさらに備えており、当該操作部1000を介してユーザが任意に第1モードと第2モードとのいずれのモードで指標値設定するかを切り替えてもよい。これにより、ユーザは操作部1000を介してロボット装置102の走行が推奨される走行推奨領域および第3領域を設定するための方法を任意に選択することができる。
In one embodiment, the image processing apparatus 101 further includes an operation unit 1000 (not shown), and the user can arbitrarily set the index value in any one of the first mode and the second mode via the operation unit 1000. The setting or the setting may be switched. Thus, the user can arbitrarily select a method for setting the recommended travel area and the third area in which the robot apparatus 102 is recommended to travel via the operation unit 1000.
〔変形例3〕
上述の例では、走行推奨領域設定部113はあらかじめ定められた特徴量に基づいて走行推奨領域および第3領域を設定しているが、本実施形態ではこれに限定されない。本実施形態では、画像処理装置101は変形例2と同様に操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。例えば、画像処理装置101はユーザインタフェース機能を有する表示部1010(不図示)をさらに備えており、当該表示部1010を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。 [Modification 3]
In the above-described example, the recommended travelingarea setting unit 113 sets the recommended traveling area and the third area based on a predetermined feature amount, but the present embodiment is not limited to this. In the present embodiment, the image processing apparatus 101 further includes an operation unit 1000 similarly to the second modification, and a feature amount for the user to arbitrarily set the travel recommended area and the third area via the operation unit 1000. May be selectable. For example, the image processing apparatus 101 further includes a display unit 1010 (not shown) having a user interface function, and a feature value for allowing a user to arbitrarily set a travel recommended area and a third area via the display unit 1010. May be selectable.
上述の例では、走行推奨領域設定部113はあらかじめ定められた特徴量に基づいて走行推奨領域および第3領域を設定しているが、本実施形態ではこれに限定されない。本実施形態では、画像処理装置101は変形例2と同様に操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。例えば、画像処理装置101はユーザインタフェース機能を有する表示部1010(不図示)をさらに備えており、当該表示部1010を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。 [Modification 3]
In the above-described example, the recommended traveling
以下、図10を用いて、表示部1010を介してユーザが走行推奨領域および第3領域を設定するための特徴量の種類を選択するための例について説明する。図10は、走行推奨領域設定方法を変更するための画像1001を示す図である。
Hereinafter, with reference to FIG. 10, an example will be described in which the user selects the type of the feature amount for setting the travel recommended area and the third area via the display unit 1010. FIG. 10 is a diagram showing an image 1001 for changing the recommended driving area setting method.
例えば、特徴量が色相、輝度、テクスチャ分布、および反射率など複数ある場合、ユーザは、図10に示すように、表示部1010に表示される画像1001の代表特徴量1101のリストのボタンをタッチしてもよい。
For example, when there are a plurality of feature amounts such as hue, luminance, texture distribution, and reflectance, the user touches a button of a list of the representative feature amounts 1101 of the image 1001 displayed on the display unit 1010 as shown in FIG. May be.
このように、ユーザは、当該ボタンをタッチすることで、走行推奨領域設定部113がいずれの特徴量に基づいて走行推奨領域を設定するようかを選択してもよい。例えば図10の場合、代表特徴量1101のリストのボタンとして色相が選択されているため、走行推奨領域設定部113は、色相の代表特徴量に基づいて走行推奨領域を設定する。
Thus, by touching the button, the user may select which feature amount the travel recommendation area setting unit 113 sets the travel recommendation area based on. For example, in the case of FIG. 10, hue is selected as a button of the list of the representative feature values 1101, so the recommended traveling area setting unit 113 sets the recommended traveling area based on the representative feature values of the hue.
また、ユーザは、表示部1010を介して、走行推奨領域設定部113は、重み付けによって走行推奨領域を設定するように指示してもよい。これにより、ロボット装置102の走行状況に応じてユーザが適宜走行推奨領域を設定できるため好適である。
ユ ー ザ Also, the user may instruct via the display unit 1010 that the recommended traveling area setting unit 113 sets a recommended traveling area by weighting. This is preferable because the user can appropriately set the recommended traveling area according to the traveling state of the robot device 102.
また、走行推奨領域設定部113が、色相hrと色相hoとの差が任意の許容値β度以内の領域を走行推奨領域に設定する場合、図10に示すように、ユーザが、許容値1102のバーを調整することで、任意の値に許容値βを設定できるようにしてもよい。
The running recommended area setting unit 113, when the difference between the hue h r and the hue h o to set a region within an arbitrary tolerance value β ° to the travel recommendation area, as shown in FIG. 10, the user, the allowable By adjusting the bar of the value 1102, the allowable value β may be set to an arbitrary value.
上述のようにユーザが走行推奨領域の設定方法を選択したとする。この場合、図10に示すように、表示部1010は、ステレオ撮像部103が撮像した入力画像である基準画像301、および、当該設定方法に基づいて設定された走行推奨領域3022の結果を画像1001に表示する。また、表示部1010は、ユーザによる走行推奨領域の設定方法の変更に応じて設定された走行推奨領域3022の結果を画像1001に更新して表示する。
と す る Assume that the user has selected the method for setting the recommended travel area as described above. In this case, as illustrated in FIG. 10, the display unit 1010 displays the result of the reference image 301 which is the input image captured by the stereo imaging unit 103 and the result of the recommended travel area 3022 set based on the setting method in the image 1001. To display. The display unit 1010 updates and displays the result of the recommended travel area 3022 set in accordance with the user's change in the method of setting the recommended travel area in the image 1001.
このように走行推奨領域の設定方法を変更した場合、画像1001に表示される走行推奨領域3022の結果が変更される。そのため、走行推奨領域の設定方法を変更した場合に、画像1001に表示される走行推奨領域3022の結果にどのように影響を与えるのかユーザに認識させることができる。
When the method of setting the recommended travel area is changed in this way, the result of the recommended travel area 3022 displayed in the image 1001 is changed. Therefore, when the method of setting the recommended travel area is changed, it is possible to make the user recognize how the result of the recommended travel area 3022 displayed in the image 1001 is affected.
これにより、ユーザはより好適に走行推奨領域および第3領域の選択基準を選択することができる。その結果、走行推奨領域設定部113はより好適に走行推奨領域および第3領域を設定することができるため、走行制御部106は、より好適にロボット装置102を走行させることができる。
Thereby, the user can more suitably select the selection criteria for the recommended traveling area and the third area. As a result, the recommended traveling area setting unit 113 can more appropriately set the recommended traveling area and the third area, so that the traveling control unit 106 can more appropriately cause the robot apparatus 102 to travel.
〔変形例4〕
上述の例では、ロボット装置102は、距離情報を取得するためにステレオ撮像部103を備えているが、ステレオ撮像部103の代わりに、任意の撮像部(不図示)と距離情報取得部(不図示)とを備えていてもよい。 [Modification 4]
In the above example, therobot apparatus 102 includes the stereo imaging unit 103 for acquiring distance information. However, instead of the stereo imaging unit 103, an arbitrary imaging unit (not shown) and a distance information acquisition unit (not shown) are used. (Shown).
上述の例では、ロボット装置102は、距離情報を取得するためにステレオ撮像部103を備えているが、ステレオ撮像部103の代わりに、任意の撮像部(不図示)と距離情報取得部(不図示)とを備えていてもよい。 [Modification 4]
In the above example, the
距離情報取得部としては、例えば、LIDAR(Light Detection and Ranging)および赤外線TOF(Time of Flight)センサなどが挙げられる。撮像部から画像を取得し、距離情報取得部から距離情報を取得し、画像処理装置101に入力することで、ロボット装置102は、ステレオ撮像部103を備えている場合と同様の効果を得ることができる。
Examples of the distance information acquisition unit include a LIDAR (Light Detection and Ranging) and an infrared TOF (Time of Flight) sensor. By obtaining an image from the imaging unit, obtaining distance information from the distance information obtaining unit, and inputting the distance information to the image processing apparatus 101, the same effect as when the robot apparatus 102 includes the stereo imaging unit 103 can be obtained. Can be.
〔変形例5〕
上述の例では、ロボット装置102は、可視光カメラとしてのステレオ撮像部103を備えているが、可視光カメラの代わりに、赤外線カメラなどの非可視光カメラとしてのステレオ撮像部103を備えていてもよい。 [Modification 5]
In the above-described example, therobot apparatus 102 includes the stereo imaging unit 103 as a visible light camera. However, instead of the visible light camera, the robot apparatus 102 includes the stereo imaging unit 103 as an invisible light camera such as an infrared camera. Is also good.
上述の例では、ロボット装置102は、可視光カメラとしてのステレオ撮像部103を備えているが、可視光カメラの代わりに、赤外線カメラなどの非可視光カメラとしてのステレオ撮像部103を備えていてもよい。 [Modification 5]
In the above-described example, the
非可視光カメラとしてのステレオ撮像部103によって撮像された画像を画像処理装置101に入力することで、特に、反射率を特徴量および代表特徴量として好適に抽出することができる。また、この場合も、可視光カメラとしてのステレオ撮像部103を備えている場合と同様に、走行推奨領域設定部113が走行推奨領域および第3領域を設定することができる。
(4) By inputting an image captured by the stereo imaging unit 103 as an invisible light camera to the image processing apparatus 101, it is possible to suitably extract, in particular, the reflectance as a feature amount and a representative feature amount. Also in this case, similarly to the case where the stereo imaging unit 103 as the visible light camera is provided, the recommended traveling area setting unit 113 can set the recommended traveling area and the third area.
〔変形例6〕
上述の例では、ロボット装置102が走行する走行面(ロボット装置102が乗っている第1領域)が、カーペットなどの床面である場合について説明している。ただし、ロボット装置102の走行面としては、壁面、天井面および曲面のいずれであってもよい。このように、本実施形態に係るロボット装置102は、壁面、天井面および球状の物体などの曲面を走行するロボット装置102にも適用できる。 [Modification 6]
In the above example, the case where the traveling surface on which therobot device 102 travels (the first area on which the robot device 102 rides) is a floor surface such as a carpet is described. However, the running surface of the robot device 102 may be any of a wall surface, a ceiling surface, and a curved surface. As described above, the robot device 102 according to the present embodiment can be applied to the robot device 102 traveling on a curved surface such as a wall surface, a ceiling surface, and a spherical object.
上述の例では、ロボット装置102が走行する走行面(ロボット装置102が乗っている第1領域)が、カーペットなどの床面である場合について説明している。ただし、ロボット装置102の走行面としては、壁面、天井面および曲面のいずれであってもよい。このように、本実施形態に係るロボット装置102は、壁面、天井面および球状の物体などの曲面を走行するロボット装置102にも適用できる。 [Modification 6]
In the above example, the case where the traveling surface on which the
〔変形例7〕
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。また、上述の例では、ステレオ撮像部103の設置高さH[m]が一定の値である場合について説明している。 [Modification 7]
In the above example, when the installation height of thestereo imaging unit 103 is H [m] as shown in FIG. 6, the travelable area setting unit 110 uses the height H ± α [m] based on the distance information. Is set as a travelable area. In the above example, the case where the installation height H [m] of the stereo imaging unit 103 is a constant value is described.
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。また、上述の例では、ステレオ撮像部103の設置高さH[m]が一定の値である場合について説明している。 [Modification 7]
In the above example, when the installation height of the
これに対し、本実施形態では、走行可能領域設定部110は、ステレオ撮像部103の設置高さH[m]は一定の値でなくてもよい。例えば、ステレオ撮像部103がアームの先端に取り付けられており、アームを伸縮させてアームの高さを動的に変化させることで、ステレオ撮像部103の設置高さH[m]をH1[m]、H2[m]・・・のように複数の値として切り替えてもよい。
On the other hand, in the present embodiment, the travelable area setting unit 110 does not need to set the installation height H [m] of the stereo imaging unit 103 to a fixed value. For example, the stereo imaging unit 103 is attached to the tip of the arm, and the installation height H [m] of the stereo imaging unit 103 is set to H 1 [ m], H 2 [m],...
この場合、記憶部107は、アームの伸縮量とステレオ撮像部103の高さとの対応関係を記憶しておいてもよい。これにより、アームの高さが変化した際に、走行可能領域設定部110は、記憶部107から変更後のアームの高さに対応した高さH[m]を読み込むことで、高さH±α[m]の箇所を走行可能領域とし、それ以外の個所を第2領域として好適に設定できる。
In this case, the storage unit 107 may store the correspondence between the amount of expansion and contraction of the arm and the height of the stereo imaging unit 103. Accordingly, when the height of the arm changes, the travelable area setting unit 110 reads the height H [m] corresponding to the changed arm height from the storage unit 107, thereby obtaining the height H ± The position of α [m] can be suitably set as the travelable region, and other portions can be suitably set as the second region.
このように、ステレオ撮像部103の設置高さH[m]が動的に変化する場合であっても、例えば、上述のように、ステレオ撮像部103の設置高さH[m]を切り替えた際の値を記憶部107に記憶しておくことで、好適に走行可能領域および第2領域を設定できる。これにより、走行制御部106は、ステレオ撮像部103の高さに応じて好適に走行経路を決定することができる。その結果、ステレオ撮像部103の高さに応じて好適にロボット装置102を走行させることができる。
As described above, even when the installation height H [m] of the stereo imaging unit 103 dynamically changes, for example, the installation height H [m] of the stereo imaging unit 103 is switched as described above. By storing the values at this time in the storage unit 107, the travelable area and the second area can be suitably set. Thereby, the traveling control unit 106 can appropriately determine the traveling route according to the height of the stereo imaging unit 103. As a result, the robot device 102 can be suitably driven according to the height of the stereo imaging unit 103.
〔変形例8〕
上述の例では、ステレオ撮像部103は、第1撮像部108および第2撮像部109の光軸201が、ロボット装置102が乗っている第1領域202と平行になるように設置されているが、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されていてもよい。以下、図11を用いて光軸201が、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されている場合における、走行可能領域設定部110による走行可能領域および第2領域の設定方法について説明する。 [Modification 8]
In the above example, thestereo imaging unit 103 is installed such that the optical axis 201 of the first imaging unit 108 and the second imaging unit 109 is parallel to the first area 202 on which the robot device 102 is mounted. , May be installed to be inclined in a direction toward the first region 202 from a direction parallel to the first region 202. Hereinafter, referring to FIG. 11, when the optical axis 201 is installed to be inclined from the direction parallel to the first region 202 toward the first region 202, the travelable region by the travelable region setting unit 110 and the A method for setting the two areas will be described.
上述の例では、ステレオ撮像部103は、第1撮像部108および第2撮像部109の光軸201が、ロボット装置102が乗っている第1領域202と平行になるように設置されているが、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されていてもよい。以下、図11を用いて光軸201が、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されている場合における、走行可能領域設定部110による走行可能領域および第2領域の設定方法について説明する。 [Modification 8]
In the above example, the
図11は、光軸201が第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されている場合の走行可能領域設定部110による走行可能領域の設定方法について説明するための図である。図11に示すように第1撮像部108および第2撮像部109の光軸201を、画像における第1領域202の占める割合を増やすために、ロボット装置102が乗っている第1領域202の方向に傾けて設置している。
FIG. 11 illustrates a method of setting a travelable area by the travelable area setting unit 110 in a case where the optical axis 201 is installed to be inclined in a direction from the direction parallel to the first area 202 to the first area 202. FIG. As shown in FIG. 11, the optical axis 201 of the first imaging unit 108 and the second imaging unit 109 is moved in the direction of the first region 202 on which the robot device 102 rides in order to increase the proportion of the first region 202 in the image. Installed at an angle.
この場合、図11に示すように、第1領域202と光軸201との間の距離l[m]は一定ではないため、ステレオ撮像部103と被写体との間の距離(距離情報)d[m]に応じて算出する必要がある。ここで、図11に示すように、第1領域202と光軸201との距離l[m]は、傾き角θ[rad]とすると、式(8)のように算出することができる。
In this case, as shown in FIG. 11, since the distance l [m] between the first area 202 and the optical axis 201 is not constant, the distance (distance information) d [distance information) between the stereo imaging unit 103 and the subject. m]. Here, as shown in FIG. 11, the distance l [m] between the first region 202 and the optical axis 201 can be calculated as in Expression (8), where the inclination angle is θ [rad].
走行可能領域設定部110は、距離(距離情報)d[m]ごとに、式(8)として算出された第1領域202と光軸201との間の距離l[m]に基づき、距離l±α[m]の範囲の点を抽出することで走行可能領域を設定し、当該範囲外の点を抽出することで第2領域を設定することができる。
The travelable area setting unit 110 calculates the distance l based on the distance l [m] between the first area 202 and the optical axis 201 calculated as Expression (8) for each distance (distance information) d [m]. The travelable area can be set by extracting points in the range of ± α [m], and the second area can be set by extracting points outside the range.
このように、ステレオ撮像部103を第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置することで、ロボット装置102が乗っている第1領域202と平行に設置する場合よりも第1領域202を撮像しやすくすることができる。また、画像における第1領域202の占める割合を増やすことができる。また、この場合も、走行可能領域および第2領域を好適に設定することができる。これにより、走行制御部106は、ステレオ撮像部103の向きに応じて好適に走行経路を決定することができる。その結果、ステレオ撮像部103の向きに応じて好適にロボット装置102を走行させることができる。
As described above, when the stereo imaging unit 103 is installed to be inclined from the direction parallel to the first area 202 to the direction toward the first area 202, the stereo imaging unit 103 is installed in parallel with the first area 202 on which the robot apparatus 102 is mounted. The first region 202 can be more easily imaged than in the first embodiment. Further, the proportion of the first area 202 in the image can be increased. Also in this case, the travelable area and the second area can be set appropriately. Thereby, the traveling control unit 106 can appropriately determine the traveling route according to the direction of the stereo imaging unit 103. As a result, the robot apparatus 102 can be suitably driven according to the direction of the stereo imaging unit 103.
〔変形例9〕
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。ただし、走行可能領域設定部110は、距離情報に基づき、ステレオ撮像部103によって撮像された画像中の平面を推定し、当該平面の結果から走行可能領域を設定してもよい。まず、距離情報を上述の式(1)および以下の式(9)を用いて3次元点(x、y、d)に変換する。 [Modification 9]
In the above example, when the installation height of thestereo imaging unit 103 is H [m] as shown in FIG. 6, the travelable area setting unit 110 uses the height H ± α [m] based on the distance information. Is set as a travelable area. However, the travelable area setting unit 110 may estimate a plane in the image captured by the stereo imaging unit 103 based on the distance information, and may set the travelable area based on the result of the plane. First, the distance information is converted into a three-dimensional point (x, y, d) using the above equation (1) and the following equation (9).
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。ただし、走行可能領域設定部110は、距離情報に基づき、ステレオ撮像部103によって撮像された画像中の平面を推定し、当該平面の結果から走行可能領域を設定してもよい。まず、距離情報を上述の式(1)および以下の式(9)を用いて3次元点(x、y、d)に変換する。 [Modification 9]
In the above example, when the installation height of the
ここで、u[ピクセル]はステレオ撮像部103によって撮像された画像上のX軸方向の位置、wは画像の横画素数[ピクセル]を表す。まず、走行可能領域設定部110は、距離情報の全画素に対し式(1)および(9)を適用して3次元点群を生成する。次に、走行可能領域設定部110は、生成した3次元点群の主成分を分析し、当該分析によって得られた第三主成分ベクトルを式(10)に示すような法線ベクトルとする。次に、走行可能領域設定部110は、当該法線ベクトルに基づき、式(11)に示すような3次元点群の重心(x0、y0、d0)を通る平面の方程式を算出する。
Here, u [pixel] represents the position in the X-axis direction on the image captured by the stereo imaging unit 103, and w represents the number of horizontal pixels [pixel] of the image. First, the travelable region setting unit 110 generates a three-dimensional point group by applying Expressions (1) and (9) to all pixels of the distance information. Next, the travelable area setting unit 110 analyzes the principal components of the generated three-dimensional point group, and sets the third principal component vector obtained by the analysis as a normal vector as shown in Expression (10). Next, the travelable area setting unit 110 calculates an equation of a plane passing through the center of gravity (x 0 , y 0 , d 0 ) of the three-dimensional point group as shown in Expression (11) based on the normal vector. .
式(11)に示す平面は、3次元点群における支配的な平面、すなわち、ロボット装置102が乗っている第1領域202の面である。そのため、走行可能領域設定部110は、当該平面と3次元点(x、y、d)との距離を算出し、所定の範囲の距離に収まる3次元点の領域を走行可能領域として設定する。当該平面と3次元点(x、y、d)との距離gは以下の式(12)のように算出することができる。
平面 The plane shown in Expression (11) is the dominant plane in the three-dimensional point cloud, that is, the plane of the first area 202 on which the robot device 102 is riding. Therefore, the travelable area setting unit 110 calculates the distance between the plane and the three-dimensional point (x, y, d), and sets the area of the three-dimensional point within a predetermined range as the travelable area. The distance g between the plane and the three-dimensional point (x, y, d) can be calculated as in the following equation (12).
距離gが0に近いほど、3次元点(x、y、d)は第1領域202の面に近い位置にあることを意味する。すなわち、走行可能領域設定部110は、距離gが±α以内である3次元点を含む範囲を走行可能領域として設定し、当該範囲外を第2領域として設定する。
ほ ど The closer the distance g is to 0, the closer the three-dimensional point (x, y, d) is to the surface of the first area 202. That is, the travelable area setting unit 110 sets a range including a three-dimensional point whose distance g is within ± α as the travelable area, and sets the area outside the range as the second area.
このように、走行可能領域設定部110は、距離情報に基づき画像中の平面を推定し、推定された平面の結果から走行可能領域および第2領域を設定することで、ステレオ撮像部103の設置高さH[m]の値が変化しても、走行可能領域および第2領域を好適に設定できる。これにより、走行制御部106は、ステレオ撮像部103の高さに応じて走行経路を決定することができる。その結果、ステレオ撮像部103の高さに応じて好適にロボット装置102を走行させることができる。
As described above, the travelable area setting unit 110 estimates the plane in the image based on the distance information, and sets the travelable area and the second area based on the result of the estimated plane, thereby setting the stereo imaging unit 103. Even if the value of the height H [m] changes, the travelable area and the second area can be set appropriately. Thereby, the traveling control unit 106 can determine the traveling route according to the height of the stereo imaging unit 103. As a result, the robot device 102 can be suitably driven according to the height of the stereo imaging unit 103.
〔変形例10〕
上述の例では、代表特徴量抽出部112は、図7の(a)に示すように、あらかじめ設定された領域701における色相ヒストグラムを作成している。ただし、本実施形態では、画像処理装置101は操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に代表特徴量を抽出するための領域701を設定してもよい。 [Modification 10]
In the above-described example, the representative featurequantity extraction unit 112 creates a hue histogram in the region 701 set in advance as shown in FIG. However, in the present embodiment, the image processing apparatus 101 further includes the operation unit 1000, and the user may arbitrarily set an area 701 for extracting the representative feature amount via the operation unit 1000.
上述の例では、代表特徴量抽出部112は、図7の(a)に示すように、あらかじめ設定された領域701における色相ヒストグラムを作成している。ただし、本実施形態では、画像処理装置101は操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に代表特徴量を抽出するための領域701を設定してもよい。 [Modification 10]
In the above-described example, the representative feature
例えば、画像処理装置101はユーザインタフェース機能を有する表示部1010(不図示)をさらに備えており、当該表示部1010を介してユーザが任意に領域701を選択できるようにしてもよい。より具体的には、図10に示すように、表示部1010が基準画像301を表示している場合、ユーザは基準画像301をタッチすることで図7に示すような領域701を基準画像301上で選択してもよい。
For example, the image processing apparatus 101 may further include a display unit 1010 (not shown) having a user interface function, and the user may arbitrarily select the area 701 via the display unit 1010. More specifically, as shown in FIG. 10, when the display unit 1010 displays the reference image 301, the user touches the reference image 301 to place an area 701 shown in FIG. May be selected.
一態様において、ユーザが任意に領域701を選択した場合、ロボット装置102は、選択された領域701が適切な位置、大きさで撮像されるように、ステレオ撮像部103の画角、設置高さおよび設置角度などを設定する。これにより、代表特徴量抽出部112は、ユーザが任意に領域701を設定した場合であっても、代表特徴量を好適に設定することができる。
In one aspect, when the user arbitrarily selects the area 701, the robot apparatus 102 sets the angle of view and the installation height of the stereo imaging unit 103 so that the selected area 701 is imaged at an appropriate position and size. And set the installation angle. Accordingly, the representative feature amount extraction unit 112 can appropriately set the representative feature amount even when the user arbitrarily sets the region 701.
なお、上述の例では、領域701の形は四角形であるが、四角形でなくてもよく、例えば、多角形または丸などであってもよい。また、代表特徴量抽出部112は、走行可能領域のうち、任意の領域から代表特徴量を抽出してもよい。このように、代表特徴量抽出部112が任意の領域から代表特徴量を抽出することで、走行可能領域全域から特徴量の統計量に基づいて代表特徴量を抽出することができる。走行推奨領域設定部113が、このように抽出した代表特徴量に基づいて、走行推奨領域および第3領域を設定することにより、走行制御部106は、より正確に走行面(第1領域)を特定して走行経路を決定することができる。
In the above-described example, the shape of the region 701 is a square, but may not be a square, and may be, for example, a polygon or a circle. In addition, the representative feature amount extraction unit 112 may extract a representative feature amount from an arbitrary region in the travelable region. As described above, the representative feature amount extraction unit 112 extracts the representative feature amount from an arbitrary region, so that the representative feature amount can be extracted from the entire travelable region based on the statistical amount of the feature amount. The recommended travel area setting unit 113 sets the recommended travel area and the third area based on the representative feature amounts extracted in this manner, so that the travel control unit 106 more accurately sets the travel plane (first area). The traveling route can be determined by specifying the traveling route.
〔変形例11〕
上述の例では、代表特徴量抽出部112は、入力された画像ごとに代表特徴量を抽出しているが、複数の画像から代表特徴量を抽出してもよい。 [Modification 11]
In the above example, the representative featureamount extraction unit 112 extracts a representative feature amount for each input image, but may extract a representative feature amount from a plurality of images.
上述の例では、代表特徴量抽出部112は、入力された画像ごとに代表特徴量を抽出しているが、複数の画像から代表特徴量を抽出してもよい。 [Modification 11]
In the above example, the representative feature
複数の画像から代表特徴量を抽出する方法としては、各々の画像から抽出された代表特徴量を組み合わせる方法、および、各々の画像から抽出された特徴量全てに基づいて代表特徴量を抽出する方法が挙げられる。
As a method of extracting a representative feature from a plurality of images, a method of combining representative features extracted from each image, and a method of extracting a representative feature based on all the features extracted from each image are used. Is mentioned.
複数の画像から代表特徴量を抽出することで、ロボット装置102が停止している間に時間が経過した場合に、代表特徴量抽出部112は、特徴量の統計量に基づいて代表特徴量を抽出できる。また、ロボット装置102の移動に伴い、時間の経過に加えて被写体の撮像範囲が経過した場合も、代表特徴量抽出部112は、特徴量の統計量に基づいて代表特徴量を抽出できる。
By extracting a representative feature from a plurality of images, the representative feature extractor 112 extracts the representative feature based on the statistics of the feature when the time has elapsed while the robot apparatus 102 is stopped. Can be extracted. Also, when the imaging range of the subject elapses in addition to the elapse of time due to the movement of the robot apparatus 102, the representative feature amount extraction unit 112 can extract the representative feature amount based on the statistical amount of the feature amount.
ステレオ撮像部103が走行面(第1領域)に近い位置に設置されている場合、1度の撮像では、代表特徴量抽出部112は、狭い範囲の特徴量の統計量に基づいて代表特徴量を抽出しなければならない。これに対し、ステレオ撮像部103が複数の画像を撮像した場合、代表特徴量抽出部112は、広範囲の代表特徴量の統計量に基づいて代表特徴量を抽出することができる。
When the stereo imaging unit 103 is installed at a position close to the running surface (first area), in one-time imaging, the representative feature amount extraction unit 112 uses the representative feature amount based on the statistic of the feature amount in a narrow range. Must be extracted. On the other hand, when the stereo imaging unit 103 captures a plurality of images, the representative feature amount extraction unit 112 can extract the representative feature amount based on the statistics of the representative feature amount over a wide range.
また、代表特徴量抽出部112は、任意の時間間隔をあけて代表特徴量を抽出してもよい。この場合、例えば、ステレオ撮像部103がハイスピード撮影を行っている状態で、代表特徴量抽出部112は、1秒おき、または5秒おきの画像に基づいて代表特徴量を抽出した代表特徴量を記憶部107に記憶する。また、走行推奨領域設定部113は、記憶部107が記憶している代表特徴量を取得し、走行推奨領域を設定する。
(4) The representative feature quantity extraction unit 112 may extract the representative feature quantity at an arbitrary time interval. In this case, for example, while the stereo imaging unit 103 is performing high-speed shooting, the representative feature amount extraction unit 112 extracts a representative feature amount based on an image every one second or every five seconds. Is stored in the storage unit 107. Further, the recommended traveling area setting unit 113 acquires the representative feature amount stored in the storage unit 107 and sets the recommended traveling area.
上述のように、代表特徴量抽出部112が任意の時間間隔を空けて代表特徴量を抽出することで、短い時間間隔の間で変化した代表特徴量を抽出することを防ぐことができるため、走行推奨領域設定部113は、好適に代表特徴量を設定することができる。これにより、走行制御部106は、複数の画像を参照し、好適に走行経路を決定することができる。その結果、ロボット装置102をより安定して走行させることができる。
As described above, since the representative feature amount extraction unit 112 extracts the representative feature amount at an arbitrary time interval, it is possible to prevent the representative feature amount changed during a short time interval from being extracted. The recommended traveling area setting unit 113 can appropriately set the representative feature amount. Thereby, the traveling control unit 106 can appropriately determine the traveling route with reference to the plurality of images. As a result, the robot device 102 can travel more stably.
なお、代表特徴量抽出部112は、代表特徴量に対して、時間軸方向に平滑化フィルタまたはメディアンフィルタなどが施してもよく、このようなフィルタを代表特徴量に施すことで代表特徴量の時間の経過による急激な変化を抑えることができる。
Note that the representative feature amount extraction unit 112 may apply a smoothing filter or a median filter in the time axis direction to the representative feature amount. By applying such a filter to the representative feature amount, the representative feature amount may be calculated. Abrupt changes over time can be suppressed.
〔ソフトウェアによる実現例〕
ロボット装置102の制御ブロック(特に、ステレオ撮像部103、走行部105、走行制御部106、ならびに、画像処理装置101おける走行可能領域設定部110、特徴量抽出部111、代表特徴量抽出部112および走行推奨領域設定部113)は、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。 [Example of software implementation]
The control blocks of the robot device 102 (particularly, thestereo imaging unit 103, the traveling unit 105, the traveling control unit 106, the travelable area setting unit 110 in the image processing device 101, the feature amount extracting unit 111, the representative feature amount extracting unit 112, The recommended traveling area setting unit 113) may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
ロボット装置102の制御ブロック(特に、ステレオ撮像部103、走行部105、走行制御部106、ならびに、画像処理装置101おける走行可能領域設定部110、特徴量抽出部111、代表特徴量抽出部112および走行推奨領域設定部113)は、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。 [Example of software implementation]
The control blocks of the robot device 102 (particularly, the
後者の場合、ロボット装置102は、各機能を実現するソフトウェアである走行プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記走行プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。また、このコンピュータは、OS(Operating System)および周辺機器などのハードウェアも備えている。そして、上記コンピュータにおいて、上記プロセッサが上記走行プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。
In the latter case, the robot device 102 includes a computer that executes instructions of a running program, which is software for realizing each function. The computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the running program. The computer also includes hardware such as an operating system (OS) and peripheral devices. In the computer, the object of the present invention is achieved when the processor reads the running program from the recording medium and executes the running program.
上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)およびCD-ROMなどの可搬媒体、テープ、フレキシブルディスクおよび光磁気ディスクなどのディスク、カード、半導体メモリ、プログラマブルな論理回路、ならびに、コンピュータシステムに内蔵されるハードディスクなどを用いることができる。上記コンピュータ読み取り可能な記録媒体としては、インターネットなどのネットワーク、および、電話回線などの通信回線を介して走行プログラムを送信する場合の通信線のように、短時間の間、動的に走行プログラムを保持するもの、ならびに、サーバおよびクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間走行プログラムを保持しているものが挙げられる。
CPU As the processor, for example, a CPU (Central Processing Unit) can be used. Examples of the recording medium include “temporary tangible media”, for example, portable media such as ROM (Read Only Memory) and CD-ROM, disks such as tapes, flexible disks and magneto-optical disks, cards, semiconductor memories, A programmable logic circuit, a hard disk incorporated in a computer system, or the like can be used. Examples of the computer-readable recording medium include a network such as the Internet, and a communication program such as a communication line for transmitting a driving program via a communication line such as a telephone line. One that stores the running program, and another that stores the running program for a certain period of time, such as a volatile memory inside a computer system serving as a server and a client.
また、ロボット装置102は、上記走行プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記走行プログラムは、該走行プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波など)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記走行プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
The robot device 102 may further include a RAM (Random Access Memory) for expanding the traveling program. Further, the traveling program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the traveling program. One embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the traveling program is embodied by electronic transmission.
また、ロボット装置102の一部、または全部を典型的には集積回路であるLSIとして実現してもよい。この場合、ロボット装置102の制御ブロックを個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
一部 Alternatively, part or all of the robot device 102 may be realized as an LSI which is typically an integrated circuit. In this case, the control blocks of the robot device 102 may be individually formed into chips, or some or all of the control blocks may be integrated into a chip. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where a technology for forming an integrated circuit that replaces an LSI appears due to the progress of semiconductor technology, an integrated circuit based on this technology can be used.
また、上述の実施形態において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上、必ずしも全ての制御線および情報線を示しているとは限らず、全ての構成が相互に接続されていてもよい。
Further, in the above-described embodiment, the control lines and the information lines indicate what is considered to be necessary for the explanation, and not all the control lines and the information lines are necessarily shown on the product. May be connected to each other.
〔まとめ〕
本発明の態様1に係る走行装置(ロボット装置102)は、走行部(105)と、前記走行部が乗っている第1領域(202、406)との間に段差を有する第2領域(407、3021)を避ける第1基準、ならびに、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域(408、3023)を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路(経路403、404、405、411)を決定する走行制御部(106)と、を備えている。 [Summary]
The traveling device (robot device 102) according to the first aspect of the present invention includes a second region (407) having a step between the traveling portion (105) and the first regions (202, 406) on which the traveling portion rides. , 3021), and a second criterion for avoiding a third region (408, 3023) that differs from the first region in at least one of color, pattern, and light reflectance. A travel control unit (106) that determines a travel route ( routes 403, 404, 405, and 411) of the travel unit by giving priority to the first reference over two references.
本発明の態様1に係る走行装置(ロボット装置102)は、走行部(105)と、前記走行部が乗っている第1領域(202、406)との間に段差を有する第2領域(407、3021)を避ける第1基準、ならびに、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域(408、3023)を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路(経路403、404、405、411)を決定する走行制御部(106)と、を備えている。 [Summary]
The traveling device (robot device 102) according to the first aspect of the present invention includes a second region (407) having a step between the traveling portion (105) and the first regions (202, 406) on which the traveling portion rides. , 3021), and a second criterion for avoiding a third region (408, 3023) that differs from the first region in at least one of color, pattern, and light reflectance. A travel control unit (106) that determines a travel route (
上記の構成によれば、好適な走行経路を走行させることができる。
According to the above configuration, it is possible to make the vehicle travel on a suitable travel route.
本発明の態様2に係る走行装置は、上記態様1において、撮像装置(ステレオ撮像部103、第1撮像部108、第2撮像部109)をさらに備え、前記走行制御部は、前記撮像装置が撮像した画像を参照して、前記走行部の走行経路を決定するようになっていてもよい。
The traveling device according to an aspect 2 of the present invention, in the aspect 1, further includes an imaging device (a stereo imaging unit 103, a first imaging unit 108, and a second imaging unit 109), and the traveling control unit includes an imaging device. The traveling route of the traveling unit may be determined with reference to the captured image.
上記の構成によれば、撮像画像を参照して、第1基準および第2基準について好適に判断し、走行経路を決定することができる。
According to the above configuration, it is possible to suitably determine the first criterion and the second criterion and determine the traveling route with reference to the captured image.
本発明の態様3に係る走行装置は、上記態様2において、前記走行制御部は、前記撮像装置が撮像した画像に対応する距離情報をさらに参照して、前記走行部の走行経路を決定するものであってもよい。
In the traveling device according to a third aspect of the present invention, in the second aspect, the traveling control unit determines a traveling route of the traveling unit by further referring to distance information corresponding to an image captured by the imaging device. It may be.
上記の構成によれば、距離情報を参照して、第1基準について好適に判断し、走行経路を決定することができる。
According to the above configuration, the first reference can be appropriately determined with reference to the distance information, and the traveling route can be determined.
本発明の態様4に係る走行装置は、上記態様1~3のいずれか1つにおいて、前記第3領域を設定するためのユーザの選択を受け付ける操作部(1000)をさらに備え、前記走行制御部は、前記選択の結果を参照して設定した第3領域に基づいて、前記走行経路を決定するようになっていてもよい。
The traveling device according to a fourth aspect of the present invention is the traveling device according to any one of the first to third aspects, further comprising an operation unit (1000) for receiving a user selection for setting the third area. May determine the travel route based on a third area set with reference to the result of the selection.
上記の構成によれば、ユーザは操作部を介して、第3領域を設定するための選択を入力することができる。これにより、より好適に第3領域を設定し、走行経路を決定することができる。
According to the above configuration, the user can input a selection for setting the third area via the operation unit. This makes it possible to set the third area more suitably and determine the traveling route.
本発明の態様5に係る走行装置は、上記態様1~4のいずれか1つにおいて、前記第1領域は、床面、壁面、天井面および曲面のいずれかであってもよい。
In the traveling device according to a fifth aspect of the present invention, in any one of the first to fourth aspects, the first region may be any one of a floor surface, a wall surface, a ceiling surface, and a curved surface.
上記の構成によれば、壁面、天井面および球状の物体などの曲面を走行する走行装置にも適用できる。
According to the above configuration, the present invention can be applied to a traveling device that travels on a curved surface such as a wall surface, a ceiling surface, and a spherical object.
本発明の態様6に係る走行装置は、上記態様2または3において、前記走行制御部は、前記撮像装置の高さに応じて設定した前記第2領域に基づいて、前記走行経路を決定してもよい。
In the traveling device according to an aspect 6 of the present invention, in the aspect 2 or 3, the traveling control unit determines the traveling route based on the second area set according to a height of the imaging device. Is also good.
上記の構成によれば、撮像装置の高さに応じて好適に第2領域を設定し、走行経路を決定することができる。
According to the configuration described above, it is possible to suitably set the second area according to the height of the imaging device and determine the traveling route.
本発明の態様7に係る走行装置は、上記態様6において、前記撮像装置は、前記第1領域と平行な方向から前記第1領域に向かう方向に傾けて設置されており、前記走行制御部は、さらに前記撮像装置の傾き角に応じて設定した前記第2領域に基づいて、前記走行経路を決定してもよい。
The traveling device according to a seventh aspect of the present invention is the traveling device according to the sixth aspect, wherein the imaging device is installed to be inclined from a direction parallel to the first region toward the first region. Further, the travel route may be determined based on the second area set according to the tilt angle of the imaging device.
上記の構成によれば、撮像装置を傾けて、第1領域を好適に撮像するとともに、撮像装置の高さおよび傾きに応じて好適に第2領域を設定し、走行経路を決定することができる。
According to the above configuration, the imaging device can be tilted to appropriately capture the first region, and the second region can be appropriately set according to the height and the tilt of the imaging device, and the traveling route can be determined. .
本発明の態様8に係る走行装置の制御方法は、走行部を備えた走行装置の制御方法であって、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、前記第2基準よりも前記第1基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップを包含している。
A method for controlling a traveling device according to an eighth aspect of the present invention is a method for controlling a traveling device including a traveling unit, and avoids a second region having a step between the first region on which the traveling unit rides. The first criterion is set to be higher than the second criterion based on a first criterion and a second criterion that avoids a third territory in which at least one of the color, the pattern, and the reflectance of light differs from the first territory It includes a traveling step in which the traveling unit travels along a traveling route determined with priority.
上記の構成によれば、本発明の一態様に係る走行装置と同様の効果を奏する。
According to the configuration described above, the same advantages as those of the traveling device according to one embodiment of the present invention can be obtained.
本発明の各態様に係る走行装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記走行装置が備える各部(ソフトウェア要素)として動作させることにより前記走行装置をコンピュータにて実現させる走行装置の走行プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
The traveling device according to each aspect of the present invention may be implemented by a computer. In this case, the traveling device is implemented by a computer by operating the computer as each unit (software element) included in the traveling device. The traveling program of the traveling device and a computer-readable recording medium recording the traveling program are also included in the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
The present invention is not limited to the above embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining the technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
Claims (10)
- 走行部と、
前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準、ならびに
前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準に基づき、
前記第2基準よりも前記第1基準を優先して前記走行部の走行経路を決定する走行制御部と、を備えていることを特徴とする走行装置。 Traveling part,
A first criterion for avoiding a second area having a step between the first area and the first area on which the traveling section is riding; and a third criterion different from the first area in at least one of color, pattern, and light reflectance. Based on the second criterion to avoid territories,
A traveling control unit that determines a traveling route of the traveling unit by giving priority to the first reference over the second reference. - 撮像装置をさらに備え、
前記走行制御部は、前記撮像装置が撮像した画像を参照して、前記走行部の走行経路を決定することを特徴とする請求項1に記載の走行装置。 Further comprising an imaging device,
The traveling device according to claim 1, wherein the traveling control unit determines a traveling route of the traveling unit with reference to an image captured by the imaging device. - 前記走行制御部は、前記撮像装置が撮像した画像に対応する距離情報をさらに参照して、前記走行部の走行経路を決定することを特徴とする請求項2に記載の走行装置。 The travel device according to claim 2, wherein the travel control unit determines the travel route of the travel unit by further referring to distance information corresponding to an image captured by the imaging device.
- 第3領域を設定するためのユーザの選択を受け付ける操作部をさらに備え、
前記走行制御部は、前記選択の結果を参照して設定した前記第3領域に基づいて、前記走行経路を決定することを特徴とする請求項1~3の何れか一項に記載の走行装置。 An operation unit that receives a user's selection for setting the third area;
The traveling device according to any one of claims 1 to 3, wherein the traveling control unit determines the traveling route based on the third area set with reference to a result of the selection. . - 前記第1領域は、床面、壁面、天井面および曲面のいずれかであることを特徴とする請求項1~4のいずれか1項に記載の走行装置。 The traveling device according to any one of claims 1 to 4, wherein the first region is any one of a floor surface, a wall surface, a ceiling surface, and a curved surface.
- 前記走行制御部は、前記撮像装置の高さに応じて設定した前記第2領域に基づいて、前記走行経路を決定することを特徴とする請求項2または3に記載の走行装置。 4. The travel device according to claim 2, wherein the travel control unit determines the travel route based on the second area set according to a height of the imaging device. 5.
- 前記撮像装置は、前記第1領域と平行な方向から前記第1領域に向かう方向に傾けて設置されており、
前記走行制御部は、さらに前記撮像装置の傾き角に応じて設定した前記第2領域に基づいて、前記走行経路を決定することを特徴とする請求項6に記載の走行装置。 The imaging device is installed to be inclined in a direction toward the first region from a direction parallel to the first region,
The traveling device according to claim 6, wherein the traveling control unit further determines the traveling route based on the second area set according to an inclination angle of the imaging device. - 走行部を備えた走行装置の制御方法であって、
前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、前記第2基準よりも前記第1基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップ
を包含していることを特徴とする走行装置の制御方法。 A control method of a traveling device including a traveling unit,
A first criterion for avoiding a second area having a step between the first area and the first area on which the traveling unit rides; And a second step of avoiding an area. The step includes a step of traveling by the traveling unit along a traveling route determined based on the first criteria prior to the second criteria based on the second criteria. Control method of traveling device. - 請求項1~7のいずれか1項に記載の走行装置としてコンピュータを機能させるための走行プログラムであって、前記走行制御部として前記コンピュータを機能させるための走行プログラム。 A traveling program for causing a computer to function as the traveling device according to any one of claims 1 to 7, wherein the traveling program causes the computer to function as the traveling control unit.
- 請求項9に記載の走行プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the traveling program according to claim 9 is recorded.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119275A JP2021170147A (en) | 2018-06-22 | 2018-06-22 | Traveling device, control method of traveling device, traveling program and recording medium |
JP2018-119275 | 2018-06-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019244542A1 true WO2019244542A1 (en) | 2019-12-26 |
Family
ID=68983560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/020039 WO2019244542A1 (en) | 2018-06-22 | 2019-05-21 | Travel device, method for control of travel device, travel program, and recording medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021170147A (en) |
WO (1) | WO2019244542A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116993879A (en) * | 2023-07-03 | 2023-11-03 | 广州极点三维信息科技有限公司 | Method for automatically avoiding obstacle and distributing light, electronic equipment and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07248820A (en) * | 1994-03-10 | 1995-09-26 | Tech Res & Dev Inst Of Japan Def Agency | Autonomous running system for robot moving on unleveled ground |
JP2002323925A (en) * | 2001-04-26 | 2002-11-08 | Matsushita Electric Ind Co Ltd | Moving working robot |
JP2011145924A (en) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | Moving device and method |
JP2012185619A (en) * | 2011-03-04 | 2012-09-27 | Toyota Motor Corp | Movable body mapping device and processing method and program therefor |
JP2016189172A (en) * | 2015-03-30 | 2016-11-04 | 株式会社クボタ | Automatic traveling information management system |
-
2018
- 2018-06-22 JP JP2018119275A patent/JP2021170147A/en active Pending
-
2019
- 2019-05-21 WO PCT/JP2019/020039 patent/WO2019244542A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07248820A (en) * | 1994-03-10 | 1995-09-26 | Tech Res & Dev Inst Of Japan Def Agency | Autonomous running system for robot moving on unleveled ground |
JP2002323925A (en) * | 2001-04-26 | 2002-11-08 | Matsushita Electric Ind Co Ltd | Moving working robot |
JP2011145924A (en) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | Moving device and method |
JP2012185619A (en) * | 2011-03-04 | 2012-09-27 | Toyota Motor Corp | Movable body mapping device and processing method and program therefor |
JP2016189172A (en) * | 2015-03-30 | 2016-11-04 | 株式会社クボタ | Automatic traveling information management system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116993879A (en) * | 2023-07-03 | 2023-11-03 | 广州极点三维信息科技有限公司 | Method for automatically avoiding obstacle and distributing light, electronic equipment and storage medium |
CN116993879B (en) * | 2023-07-03 | 2024-03-12 | 广州极点三维信息科技有限公司 | Method for automatically avoiding obstacle and distributing light, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2021170147A (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12008778B2 (en) | Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system | |
KR102109941B1 (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera | |
US9504369B2 (en) | Cleaning robot and control method thereof | |
CN110852312B (en) | Cliff detection method, mobile robot control method, and mobile robot | |
JP4650079B2 (en) | Object detection apparatus and method | |
US9424649B1 (en) | Moving body position estimation device and moving body position estimation method | |
JP2010237169A (en) | Automatic tracking method and surveying device | |
KR100879623B1 (en) | Automated wide area surveillance system using ptz camera and method therefor | |
US20160337626A1 (en) | Projection apparatus | |
US11009882B2 (en) | Method, system for obstacle detection and a sensor subsystem | |
EP3113145B1 (en) | Local location computation device and local location computation method | |
JP5827508B2 (en) | Obstacle detection device for vehicle and vehicle using the same | |
JP4644992B2 (en) | Human body detection method using range image | |
JP2007234019A (en) | Vehicle image area specifying device and method for it | |
JP2009053818A (en) | Image processor and method thereof | |
KR102257746B1 (en) | Method for controlling robot group and system thereof | |
JP3562250B2 (en) | Leading vehicle detection device | |
JP6811661B2 (en) | Mobile imager and mobile | |
JP2006260098A (en) | Obstacle detection unit | |
WO2019244542A1 (en) | Travel device, method for control of travel device, travel program, and recording medium | |
JP2016042226A (en) | Traffic light detection device and traffic light detection method | |
JP3812384B2 (en) | Leading vehicle recognition device | |
JP2002036987A (en) | Vehicle surrounding monitoring device | |
JP2005025497A (en) | Sign recognizing device | |
JP2004280194A (en) | Forward monitor and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19822203 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19822203 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |