WO2019244542A1 - Travel device, method for control of travel device, travel program, and recording medium - Google Patents

Travel device, method for control of travel device, travel program, and recording medium Download PDF

Info

Publication number
WO2019244542A1
WO2019244542A1 PCT/JP2019/020039 JP2019020039W WO2019244542A1 WO 2019244542 A1 WO2019244542 A1 WO 2019244542A1 JP 2019020039 W JP2019020039 W JP 2019020039W WO 2019244542 A1 WO2019244542 A1 WO 2019244542A1
Authority
WO
WIPO (PCT)
Prior art keywords
traveling
area
unit
travel
region
Prior art date
Application number
PCT/JP2019/020039
Other languages
French (fr)
Japanese (ja)
Inventor
奈保 徳井
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2019244542A1 publication Critical patent/WO2019244542A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • an area that is not the second area is referred to as a travelable area as an area where the robot apparatus 102 can travel, and an area that is neither the second area nor the third area is recommended to travel by the robot apparatus 102.
  • the area is referred to as a recommended travel area. That is, the first criterion for avoiding the second area is, in other words, determining a traveling route so as to travel in the travelable area, and the second criterion for avoiding the third area is, in other words, traveling.
  • the travel route is determined so as to travel in the recommended area.
  • the recommended travel region setting unit 113 converts the feature amount extracted by the feature amount extraction unit 111 and the representative feature amount extracted by the representative feature amount extraction unit 112 from the possible travel region set by the possible travel region setting unit 110. Based on this, a traveling recommended area and a third area are set.
  • the feature amount extraction unit 111 extracts a combination of hue, luminance, texture distribution, and light reflectance as a feature amount, so that the representative feature amount extraction unit 112 can set a higher recommended travel area. Can be set to accuracy. For example, it is assumed that the first area (running surface) is a blue carpet, and blue paper (third area) having a pattern different from that of the blue carpet is dropped on the running surface.
  • the representative feature extraction unit 112 extracts a representative feature based on hue or luminance from among the features extracted by the feature extraction unit 111, so that the stain on the blue carpet can be appropriately identified. Can be. Therefore, the representative feature quantity extraction unit 112 can set the travel recommended area with higher accuracy by the feature quantity extraction unit 111 extracting a plurality of feature quantities.
  • the recommended travel area setting unit 113 performs a logical OR operation on the recommended travel area set based on the representative feature value of hue and the recommended travel area set based on the representative feature value of luminance.
  • the recommended traveling area can be set.
  • the recommended travel area setting unit 113 clearly divides the travelable area into two types, the recommended travel area and the third area.
  • An index value may be set as an index indicating whether the area is the travel recommended area or the third area.
  • the traveling control unit 106 determines a traveling route with reference to the index value.
  • the hue of the hue h r h o may be set an index value based on the first mode to lower the higher the index value portion are offset.
  • the image processing apparatus 101 further includes an operation unit 1000 (not shown), and the user can arbitrarily set the index value in any one of the first mode and the second mode via the operation unit 1000.
  • the setting or the setting may be switched.
  • the user can arbitrarily select a method for setting the recommended travel area and the third area in which the robot apparatus 102 is recommended to travel via the operation unit 1000.
  • the installation height H [m] of the stereo imaging unit 103 dynamically changes, for example, the installation height H [m] of the stereo imaging unit 103 is switched as described above.
  • the travelable area and the second area can be suitably set.
  • the traveling control unit 106 can appropriately determine the traveling route according to the height of the stereo imaging unit 103.
  • the robot device 102 can be suitably driven according to the height of the stereo imaging unit 103.
  • u [pixel] represents the position in the X-axis direction on the image captured by the stereo imaging unit 103
  • w represents the number of horizontal pixels [pixel] of the image.
  • the travelable region setting unit 110 generates a three-dimensional point group by applying Expressions (1) and (9) to all pixels of the distance information.
  • the travelable area setting unit 110 analyzes the principal components of the generated three-dimensional point group, and sets the third principal component vector obtained by the analysis as a normal vector as shown in Expression (10).
  • the travelable area setting unit 110 calculates an equation of a plane passing through the center of gravity (x 0 , y 0 , d 0 ) of the three-dimensional point group as shown in Expression (11) based on the normal vector. .
  • the image processing apparatus 101 may further include a display unit 1010 (not shown) having a user interface function, and the user may arbitrarily select the area 701 via the display unit 1010. More specifically, as shown in FIG. 10, when the display unit 1010 displays the reference image 301, the user touches the reference image 301 to place an area 701 shown in FIG. May be selected.
  • a display unit 1010 (not shown) having a user interface function
  • the user may arbitrarily select the area 701 via the display unit 1010. More specifically, as shown in FIG. 10, when the display unit 1010 displays the reference image 301, the user touches the reference image 301 to place an area 701 shown in FIG. May be selected.
  • the user can input a selection for setting the third area via the operation unit. This makes it possible to set the third area more suitably and determine the traveling route.
  • a method for controlling a traveling device is a method for controlling a traveling device including a traveling unit, and avoids a second region having a step between the first region on which the traveling unit rides.
  • the first criterion is set to be higher than the second criterion based on a first criterion and a second criterion that avoids a third territory in which at least one of the color, the pattern, and the reflectance of light differs from the first territory It includes a traveling step in which the traveling unit travels along a traveling route determined with priority.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

Provided is a travel device enabling travel on a suitable travel route. A robot device comprises a travel part and a travel control part which uses a first reference for avoiding a second region having an elevation difference from a first region in which the travel part is located and a second reference for avoiding a third region which differs from the first region in at least one from among color, pattern, and light reflectivity, so as to determine a travel route of the travel part while prioritizing the first reference over the second reference.

Description

走行装置、走行装置の制御方法、走行プログラムおよび記録媒体Traveling device, traveling device control method, traveling program, and recording medium
　本発明は走行装置、走行装置の制御方法、走行プログラムおよび記録媒体に関する。
　本願は、２０１８年６月２２日に、日本に出願された特願２０１８－１１９２７５に優先権を主張し、その内容をここに援用する。 The present invention relates to a traveling device, a traveling device control method, a traveling program, and a recording medium.
Priority is claimed on Japanese Patent Application No. 2018-119275 filed on June 22, 2018, the content of which is incorporated herein by reference.
　ロボット装置および無人搬送車などの自律移動システム（走行装置）には、移動時にセンサなどによって走行面に存在する障害物および段差などを検知し、走行装置の衝突および落下を防止するように走行装置を走行させる技術がある。 Autonomous mobile systems (traveling devices) such as robots and automatic guided vehicles detect obstacles and steps present on the traveling surface by sensors and the like when moving, and prevent the traveling devices from colliding and falling. There is a technology to run.
　例えば、特許文献１には、前方床面に向けて光ビームを照射する照射手段が設けられた自律走行ロボットが記載されている。また、特許文献１には、自律走行ロボットから、車輪が通過しようとする床面幅より外側の床面に向けて斜めに光ビームを発射し、照射された光ビームの反射光に基づいて得られる床面と本体との距離と、あらかじめ設定された床面と本体との距離とから段差を検出し、検出した段差に沿って自律走行ロボットを走行させる技術が開示されている。 For example, Patent Literature 1 describes an autonomous mobile robot provided with an irradiation unit that emits a light beam toward a floor in front. Further, Patent Document 1 discloses that an autonomous traveling robot emits a light beam obliquely toward a floor surface outside the floor surface width over which wheels are to pass, and obtains the light beam based on reflected light of the irradiated light beam. A technology is disclosed in which a step is detected from a distance between a floor surface and a main body to be measured and a preset distance between the floor surface and the main body, and the autonomous mobile robot travels along the detected step.
特開２００４－１３９２６４号公報（２００４年５月１３日公開）JP 2004-139264 A (released May 13, 2004)
　しかしながら、本発明者らの独自の知見によれば、特許文献１に記載の自立走行ロボットは、走行する領域の状態によっては、好適な走行経路を走行できない場合がある。例えば、走行面と一続きになっている水面やガラス面、床面に描かれたマークなど、走行面との距離差がない、または走行面との距離差が小さい領域を避けることができず、ロボット装置が水辺から水面に侵入したり、走行面に落ちている薄い紙などを踏んで走行したりするという問題がある。 However, according to the inventor's unique knowledge, the self-contained traveling robot described in Patent Literature 1 may not be able to travel on a suitable traveling route depending on the state of the traveling region. For example, there is no distance difference with the running surface, such as a water surface or glass surface that is continuous with the running surface, a mark drawn on the floor surface, or an area where the distance difference with the running surface is small can not be avoided However, there is a problem that the robot device enters the water surface from the waterside or travels on a thin paper or the like falling on the traveling surface.
　本発明は上記課題に鑑みてなされたものであり、好適な走行経路を走行することが可能な走行装置およびその制御方法を提供することを目的とする。 The present invention has been made in view of the above problems, and has as its object to provide a traveling device capable of traveling on a suitable traveling route and a control method thereof.
　上記の課題を解決するために、本発明の一態様に係る走行装置は、走行部と、前記走行部が乗っている第１領域との間に段差を有する第２領域を避ける第１基準、ならびに前記第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域を避ける第２基準に基づき、前記第２基準よりも前記第１基準を優先して前記走行部の走行経路を決定する走行制御部と、を備えている。 In order to solve the above problems, a traveling device according to one embodiment of the present invention includes a first reference that avoids a second region having a step between a traveling portion and a first region on which the traveling portion is riding, And a second section that avoids a third area in which at least one of a color, a pattern, and a reflectance of the light is different from the first area, based on a second criterion that prioritizes the first criterion over the second criterion. And a traveling control unit that determines the traveling route of the vehicle.
　本発明の一態様に係る走行装置の制御方法は、走行部を備えた走行装置の制御方法であって、前記走行部が乗っている第１領域との間に段差を有する第２領域を避ける第１基準と、前記第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域を避ける第２基準と、に基づき、前記第２基準よりも前記第１基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップを包含している。 A method for controlling a traveling device according to one embodiment of the present invention is a method for controlling a traveling device including a traveling unit, and avoids a second region having a step between the traveling region and a first region on which the traveling unit rides. The first criterion is set to be higher than the second criterion based on a first criterion and a second criterion that avoids a third territory in which at least one of the color, the pattern, and the reflectance of light differs from the first territory It includes a traveling step in which the traveling unit travels along a traveling route determined with priority.
　本発明の一態様によれば、好適な走行経路を走行することが可能な走行装置およびその制御方法を提供することができる。 According to one embodiment of the present invention, it is possible to provide a traveling device capable of traveling on a suitable traveling route and a control method thereof.
本発明の実施形態１に係るロボット装置の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram illustrating a configuration of the robot device according to the first embodiment of the present invention. 本発明の実施形態１に係るロボット装置におけるステレオ撮像部の位置を説明するための図である。FIG. 4 is a diagram for explaining a position of a stereo imaging unit in the robot device according to the first embodiment of the present invention. 本発明の実施形態１に係るロボット装置における距離情報算出部を説明するための図である。FIG. 4 is a diagram for explaining a distance information calculation unit in the robot device according to the first embodiment of the present invention. 本発明の実施形態１に係るロボット装置の走行経路を説明するための図である。FIG. 2 is a diagram for explaining a traveling route of the robot device according to the first embodiment of the present invention. 本発明の実施形態１における走行可能領域の一例を示す図である。It is a figure showing an example of a runnable area in Embodiment 1 of the present invention. 本発明の実施形態１における走行可能領域の設定方法を説明するための図である。FIG. 5 is a diagram for explaining a method of setting a travelable area according to the first embodiment of the present invention. 本発明の実施形態１における代表特徴量の抽出方法を説明するための図である。FIG. 4 is a diagram for describing a method of extracting a representative feature amount according to the first embodiment of the present invention. 本発明の実施形態１における走行推奨領域の一例を示す図である。It is a figure showing an example of a run recommendation field in Embodiment 1 of the present invention. 本発明の実施形態１に係るロボット装置の制御処理の流れの一例を示すフローチャートである。5 is a flowchart illustrating an example of a flow of a control process of the robot device according to the first embodiment of the present invention. 本発明の実施形態１における走行推奨領域設定方法を変更するための画像の一例を示す図である。It is a figure showing an example of an image for changing a run recommended field setting method in Embodiment 1 of the present invention. 本発明の実施形態１における、光軸が第１領域と平行に設置されていない場合の走行可能領域設定部による走行可能領域の設定方法について説明するための図である。FIG. 4 is a diagram for describing a method of setting a travelable area by a travelable area setting unit when an optical axis is not installed parallel to a first area according to the first embodiment of the present invention.
　本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。 各 Each embodiment according to the present invention will be described in detail below with reference to the accompanying drawings.
　＜実施形態１＞
　以下、本発明の一実施形態（実施形態１）に係るロボット装置（走行装置）１０２およびロボット装置１０２の制御方法について、図１～９に基づき以下に説明する。 <First embodiment>
Hereinafter, a robot device (traveling device) 102 and a control method of the robot device 102 according to an embodiment (Embodiment 1) of the present invention will be described below with reference to FIGS.
　〔ロボット装置１０２〕
　図１は、本発明の実施形態に係るロボット装置１０２の構成を示す機能ブロック図である。図１に示すように、ロボット装置１０２は、ステレオ撮像部（撮像部）１０３、走行部１０５、および、走行制御部１０６を備えている。 [Robot device 102]
FIG. 1 is a functional block diagram showing a configuration of the robot device 102 according to the embodiment of the present invention. As shown in FIG. 1, the robot device 102 includes a stereo imaging unit (imaging unit) 103, a traveling unit 105, and a traveling control unit 106.
　走行制御部１０６は、画像処理装置１０１、距離情報算出部１０４、および、記憶部１０７を備えており、ステレオ撮像部１０３が撮像した画像を参照し、走行部１０５が乗っている第１領域との間に段差を有する第２領域を避ける第１基準と、第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域を避ける第２基準と、に基づき、第２基準よりも第１基準を優先して走行部１０５の走行経路を決定する。 The travel control unit 106 includes an image processing device 101, a distance information calculation unit 104, and a storage unit 107. The travel control unit 106 refers to an image captured by the stereo imaging unit 103, A first criterion for avoiding a second region having a step between the first region and a second criterion for avoiding a third region in which at least one of the color, the pattern, and the reflectance of light is different from the first region. The traveling route of the traveling unit 105 is determined with priority given to the first criterion over the two criterion.
　これにより、ロボット装置１０２は、第１基準に基づいて段差を走行することを避けるとともに、第２基準に基づいて段差が無くとも避けるべき領域（段差を生じさせない紙などの物体が置かれている床面や、材質の異なる床面、液体によって濡れている床面など）を避けることができる。 As a result, the robot apparatus 102 avoids traveling on a step based on the first criterion, and an area to be avoided even if there is no step based on the second criterion (an object such as paper that does not generate a step is placed on the robot apparatus 102). Floors, floors of different materials, floors wet with liquid, etc.) can be avoided.
　また、第３領域は、走行自体は可能である領域であることから、走行制御部１０６が、第２基準よりも第１基準を優先することにより、第１領域だけでは走行が困難な場合は第３領域を走行することができる。以上により、ロボット装置１０２は、好適な走行経路を走行することができる。 In addition, since the third area is an area where traveling itself is possible, the traveling control unit 106 gives priority to the first criterion over the second criterion, so that it is difficult to travel only in the first area. The vehicle can travel in the third area. As described above, the robot device 102 can travel on a suitable traveling route.
　ロボット装置１０２としては、例えば、自律的に移動する自律移動ロボットが挙げられる。より具体的には、自律走行する監視ロボット、掃除ロボット、配送ロボットおよび案内ロボットなどが挙げられる。なお、上述の例ではロボット装置１０２について説明しているが、本実施形態では、ロボット装置１０２に限定されず、走行面を走行することができる走行装置であればよい。 As the robot device 102, for example, an autonomous mobile robot that moves autonomously is cited. More specifically, a surveillance robot, a cleaning robot, a delivery robot, a guide robot, and the like that run autonomously are included. In the above-described example, the robot device 102 is described. However, the present embodiment is not limited to the robot device 102, and any traveling device that can travel on a traveling surface may be used.
　なお、本実施形態では、ロボット装置１０２は、ステレオ撮像部１０３を用いてステレオ法により距離情報を算出することにより、第１基準における段差を検知しているが、本発明はこれに限定されず、ステレオ法以外の測距技術（例えば、ＬＩＤＡＲ法、赤外線ＴＯＦ法など）により距離情報を算出する構成であってもよい。 In the present embodiment, the robot device 102 detects the step in the first reference by calculating the distance information by the stereo method using the stereo imaging unit 103, but the present invention is not limited to this. Alternatively, the distance information may be calculated by a distance measurement technique other than the stereo method (eg, LIDAR method, infrared TOF method, etc.).
　また、ロボット装置１０２は、ステレオ撮像部１０３が撮像した画像を用いて第２基準における色、模様等を検知しているが、本発明はこれに限定されず、赤外線カメラ等を用いて光の反射率を検知する構成であってもよい。 Further, the robot apparatus 102 detects the color, pattern, and the like based on the second reference using the image captured by the stereo imaging unit 103. However, the present invention is not limited to this. The structure which detects a reflectance may be sufficient.
　［ステレオ撮像部１０３］
　ステレオ撮像部１０３は、第１撮像部（撮像装置）１０８と第２撮像部（撮像装置）１０９とから構成される。ステレオ撮像部１０３は、第１撮像部１０８によって生成された第１画像（画像）および第２撮像部１０９によって生成された第２画像（画像）を距離情報算出部１０４に出力する。 [Stereo imaging unit 103]
The stereo imaging unit 103 includes a first imaging unit (imaging device) 108 and a second imaging unit (imaging device) 109. The stereo imaging unit 103 outputs the first image (image) generated by the first imaging unit 108 and the second image (image) generated by the second imaging unit 109 to the distance information calculation unit 104.
　図２は、ロボット装置１０２におけるステレオ撮像部１０３の位置を説明するための図である。一態様において、ステレオ撮像部１０３はロボット装置１０２の所定の高さの位置に、第１撮像部１０８および第２撮像部１０９の光軸２０１が、ロボット装置１０２が乗っている第１領域２０２と平行になるように設置されている。 FIG. 2 is a diagram for explaining the position of the stereo imaging unit 103 in the robot device 102. In one embodiment, the stereo imaging unit 103 is configured such that the optical axis 201 of the first imaging unit 108 and the second imaging unit 109 is located at a position at a predetermined height of the robot device 102 and the first region 202 on which the robot device 102 is mounted. It is installed to be parallel.
　（第１撮像部１０８、第２撮像部１０９）
　第１撮像部１０８は、被写体を撮像することによって当該被写体を含む第１画像を生成する。第２撮像部１０９は、第１撮像部１０８とは視点が異なるように設置されており、被写体を撮像することによって当該被写体を含む第２画像を生成する。第１撮像部１０８および第２撮像部１０９としては、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅ　Ｄｅｖｉｃｅ）などの撮像レンズおよび撮像素子を備えているものを挙げることができる。 (First imaging unit 108, second imaging unit 109)
The first imaging unit 108 generates a first image including the subject by imaging the subject. The second imaging unit 109 is installed so as to have a different viewpoint from the first imaging unit 108, and generates a second image including the subject by imaging the subject. Examples of the first imaging unit 108 and the second imaging unit 109 include those including an imaging lens and an imaging element such as a CCD (Charge Couple Device).
　［距離情報算出部１０４］
　距離情報算出部１０４は、ステレオ撮像部１０３から取得した第１画像および第２画像に基づき、ステレオ撮像部１０３と被写体との間の距離情報を算出する。具体的には、距離情報算出部１０４は、第１画像および第２画像のうち一方を基準画像３０１とし、他方を参照画像として視差を算出し、算出した視差と、予め取得した第１撮像部１０８と第２撮像部１０９との位置関係情報とから距離情報を算出する。距離情報は、例えば、基準画像３０１の各画素に対応するように距離を格納した情報であり得る。 [Distance information calculation unit 104]
The distance information calculation unit 104 calculates distance information between the stereo imaging unit 103 and the subject based on the first image and the second image acquired from the stereo imaging unit 103. Specifically, the distance information calculation unit 104 calculates the parallax using one of the first image and the second image as the reference image 301 and the other as the reference image, and calculates the calculated parallax and the first imaging unit acquired in advance. Distance information is calculated from the positional relationship information between the second imaging unit 108 and the second imaging unit 109. The distance information may be, for example, information in which a distance is stored so as to correspond to each pixel of the reference image 301.
　図３の（ａ）は、基準画像３０１の一例を示し、図３の（ｂ）は、基準画像３０１に対応する距離情報の一例を図示したものである。図３の（ｂ）では、ステレオ撮像部１０３から各画素に対応する被写体上の位置までの距離を輝度で示しており、距離が短いほど明るい画素で、距離が長いほど暗い画素で表している。 3 (a) shows an example of the reference image 301, and FIG. 3 (b) shows an example of distance information corresponding to the reference image 301. In FIG. 3B, the distance from the stereo imaging unit 103 to the position on the subject corresponding to each pixel is indicated by luminance, and the shorter the distance, the brighter the pixel, and the longer the distance, the darker the pixel. .
　距離情報算出部１０４は、第１画像と、第１画像に対応する距離情報とを、画像処理装置１０１に出力する。 The distance information calculation unit 104 outputs the first image and the distance information corresponding to the first image to the image processing device 101.
　［走行部１０５］
　走行部１０５は、ロボット装置１０２を走行させるものであり、車輪およびモータなどの駆動源によって構成されている。なお、走行部１０５はこれに限定されず、ロボット装置１０２を走行させ、適宜走行方向および走行速度などを調整できれば、ベルトなどをさらに備えていていたりしてもよい。走行部１０５は、走行制御部１０６によって、走行方向および走行速度を制御される。 [Running part 105]
The traveling unit 105 causes the robot device 102 to travel, and is configured by driving sources such as wheels and a motor. Note that the traveling unit 105 is not limited to this, and may further include a belt and the like as long as the traveling direction and the traveling speed of the robot device 102 can be appropriately adjusted. The traveling direction and the traveling speed of the traveling unit 105 are controlled by the traveling control unit 106.
　［走行制御部１０６］
　走行制御部１０６は、ステレオ撮像部１０３が撮像した第１画像および第２画像を参照し、第２領域を避ける第１基準と、第３領域を避ける第２基準と、に基づき、第２基準よりも第１基準を優先して走行経路を決定する。第１領域は、走行開始時に走行部１０５が乗っている領域である。第２領域は、壁および窪みなどの障害物のような、第１領域との間に段差を有し、ロボット装置１０２が走行できない領域のことを指す。第３領域は、第１領域とは色、模様、および、光の反射率の少なくとも一つが異なる領域を指す。第３領域は、ロボット装置１０２が走行できる領域であるが、水面、ガラス面、床面に描かれたマーク、微小な凹凸などが存在し、なるべくならロボット装置１０２に走行して欲しくない領域である。 [Traveling control unit 106]
The traveling control unit 106 refers to the first image and the second image captured by the stereo imaging unit 103, and determines a second reference based on a first reference that avoids the second region and a second reference that avoids the third region. The traveling route is determined with priority given to the first criterion. The first area is an area where the traveling unit 105 is riding at the start of traveling. The second area refers to an area, such as an obstacle such as a wall and a depression, having a step between the first area and the robot apparatus 102 that cannot travel. The third region refers to a region that differs from the first region in at least one of color, pattern, and light reflectance. The third area is an area where the robot device 102 can travel, but there is a mark drawn on the water surface, the glass surface, the floor surface, minute unevenness, and the like, and is an area where the robot device 102 does not want to travel as much as possible. is there.
　なお、以下では、第２領域ではない領域を、ロボット装置１０２が走行可能な領域として、走行可能領域と呼び、第２領域でも第３領域でもない領域を、ロボット装置１０２の走行が推奨される領域として、走行推奨領域と呼ぶ。すなわち、第２領域を避ける第１基準とは、換言すれば、走行可能領域を走行するように走行経路を決定するものであり、第３領域を避ける第２基準とは、換言すれば、走行推奨領域を走行するように走行経路を決定するものである。 In the following, an area that is not the second area is referred to as a travelable area as an area where the robot apparatus 102 can travel, and an area that is neither the second area nor the third area is recommended to travel by the robot apparatus 102. The area is referred to as a recommended travel area. That is, the first criterion for avoiding the second area is, in other words, determining a traveling route so as to travel in the travelable area, and the second criterion for avoiding the third area is, in other words, traveling. The travel route is determined so as to travel in the recommended area.
　走行制御部１０６が第１基準および第２基準に基づいて、さらに、第２基準よりも第１基準を優先して走行経路を決定することで、走行部１０５はロボット装置１０２を好適に走行させることができる。第２基準よりも第１基準を優先して走行経路を決定するとは、第２領域および第３領域の両方を避けて走行することが可能な場合は、両者を避けて走行し、第２領域および第３領域の両方を避けて走行することが不可能な場合、すなわち、第２領域および第３領域のいずれかを走行する必要がある場合には、第３領域を走行するように走行経路を決定することを意味する。以下、ロボット装置１０２の走行経路の決定について、図４を用いて詳しく説明する。 The travel control unit 106 determines the travel route based on the first criterion and the second criterion and prioritizes the first criterion over the second criterion. be able to. Determining the traveling route by giving priority to the first criterion over the second criterion means that if it is possible to travel while avoiding both the second area and the third area, the vehicle travels while avoiding both. When it is impossible to travel while avoiding both the first and third areas, that is, when it is necessary to travel in one of the second area and the third area, the traveling route is made to travel in the third area. Means to determine. Hereinafter, the determination of the traveling route of the robot device 102 will be described in detail with reference to FIG.
　図４は、実施形態１に係るロボット装置１０２の走行経路を説明するための図である。図４の（ａ）および（ｂ）に示すように、灰色の領域を第１領域４０６、白色の領域を第２領域４０７、ドットの領域を第３領域４０８とする。 FIG. 4 is a diagram for explaining a traveling route of the robot device 102 according to the first embodiment. As shown in FIGS. 4A and 4B, a gray area is a first area 406, a white area is a second area 407, and a dot area is a third area 408.
　図４の（ａ）に示すように、ロボット装置１０２が地点４０１から地点４０２へ移動する際に、走行制御部１０６が第１基準のみに基づいて走行経路を決定する場合について以下に説明する。この場合、走行制御部１０６は、地点４０１から地点４０２までの経路のうち、最短の経路である経路（走行経路）４０３を走行経路に決定する。 (4) A case will be described below where the travel control unit 106 determines a travel route based on only the first criterion when the robot apparatus 102 moves from the point 401 to the point 402, as shown in FIG. In this case, the traveling control unit 106 determines a route (traveling route) 403 that is the shortest route among routes from the point 401 to the point 402 as a traveling route.
　走行制御部１０６が、第１基準に加え、第２基準に基づいて走行経路を決定する場合について以下に説明する。この場合、走行制御部１０６は、地点４０１から地点４０２までの経路のうち、第３領域４０８を避けて走行するように、経路（走行経路）４０４または４０５をロボット装置１０２の走行経路に決定する。 The case where the traveling control unit 106 determines the traveling route based on the second reference in addition to the first reference will be described below. In this case, the traveling control unit 106 determines the route (traveling route) 404 or 405 as the traveling route of the robot device 102 such that the traveling route avoids the third area 408 in the route from the point 401 to the point 402. .
　このように、走行制御部１０６が、第１基準および第２基準に基づいて走行経路を決定することで、紙、水溜り等が存在する第３領域４０８について、例え第１領域４０６（走行面）からの段差なく、一続きになっていたとしても、第３領域４０８を避けて走行することができる（走行推奨領域を走行することができる）。これにより、例えば、ロボット装置１０２が水辺から水面に侵入したり、走行面に落ちている薄い紙などを踏んで走行したりするという問題を防ぐことができる。 As described above, the travel control unit 106 determines the travel route based on the first reference and the second reference, so that the third area 408 where paper, a puddle, and the like exist, for example, the first area 406 (the travel surface) ), The vehicle can travel while avoiding the third region 408 (the vehicle can travel in the recommended travel region) even if it is continuous. Thus, for example, it is possible to prevent a problem that the robot device 102 enters the water surface from the waterside or runs on a thin paper or the like falling on the running surface.
　図４の（ｂ）では、ロボット装置１０２がある地点（出発地点）４０９から他の地点（目的地点）４１０に移動するまでの経路中に第２領域４０７および第３領域４０８によって遮られた部位が存在する。この場合、走行制御部１０６は、第３領域４０８を避ける第２基準よりも第２領域４０７を避ける第１基準を優先して、第３領域４０８を走行する経路（走行経路）４１１を走行経路に決定する。このように、第２領域があるために、走行可能領域であるが走行推奨領域ではない第３領域を走行しなければ目的地へたどり着けない場合は、走行制御部１０６は、第３領域を走行するように走行経路を決定する。これにより、部屋の出入り口付近に敷かれているマットまたは描かれているマークなど第１領域と異なる特徴量を有する被写体があっても、当該被写体上をロボット装置１０２が走行するため、部屋の出入り口を通過することができる。 In FIG. 4B, a part blocked by the second area 407 and the third area 408 in the path from the point (start point) 409 to another point (destination point) 410 of the robot apparatus 102 is shown. Exists. In this case, the traveling control unit 106 gives priority to the first reference that avoids the second area 407 over the second reference that avoids the third area 408, and sets the route (traveling route) 411 that travels in the third area 408 to the traveling route. To decide. As described above, when the vehicle cannot reach the destination without traveling in the third area which is the travelable area but is not the travel recommended area due to the second area, the travel control unit 106 travels in the third area. The traveling route is determined as follows. Accordingly, even if there is a subject having a characteristic amount different from that of the first area such as a mat or a drawn mark placed near the entrance of the room, since the robot apparatus 102 travels on the subject, the entrance and exit of the room Can pass through.
　なお、一態様において、ロボット装置１０２は、図示しない超音波センサ、バンパーセンサなどを更に備え、走行制御部１０６は、上述のように決定した走行経路をロボット装置１０２が走行しているときに、当該超音波センサまたはバンパーセンサなどがロボット装置１０２の周囲に物体が存在することを検知したときに、ロボット装置１０２の徐行、停止、および走行方向の変更などを行うように走行部１０５を制御するようになっていてもよい。 Note that in one embodiment, the robot device 102 further includes an ultrasonic sensor (not shown), a bumper sensor, and the like, and the traveling control unit 106 determines whether the robot device 102 is traveling on the traveling route determined as described above. When the ultrasonic sensor or the bumper sensor detects the presence of an object around the robot device 102, the traveling unit 105 is controlled so as to slow down, stop, and change the traveling direction of the robot device 102. It may be as follows.
　［記憶部１０７］
　記憶部１０７は、ステレオ撮像部１０３によって撮像された画像、ならびに、画像処理装置１０１によって生成される特徴量および代表特徴量などを記録媒体に記憶する。また、記憶部１０７は、記録媒体に記録される上述の画像、特徴量および代表特徴量を読み込み、画像処理装置１０１に出力する。記憶部１０７としては、上述の機能を有するものであれば、汎用のものを用いることができる。 [Storage unit 107]
The storage unit 107 stores an image captured by the stereo imaging unit 103, a feature amount and a representative feature amount generated by the image processing apparatus 101, and the like in a recording medium. The storage unit 107 reads the above-described image, feature amount, and representative feature amount recorded on the recording medium, and outputs the read image to the image processing apparatus 101. A general-purpose storage unit can be used as long as it has the above-described functions.
　［画像処理装置１０１］
　画像処理装置１０１は、ステレオ撮像部１０３が撮像した画像に基づいて第１領域、第２領域、第３領域、走行可能領域および走行推奨領域を設定する。画像処理装置１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：中央処理装置）またはＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：画像処理用処理装置）などから構成される。 [Image processing device 101]
The image processing apparatus 101 sets a first area, a second area, a third area, a travelable area, and a recommended travel area based on the image captured by the stereo imaging unit 103. The image processing apparatus 101 includes, for example, a CPU (Central Processing Unit: central processing unit) or a GPU (Graphic Processing Unit: image processing unit).
　また、図１に示すように、画像処理装置１０１は、走行可能領域設定部１１０、特徴量抽出部１１１、代表特徴量抽出部１１２、および走行推奨領域設定部１１３を備えている。 As shown in FIG. 1, the image processing apparatus 101 includes a travelable area setting unit 110, a feature amount extraction unit 111, a representative feature amount extraction unit 112, and a recommended travel area setting unit 113.
　（走行可能領域設定部１１０）
　走行可能領域設定部１１０は、画像に基づき、走行可能領域および第２領域を設定する。具体的には、走行可能領域設定部１１０は、距離情報算出部１０４によって算出された距離情報から走行可能領域および第２領域を設定する。 (Drivable area setting unit 110)
The travelable area setting unit 110 sets a travelable area and a second area based on the image. Specifically, travelable area setting section 110 sets a travelable area and a second area based on the distance information calculated by distance information calculation section 104.
　図５は、本発明の実施形態１における走行可能領域の一例を示す図である。図５では、ロボット装置１０２の走行面（第１領域）と推定される領域は白色の走行可能領域３０２０として表されており、壁および箱など、走行面との間に段差を有する黒色の領域は第２領域３０２１として表されている。ここでは、走行面上に落ちている紙などが存在していても、走行面との距離差が小さいため、走行可能領域設定部１１０は第１領域と区別できず、走行面の第１領域と同じく走行可能領域として設定される。 FIG. 5 is a diagram showing an example of a travelable area in the first embodiment of the present invention. In FIG. 5, an area estimated as a traveling surface (first area) of the robot apparatus 102 is represented as a white traveling area 3020, and a black area having a step between itself and a traveling surface such as a wall and a box. Are represented as a second region 3021. Here, even if there is paper or the like falling on the running surface, the difference in distance from the running surface is small, so that the runnable area setting unit 110 cannot distinguish it from the first area. Is set as the travelable area.
　以下、走行可能領域の設定方法について、図６を用いて詳細に説明する。図６は、本発明の実施形態１における走行可能領域の設定方法を説明するための図である。走行可能領域設定部１１０は、例えば、図６に示すようにステレオ撮像部１０３の設置高さがＨ［ｍ］である場合に、距離情報に基づいて高さＨ±α［ｍ］の点を抽出することで走行可能領域を設定できる。なお、図６に示すように、ステレオ撮像部１０３の設置高さＨ［ｍ］とは、第１領域（走行面）２０２からステレオ撮像部１０３までの長さ、すなわち、ロボット装置１０２におけるステレオ撮像部１０３の設置高さとも言うことができる。 Hereinafter, a method of setting the travelable area will be described in detail with reference to FIG. FIG. 6 is a diagram for explaining a method of setting a travelable area in the first embodiment of the present invention. For example, as shown in FIG. 6, when the installation height of the stereo imaging unit 103 is H [m] as shown in FIG. 6, the travelable area setting unit 110 determines a point having a height H ± α [m] based on the distance information. By extracting, a travelable area can be set. As shown in FIG. 6, the installation height H [m] of the stereo imaging unit 103 is a length from the first area (running surface) 202 to the stereo imaging unit 103, that is, the stereo imaging in the robot device 102. It can also be referred to as the installation height of the portion 103.
　ここで、αは距離情報の測距精度などによって生じるずれを許容するための値であり、走行可能領域設定部１１０は、例えば、０．０２５［ｍ］などに設定する。距離情報における測距精度によって生じるずれは被写体２０３とステレオ撮像部１０３との距離の値が大きいほど大きくなるため、走行可能領域設定部１１０は、αの値を被写体２０３とステレオ撮像部１０３との距離に応じて変動させてもよい。例えば、走行可能領域設定部１１０は、被写体２０３とステレオ撮像部１０３との距離が１ｍ以上２ｍ以内の範囲である場合には、αを０．０２５［ｍ］に設定し、２ｍ以上３ｍ以内の範囲である場合には、αを０．０５［ｍ］に設定してもよい。このように、走行可能領域設定部１１０が、被写体２０３とステレオ撮像部１０３との距離が長くなるにつれαの値が大きくなるように設定することで、測距精度によって生じるずれを適切に許容できるようになる。 Here, α is a value for allowing a deviation caused by the distance measurement accuracy of the distance information, and the travelable area setting unit 110 sets the value to, for example, 0.025 [m]. Since the deviation caused by the ranging accuracy in the distance information increases as the value of the distance between the subject 203 and the stereo imaging unit 103 increases, the travelable area setting unit 110 sets the value of α between the subject 203 and the stereo imaging unit 103. It may be changed according to the distance. For example, when the distance between the subject 203 and the stereo imaging unit 103 is in a range of 1 m or more and 2 m or less, the travelable area setting unit 110 sets α to 0.025 [m] and sets α to 2 m or more and 3 m or less. If it is within the range, α may be set to 0.05 [m]. As described above, the travelable area setting unit 110 sets the value of α to increase as the distance between the subject 203 and the stereo imaging unit 103 increases, so that a shift caused by the ranging accuracy can be appropriately tolerated. Become like
　また、距離情報ｄ［ｍ］から、ステレオ撮像部１０３と被写体２０３とのＹ軸方向の距離（各画素の高さ）ｙ［ｍ］は式（１）のように算出することができる。 From the distance information d [m], the distance (height of each pixel) y [m] between the stereo imaging unit 103 and the subject 203 in the Y-axis direction can be calculated as in Expression (1).
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000001
　ここで、v［ピクセル］はステレオ撮像部１０３によって撮像された画像上のＹ軸方向の位置、ｈ［ピクセル］は当該画像の縦画素数、ｆ［ピクセル］はステレオ撮像部１０３の焦点距離を表す。式（１）に距離情報ｄ［ｍ］、v［ピクセル］、ｈ［ピクセル］およびｆ［ピクセル］を代入することで、高さy［ｍ］を算出できる。走行可能領域設定部１１０は、高さy［ｍ］がＨ±α［ｍ］となる画素を走行可能領域として設定し、その他の画素を第２領域として設定する。このように、距離情報から算出される高さに基づいて走行可能領域設定部１１０が走行可能領域および第２領域を設定することで、走行可能領域の高さを、ロボット装置１０２が乗っている第１領域（走行面）２０２上から任意のしきい値分である凹凸のある範囲に限定できる。 Here, v [pixel] is the position in the Y-axis direction on the image captured by the stereo imaging unit 103, h [pixel] is the number of vertical pixels of the image, and f [pixel] is the focal length of the stereo imaging unit 103. Represent. The height y [m] can be calculated by substituting the distance information d [m], v [pixel], h [pixel] and f [pixel] into the equation (1). The travelable area setting unit 110 sets a pixel having a height y [m] of H ± α [m] as a travelable area, and sets other pixels as a second area. As described above, the travelable area setting unit 110 sets the travelable area and the second area based on the height calculated from the distance information, so that the robot apparatus 102 rides on the height of the travelable area. It can be limited to a range with irregularities corresponding to an arbitrary threshold value from the first area (running surface) 202.
　（特徴量抽出部１１１）
　特徴量抽出部１１１は、ステレオ撮像部１０３または記憶部１０７から、基準画像を取得し、基準画像から特徴量を抽出する。 (Feature extraction unit 111)
The feature amount extraction unit 111 acquires a reference image from the stereo imaging unit 103 or the storage unit 107, and extracts a feature amount from the reference image.
　以下に、特徴量抽出部１１１が、色相を特徴量として抽出する例について説明する。まず、特徴量抽出部１１１は、画像のＲＧＢ値に基づく色相を特徴量として抽出する。このように、ＲＧＢ値を直接特徴量とせず、色相を特徴量とすることで、陰影などによる明るさおよび彩度の変化に影響を受けず、色相の変化のみを検出することができる。ＲＧＢ値のうち、最も大きな値をＭＡＸ、最も小さな値をＭＩＮとすると、色相ｈｏは式（２）～（４）として算出できる。なお、式（２）～（４）は、それぞれＭＩＮ＝Ｂとした場合、ＭＩＮ＝Ｒとした場合、および、ＭＩＮ＝Ｇとした場合の色相ｈｏを示す式である。 Hereinafter, an example in which the feature amount extraction unit 111 extracts a hue as a feature amount will be described. First, the feature extraction unit 111 extracts a hue based on the RGB values of an image as a feature. As described above, by using the hue as the feature amount instead of directly using the RGB values as the feature amount, it is possible to detect only the change in the hue without being affected by changes in brightness and saturation due to shading or the like. Of RGB values, the most significant value MAX, if the smallest value and MIN, hue h o can be calculated as Equation (2) to (4). Incidentally, formula (2) to (4), when the MIN = B, respectively, when the MIN = R, and is an expression indicating a hue h o in the case of a MIN = G.
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000002
　特徴量抽出部１１１は、算出した色相ｈｏを画像に基づいて抽出した特徴量として、代表特徴量抽出部１１２および走行推奨領域設定部１１３に出力する。 Feature amount extraction unit 111, the calculated hue h o as the characteristic amount extracted based on the image, and outputs the representative feature amount extraction unit 112 and the traveling recommended area setting unit 113.
　（代表特徴量抽出部１１２）
　代表特徴量抽出部１１２は、ロボット装置１０２が乗っている第１領域（走行面）上の代表的な特徴量を抽出し、抽出した代表的な特徴量を代表特徴量として設定する。特徴量抽出部１１１から特徴量として色相の情報が入力された場合、代表特徴量抽出部１１２は、色相の統計を取ることで、ロボット装置１０２が乗っている第１領域（走行面）上の代表的な色相を代表特徴量として抽出する。 (Representative feature amount extraction unit 112)
The representative feature amount extraction unit 112 extracts a representative feature amount on the first area (running surface) on which the robot device 102 is riding, and sets the extracted representative feature amount as a representative feature amount. When the hue information is input as the feature amount from the feature amount extraction unit 111, the representative feature amount extraction unit 112 obtains the statistics of the hue, thereby obtaining the statistics on the first area (running surface) on which the robot apparatus 102 is riding. A representative hue is extracted as a representative feature amount.
　以下、図７を用いて代表特徴量抽出部１１２による代表特徴量の抽出方法を説明する。図７は、本発明の実施形態１における代表特徴量の抽出方法を説明するための図である。代表特徴量抽出部１１２は、図７の（ａ）に示すように、基準画像３０１の下部中央付近にあらかじめ設定された領域７０１を、ロボット装置１０２が走行する走行面（第１領域）と推定し、当該領域７０１における色相ヒストグラムを作成する。そして、図７の（ｂ）に示すように、代表特徴量抽出部１１２は、色相ヒストグラムの頻度が任意のしきい値７０２以上の色相ｈｒを代表的な色相、すなわち、代表特徴量として抽出する。これにより、あらかじめ設定された領域７０１内に、ロボット装置１０２が乗っている第１領域（走行面）以外の被写体、すなわち、走行面に落ちている紙などが含まれている場合でも、領域７０１内に走行面が大部分を占める場合は、走行面以外の被写体の影響を小さくし、走行面の特徴量のみを代表特徴量として抽出できる。 Hereinafter, a method of extracting a representative feature by the representative feature extracting unit 112 will be described with reference to FIG. FIG. 7 is a diagram for describing a method of extracting a representative feature amount according to the first embodiment of the present invention. As illustrated in FIG. 7A, the representative feature amount extraction unit 112 estimates an area 701 set in the vicinity of the lower center of the reference image 301 as a running surface (first area) on which the robot device 102 runs. Then, a hue histogram in the area 701 is created. The extracted, as shown in (b) of FIG. 7, the representative feature quantity extracting unit 112, a hue h r frequently than any of the threshold 702 of the hue histogram representative hues, i.e., as representative feature quantity I do. Accordingly, even when the preset area 701 includes a subject other than the first area (running surface) on which the robot device 102 is riding, that is, even if paper or the like falls on the running surface is included, the area 701 may be included. When the running surface occupies most of the inside, the influence of the subject other than the running surface can be reduced, and only the feature amount of the running surface can be extracted as the representative feature amount.
　なお、上述の例では、代表特徴量抽出部１１２が一つの色相を代表特徴量として抽出しているが、代表特徴量抽出部１１２は、複数の色相（ｈｒ０およびｈｒ１、など）を代表特徴量として抽出してもよい。複数の色相を代表特徴量として抽出することで、例えば、走行面が市松模様など複数の色相から構成されている場合にも、当該走行面に含まれる複数の色相を代表特徴量として抽出できる。 In the above example, the representative feature amount extraction unit 112 extracts one hue as a representative feature amount, but the representative feature amount extraction unit 112 represents a plurality of hues ( hr0 and hr1 , etc.). It may be extracted as a feature amount. By extracting a plurality of hues as representative feature values, for example, even when the running surface is composed of a plurality of hues such as a checkered pattern, a plurality of hues included in the running surface can be extracted as representative feature values.
　（走行推奨領域設定部１１３）
　走行推奨領域設定部１１３は、走行可能領域設定部１１０によって設定された走行可能領域から、特徴量抽出部１１１によって抽出された特徴量と代表特徴量抽出部１１２によって抽出された代表特徴量とに基づき、走行推奨領域および第３領域を設定する。 (Recommended driving area setting unit 113)
The recommended travel region setting unit 113 converts the feature amount extracted by the feature amount extraction unit 111 and the representative feature amount extracted by the representative feature amount extraction unit 112 from the possible travel region set by the possible travel region setting unit 110. Based on this, a traveling recommended area and a third area are set.
　ここでは、走行推奨領域設定部１１３は、代表特徴量である色相ｈｒと、走行可能領域内の、特徴量である色相ｈｏが等しい領域を走行推奨領域として設定する。すなわち、ロボット装置１０２の走行面上の代表特徴量の色相が青色であれば、走行推奨領域設定部１１３は、走行可能領域内の青色の領域を走行面と色相が同じであるように識別し、走行推奨領域に設定する。また、走行推奨領域設定部１１３は、走行可能領域内の、例えば、赤色および白色などの青色以外の領域を走行面と異なる種類と識別し、第３領域に設定する。 Here, the travel recommendation area setting unit 113, a hue h r a representative feature quantity of the travelable area, it sets a region hue h o is equal, which is a feature quantity as the travel recommendation region. That is, if the hue of the representative feature value on the traveling surface of the robot device 102 is blue, the recommended traveling region setting unit 113 identifies the blue region in the travelable region such that the hue is the same as the traveling surface. , Set to the recommended travel area. In addition, the traveling recommended area setting unit 113 identifies a non-blue area such as red and white in the traveling area as a type different from the traveling surface, and sets it as a third area.
　図８は、本発明の実施形態１における走行推奨領域の一例を示す図である。図８では、白色の領域を走行推奨領域３０２２、壁および箱など、走行面との間に段差を有する黒色の領域を第２領域３０２１、走行可能領域のうち、走行推奨領域３０２２とは色相が異なるドットの領域を第３領域３０２３として示している。図８では、当該紙の色相は代表特徴量の色相とは異なるため、走行面とは異なる色であるように識別される。そのため、走行面上に落ちている紙は、走行推奨領域３０２２ではなく第３領域３０２３として設定され、灰色で表されている。このように、代表特徴量と同じ特徴量を有する画像中の領域を走行推奨領域とすることで、距離情報からでは識別するのが難しいが、走行すべきでない領域（たとえば、走行面上に落ちている紙などの微細な凹凸や、水面、ガラス面などの材質の異なる領域）を好適に識別することができる。 FIG. 8 is a diagram showing an example of the recommended traveling area in the first embodiment of the present invention. In FIG. 8, a white area is a recommended travel area 3022, a black area having a step with respect to a travel surface, such as a wall or a box, is a second area 3021, and a hue is different from the recommended travel area 3022 in the travelable area. Regions of different dots are shown as third regions 3023. In FIG. 8, since the hue of the paper is different from the hue of the representative characteristic amount, the paper is identified as having a different color from the running surface. Therefore, the paper falling on the running surface is set as the third area 3023 instead of the recommended running area 3022, and is shown in gray. As described above, by setting an area in an image having the same feature amount as the representative feature amount as the recommended travel area, it is difficult to identify the area based on the distance information, but an area that should not travel (for example, if the area falls on the travel surface). (A region having a different material, such as fine unevenness of paper or a water surface, a glass surface, etc.) can be suitably identified.
　なお、上述の例では、走行推奨領域設定部１１３が、代表特徴量である色相ｈｒと走行可能領域内の特徴量である色相ｈｏとが一致している領域を走行推奨領域として抽出しているが、本実施形態ではこれに限定されない。本実施形態では、走行推奨領域設定部１１３は、色相ｈｒと色相ｈｏとの差が任意の許容値β度以内の領域を走行推奨領域に設定し、色相ｈｒと色相ｈｏとの差が許容値β度を超える領域を第３領域に設定してもよい。これにより、ノイズによって僅かに色相が変化した場合でも、走行推奨領域設定部１１３は、好適に走行推奨領域を設定することができる。走行推奨領域設定部１１３は、任意の許容値βを、例えば±５度などの値を設定することができる。 In the above example, the travel recommendation area setting unit 113 extracts the area where the hue h o is the characteristic of the hue h r travelable area is a representative feature amount matches the travel recommendation area However, the present embodiment is not limited to this. In the present embodiment, the travel recommendation area setting unit 113, the difference between the hue h r and the hue h o sets a region within an arbitrary tolerance value β ° to the travel recommendation area, the hue h r and the hue h o A region where the difference exceeds the allowable value β degrees may be set as the third region. Thus, even when the hue slightly changes due to noise, the recommended traveling area setting unit 113 can appropriately set the recommended traveling area. The recommended traveling area setting unit 113 can set an arbitrary allowable value β, for example, a value such as ± 5 degrees.
　〔ロボット装置１０２の制御処理〕
　続いて、ロボット装置１０２の制御処理（走行装置の制御方法）について、図９を用いて説明する。図９は、本発明の実施形態１に係るロボット装置１０２の制御処理の流れの一例を示すフローチャートである。 [Control processing of robot device 102]
Subsequently, a control process of the robot device 102 (a control method of the traveling device) will be described with reference to FIG. FIG. 9 is a flowchart illustrating an example of a flow of a control process of the robot device 102 according to the first embodiment of the present invention.
　ステップＳ９０１：ステレオ撮像部１０３は、被写体の画像（基準画像および参照画像）を撮像する（撮像ステップ）。距離情報算出部１０４は、ステレオ撮像部１０３が撮像した基準画像および参照画像に基づき、距離情報を算出する。 Step S901: The stereo image capturing section 103 captures an image of a subject (a reference image and a reference image) (imaging step). The distance information calculation unit 104 calculates distance information based on the reference image and the reference image captured by the stereo imaging unit 103.
　ステップＳ９０２：走行可能領域設定部１１０は、距離情報算出部１０４が算出した距離情報に基づき、走行可能領域および第２領域を設定し、走行推奨領域設定部１１３に出力する。 Step S <b> 902: The travelable area setting unit 110 sets a travelable area and a second area based on the distance information calculated by the distance information calculation unit 104, and outputs to the recommended travel area setting unit 113.
　ステップＳ９０３：特徴量抽出部１１１は、ステレオ撮像部１０３から、基準画像を取得し、基準画像から特徴量を抽出する。特徴量抽出部１１１は、抽出した特徴量を代表特徴量抽出部１１２および走行推奨領域設定部１１３に出力する。 Step S903: The feature amount extraction unit 111 acquires a reference image from the stereo imaging unit 103, and extracts a feature amount from the reference image. The feature amount extraction unit 111 outputs the extracted feature amount to the representative feature amount extraction unit 112 and the recommended traveling area setting unit 113.
　ステップＳ９０４：代表特徴量抽出部１１２は、特徴量抽出部から取得した特徴量に基づいて代表特徴量を抽出する。代表特徴量抽出部１１２は、抽出した代表特徴量を走行推奨領域設定部１１３に出力する。 Step S904: The representative feature quantity extraction unit 112 extracts a representative feature quantity based on the feature quantity obtained from the feature quantity extraction unit. The representative feature extracting unit 112 outputs the extracted representative feature to the recommended traveling area setting unit 113.
　ステップＳ９０５：走行推奨領域設定部１１３は、走行可能領域内の、代表特徴量と特徴量が同じ領域を走行推奨領域に設定し、代表特徴量と特徴量が異なる領域を第３領域に設定する。 Step S905: The recommended traveling area setting unit 113 sets an area having the same characteristic amount as the representative characteristic amount in the possible traveling area as the recommended traveling area, and sets an area different from the representative characteristic amount as the third area. .
　ステップＳ９０６：走行制御部１０６は、第１基準と第２基準とに基づき、第２基準よりも第１基準を優先して走行経路を決定する（走行制御ステップ）。 Step S906: The traveling control unit 106 determines a traveling route based on the first criterion and the second criterion, giving priority to the first criterion over the second criterion (a traveling control step).
　ステップＳ９０７：走行部１０５はロボット装置１０２を走行させる（走行ステップ）。 Step S907: The traveling unit 105 causes the robot device 102 to travel (traveling step).
　以上のロボット装置１０２の制御処理を実行することにより、走行面と同じ色相であるように識別された領域を優先して走行経路とすることができる。 By executing the above control processing of the robot device 102, it is possible to preferentially set a region identified as having the same hue as the traveling surface as the traveling route.
　〔変形例１〕
　上述の例では、特徴量抽出部１１１および代表特徴量抽出部１１２は、画像から色相を特徴量および代表特徴量としてそれぞれ抽出しているが、本実施形態において用いる特徴量はこれに限定されない。 [Modification 1]
In the above-described example, the feature value extraction unit 111 and the representative feature value extraction unit 112 extract the hue from the image as the feature value and the representative feature value, respectively. However, the feature value used in the present embodiment is not limited to this.
　例えば、画像から、輝度、テクスチャ分布および光の反射率のうちの少なくとも１つを特徴量および代表特徴量としてそれぞれ抽出し、走行可能領域設定部１１０および走行推奨領域設定部１１３は、画像の色相、輝度、テクスチャ分布および光の反射率のうちの少なくとも１つの特徴量および代表特徴量を参照し、第１領域、第２領域および第３領域を識別し、走行可能領域および走行推奨領域を設定してもよい。なお、光の反射率は、任意の光の反射率であってよいが、例えば、赤外光の反射率であり得る。 For example, from the image, at least one of luminance, texture distribution, and light reflectance is extracted as a feature value and a representative feature value, respectively. The travelable area setting unit 110 and the recommended travel area setting unit 113 determine the hue of the image. The first area, the second area, and the third area are identified by referring to at least one characteristic amount and the representative characteristic amount among the luminance, the texture distribution, and the light reflectance, and the travelable area and the recommended travel area are set. May be. The light reflectance may be any light reflectance, and may be, for example, infrared light reflectance.
　また、輝度またはテクスチャ分布を特徴量および代表特徴量とした場合、ステレオ撮像部１０３の第１撮像部１０８および第２撮像部１０９はカラーカメラではなくモノクロカメラである場合にも適用できる。また、光の反射率を特徴量および代表特徴量とした場合、ステレオ撮像部１０３の第１撮像部１０８および第２撮像部１０９はカラーカメラではなく赤外線カメラ等の任意の光を検出するための光学センサである場合にも適用できる。 In addition, when the luminance or texture distribution is used as the feature amount and the representative feature amount, the first imaging unit 108 and the second imaging unit 109 of the stereo imaging unit 103 can be applied to a case where a monochrome camera is used instead of a color camera. When the light reflectance is a feature amount and a representative feature amount, the first imaging unit 108 and the second imaging unit 109 of the stereo imaging unit 103 are not a color camera but an infrared camera or the like for detecting arbitrary light. The present invention can also be applied to the case of an optical sensor.
　一態様において、第１撮像部１０８および第２撮像部１０９が生成する第１画像および第２画像が、ＲＧＢ値ではなくＹ値（輝度）によって構成されている場合、特徴量抽出部１１１は輝度を特徴量として抽出してもよい。また、テクスチャ分布としては、例えば、注目点の周辺近傍（Ｎ×Ｎ画素）のＹ値（輝度）の平均を式（５）として表すことができ、Ｙ値の分散を式（６）として表すことができる。さらには、ＲＧＢ値からＹ値（輝度）へ式（７）を用いて変換すると、色相、輝度およびテクスチャ分布を組み合わせたものを特徴量として抽出することができる。 In one aspect, when the first image and the second image generated by the first imaging unit 108 and the second imaging unit 109 are constituted by Y values (luminance) instead of RGB values, the feature amount extraction unit 111 outputs the luminance value. May be extracted as a feature value. As the texture distribution, for example, the average of the Y values (luminance) in the vicinity of the target point (N × N pixels) can be expressed as Expression (5), and the variance of the Y values is expressed as Expression (6). be able to. Further, when the RGB value is converted into the Y value (luminance) using Expression (7), a combination of hue, luminance, and texture distribution can be extracted as a feature amount.
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000003
　また、一態様において、特徴量抽出部１１１が、色相、輝度、テクスチャ分布および光の反射率を組み合わせたものを特徴量として抽出することで、代表特徴量抽出部１１２は走行推奨領域をより高精度に設定することができる。例えば、第１領域（走行面）が青色のカーペットであり、走行面上に青色のカーペットとは模様が異なる青色の紙（第３領域）が落ちているとする。 In one embodiment, the feature amount extraction unit 111 extracts a combination of hue, luminance, texture distribution, and light reflectance as a feature amount, so that the representative feature amount extraction unit 112 can set a higher recommended travel area. Can be set to accuracy. For example, it is assumed that the first area (running surface) is a blue carpet, and blue paper (third area) having a pattern different from that of the blue carpet is dropped on the running surface.
　この場合、代表特徴量抽出部１１２は、特徴量抽出部１１１が抽出した特徴量のうち、テクスチャ分布に基づいて代表特徴量を抽出することにより、青色のカーペットは分散値が大きく、青色の紙は分散値が小さいことから、走行面上の青色のカーペットと青色の紙とを好適に識別することができる。 In this case, the representative feature amount extraction unit 112 extracts the representative feature amount based on the texture distribution among the feature amounts extracted by the feature amount extraction unit 111, so that the blue carpet has a large variance value and the blue paper Since the variance value is small, the blue carpet and the blue paper on the running surface can be suitably distinguished.
　また、代表特徴量抽出部１１２が、特徴量抽出部１１１が抽出した特徴量のうち、色相または輝度に基づいて代表特徴量を抽出することにより、青色のカーペット上の汚れを好適に識別することができる。したがって、特徴量抽出部１１１が、特徴量を複数抽出することで、代表特徴量抽出部１１２は、走行推奨領域をより高精度に設定することができる。 In addition, the representative feature extraction unit 112 extracts a representative feature based on hue or luminance from among the features extracted by the feature extraction unit 111, so that the stain on the blue carpet can be appropriately identified. Can be. Therefore, the representative feature quantity extraction unit 112 can set the travel recommended area with higher accuracy by the feature quantity extraction unit 111 extracting a plurality of feature quantities.
　なお、上述の例のように、特徴量抽出部１１１が特徴量を複数抽出し、複数の特徴量を代表特徴量抽出部１１２に入力した場合、代表特徴量抽出部１１２は、特徴量ごとに代表特徴量を抽出してもよい。この場合、走行推奨領域設定部１１３は、抽出された複数の代表特徴量に基づき、代表特徴量の結果を統合することで走行推奨領域を設定することができる。 When the feature amount extraction unit 111 extracts a plurality of feature amounts and inputs the plurality of feature amounts to the representative feature amount extraction unit 112 as in the above-described example, the representative feature amount extraction unit 112 The representative feature may be extracted. In this case, the recommended traveling area setting unit 113 can set the recommended traveling area by integrating the results of the representative characteristic amounts based on the extracted plurality of representative characteristic amounts.
　代表特徴量の結果の統合方法について、例えば、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域とがある場合について以下に説明する。 A method of integrating the results of the representative feature amounts will be described below, for example, in a case where there is a recommended travel region set based on the representative feature amount of hue and a recommended travel region set based on the representative feature amount of luminance. I do.
　一態様において、走行推奨領域設定部１１３は、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域との論理和を取る方法によって走行推奨領域を設定することができる。 In one aspect, the recommended travel area setting unit 113 performs a logical OR operation on the recommended travel area set based on the representative feature value of hue and the recommended travel area set based on the representative feature value of luminance. The recommended traveling area can be set.
　すなわち、走行推奨領域設定部１１３は、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域とを比較する。そして、走行推奨領域設定部１１３は、両方の代表特徴量に基づいて走行推奨領域として設定されている領域のみを走行推奨領域に設定してもよい。 That is, the recommended traveling area setting unit 113 compares the recommended traveling area set based on the representative characteristic amount of hue with the recommended traveling area set based on the representative characteristic amount of luminance. Then, the recommended traveling region setting unit 113 may set only the region set as the recommended traveling region based on both representative feature amounts as the recommended traveling region.
　〔変形例２〕
　上述の例では、走行推奨領域設定部１１３は、走行可能領域において、走行推奨領域および第３領域の２種類に明確に区分けしているが、これに代えて、走行可能領域の各部位について、走行推奨領域であるか第３領域であるかの指標となる指標値を設定するようにしてもよい。この場合、走行制御部１０６は、当該指標値を参照して、走行経路を決定する。 [Modification 2]
In the above-described example, the recommended travel area setting unit 113 clearly divides the travelable area into two types, the recommended travel area and the third area. An index value may be set as an index indicating whether the area is the travel recommended area or the third area. In this case, the traveling control unit 106 determines a traveling route with reference to the index value.
　例えば、走行推奨領域設定部１１３は、代表特徴量である色相ｈｒと走行可能領域内の特徴量である色相ｈｏとが近い部位ほど指標値を高い値に設定し、色相ｈｒから色相ｈｏがずれている部位ほど指標値を低くする第１モードに基づいて指標値を設定してもよい。 For example, running the recommended area setting unit 113 sets the hue h o and the index value as a site near a characteristic amount of the vehicle can travel with the hue h r a representative characteristic amount region to a high value, the hue of the hue h r h o may be set an index value based on the first mode to lower the higher the index value portion are offset.
　換言すれば、走行推奨領域設定部１１３は、代表特徴量である色相ｈｒと走行可能領域内の特徴量である色相ｈｏとが近いほど走行推奨領域である可能性が高いとみなし、指標値を高い値に設定し、代表特徴量である色相ｈｒと走行可能領域内の特徴量である色相ｈｏとがずれているほど第３領域である可能性が高いとみなし、指標値を低い値に設定する。 In other words, the travel recommendation area setting unit 113 considers that there is a high possibility that the hue h o is a characteristic quantity which is traveling recommended region closer in the travelable area and the hue h r a representative feature quantity, the index The value is set to a high value, and the more likely the hue h r as the representative feature and the hue h o as the feature in the travelable area are, the higher the possibility of the third area is, and the index value is set. Set to a lower value.
　一例として、走行推奨領域設定部１１３は、代表特徴量である色相ｈｒと走行可能領域内の特徴量である色相ｈｏとが等しい場合、指標値を１０に設定する。また、走行推奨領域設定部１１３は、色相ｈｒと色相ｈｏとが１度以上２度以下ずれている場合、指標値を９に設定する。以降、色相ｈｒと色相ｈｏとが２度ずれるごとに走行推奨領域設定部１１３は指標値を１ずつ減らした値に設定し、２０度以上ずれている場合、指標値を０に設定する。 As an example, running the recommended area setting unit 113, when a hue h o is the characteristic of the hue h r a travelable area is a representative feature quantity is equal, sets the index value to 10. The running recommended area setting unit 113, if the hue h r and the hue h o deviates less than 2 degrees 1 degree, and sets the index value to 9. Later, it is set to a value running recommended area setting unit 113 with a reduced index value by one for each hue h r and the hue h o is shifted twice, if the shifted 20 degrees or more, the index value is set to 0 .
　この場合、走行制御部１０６は、指標値が高い部位を優先して走行するようにロボット装置１０２の走行部１０５の走行方向を制御する。このように、走行推奨領域設定部１１３が指標値をさらに設定することで、ロボット装置１０２は、第３領域である可能性が高い領域を避け、走行推奨領域である可能性が高い領域を優先して走行できる。 In this case, the traveling control unit 106 controls the traveling direction of the traveling unit 105 of the robot device 102 so as to preferentially travel the part having the higher index value. As described above, the travel recommended area setting unit 113 further sets the index value, so that the robot apparatus 102 avoids the area that is likely to be the third area and gives priority to the area that is likely to be the travel recommended area. I can run.
　また、一態様において、走行推奨領域設定部１１３は、色相ｈｒから色相ｈｏがずれるほど指標値を高く設定し、所定の度合いよりも大きくずれている場合に指標値を０に設定する第２モードに基づいて指標値を設定してもよい。 Also, in one embodiment, the travel recommendation area setting unit 113, the index value is set to 0 if the hue h r hue h o set high index value the more deviated, deviates greater than a predetermined degree The index value may be set based on two modes.
　一例として、走行推奨領域設定部１１３は、色相ｈｒと色相ｈｏとが等しい場合、指標値を１０に設定し、色相ｈｒと色相ｈｏとが１度以上２度以下ずれている場合、指標値を１に設定する。以降、色相ｈｒと色相ｈｏとが２度ずれるごとに走行推奨領域設定部１１３は指標値を１ずつ増やした値に設定し、２０度以上ずれている場合、指標値を０に設定する。 As an example, running the recommended area setting unit 113, when a hue h r and the hue h o is equal, sets the index value to 10, if the hue h r and the hue h o deviates less than 2 degrees 1 degree , The index value is set to 1. Later, it is set to a value running recommended area setting unit 113 with an increased index value by one for each hue h r and the hue h o is shifted twice, if the shifted 20 degrees or more, the index value is set to 0 .
　これは、例えば、走行面（第１領域）の色相ｈｒとのずれが１度以上２度以下程度であり、色相ｈｒと近い色相ｈｏを有する可能性の高いマンホール、側溝蓋および水たまりなどの第３領域の指標値を低く設定することを目的としている。これにより、ロボット装置１０２は、第３領域を好適に避けて走行することができる。その結果、ロボット装置１０２は、例えば、マンホール上を走行することによりスリップしたり、側溝蓋上を走行することによりロボット装置１０２の走行部１０５（タイヤなど）がはまったりする危険を回避することができる。 This, for example, on the order deviation less than 2 degrees 1 degree of hue h r of the running surface (first area), increased likelihood of having hue h r and closer hue h o manhole, gutter cover and puddle It is intended to set an index value of the third area such as a low value. Thereby, the robot device 102 can travel while avoiding the third region appropriately. As a result, for example, the robot device 102 can avoid a danger of slipping by traveling on a manhole, or a danger that the traveling portion 105 (such as a tire) of the robot device 102 gets stuck by traveling on a gutter cover. it can.
　また、一態様において、画像処理装置１０１が操作部１０００（不図示）をさらに備えており、当該操作部１０００を介してユーザが任意に第１モードと第２モードとのいずれのモードで指標値設定するかを切り替えてもよい。これにより、ユーザは操作部１０００を介してロボット装置１０２の走行が推奨される走行推奨領域および第３領域を設定するための方法を任意に選択することができる。 In one embodiment, the image processing apparatus 101 further includes an operation unit 1000 (not shown), and the user can arbitrarily set the index value in any one of the first mode and the second mode via the operation unit 1000. The setting or the setting may be switched. Thus, the user can arbitrarily select a method for setting the recommended travel area and the third area in which the robot apparatus 102 is recommended to travel via the operation unit 1000.
　〔変形例３〕
　上述の例では、走行推奨領域設定部１１３はあらかじめ定められた特徴量に基づいて走行推奨領域および第３領域を設定しているが、本実施形態ではこれに限定されない。本実施形態では、画像処理装置１０１は変形例２と同様に操作部１０００をさらに備えており、当該操作部１０００を介してユーザが任意に走行推奨領域および第３領域を設定するための特徴量を選択できるようにしてもよい。例えば、画像処理装置１０１はユーザインタフェース機能を有する表示部１０１０（不図示）をさらに備えており、当該表示部１０１０を介してユーザが任意に走行推奨領域および第３領域を設定するための特徴量を選択できるようにしてもよい。 [Modification 3]
In the above-described example, the recommended traveling area setting unit 113 sets the recommended traveling area and the third area based on a predetermined feature amount, but the present embodiment is not limited to this. In the present embodiment, the image processing apparatus 101 further includes an operation unit 1000 similarly to the second modification, and a feature amount for the user to arbitrarily set the travel recommended area and the third area via the operation unit 1000. May be selectable. For example, the image processing apparatus 101 further includes a display unit 1010 (not shown) having a user interface function, and a feature value for allowing a user to arbitrarily set a travel recommended area and a third area via the display unit 1010. May be selectable.
　以下、図１０を用いて、表示部１０１０を介してユーザが走行推奨領域および第３領域を設定するための特徴量の種類を選択するための例について説明する。図１０は、走行推奨領域設定方法を変更するための画像１００１を示す図である。 Hereinafter, with reference to FIG. 10, an example will be described in which the user selects the type of the feature amount for setting the travel recommended area and the third area via the display unit 1010. FIG. 10 is a diagram showing an image 1001 for changing the recommended driving area setting method.
　例えば、特徴量が色相、輝度、テクスチャ分布、および反射率など複数ある場合、ユーザは、図１０に示すように、表示部１０１０に表示される画像１００１の代表特徴量１１０１のリストのボタンをタッチしてもよい。 For example, when there are a plurality of feature amounts such as hue, luminance, texture distribution, and reflectance, the user touches a button of a list of the representative feature amounts 1101 of the image 1001 displayed on the display unit 1010 as shown in FIG. May be.
　このように、ユーザは、当該ボタンをタッチすることで、走行推奨領域設定部１１３がいずれの特徴量に基づいて走行推奨領域を設定するようかを選択してもよい。例えば図１０の場合、代表特徴量１１０１のリストのボタンとして色相が選択されているため、走行推奨領域設定部１１３は、色相の代表特徴量に基づいて走行推奨領域を設定する。 Thus, by touching the button, the user may select which feature amount the travel recommendation area setting unit 113 sets the travel recommendation area based on. For example, in the case of FIG. 10, hue is selected as a button of the list of the representative feature values 1101, so the recommended traveling area setting unit 113 sets the recommended traveling area based on the representative feature values of the hue.
　また、ユーザは、表示部１０１０を介して、走行推奨領域設定部１１３は、重み付けによって走行推奨領域を設定するように指示してもよい。これにより、ロボット装置１０２の走行状況に応じてユーザが適宜走行推奨領域を設定できるため好適である。 ユ ー ザ Also, the user may instruct via the display unit 1010 that the recommended traveling area setting unit 113 sets a recommended traveling area by weighting. This is preferable because the user can appropriately set the recommended traveling area according to the traveling state of the robot device 102.
　また、走行推奨領域設定部１１３が、色相ｈｒと色相ｈｏとの差が任意の許容値β度以内の領域を走行推奨領域に設定する場合、図１０に示すように、ユーザが、許容値１１０２のバーを調整することで、任意の値に許容値βを設定できるようにしてもよい。 The running recommended area setting unit 113, when the difference between the hue h r and the hue h o to set a region within an arbitrary tolerance value β ° to the travel recommendation area, as shown in FIG. 10, the user, the allowable By adjusting the bar of the value 1102, the allowable value β may be set to an arbitrary value.
　上述のようにユーザが走行推奨領域の設定方法を選択したとする。この場合、図１０に示すように、表示部１０１０は、ステレオ撮像部１０３が撮像した入力画像である基準画像３０１、および、当該設定方法に基づいて設定された走行推奨領域３０２２の結果を画像１００１に表示する。また、表示部１０１０は、ユーザによる走行推奨領域の設定方法の変更に応じて設定された走行推奨領域３０２２の結果を画像１００１に更新して表示する。 と す る Assume that the user has selected the method for setting the recommended travel area as described above. In this case, as illustrated in FIG. 10, the display unit 1010 displays the result of the reference image 301 which is the input image captured by the stereo imaging unit 103 and the result of the recommended travel area 3022 set based on the setting method in the image 1001. To display. The display unit 1010 updates and displays the result of the recommended travel area 3022 set in accordance with the user's change in the method of setting the recommended travel area in the image 1001.
　このように走行推奨領域の設定方法を変更した場合、画像１００１に表示される走行推奨領域３０２２の結果が変更される。そのため、走行推奨領域の設定方法を変更した場合に、画像１００１に表示される走行推奨領域３０２２の結果にどのように影響を与えるのかユーザに認識させることができる。 When the method of setting the recommended travel area is changed in this way, the result of the recommended travel area 3022 displayed in the image 1001 is changed. Therefore, when the method of setting the recommended travel area is changed, it is possible to make the user recognize how the result of the recommended travel area 3022 displayed in the image 1001 is affected.
　これにより、ユーザはより好適に走行推奨領域および第３領域の選択基準を選択することができる。その結果、走行推奨領域設定部１１３はより好適に走行推奨領域および第３領域を設定することができるため、走行制御部１０６は、より好適にロボット装置１０２を走行させることができる。 Thereby, the user can more suitably select the selection criteria for the recommended traveling area and the third area. As a result, the recommended traveling area setting unit 113 can more appropriately set the recommended traveling area and the third area, so that the traveling control unit 106 can more appropriately cause the robot apparatus 102 to travel.
　〔変形例４〕
　上述の例では、ロボット装置１０２は、距離情報を取得するためにステレオ撮像部１０３を備えているが、ステレオ撮像部１０３の代わりに、任意の撮像部（不図示）と距離情報取得部（不図示）とを備えていてもよい。 [Modification 4]
In the above example, the robot apparatus 102 includes the stereo imaging unit 103 for acquiring distance information. However, instead of the stereo imaging unit 103, an arbitrary imaging unit (not shown) and a distance information acquisition unit (not shown) are used. (Shown).
　距離情報取得部としては、例えば、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）および赤外線ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサなどが挙げられる。撮像部から画像を取得し、距離情報取得部から距離情報を取得し、画像処理装置１０１に入力することで、ロボット装置１０２は、ステレオ撮像部１０３を備えている場合と同様の効果を得ることができる。 Examples of the distance information acquisition unit include a LIDAR (Light Detection and Ranging) and an infrared TOF (Time of Flight) sensor. By obtaining an image from the imaging unit, obtaining distance information from the distance information obtaining unit, and inputting the distance information to the image processing apparatus 101, the same effect as when the robot apparatus 102 includes the stereo imaging unit 103 can be obtained. Can be.
　〔変形例５〕
　上述の例では、ロボット装置１０２は、可視光カメラとしてのステレオ撮像部１０３を備えているが、可視光カメラの代わりに、赤外線カメラなどの非可視光カメラとしてのステレオ撮像部１０３を備えていてもよい。 [Modification 5]
In the above-described example, the robot apparatus 102 includes the stereo imaging unit 103 as a visible light camera. However, instead of the visible light camera, the robot apparatus 102 includes the stereo imaging unit 103 as an invisible light camera such as an infrared camera. Is also good.
　非可視光カメラとしてのステレオ撮像部１０３によって撮像された画像を画像処理装置１０１に入力することで、特に、反射率を特徴量および代表特徴量として好適に抽出することができる。また、この場合も、可視光カメラとしてのステレオ撮像部１０３を備えている場合と同様に、走行推奨領域設定部１１３が走行推奨領域および第３領域を設定することができる。 (4) By inputting an image captured by the stereo imaging unit 103 as an invisible light camera to the image processing apparatus 101, it is possible to suitably extract, in particular, the reflectance as a feature amount and a representative feature amount. Also in this case, similarly to the case where the stereo imaging unit 103 as the visible light camera is provided, the recommended traveling area setting unit 113 can set the recommended traveling area and the third area.
　〔変形例６〕
　上述の例では、ロボット装置１０２が走行する走行面（ロボット装置１０２が乗っている第１領域）が、カーペットなどの床面である場合について説明している。ただし、ロボット装置１０２の走行面としては、壁面、天井面および曲面のいずれであってもよい。このように、本実施形態に係るロボット装置１０２は、壁面、天井面および球状の物体などの曲面を走行するロボット装置１０２にも適用できる。 [Modification 6]
In the above example, the case where the traveling surface on which the robot device 102 travels (the first area on which the robot device 102 rides) is a floor surface such as a carpet is described. However, the running surface of the robot device 102 may be any of a wall surface, a ceiling surface, and a curved surface. As described above, the robot device 102 according to the present embodiment can be applied to the robot device 102 traveling on a curved surface such as a wall surface, a ceiling surface, and a spherical object.
　〔変形例７〕
　上述の例では、走行可能領域設定部１１０は、図６に示すようにステレオ撮像部１０３の設置高さがＨ［ｍ］である場合に、距離情報に基づいて高さＨ±α［ｍ］の箇所を走行可能領域として設定している。また、上述の例では、ステレオ撮像部１０３の設置高さＨ［ｍ］が一定の値である場合について説明している。 [Modification 7]
In the above example, when the installation height of the stereo imaging unit 103 is H [m] as shown in FIG. 6, the travelable area setting unit 110 uses the height H ± α [m] based on the distance information. Is set as a travelable area. In the above example, the case where the installation height H [m] of the stereo imaging unit 103 is a constant value is described.
　これに対し、本実施形態では、走行可能領域設定部１１０は、ステレオ撮像部１０３の設置高さＨ［ｍ］は一定の値でなくてもよい。例えば、ステレオ撮像部１０３がアームの先端に取り付けられており、アームを伸縮させてアームの高さを動的に変化させることで、ステレオ撮像部１０３の設置高さＨ［ｍ］をＨ１［ｍ］、Ｈ２［ｍ］・・・のように複数の値として切り替えてもよい。 On the other hand, in the present embodiment, the travelable area setting unit 110 does not need to set the installation height H [m] of the stereo imaging unit 103 to a fixed value. For example, the stereo imaging unit 103 is attached to the tip of the arm, and the installation height H [m] of the stereo imaging unit 103 is set to H 1 [ m], H 2 [m],...
　この場合、記憶部１０７は、アームの伸縮量とステレオ撮像部１０３の高さとの対応関係を記憶しておいてもよい。これにより、アームの高さが変化した際に、走行可能領域設定部１１０は、記憶部１０７から変更後のアームの高さに対応した高さＨ［ｍ］を読み込むことで、高さＨ±α［ｍ］の箇所を走行可能領域とし、それ以外の個所を第２領域として好適に設定できる。 In this case, the storage unit 107 may store the correspondence between the amount of expansion and contraction of the arm and the height of the stereo imaging unit 103. Accordingly, when the height of the arm changes, the travelable area setting unit 110 reads the height H [m] corresponding to the changed arm height from the storage unit 107, thereby obtaining the height H ± The position of α [m] can be suitably set as the travelable region, and other portions can be suitably set as the second region.
　このように、ステレオ撮像部１０３の設置高さＨ［ｍ］が動的に変化する場合であっても、例えば、上述のように、ステレオ撮像部１０３の設置高さＨ［ｍ］を切り替えた際の値を記憶部１０７に記憶しておくことで、好適に走行可能領域および第２領域を設定できる。これにより、走行制御部１０６は、ステレオ撮像部１０３の高さに応じて好適に走行経路を決定することができる。その結果、ステレオ撮像部１０３の高さに応じて好適にロボット装置１０２を走行させることができる。 As described above, even when the installation height H [m] of the stereo imaging unit 103 dynamically changes, for example, the installation height H [m] of the stereo imaging unit 103 is switched as described above. By storing the values at this time in the storage unit 107, the travelable area and the second area can be suitably set. Thereby, the traveling control unit 106 can appropriately determine the traveling route according to the height of the stereo imaging unit 103. As a result, the robot device 102 can be suitably driven according to the height of the stereo imaging unit 103.
　〔変形例８〕
　上述の例では、ステレオ撮像部１０３は、第１撮像部１０８および第２撮像部１０９の光軸２０１が、ロボット装置１０２が乗っている第１領域２０２と平行になるように設置されているが、第１領域２０２と平行な方向から第１領域２０２に向かう方向に傾けて設置されていてもよい。以下、図１１を用いて光軸２０１が、第１領域２０２と平行な方向から第１領域２０２に向かう方向に傾けて設置されている場合における、走行可能領域設定部１１０による走行可能領域および第２領域の設定方法について説明する。 [Modification 8]
In the above example, the stereo imaging unit 103 is installed such that the optical axis 201 of the first imaging unit 108 and the second imaging unit 109 is parallel to the first area 202 on which the robot device 102 is mounted. , May be installed to be inclined in a direction toward the first region 202 from a direction parallel to the first region 202. Hereinafter, referring to FIG. 11, when the optical axis 201 is installed to be inclined from the direction parallel to the first region 202 toward the first region 202, the travelable region by the travelable region setting unit 110 and the A method for setting the two areas will be described.
　図１１は、光軸２０１が第１領域２０２と平行な方向から第１領域２０２に向かう方向に傾けて設置されている場合の走行可能領域設定部１１０による走行可能領域の設定方法について説明するための図である。図１１に示すように第１撮像部１０８および第２撮像部１０９の光軸２０１を、画像における第１領域２０２の占める割合を増やすために、ロボット装置１０２が乗っている第１領域２０２の方向に傾けて設置している。 FIG. 11 illustrates a method of setting a travelable area by the travelable area setting unit 110 in a case where the optical axis 201 is installed to be inclined in a direction from the direction parallel to the first area 202 to the first area 202. FIG. As shown in FIG. 11, the optical axis 201 of the first imaging unit 108 and the second imaging unit 109 is moved in the direction of the first region 202 on which the robot device 102 rides in order to increase the proportion of the first region 202 in the image. Installed at an angle.
　この場合、図１１に示すように、第１領域２０２と光軸２０１との間の距離ｌ［ｍ］は一定ではないため、ステレオ撮像部１０３と被写体との間の距離（距離情報）ｄ［ｍ］に応じて算出する必要がある。ここで、図１１に示すように、第１領域２０２と光軸２０１との距離ｌ［ｍ］は、傾き角θ［ｒａｄ］とすると、式（８）のように算出することができる。 In this case, as shown in FIG. 11, since the distance l [m] between the first area 202 and the optical axis 201 is not constant, the distance (distance information) d [distance information) between the stereo imaging unit 103 and the subject. m]. Here, as shown in FIG. 11, the distance l [m] between the first region 202 and the optical axis 201 can be calculated as in Expression (8), where the inclination angle is θ [rad].
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000004
　走行可能領域設定部１１０は、距離（距離情報）ｄ［ｍ］ごとに、式（８）として算出された第１領域２０２と光軸２０１との間の距離ｌ［ｍ］に基づき、距離ｌ±α［ｍ］の範囲の点を抽出することで走行可能領域を設定し、当該範囲外の点を抽出することで第２領域を設定することができる。 The travelable area setting unit 110 calculates the distance l based on the distance l [m] between the first area 202 and the optical axis 201 calculated as Expression (8) for each distance (distance information) d [m]. The travelable area can be set by extracting points in the range of ± α [m], and the second area can be set by extracting points outside the range.
　このように、ステレオ撮像部１０３を第１領域２０２と平行な方向から第１領域２０２に向かう方向に傾けて設置することで、ロボット装置１０２が乗っている第１領域２０２と平行に設置する場合よりも第１領域２０２を撮像しやすくすることができる。また、画像における第１領域２０２の占める割合を増やすことができる。また、この場合も、走行可能領域および第２領域を好適に設定することができる。これにより、走行制御部１０６は、ステレオ撮像部１０３の向きに応じて好適に走行経路を決定することができる。その結果、ステレオ撮像部１０３の向きに応じて好適にロボット装置１０２を走行させることができる。 As described above, when the stereo imaging unit 103 is installed to be inclined from the direction parallel to the first area 202 to the direction toward the first area 202, the stereo imaging unit 103 is installed in parallel with the first area 202 on which the robot apparatus 102 is mounted. The first region 202 can be more easily imaged than in the first embodiment. Further, the proportion of the first area 202 in the image can be increased. Also in this case, the travelable area and the second area can be set appropriately. Thereby, the traveling control unit 106 can appropriately determine the traveling route according to the direction of the stereo imaging unit 103. As a result, the robot apparatus 102 can be suitably driven according to the direction of the stereo imaging unit 103.
　〔変形例９〕
　上述の例では、走行可能領域設定部１１０は、図６に示すようにステレオ撮像部１０３の設置高さがＨ［ｍ］である場合に、距離情報に基づいて高さＨ±α［ｍ］の箇所を走行可能領域として設定している。ただし、走行可能領域設定部１１０は、距離情報に基づき、ステレオ撮像部１０３によって撮像された画像中の平面を推定し、当該平面の結果から走行可能領域を設定してもよい。まず、距離情報を上述の式（１）および以下の式（９）を用いて３次元点（ｘ、ｙ、ｄ）に変換する。 [Modification 9]
In the above example, when the installation height of the stereo imaging unit 103 is H [m] as shown in FIG. 6, the travelable area setting unit 110 uses the height H ± α [m] based on the distance information. Is set as a travelable area. However, the travelable area setting unit 110 may estimate a plane in the image captured by the stereo imaging unit 103 based on the distance information, and may set the travelable area based on the result of the plane. First, the distance information is converted into a three-dimensional point (x, y, d) using the above equation (1) and the following equation (9).
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000005
　ここで、ｕ［ピクセル］はステレオ撮像部１０３によって撮像された画像上のＸ軸方向の位置、ｗは画像の横画素数［ピクセル］を表す。まず、走行可能領域設定部１１０は、距離情報の全画素に対し式（１）および（９）を適用して３次元点群を生成する。次に、走行可能領域設定部１１０は、生成した３次元点群の主成分を分析し、当該分析によって得られた第三主成分ベクトルを式（１０）に示すような法線ベクトルとする。次に、走行可能領域設定部１１０は、当該法線ベクトルに基づき、式（１１）に示すような３次元点群の重心（ｘ０、ｙ０、ｄ０）を通る平面の方程式を算出する。 Here, u [pixel] represents the position in the X-axis direction on the image captured by the stereo imaging unit 103, and w represents the number of horizontal pixels [pixel] of the image. First, the travelable region setting unit 110 generates a three-dimensional point group by applying Expressions (1) and (9) to all pixels of the distance information. Next, the travelable area setting unit 110 analyzes the principal components of the generated three-dimensional point group, and sets the third principal component vector obtained by the analysis as a normal vector as shown in Expression (10). Next, the travelable area setting unit 110 calculates an equation of a plane passing through the center of gravity (x 0 , y 0 , d 0 ) of the three-dimensional point group as shown in Expression (11) based on the normal vector. .
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000006
　式（１１）に示す平面は、３次元点群における支配的な平面、すなわち、ロボット装置１０２が乗っている第１領域２０２の面である。そのため、走行可能領域設定部１１０は、当該平面と３次元点（ｘ、ｙ、ｄ）との距離を算出し、所定の範囲の距離に収まる３次元点の領域を走行可能領域として設定する。当該平面と３次元点（ｘ、ｙ、ｄ）との距離ｇは以下の式（１２）のように算出することができる。 平面 The plane shown in Expression (11) is the dominant plane in the three-dimensional point cloud, that is, the plane of the first area 202 on which the robot device 102 is riding. Therefore, the travelable area setting unit 110 calculates the distance between the plane and the three-dimensional point (x, y, d), and sets the area of the three-dimensional point within a predetermined range as the travelable area. The distance g between the plane and the three-dimensional point (x, y, d) can be calculated as in the following equation (12).
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000007
　距離ｇが０に近いほど、３次元点（ｘ、ｙ、ｄ）は第１領域２０２の面に近い位置にあることを意味する。すなわち、走行可能領域設定部１１０は、距離ｇが±α以内である３次元点を含む範囲を走行可能領域として設定し、当該範囲外を第２領域として設定する。 ほ ど The closer the distance g is to 0, the closer the three-dimensional point (x, y, d) is to the surface of the first area 202. That is, the travelable area setting unit 110 sets a range including a three-dimensional point whose distance g is within ± α as the travelable area, and sets the area outside the range as the second area.
　このように、走行可能領域設定部１１０は、距離情報に基づき画像中の平面を推定し、推定された平面の結果から走行可能領域および第２領域を設定することで、ステレオ撮像部１０３の設置高さＨ［ｍ］の値が変化しても、走行可能領域および第２領域を好適に設定できる。これにより、走行制御部１０６は、ステレオ撮像部１０３の高さに応じて走行経路を決定することができる。その結果、ステレオ撮像部１０３の高さに応じて好適にロボット装置１０２を走行させることができる。 As described above, the travelable area setting unit 110 estimates the plane in the image based on the distance information, and sets the travelable area and the second area based on the result of the estimated plane, thereby setting the stereo imaging unit 103. Even if the value of the height H [m] changes, the travelable area and the second area can be set appropriately. Thereby, the traveling control unit 106 can determine the traveling route according to the height of the stereo imaging unit 103. As a result, the robot device 102 can be suitably driven according to the height of the stereo imaging unit 103.
　〔変形例１０〕
　上述の例では、代表特徴量抽出部１１２は、図７の（ａ）に示すように、あらかじめ設定された領域７０１における色相ヒストグラムを作成している。ただし、本実施形態では、画像処理装置１０１は操作部１０００をさらに備えており、当該操作部１０００を介してユーザが任意に代表特徴量を抽出するための領域７０１を設定してもよい。 [Modification 10]
In the above-described example, the representative feature quantity extraction unit 112 creates a hue histogram in the region 701 set in advance as shown in FIG. However, in the present embodiment, the image processing apparatus 101 further includes the operation unit 1000, and the user may arbitrarily set an area 701 for extracting the representative feature amount via the operation unit 1000.
　例えば、画像処理装置１０１はユーザインタフェース機能を有する表示部１０１０（不図示）をさらに備えており、当該表示部１０１０を介してユーザが任意に領域７０１を選択できるようにしてもよい。より具体的には、図１０に示すように、表示部１０１０が基準画像３０１を表示している場合、ユーザは基準画像３０１をタッチすることで図７に示すような領域７０１を基準画像３０１上で選択してもよい。 For example, the image processing apparatus 101 may further include a display unit 1010 (not shown) having a user interface function, and the user may arbitrarily select the area 701 via the display unit 1010. More specifically, as shown in FIG. 10, when the display unit 1010 displays the reference image 301, the user touches the reference image 301 to place an area 701 shown in FIG. May be selected.
　一態様において、ユーザが任意に領域７０１を選択した場合、ロボット装置１０２は、選択された領域７０１が適切な位置、大きさで撮像されるように、ステレオ撮像部１０３の画角、設置高さおよび設置角度などを設定する。これにより、代表特徴量抽出部１１２は、ユーザが任意に領域７０１を設定した場合であっても、代表特徴量を好適に設定することができる。 In one aspect, when the user arbitrarily selects the area 701, the robot apparatus 102 sets the angle of view and the installation height of the stereo imaging unit 103 so that the selected area 701 is imaged at an appropriate position and size. And set the installation angle. Accordingly, the representative feature amount extraction unit 112 can appropriately set the representative feature amount even when the user arbitrarily sets the region 701.
　なお、上述の例では、領域７０１の形は四角形であるが、四角形でなくてもよく、例えば、多角形または丸などであってもよい。また、代表特徴量抽出部１１２は、走行可能領域のうち、任意の領域から代表特徴量を抽出してもよい。このように、代表特徴量抽出部１１２が任意の領域から代表特徴量を抽出することで、走行可能領域全域から特徴量の統計量に基づいて代表特徴量を抽出することができる。走行推奨領域設定部１１３が、このように抽出した代表特徴量に基づいて、走行推奨領域および第３領域を設定することにより、走行制御部１０６は、より正確に走行面（第１領域）を特定して走行経路を決定することができる。 In the above-described example, the shape of the region 701 is a square, but may not be a square, and may be, for example, a polygon or a circle. In addition, the representative feature amount extraction unit 112 may extract a representative feature amount from an arbitrary region in the travelable region. As described above, the representative feature amount extraction unit 112 extracts the representative feature amount from an arbitrary region, so that the representative feature amount can be extracted from the entire travelable region based on the statistical amount of the feature amount. The recommended travel area setting unit 113 sets the recommended travel area and the third area based on the representative feature amounts extracted in this manner, so that the travel control unit 106 more accurately sets the travel plane (first area). The traveling route can be determined by specifying the traveling route.
　〔変形例１１〕
　上述の例では、代表特徴量抽出部１１２は、入力された画像ごとに代表特徴量を抽出しているが、複数の画像から代表特徴量を抽出してもよい。 [Modification 11]
In the above example, the representative feature amount extraction unit 112 extracts a representative feature amount for each input image, but may extract a representative feature amount from a plurality of images.
　複数の画像から代表特徴量を抽出する方法としては、各々の画像から抽出された代表特徴量を組み合わせる方法、および、各々の画像から抽出された特徴量全てに基づいて代表特徴量を抽出する方法が挙げられる。 As a method of extracting a representative feature from a plurality of images, a method of combining representative features extracted from each image, and a method of extracting a representative feature based on all the features extracted from each image are used. Is mentioned.
　複数の画像から代表特徴量を抽出することで、ロボット装置１０２が停止している間に時間が経過した場合に、代表特徴量抽出部１１２は、特徴量の統計量に基づいて代表特徴量を抽出できる。また、ロボット装置１０２の移動に伴い、時間の経過に加えて被写体の撮像範囲が経過した場合も、代表特徴量抽出部１１２は、特徴量の統計量に基づいて代表特徴量を抽出できる。 By extracting a representative feature from a plurality of images, the representative feature extractor 112 extracts the representative feature based on the statistics of the feature when the time has elapsed while the robot apparatus 102 is stopped. Can be extracted. Also, when the imaging range of the subject elapses in addition to the elapse of time due to the movement of the robot apparatus 102, the representative feature amount extraction unit 112 can extract the representative feature amount based on the statistical amount of the feature amount.
　ステレオ撮像部１０３が走行面（第１領域）に近い位置に設置されている場合、１度の撮像では、代表特徴量抽出部１１２は、狭い範囲の特徴量の統計量に基づいて代表特徴量を抽出しなければならない。これに対し、ステレオ撮像部１０３が複数の画像を撮像した場合、代表特徴量抽出部１１２は、広範囲の代表特徴量の統計量に基づいて代表特徴量を抽出することができる。 When the stereo imaging unit 103 is installed at a position close to the running surface (first area), in one-time imaging, the representative feature amount extraction unit 112 uses the representative feature amount based on the statistic of the feature amount in a narrow range. Must be extracted. On the other hand, when the stereo imaging unit 103 captures a plurality of images, the representative feature amount extraction unit 112 can extract the representative feature amount based on the statistics of the representative feature amount over a wide range.
　また、代表特徴量抽出部１１２は、任意の時間間隔をあけて代表特徴量を抽出してもよい。この場合、例えば、ステレオ撮像部１０３がハイスピード撮影を行っている状態で、代表特徴量抽出部１１２は、１秒おき、または５秒おきの画像に基づいて代表特徴量を抽出した代表特徴量を記憶部１０７に記憶する。また、走行推奨領域設定部１１３は、記憶部１０７が記憶している代表特徴量を取得し、走行推奨領域を設定する。 (4) The representative feature quantity extraction unit 112 may extract the representative feature quantity at an arbitrary time interval. In this case, for example, while the stereo imaging unit 103 is performing high-speed shooting, the representative feature amount extraction unit 112 extracts a representative feature amount based on an image every one second or every five seconds. Is stored in the storage unit 107. Further, the recommended traveling area setting unit 113 acquires the representative feature amount stored in the storage unit 107 and sets the recommended traveling area.
　上述のように、代表特徴量抽出部１１２が任意の時間間隔を空けて代表特徴量を抽出することで、短い時間間隔の間で変化した代表特徴量を抽出することを防ぐことができるため、走行推奨領域設定部１１３は、好適に代表特徴量を設定することができる。これにより、走行制御部１０６は、複数の画像を参照し、好適に走行経路を決定することができる。その結果、ロボット装置１０２をより安定して走行させることができる。 As described above, since the representative feature amount extraction unit 112 extracts the representative feature amount at an arbitrary time interval, it is possible to prevent the representative feature amount changed during a short time interval from being extracted. The recommended traveling area setting unit 113 can appropriately set the representative feature amount. Thereby, the traveling control unit 106 can appropriately determine the traveling route with reference to the plurality of images. As a result, the robot device 102 can travel more stably.
　なお、代表特徴量抽出部１１２は、代表特徴量に対して、時間軸方向に平滑化フィルタまたはメディアンフィルタなどが施してもよく、このようなフィルタを代表特徴量に施すことで代表特徴量の時間の経過による急激な変化を抑えることができる。 Note that the representative feature amount extraction unit 112 may apply a smoothing filter or a median filter in the time axis direction to the representative feature amount. By applying such a filter to the representative feature amount, the representative feature amount may be calculated. Abrupt changes over time can be suppressed.
　〔ソフトウェアによる実現例〕
　ロボット装置１０２の制御ブロック（特に、ステレオ撮像部１０３、走行部１０５、走行制御部１０６、ならびに、画像処理装置１０１おける走行可能領域設定部１１０、特徴量抽出部１１１、代表特徴量抽出部１１２および走行推奨領域設定部１１３）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。 [Example of software implementation]
The control blocks of the robot device 102 (particularly, the stereo imaging unit 103, the traveling unit 105, the traveling control unit 106, the travelable area setting unit 110 in the image processing device 101, the feature amount extracting unit 111, the representative feature amount extracting unit 112, The recommended traveling area setting unit 113) may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
　後者の場合、ロボット装置１０２は、各機能を実現するソフトウェアである走行プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記走行プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。また、このコンピュータは、ＯＳ（Operating System）および周辺機器などのハードウェアも備えている。そして、上記コンピュータにおいて、上記プロセッサが上記走行プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。 In the latter case, the robot device 102 includes a computer that executes instructions of a running program, which is software for realizing each function. The computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium storing the running program. The computer also includes hardware such as an operating system (OS) and peripheral devices. In the computer, the object of the present invention is achieved when the processor reads the running program from the recording medium and executes the running program.
　上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）およびＣＤ－ＲＯＭなどの可搬媒体、テープ、フレキシブルディスクおよび光磁気ディスクなどのディスク、カード、半導体メモリ、プログラマブルな論理回路、ならびに、コンピュータシステムに内蔵されるハードディスクなどを用いることができる。上記コンピュータ読み取り可能な記録媒体としては、インターネットなどのネットワーク、および、電話回線などの通信回線を介して走行プログラムを送信する場合の通信線のように、短時間の間、動的に走行プログラムを保持するもの、ならびに、サーバおよびクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間走行プログラムを保持しているものが挙げられる。 ＣＰＵ As the processor, for example, a CPU (Central Processing Unit) can be used. Examples of the recording medium include “temporary tangible media”, for example, portable media such as ROM (Read Only Memory) and CD-ROM, disks such as tapes, flexible disks and magneto-optical disks, cards, semiconductor memories, A programmable logic circuit, a hard disk incorporated in a computer system, or the like can be used. Examples of the computer-readable recording medium include a network such as the Internet, and a communication program such as a communication line for transmitting a driving program via a communication line such as a telephone line. One that stores the running program, and another that stores the running program for a certain period of time, such as a volatile memory inside a computer system serving as a server and a client.
　また、ロボット装置１０２は、上記走行プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記走行プログラムは、該走行プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記走行プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 The robot device 102 may further include a RAM (Random Access Memory) for expanding the traveling program. Further, the traveling program may be supplied to the computer via an arbitrary transmission medium (a communication network, a broadcast wave, or the like) capable of transmitting the traveling program. One embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the traveling program is embodied by electronic transmission.
　また、ロボット装置１０２の一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。この場合、ロボット装置１０２の制御ブロックを個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。 一部 Alternatively, part or all of the robot device 102 may be realized as an LSI which is typically an integrated circuit. In this case, the control blocks of the robot device 102 may be individually formed into chips, or some or all of the control blocks may be integrated into a chip. Further, the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where a technology for forming an integrated circuit that replaces an LSI appears due to the progress of semiconductor technology, an integrated circuit based on this technology can be used.
　また、上述の実施形態において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上、必ずしも全ての制御線および情報線を示しているとは限らず、全ての構成が相互に接続されていてもよい。 Further, in the above-described embodiment, the control lines and the information lines indicate what is considered to be necessary for the explanation, and not all the control lines and the information lines are necessarily shown on the product. May be connected to each other.
　〔まとめ〕
　本発明の態様１に係る走行装置（ロボット装置１０２）は、走行部（１０５）と、前記走行部が乗っている第１領域（２０２、４０６）との間に段差を有する第２領域（４０７、３０２１）を避ける第１基準、ならびに、前記第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域（４０８、３０２３）を避ける第２基準に基づき、前記第２基準よりも前記第１基準を優先して前記走行部の走行経路（経路４０３、４０４、４０５、４１１）を決定する走行制御部（１０６）と、を備えている。 [Summary]
The traveling device (robot device 102) according to the first aspect of the present invention includes a second region (407) having a step between the traveling portion (105) and the first regions (202, 406) on which the traveling portion rides. , 3021), and a second criterion for avoiding a third region (408, 3023) that differs from the first region in at least one of color, pattern, and light reflectance. A travel control unit (106) that determines a travel route ( routes 403, 404, 405, and 411) of the travel unit by giving priority to the first reference over two references.
　上記の構成によれば、好適な走行経路を走行させることができる。 According to the above configuration, it is possible to make the vehicle travel on a suitable travel route.
　本発明の態様２に係る走行装置は、上記態様１において、撮像装置（ステレオ撮像部１０３、第１撮像部１０８、第２撮像部１０９）をさらに備え、前記走行制御部は、前記撮像装置が撮像した画像を参照して、前記走行部の走行経路を決定するようになっていてもよい。 The traveling device according to an aspect 2 of the present invention, in the aspect 1, further includes an imaging device (a stereo imaging unit 103, a first imaging unit 108, and a second imaging unit 109), and the traveling control unit includes an imaging device. The traveling route of the traveling unit may be determined with reference to the captured image.
　上記の構成によれば、撮像画像を参照して、第１基準および第２基準について好適に判断し、走行経路を決定することができる。 According to the above configuration, it is possible to suitably determine the first criterion and the second criterion and determine the traveling route with reference to the captured image.
　本発明の態様３に係る走行装置は、上記態様２において、前記走行制御部は、前記撮像装置が撮像した画像に対応する距離情報をさらに参照して、前記走行部の走行経路を決定するものであってもよい。 In the traveling device according to a third aspect of the present invention, in the second aspect, the traveling control unit determines a traveling route of the traveling unit by further referring to distance information corresponding to an image captured by the imaging device. It may be.
　上記の構成によれば、距離情報を参照して、第１基準について好適に判断し、走行経路を決定することができる。 According to the above configuration, the first reference can be appropriately determined with reference to the distance information, and the traveling route can be determined.
　本発明の態様４に係る走行装置は、上記態様１～３のいずれか１つにおいて、前記第３領域を設定するためのユーザの選択を受け付ける操作部（１０００）をさらに備え、前記走行制御部は、前記選択の結果を参照して設定した第３領域に基づいて、前記走行経路を決定するようになっていてもよい。 The traveling device according to a fourth aspect of the present invention is the traveling device according to any one of the first to third aspects, further comprising an operation unit (1000) for receiving a user selection for setting the third area. May determine the travel route based on a third area set with reference to the result of the selection.
　上記の構成によれば、ユーザは操作部を介して、第３領域を設定するための選択を入力することができる。これにより、より好適に第３領域を設定し、走行経路を決定することができる。 According to the above configuration, the user can input a selection for setting the third area via the operation unit. This makes it possible to set the third area more suitably and determine the traveling route.
　本発明の態様５に係る走行装置は、上記態様１～４のいずれか１つにおいて、前記第１領域は、床面、壁面、天井面および曲面のいずれかであってもよい。 In the traveling device according to a fifth aspect of the present invention, in any one of the first to fourth aspects, the first region may be any one of a floor surface, a wall surface, a ceiling surface, and a curved surface.
　上記の構成によれば、壁面、天井面および球状の物体などの曲面を走行する走行装置にも適用できる。 According to the above configuration, the present invention can be applied to a traveling device that travels on a curved surface such as a wall surface, a ceiling surface, and a spherical object.
　本発明の態様６に係る走行装置は、上記態様２または３において、前記走行制御部は、前記撮像装置の高さに応じて設定した前記第２領域に基づいて、前記走行経路を決定してもよい。 In the traveling device according to an aspect 6 of the present invention, in the aspect 2 or 3, the traveling control unit determines the traveling route based on the second area set according to a height of the imaging device. Is also good.
　上記の構成によれば、撮像装置の高さに応じて好適に第２領域を設定し、走行経路を決定することができる。 According to the configuration described above, it is possible to suitably set the second area according to the height of the imaging device and determine the traveling route.
　本発明の態様７に係る走行装置は、上記態様６において、前記撮像装置は、前記第１領域と平行な方向から前記第１領域に向かう方向に傾けて設置されており、前記走行制御部は、さらに前記撮像装置の傾き角に応じて設定した前記第２領域に基づいて、前記走行経路を決定してもよい。 The traveling device according to a seventh aspect of the present invention is the traveling device according to the sixth aspect, wherein the imaging device is installed to be inclined from a direction parallel to the first region toward the first region. Further, the travel route may be determined based on the second area set according to the tilt angle of the imaging device.
　上記の構成によれば、撮像装置を傾けて、第１領域を好適に撮像するとともに、撮像装置の高さおよび傾きに応じて好適に第２領域を設定し、走行経路を決定することができる。 According to the above configuration, the imaging device can be tilted to appropriately capture the first region, and the second region can be appropriately set according to the height and the tilt of the imaging device, and the traveling route can be determined. .
　本発明の態様８に係る走行装置の制御方法は、走行部を備えた走行装置の制御方法であって、前記走行部が乗っている第１領域との間に段差を有する第２領域を避ける第１基準と、前記第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域を避ける第２基準と、に基づき、前記第２基準よりも前記第１基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップを包含している。 A method for controlling a traveling device according to an eighth aspect of the present invention is a method for controlling a traveling device including a traveling unit, and avoids a second region having a step between the first region on which the traveling unit rides. The first criterion is set to be higher than the second criterion based on a first criterion and a second criterion that avoids a third territory in which at least one of the color, the pattern, and the reflectance of light differs from the first territory It includes a traveling step in which the traveling unit travels along a traveling route determined with priority.
　上記の構成によれば、本発明の一態様に係る走行装置と同様の効果を奏する。 According to the configuration described above, the same advantages as those of the traveling device according to one embodiment of the present invention can be obtained.
　本発明の各態様に係る走行装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記走行装置が備える各部（ソフトウェア要素）として動作させることにより前記走行装置をコンピュータにて実現させる走行装置の走行プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The traveling device according to each aspect of the present invention may be implemented by a computer. In this case, the traveling device is implemented by a computer by operating the computer as each unit (software element) included in the traveling device. The traveling program of the traveling device and a computer-readable recording medium recording the traveling program are also included in the scope of the present invention.
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining the technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.

Claims (10)

  1. 　走行部と、
    　　前記走行部が乗っている第１領域との間に段差を有する第２領域を避ける第１基準、ならびに
    　　前記第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域を避ける第２基準に基づき、
    　　前記第２基準よりも前記第１基準を優先して前記走行部の走行経路を決定する走行制御部と、を備えていることを特徴とする走行装置。     Traveling part,
    A first criterion for avoiding a second area having a step between the first area and the first area on which the traveling section is riding; and a third criterion different from the first area in at least one of color, pattern, and light reflectance. Based on the second criterion to avoid territories,
    A traveling control unit that determines a traveling route of the traveling unit by giving priority to the first reference over the second reference.
  2. 　撮像装置をさらに備え、
    　前記走行制御部は、前記撮像装置が撮像した画像を参照して、前記走行部の走行経路を決定することを特徴とする請求項１に記載の走行装置。     Further comprising an imaging device,
    The traveling device according to claim 1, wherein the traveling control unit determines a traveling route of the traveling unit with reference to an image captured by the imaging device.
  3. 　前記走行制御部は、前記撮像装置が撮像した画像に対応する距離情報をさらに参照して、前記走行部の走行経路を決定することを特徴とする請求項２に記載の走行装置。 The travel device according to claim 2, wherein the travel control unit determines the travel route of the travel unit by further referring to distance information corresponding to an image captured by the imaging device.
  4. 　第３領域を設定するためのユーザの選択を受け付ける操作部をさらに備え、
    　前記走行制御部は、前記選択の結果を参照して設定した前記第３領域に基づいて、前記走行経路を決定することを特徴とする請求項１～３の何れか一項に記載の走行装置。     An operation unit that receives a user's selection for setting the third area;
    The traveling device according to any one of claims 1 to 3, wherein the traveling control unit determines the traveling route based on the third area set with reference to a result of the selection. .
  5. 　前記第１領域は、床面、壁面、天井面および曲面のいずれかであることを特徴とする請求項１～４のいずれか１項に記載の走行装置。 The traveling device according to any one of claims 1 to 4, wherein the first region is any one of a floor surface, a wall surface, a ceiling surface, and a curved surface.
  6. 　前記走行制御部は、前記撮像装置の高さに応じて設定した前記第２領域に基づいて、前記走行経路を決定することを特徴とする請求項２または３に記載の走行装置。 4. The travel device according to claim 2, wherein the travel control unit determines the travel route based on the second area set according to a height of the imaging device. 5.
  7. 　前記撮像装置は、前記第１領域と平行な方向から前記第１領域に向かう方向に傾けて設置されており、
    　前記走行制御部は、さらに前記撮像装置の傾き角に応じて設定した前記第２領域に基づいて、前記走行経路を決定することを特徴とする請求項６に記載の走行装置。     The imaging device is installed to be inclined in a direction toward the first region from a direction parallel to the first region,
    The traveling device according to claim 6, wherein the traveling control unit further determines the traveling route based on the second area set according to an inclination angle of the imaging device.
  8. 　走行部を備えた走行装置の制御方法であって、
    　前記走行部が乗っている第１領域との間に段差を有する第２領域を避ける第１基準と、前記第１領域とは色、模様および光の反射率のうちの少なくとも１つが異なる第３領域を避ける第２基準と、に基づき、前記第２基準よりも前記第１基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップ
    を包含していることを特徴とする走行装置の制御方法。     A control method of a traveling device including a traveling unit,
    A first criterion for avoiding a second area having a step between the first area and the first area on which the traveling unit rides; And a second step of avoiding an area. The step includes a step of traveling by the traveling unit along a traveling route determined based on the first criteria prior to the second criteria based on the second criteria. Control method of traveling device.
  9. 　請求項１～７のいずれか１項に記載の走行装置としてコンピュータを機能させるための走行プログラムであって、前記走行制御部として前記コンピュータを機能させるための走行プログラム。 A traveling program for causing a computer to function as the traveling device according to any one of claims 1 to 7, wherein the traveling program causes the computer to function as the traveling control unit.
  10. 　請求項９に記載の走行プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the traveling program according to claim 9 is recorded.
PCT/JP2019/020039 2018-06-22 2019-05-21 Travel device, method for control of travel device, travel program, and recording medium WO2019244542A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018119275A JP2021170147A (en) 2018-06-22 2018-06-22 Traveling device, control method of traveling device, traveling program and recording medium
JP2018-119275 2018-06-22

Publications (1)

Publication Number Publication Date
WO2019244542A1 true WO2019244542A1 (en) 2019-12-26

Family

ID=68983560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020039 WO2019244542A1 (en) 2018-06-22 2019-05-21 Travel device, method for control of travel device, travel program, and recording medium

Country Status (2)

Country Link
JP (1) JP2021170147A (en)
WO (1) WO2019244542A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993879A (en) * 2023-07-03 2023-11-03 广州极点三维信息科技有限公司 Method for automatically avoiding obstacle and distributing light, electronic equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248820A (en) * 1994-03-10 1995-09-26 Tech Res & Dev Inst Of Japan Def Agency Autonomous running system for robot moving on unleveled ground
JP2002323925A (en) * 2001-04-26 2002-11-08 Matsushita Electric Ind Co Ltd Moving working robot
JP2011145924A (en) * 2010-01-15 2011-07-28 Nec Access Technica Ltd Moving device and method
JP2012185619A (en) * 2011-03-04 2012-09-27 Toyota Motor Corp Movable body mapping device and processing method and program therefor
JP2016189172A (en) * 2015-03-30 2016-11-04 株式会社クボタ Automatic traveling information management system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248820A (en) * 1994-03-10 1995-09-26 Tech Res & Dev Inst Of Japan Def Agency Autonomous running system for robot moving on unleveled ground
JP2002323925A (en) * 2001-04-26 2002-11-08 Matsushita Electric Ind Co Ltd Moving working robot
JP2011145924A (en) * 2010-01-15 2011-07-28 Nec Access Technica Ltd Moving device and method
JP2012185619A (en) * 2011-03-04 2012-09-27 Toyota Motor Corp Movable body mapping device and processing method and program therefor
JP2016189172A (en) * 2015-03-30 2016-11-04 株式会社クボタ Automatic traveling information management system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993879A (en) * 2023-07-03 2023-11-03 广州极点三维信息科技有限公司 Method for automatically avoiding obstacle and distributing light, electronic equipment and storage medium
CN116993879B (en) * 2023-07-03 2024-03-12 广州极点三维信息科技有限公司 Method for automatically avoiding obstacle and distributing light, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP2021170147A (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US12008778B2 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
KR102109941B1 (en) Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera
US9504369B2 (en) Cleaning robot and control method thereof
CN110852312B (en) Cliff detection method, mobile robot control method, and mobile robot
JP4650079B2 (en) Object detection apparatus and method
US9424649B1 (en) Moving body position estimation device and moving body position estimation method
JP2010237169A (en) Automatic tracking method and surveying device
KR100879623B1 (en) Automated wide area surveillance system using ptz camera and method therefor
US20160337626A1 (en) Projection apparatus
US11009882B2 (en) Method, system for obstacle detection and a sensor subsystem
EP3113145B1 (en) Local location computation device and local location computation method
JP5827508B2 (en) Obstacle detection device for vehicle and vehicle using the same
JP4644992B2 (en) Human body detection method using range image
JP2007234019A (en) Vehicle image area specifying device and method for it
JP2009053818A (en) Image processor and method thereof
KR102257746B1 (en) Method for controlling robot group and system thereof
JP3562250B2 (en) Leading vehicle detection device
JP6811661B2 (en) Mobile imager and mobile
JP2006260098A (en) Obstacle detection unit
WO2019244542A1 (en) Travel device, method for control of travel device, travel program, and recording medium
JP2016042226A (en) Traffic light detection device and traffic light detection method
JP3812384B2 (en) Leading vehicle recognition device
JP2002036987A (en) Vehicle surrounding monitoring device
JP2005025497A (en) Sign recognizing device
JP2004280194A (en) Forward monitor and method therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19822203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19822203

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP