WO2004081683A1 - 自律移動ロボット - Google Patents

自律移動ロボット Download PDF

Info

Publication number
WO2004081683A1
WO2004081683A1 PCT/JP2004/003355 JP2004003355W WO2004081683A1 WO 2004081683 A1 WO2004081683 A1 WO 2004081683A1 JP 2004003355 W JP2004003355 W JP 2004003355W WO 2004081683 A1 WO2004081683 A1 WO 2004081683A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
person
image
traveling
autonomous mobile
Prior art date
Application number
PCT/JP2004/003355
Other languages
English (en)
French (fr)
Inventor
Tatsuo Sakai
Tomoharu Nakahara
Hitoshi Kitano
Yukihiko Kitano
Tsuyoshi Yamane
Hiroyuki Fujii
Original Assignee
Matsushita Electric Works, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works, Ltd. filed Critical Matsushita Electric Works, Ltd.
Priority to US10/549,110 priority Critical patent/US7684894B2/en
Priority to DE112004000438T priority patent/DE112004000438T5/de
Publication of WO2004081683A1 publication Critical patent/WO2004081683A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to an autonomous mobile robot that can move to a destination while avoiding an obstacle.
  • an autonomous mobile robot that detects an obstacle using a distance sensor such as a laser radar and a sonar and performs travel control has been known.
  • a distance sensor such as a laser radar and a sonar and performs travel control
  • recognition of detected objects requires dense distance measurement over the entire 3D space. Therefore, it is known to obtain spatial information from an image obtained by a camera and control traveling.
  • a robot that travels using distance information and image information (see U.S. Pat. No. 5,525,882), or measures the lateral position of an obstacle using a CCD camera and an ultrasonic sensor.
  • a known technique is known (see Japanese Patent Application Laid-Open No. 2000-2012).
  • a robot that recognizes and moves a person by detecting the head of the person and the frontal face from images captured by two cameras is known (Japanese Patent Application Laid-Open No. 2002-56638). No. 8).
  • the distance of the target object is calculated from the stereo image.
  • the error is large, so that the distance information from the distance sensor is used.
  • a robot that detects a person's face from an image captured by a stereo camera and calculates the distance to the person to perform autonomous action is also known (Japanese Patent Application Laid-Open No. 2000-3262674). reference). Disclosure of the invention
  • the technique disclosed in the above-mentioned US Pat. No. 5,525,882 is directed to an obstacle having an object surface which is an obstacle to traveling, and what is the object Judgment of whether or not to run control. Further, the technique disclosed in Japanese Patent Application Laid-Open No. 2000-2012 only recognizes the lateral spread of an obstacle, and also controls by judging what the object is. Not. In addition, the technology disclosed in Japanese Patent Application Laid-Open No. 2000-56638 and Japanese Patent Application Laid-Open No. 2000-32664 is mainly based on detecting a person only from stereo image information. Therefore, the detection accuracy is low, and erroneous detection of obstacles is easy.
  • An object of the present invention is to solve the above-mentioned problems, and to obtain object shape information obtained from distance information by distance measuring means such as a laser radar or an ultrasonic sensor (sonar) capable of measuring the distance and direction to an object.
  • distance measuring means such as a laser radar or an ultrasonic sensor (sonar) capable of measuring the distance and direction to an object.
  • the present invention relates to an autonomous mobile robot that travels while avoiding obstacles, a storage unit that stores map information of a traveling area and various parameters for traveling, Input instruction means for inputting a command to the storage means, route generation means for generating a travel route to a destination, and environment information acquisition means for acquiring environment information on a travel route including an object serving as an obstacle.
  • Traveling means for performing traveling; self-position recognition means for recognizing a self-position based on the information obtained by the environment information obtaining means and the map information; and self-position recognition by the self-position recognition means.
  • Traveling control means for controlling the traveling means so as to reach a destination while avoiding obstacles, and wherein the environment information acquiring means captures an image of an environment on a traveling route.
  • Image processing device image recognition processing means for performing arithmetic processing on the captured image data to extract a region having an attribute related to a part of a human body; detecting an object existing in an environment on a traveling route; A distance measuring device that measures the distance and direction of the object; a distance information analysis unit that calculates an object shape by performing arithmetic processing on the measured distance data of the object; and a distance information analysis unit that recognizes that the object is a human candidate from the shape.
  • the position of the area having the attribute extracted by the recognition processing means, and the distance information analysis means And an environment recognizing means for recognizing that the object is a person by comparing the position of the object recognized as a human being with the position of the object.
  • an object shape is obtained from distance data with high measurement accuracy, and position information that is recognized as a human candidate based on the shape and attributes relating to a part of the human body based on image information that can obtain wide area environmental information are obtained.
  • position information When the two pieces of position information match with each other, it is determined that a person has been detected. Therefore, highly reliable person detection can be realized.
  • the position information also includes a direction.
  • the image recognition processing means performs an arithmetic processing on the image data regarding the direction of the object obtained by the distance information analysis means, and the environment recognition means performs a recognition processing on a portion corresponding to the direction of the object. And it is sufficient. As a result, an area where no obstacle is present is not processed, so that the amount of calculation for image recognition can be reduced.
  • highly reliable environment recognition can be performed.
  • the distance measuring device measures the distance in the direction of the area extracted by the image recognition processing means, and the environment recognizing means recognizes a portion corresponding to the direction of the extracted area. Good. This can eliminate unnecessary distance information acquisition processing. In particular, when there are many objects with the same shape as the one you want to identify based on distance information, for example, when trying to detect and identify a person as a pillar, when there are many pillars, table legs, etc. Since the distance information can be obtained only for the candidate area of the obstacle obtained by the image information obtaining means, efficient distance information obtaining processing S can be performed.
  • the distance measuring device may use a laser radar that scans at a predetermined angle in a plane parallel to the traveling road surface and measures a distance to an obstacle. As a result, measurement data with high position measurement accuracy can be obtained, and the shape of an obstacle can be recognized. In addition, since the shape of the obstacle on the measurement plane is known, it can be used as data for obstacle estimation.
  • the distance information analysis means may recognize the object as a person's catch when the width of the object obtained by performing arithmetic processing on the distance data is within a predetermined range.
  • the distance information analysis means may recognize the detected object as a human candidate when the measured distance to the object does not match the stored distance to the object on the map. Thus, by determining the object not on the map has a high possibility that a human, to recognize easily erroneously human and photograph of the person stretched c wall can be achieved human detection Disappears.
  • the imaging device is a camera installed in the autonomous mobile robot, and image coordinates captured by the camera may be converted into a reference coordinate system of the autonomous mobile robot.
  • the configuration is simple by fixing and installing in a specific direction, and a low-cost imaging device can be realized.
  • the image recognition processing means includes a specific color region detection unit that detects a specific color region from at least captured image data, and a shape feature processing unit that performs arithmetic processing on the shape of the specific color region detected thereby. If the detected specific color region satisfies a predetermined shape characteristic condition, the specific color region may be recognized as a human candidate. This makes it possible to detect a person with high reliability by using both a specific color region, for example, a flesh color region, and a shape characteristic of a person, which well represent the characteristics of the person, on the image.
  • the environment recognizing means calculates the area of the human skin color area detected in the image and the area of the human skin color area at a predetermined distance from the autonomous mobile robot to the human. By determining the ratio and comparing the ratio with a predetermined threshold value, it may be determined whether or not the detected person is aware of the autonomous mobile robot. As a result, it is possible to recognize not only the presence or absence of a person, but also the state of the detected person as to whether or not the detected person is aware of the autonomous mobile robot. Safe and smooth moving operation can be realized.
  • the traveling control means stops when the object recognized as a person is in the direction of travel of the autonomous mobile robot and is within a predetermined distance, and the object recognized as a human is moved to the autonomous mobile robot. If the vehicle is not in the direction of travel, the vehicle should be avoided if there is an obstacle, and if there is no obstacle, the traveling means should be controlled to continue traveling. As a result, safety for humans can be ensured.
  • the traveling control means is configured to, when an object recognized as a person is in an autonomous movement / bottom traveling direction, run away from the object recognized as the person at a predetermined distance. May be controlled.
  • the operation can be performed while ensuring safety for the person. In other words, it is not necessary to avoid a detected object that is not a person at a long distance, and the avoidance distance can be shortened, so that efficient operation of an autonomous mobile port bot becomes possible.
  • the traveling control means may control the traveling means so as to have a moving speed corresponding to the distance or the distance and the angle. As a result, efficient movement can be achieved with a motion that does not cause human anxiety. If the detected object is not a human, there is no need to reduce the speed, and an efficient autonomous mobile robot can be operated.
  • the traveling control means may approach the detected person if it can be determined that the person is aware of the autonomous moving port bot, otherwise, the traveling means may not approach the detected person more than a predetermined distance. May be controlled. As a result, the autonomous mobile robot does not approach a person who is not aware of the autonomous mobile robot, and does not threaten people.
  • the traveling control means may take a cautionary action for a person when passing near the detected person. As a result, the affinity of the autonomous mobile robot for humans can be improved.
  • the image information acquisition means may capture the detected person and store the image in the storage means, or may transmit the image to a remote station. This allows the autonomous mobile port to have a monitoring function, Brief explanation of the drawing that can obtain the security effect and the security effect
  • FIG. 1 is a block diagram of an autonomous mobile robot block according to an embodiment of the present invention.
  • FIG. 2 is a perspective view showing the appearance of the above device.
  • FIG. 3 is a block diagram of the image recognition processing means of the above device.
  • FIG. 4 is a block diagram showing another example of the image recognition processing means of the above device.
  • FIG. 5A is a plan view of the same device
  • FIG. 5B is a side view of the same device
  • FIG. 5C is a diagram showing an image taken by an imaging device of the same device.
  • FIG. 6 is a flow chart of human recognition processing by the image recognition processing means in the above device.
  • FI G. 7 A is a diagram of an input image to be subjected to human recognition processing in the same device
  • FI G. 7 B is a diagram of an image showing the result of skin color region detection by the same process
  • FI G. 7 C is a skin color region by the same process
  • FIG. 7D is an edge image diagram showing the result of human recognition by the same processing.
  • FIG. 8 is a conceptual diagram of a normalized color space used by the above device.
  • FIG. 9 is a flowchart of a skin color region detection process included in the human recognition process flow of the above device.
  • FIG.10A is a diagram of a voting range used in a head shape detection process by voting included in a human recognition processing flow in the above device
  • FIG.10OB is a conceptual diagram illustrating head detection by voting.
  • FIG. 11 is a flowchart of a head shape detection process by voting included in the human recognition process flow in the above device.
  • FIG. 12A is a plan view illustrating an obstacle distance measurement by the laser radar in the same device
  • FIG. 12B is a diagram showing a distance measurement result by the laser radar.
  • FIG. 13 A is the specific shaped object distance by laser radar in the same equipment
  • FIG. 13B is a plan view for explaining measurement
  • FIG. 13B is a diagram showing a result of distance measurement by the laser radar.
  • FIG. 14A is a diagram showing a graph of a distance measurement result of a specific shape object by a laser radar in the same equipment
  • FIG. 14B is a diagram showing a graph of a difference between the same distance measurement values.
  • FIG. 15 is a flowchart of a specific shape recognition process in the above device.
  • FIG. 16 is a plan view illustrating a human detection stop area in the above device.
  • FIG. 17A is a plan view showing a stopping operation in the case of detecting a person in the above device
  • FIG. 17B is a plan view showing an avoiding operation when detecting an object other than a person.
  • FIG. 18A is a plan view showing an avoidance operation when an object other than a person is detected in the above device
  • FIG. 18B is a plan view showing an avoidance operation in the case of detecting a person.
  • FIG. 19A is a plan view showing an avoidance operation for a person who has noticed the same device in the above device
  • FIG. 19B is a plan view showing a stop operation for a person who has not noticed the same device.
  • FIG. 2OA and FIG. 20B are perspective views for explaining an alerting action to a person in the above device.
  • FIG. 21A is a perspective view illustrating the coordinate conversion of the distance measuring device in the above device
  • FIG. 21B is a plan view thereof.
  • FIG. 22 is an explanatory diagram showing the relationship between the reference coordinate system of the autonomous mobile robot and the normalized image coordinate system of the above device.
  • FIG. 23 is a diagram showing an image subjected to image processing with reference to a laser radar measurement result in the above device.
  • FI G. 2 the flow diagram of the image processing that is formed with reference to the laser radar measurement result in the high frequency device.
  • Fig. 25A is a plan view of the device that measures the laser radar by referring to the image processing result of the above device
  • Fig. 25B is the side view
  • Fig. 25C is the measurement result. The figure which shows an image.
  • FIG. 26 is a flowchart of a laser radar measurement process performed by referring to an image processing result in the above device.
  • FIG. 27A is a diagram showing an image in which the same device determines that a person is aware of the device
  • FIG. 27B is a diagram showing an image in which the same is not noticed.
  • FIG. 28 is a view showing a relationship graph of a distance to a person and a skin color area of a face used in the above device.
  • FIG. 29 is a flowchart of human detection processing in the above device.
  • FIG. 30 is a flowchart of a process for judging whether or not a person in the above device has noticed the device.
  • FIG. 31A, FIG. 31B, and FIG. 31C are perspective views illustrating a combination of an imaging device and a distance measuring device in the above device.
  • FIG. 1 shows a block configuration of the present apparatus.
  • the autonomous moving port Pot 1 is a storage means 2 for storing map data of a traveling area and various parameters for traveling, an input instruction means 3 for inputting a destination and a traveling command to the storage means 2, and a destination to the destination.
  • Route generating means 41 for generating a traveling route of the vehicle, environmental information acquiring means 6 for acquiring environmental information on a traveling route including an object serving as an obstacle, traveling means 5 for traveling, and environmental information acquiring means.
  • the environment information acquisition means 6 includes an imaging device 71 that captures an image of the environment on the travel route, and an image recognition process that performs arithmetic processing on image data captured thereby to extract an object having a predetermined attribute.
  • Means 7 2 (the above two constitute image information acquisition means 7) and a distance measuring device 8 1 which detects an object existing in the environment on the traveling route and measures the distance to the object and the direction of the object 8 1
  • Distance information analysis means 8 2 for calculating and processing the distance data measured thereby (the above two constitute distance information acquisition means 8);
  • An environment recognizing means 9 for recognizing environmental information based on information of an object having a determined attribute and the distance information obtained by the distance information analyzing means 82 is provided.
  • the environment recognition means 9 outputs environment information on the travel route to the travel control means 4.
  • the self-position recognizing means 42 estimates the position of the self-position on the map during traveling by using, for example, an encoder attached to the traveling means 5 or a built-in jay mouth, and provides environmental information.
  • the self-position estimation value is corrected using the self-position information obtained by the acquisition means 6.
  • the self-position information obtained from the environmental information acquisition means 6 for example, a sign recognizable by the means 6 is installed in the driving environment in advance, and the sign is registered in the map data. Recognition of the sign while driving can be used as self-location information.
  • the travel control means 4 searches for a registered sign on the map based on the sign position information based on the relative position sent based on its own estimated position. When a sign is detected, self-position recognition can be performed from the relative position information based on the position of the sign. If two or more signs can be detected, the self-position is uniquely determined.
  • the environment information acquisition means 6 detects an obstacle during traveling, sends the position information to the traveling control means 4, and the traveling control means 4 corrects the traveling route so as to avoid the obstacle, and outputs the control output.
  • the traveling control means 4 corrects the traveling route so as to avoid the obstacle, and outputs the control output.
  • running means 5 As described above, the autonomous mobile robot 1 travels to the designated destination along the traveling route while avoiding obstacles while recognizing its own position.
  • FIG. 2 shows the appearance of the autonomous mobile robot 1.
  • the autonomous mobile robot 1 is provided with a laser radar (laser range finder) 83 as a distance measuring device 81 of the distance information acquiring means 8, and as an imaging device 71 of the image information acquiring means 7.
  • the camera 70 is installed on a rotation mechanism 70a that can rotate (horizontal rotation) with respect to the autonomous mobile robot main body 10. Further, in this device, for example, the wheels 52 are driven by a battery to travel, and the traveling distance is measured by monitoring the rotation of the wheels 52 to be used as information of self-position recognition. .
  • the details of the present apparatus will be described in order from the image information acquisition unit. (Configuration of image information acquisition means)
  • the autonomous mobile robot 1 of the present invention uses two types of obstacle information: a partial obstacle detection result obtained by a distance measuring means such as a laser radar and a sonar, and an obstacle detection result obtained by image processing. To determine what the obstacles are.
  • FIG. 3 and FIG. 4 illustrating obtaining an obstacle detection result by image processing show the block configuration of the image information acquisition means 7.
  • the image recognition processing means 72 digitizes the image signal input from the color camera (imaging device) 70 by the analog-to-digital converter 61 and stores it as a digital image in the memory 62.
  • the software in which the processing algorithm is recorded is called from the program memory 63 to the CPU 64 that performs the arithmetic processing on the image, and the CPU 64 uses the software to execute the processing procedure described below. Performs a human detection process from the digital image.
  • the image processing result is transmitted by the communication control unit 65 to the travel control unit 4 via the environment recognition unit 9.
  • the operator operates the device of the autonomous mobile robot main body 10 locally, that is, at the autonomous mobile robot main body 10, and operates the image information acquisition means 7 (power camera 70 and image recognition processing means 72).
  • the keyboard control unit 66, the keyboard 6 ⁇ 'display control unit 68, and the display unit 69 are used as image recognition processing means 7 2 May be prepared. Further, the operation of the image information acquisition means 7 can be externally controlled via the communication control section 65.
  • FIG. 5A and FIG. 5 show an image pickup device 71 composed of one fixed camera
  • FIG. 5C shows an image taken by the image pickup device 71.
  • the camera 70 is fixed to the autonomous mobile robot main body 10, and captures a scene ahead of the autonomous mobile robot main body 10 in the traveling direction 10 a as shown in an image 11.
  • the coordinate system of this camera 70 is It will move with the reference coordinate system defined as fixed to the object body 10.
  • a method of performing arithmetic processing on image data acquired by the imaging device 71 by the image recognition processing means 72 to detect a person or a specific object will be described.
  • the skin color of the human head, especially the face is used as the attribute related to the part of the human body.
  • 1 G.6 shows the overall processing flow (human recognition processing flow) for recognizing a person from an image.
  • the surroundings of the autonomous mobile robot, for example, the front of the traveling direction are imaged by the color camera as the imaging device 71 (S101), and the analog image signal is digitized by the A / D converter 61 (S101).
  • 102 a digital image of each color component consisting of R, G, and B (red, green, and blue), which are the three components of the color, is stored in the memory 62 (S103).
  • a skin color region is detected from the image (S105), and a head shape detection process is performed on the detected skin color region based on the edge image (S106).
  • the detected position of the head is output to the environment recognition means 9 as a human recognition result.
  • FI G. 7 A is the input image
  • FI G. 7 B is the image of the skin color area detection result
  • FI G. 7 C is the image showing the skin color area on the edge image
  • FI G. 7 D is the recognition result. Each image is shown.
  • heads 24 to 26 are detected (image 23) and only the detected skin color regions 24 to 26 are subjected to the head shape detection processing on the edge image 27, efficient processing can be performed.
  • FI G. 8 shows the normalized r-g space (plane).
  • human skin color is FI G. 8
  • one area 20 is formed on the r-g plane, so that the normalized r and g values obtained from each pixel of the color image It is determined whether or not the pixel has a flesh color.
  • the skin color region 20 is created in advance based on the skin color data of many images.
  • Fig. 9 shows the flow of the skin color area detection process.
  • a skin color image portion storing the skin color area of the memory 62 is initialized (S201).
  • the skin color is flagged in the corresponding positions of the skin-color image (S 2 04) 0 for all pixels of the input image after these process ends (Upsilon by S 2 0 5) ⁇ On the flesh color image, pixels with the flesh color flag are grouped, and a flesh color region composed of, for example, a rectangular region is created based on the group. A labeling process is performed on such a flesh-colored area, and the respective areas are distinguished to obtain flesh-colored areas 24 to 26 as shown in FIG.7B above (S206) 0.
  • FI G.1 OA indicates a voting frame that defines the voting range used in the voting process
  • FI G.10B indicates how to use the voting frame.
  • Head shape detection is performed using the fact that the head has a substantially circular shape. For example, it is assumed that an edge pixel set 35 representing a face contour is obtained in an edge image 34 obtained by performing image processing for edge extraction on an image including a person's face (for example, subtle processing of image luminance).
  • a voting space in which each pixel point of the edge image 34 is a voting bin (voting box) is set.
  • the luminance gradient direction is determined for each pixel of the edge pixel set 35, for example, the luminance gradient direction 36a for the pixel 36.
  • the image of a human face and its background has shading, and the direction of the luminance gradient at the edge pixels of the face contour is from the center of the face to the outside or from the outside to the inside. Therefore, the center point 32 of the rod-shaped voting frame 31 set to include the size of the head to be detected is aligned with the edge pixel 36, for example, and the direction of the voting frame 31 is changed to the edge pixel. Voting is performed for all voting bins in the voting space overlapping with each voting bin 3 3 of the voting frame 3 1 as the luminance gradient direction 36 a in 36.
  • the voting bin at the center of the face has more votes than others. Will be done. In this way, the results of the voting process along the outer shape of the head are accumulated in the center of the head, so that a voting bin having a voting value larger than a predetermined threshold value in the voting space is obtained. If there is, it is determined that there is a head centered on the voting bin.
  • FIG. 11 1 shows a head shape detection processing flow.
  • a luminance image corresponding to the skin color area 24 is differentiated to generate a luminance gradient image and an edge image.
  • a voting space which is a memory space for storing voting values, is initialized (S302).
  • a voting box is arranged in the direction of the luminance gradient of each edge pixel, and a voting is performed in each voting bin of the selected voting space (S 3 0 3).
  • the existence of a voting bin having a voting value equal to or greater than a predetermined threshold value is checked. In this case (Y in S305), the center position of the skin color area is set as the head position and output to the environment recognition means 9 via the communication control unit 65 (S305).
  • the above processing is performed for all skin color areas, and the head shape detection processing ends (S307).
  • the skin color region 24 is detected as the head shape, and the position of the star 29 is set as the head position.
  • a method for specifying the direction in the real space of the position detected as the head position from the skin color area on the image will be described.
  • the direction of the person in the real space is specified by the image recognition processing means 72.
  • the approximate direction of the person is calculated from the size of the face on the image and the position of the face on the image.
  • Can be The general direction in which a person is specified as described above is a candidate for the direction in which a person exists.
  • FIG. 12A shows the distance measurement of an obstacle by the laser radar 83
  • FIG. 12B shows the result of the distance measurement by the laser radar.
  • the distance data obtained by the laser radar 83 is data that is longer than the distance L when reflected light is not received or the laser light reflecting object is farther than the specified distance, and the reflected light from the obstacle O. It consists of the distances L1, L2, etc. of the obstacle O obtained by the above.
  • a series of distance data measured at a fixed angle of, for example, 0.5 ° it is possible to recognize the position of a specific shaped object (Japanese Patent Application Laid-Open No. 200202/202815). reference).
  • the object is, for example, a human. It can recognize a person's prejudice as being the foot of a person. In this way, it is determined that there is a possibility that a person (foot) or a chair exists at a position where an object that is equal to or smaller than the width set in the storage unit 2 or within the range set in advance is detected.
  • the (distribution) position of the specific shape object is determined by the number j of measurement points required for scanning the width, the distance of the object within the width, and a set of scan angles, D (i), ⁇ (i). , 0 ⁇ i ⁇ j.
  • Such distance and direction data are sent from the distance information analysis means 82 to the environment recognition means 9.
  • the image recognition processing means 72 The obtained candidate direction of, for example, the presence of a person is compared with the direction of the possibility of the presence of a person obtained from the distance information analysis means 82. If the two substantially match, the direction is determined to be the direction of the presence of the person, and the direction and distance are sent to the travel control means 4.
  • the specific shape obtained by the laser radar 83 which is the distance measuring device 81
  • the data D (i) and ⁇ (i) of the object (candidate position of the person) are data of the coordinate system (sensor coordinate system) of the laser radar 83. Therefore, in the distance information analysis means, as shown in Fig. 21 described later, the position of the specific shape object is coordinate-transformed and expressed in the coordinate system (XR, YR) of the autonomous mobile robot body 10. .
  • Fig. 13A shows the state of distance measurement by a laser radar
  • Fig. 13B shows the result of distance measurement by a laser radar.
  • the laser radar 83 is used as the distance measuring device 81, for example, a predetermined angle range is horizontally scanned while emitting and receiving a laser beam at a predetermined angle ⁇ , and the laser beam is transmitted to FIG. 13B.
  • a series of data indicating the distance D (i) between the laser reflecting objects OBl and OB2 and the laser source is obtained.
  • FI G.14 A shows a graph of the distance data D (i) to the specific shape object
  • the measured distance data D (i) indicates a distance change that is far, near, and far before and after the obstacle, so that the distance difference ⁇ (i) is positive and negative at the boundary of the obstacle.
  • Peak (Point i m, n + 3).
  • the boundary of the specific shaped object can be detected by the predetermined threshold value DR, one DR.
  • (H) is stored. If there are a plurality of specific shapes to be considered, the plurality of data are stored.
  • a threshold DN is set for the upper limit of the number of consecutive points of the distance measurement value of the specific shape object, and the distance measurement value of the measurement target object is determined as the distance measurement point of the specific shape object. If the number C is less than or equal to the threshold value DN (C minus DN), the object to be measured is determined to be a specific shaped object.
  • the value of DN may be a fixed value. Also, for example, assuming that the size of a detected object that can be estimated from one distance data is D (i) X sin (A ⁇ ), and the size of the specific shape is D (i) X sin ( ⁇ ⁇ ) XC presume. Assuming the size of the specific shape in advance, the value of DN may be changed for each distance. That is, assuming that the maximum width of the specific shape object is Omax, for example, D N of D (m) is given by Omax / (D (m) X s i n
  • FIG. 15 shows a specific shape recognition processing flow. The explanation is based on the measurement results shown in Fig. 13.
  • i m
  • D (m), D (m + 1), and D (m + 2) are determined to be distance data obtained by reflection from one specific shape object, and the j-th identification of a plurality of specific shape objects is determined.
  • the distance measuring device 81 The case where an ultrasonic sensor capable of measuring distance is used as the distance measuring device 81 will be described.
  • the ultrasonic sensor is inexpensive, and a plurality of ultrasonic sensors can be installed around the autonomous moving port body 10.
  • the distance information analyzing means 82 determines the detection result (distance) of the ultrasonic sensor having the detection area in that direction. Determine if the result is a detected wall. If it is not judged to be a wall, the candidate is regarded as a person.
  • the distance information analysis unit 82 converts the measured object to a human candidate. Recognize as The distance information analysis means 82 determines that an object that is not on the map is likely to be a person, so that simple person detection can be realized. Image recognition processing means 72 By combining the judgment result of 2 with the detection result of the ultrasonic sensor Therefore, it is possible to prevent a photograph or the like of a person on a wall from being erroneously recognized as a person. The calculation of the distance to the stored object (wall) on the map will be described later.
  • the traveling control means 4 determines whether the object recognized as a person is traveling in the direction of the autonomous mobile robot main body 10. When the vehicle is within a predetermined distance, the traveling means 5 is controlled so as to stop, thereby ensuring safety for humans. When the object recognized as a person is not in the traveling direction of the autonomous mobile robot main body 10, the traveling control means 4 avoids the obstacle if there is another obstacle, and continues traveling if there is no other obstacle. Control running means 5 to continue.
  • FIG. 16 shows a human detection stop area 43 based on the ultrasonic sensor 84.
  • FIG. 17A shows a stop operation in the case of detecting a person
  • FIG. 17B shows an avoidance operation in the case of detecting an object other than a person.
  • the area within each soil ⁇ in the direction D1 from the autonomous mobile robot 1 and the traveling direction 10a from the autonomous mobile robot 1 is the human detection stop area 43
  • the autonomous mobile robot 1 stops as shown in FIG. 17A.
  • the ultrasonic sensor 84 such a human detection stop area 43 can be set at low cost.
  • the autonomous mobile robot 1 moves away from the predetermined traveling route 44 and follows the traveling route 45 avoiding the obstacle O as shown in FIG. 17B. Continue moving to destination T.
  • FI G. 18 A shows the avoidance operation when an object other than a person is detected
  • FI G. 18 B shows the avoidance operation when a person is detected.
  • the traveling control means controls the traveling means such that, when the object recognized as a person is in the traveling direction of the autonomous mobile robot main body, the object travels a predetermined distance away from the object recognized as the person.
  • the method of avoiding the detected object may be changed when the detected object is recognized as a person and when it is determined that the detected object is not a person.
  • the laser radar 83 is used as the distance measuring device 81 and the route is set so that the obstacle O does not enter the range set as the detection area 46, two types of preset routes are used. Switch the detection radius R 1, R 2 of.
  • a small detection radius R1 is used as shown in FIG. 18A, and when it is determined that the detected object is a human, a large detection radius R1 is used as shown in FIG. 18B.
  • the detection radius R2 is used.
  • the traveling control means 4 may control the traveling means 5 so as to have a moving speed corresponding to the distance or the distance and the angle.
  • the traveling control means 4 changes the moving speed according to the distance.
  • the speed V is set as the moving speed used in a normal running state without obstacles
  • the running control means 4 sets the speed V1 at the time of collision avoidance in the collision avoidance algorithm as follows: Can be.
  • V 1 f (h) X v
  • f (h) 1, and for h ⁇ d, 0 ⁇ f (h) ⁇ 1.
  • the judgment value d is a preset distance
  • the variable h is the shortest distance to a detected object recognized as a person.
  • the function f (h) is a constant Good.
  • a function g (h, ⁇ ) that further considers the absolute value ⁇ of the angle between the detected object recognized as the shortest person and the direction of travel of the autonomous mobile robot can be used. Good.
  • the speed V2 at the time of collision avoidance can be expressed by the following equation.
  • V 2 g (h, ⁇ ) X ⁇
  • g (h, ⁇ ) 1 for h ⁇ d
  • 0 ⁇ g (h, ⁇ ) 1 for h ⁇ d.
  • an efficient movement of the autonomous mobile robot can be realized by an operation that does not make the person feel uneasy. If the detected object is not a human, there is no need to reduce the speed, and an efficient autonomous mobile robot can be operated.
  • FIG. 19A shows an avoidance operation for a person who has noticed the autonomous moving port
  • FIG. 19B shows a stop operation for a person who has not noticed the device.
  • the traveling control means 4 approaches when the detected person can be determined to be aware of the autonomous mobile robot, and otherwise, does not approach the detected person more than a predetermined distance.
  • Control means When information indicating that the autonomous mobile robot 1 is aware is sent from the environmental information acquisition means 6 to the travel control means 4, the travel control means 4 controls the travel means 5 as shown in FIG. Continue to drive to destination T while controlling and avoiding. Otherwise, as shown in FIG. 19B, stop control is performed so that the person M does not approach the person M for a predetermined distance D2 or more. With this control, it is possible to prevent an autonomous mobile robot from approaching and threatening a person when the person is unaware. Whether the detected person is aware of the autonomous mobile robot is determined by the method described later.
  • FI G. 20 A and FIG. 20 B indicate the alerting behavior of the autonomous mobile robot toward the person. Take action on people as they move near the detected person. For example, if the monitor screen 47 is installed on the rotating part above the autonomous mobile robot main body 10, the rotating part is rotated according to the direction angle of the detected object sent from the environmental information acquisition means as a person. And turn the monitor screen 47 in that direction. If the moyuta screen 47 has a warning display such as a picture imitating the face of a person, the surrounding people will recognize that the autonomous mobile robot 1 is consciously traveling. . At the same time, a voice signal may be sent to a person to alert them. When the vehicle passes near the detected person, the traveling control means 4 performs an alerting action on the person, so that the affinity for the person can be improved.
  • the traveling control means 4 performs an alerting action on the person, so that the affinity for the person can be improved.
  • the image captured by the image capturing means is stored in the storage means, or the image is transmitted to the remote station by using the communication means mounted on the autonomous mobile robot, so that the image is transmitted to the autonomous mobile robot. It has a monitoring function and can be applied to security and crime prevention.
  • FIG.21A and FIG.21B indicate the arrangement of coordinates in the autonomous mobile robot 1.
  • the reference coordinate system XR—YR which is a coordinate fixed to the autonomous mobile robot 1, is a rectangular coordinate system, and the coordinate system XS—YS having the origin at the scan center of the laser radar 83 is also a rectangular coordinate system.
  • the XR—YR plane and the XS—YS plane are in the same plane, the XR and XS axes are in the same direction, and the YR and YS axes are shifted by a distance dS.
  • the position coordinate of the object ⁇ 3 in the XS-YS plane at the distance D3 from the scan center of the laser radar 83 and the direction angle ⁇ is in the coordinate system;
  • FIG. 22 shows the relationship between the reference coordinate system of the autonomous mobile robot 1 and the normalized image coordinate system.
  • the coordinates of the point Ml in the reference coordinate system of the autonomous mobile robot 1 are (XR, YR, ZR) and the coordinates of the point m1 in the normalized image coordinate system are (u, v), the coordinates of the point M1
  • the coordinates of point m1 are calculated using Eq. (8).
  • the laser radar measurement result can be projected on an image using such a conversion.
  • S is a constant
  • f is the focal length
  • ku and kv are the units of the u and V axes with respect to the normalized image coordinates
  • u0 and ⁇ are the normalized image coordinates origin in the digital image coordinate system.
  • ⁇ is the angle between the u-axis and V-axis
  • r11 is the rotation matrix between the reference coordinate system of the autonomous mobile robot 1 and the camera coordinate system
  • t1, t2, and t3 are the autonomous mobile robots 1 shows the translation sequence between the reference coordinate system and the camera coordinate system.
  • the image information obtaining means 7 performs human recognition by referring to the measurement result of the distance information obtaining means 8 to recognize the environment.
  • a laser radar 83 is used as the distance measuring device 81 in the distance information acquiring means 8. I do.
  • the distance information analysis means 82 detects an object having a width corresponding to the size of the person from the measurement data, the object is regarded as a person candidate.
  • the image information acquisition means 7 performs person recognition in the image corresponding to the person candidate position.
  • FIG. 23 shows an image to be recognized and processed with reference to the laser radar measurement result
  • FIG. 24 shows a processing flow for performing human candidate detection with reference to the laser radar measurement result.
  • the object distance is measured by the laser radar (S501), and the distance information analysis means 82 searches for a human candidate from the distance measurement data (S502). If there is no human catcher (1 in 3503, the result that there is no human being is output to the environmental recognition means 9 (S504), and if there is a human candidate (Y in S503, ), The position is converted from the laser radar coordinate system to the reference coordinate system of the autonomous mobile robot (S505).
  • the position of the human candidate is converted from the reference coordinate system of the autonomous mobile robot to the normalized image coordinate system (S506) using Equation (8) above, and the position on the normalized image coordinates is calculated.
  • a predetermined area around the person capture position 22 projected on the image 21 is set according to the size of the person to be detected.
  • the detected person detection area 90 is set (S507).
  • the environment recognition means 9 performs a human detection process in the human detection area 90 (S508), and upon detecting a human candidate, determines that the human candidate detected by the laser radar is a human (S509). Y), the detection result from the laser radar determines that a person has been correctly detected, and outputs a signal to the traveling control means 4 (S510).
  • the above processing is performed for all candidate persons (S511). In this way, by limiting the area for performing the human detection processing by image processing based on the measurement result of the laser radar, the processing efficiency can be improved and the reliability of the human detection can be improved.
  • the distance information obtaining means 8 obtains the distance information of the candidate person by referring to the processing result of the image information obtaining means 7 and recognizes the environment.
  • FI G.25 A and FI G.25 B Shows a laser radar measurement based on physical result
  • FI G. 2 5 C shows an image of the measurement results.
  • Fig. 26 shows the processing flow of human detection by laser radar measurement with reference to the image processing results.
  • the omnidirectional camera 74 is used as the imaging device 71 in the image information acquisition means 7, and a laser radar 83 is used as the distance measurement device 81 in the distance information acquisition means 8.
  • the directions of the axes of the camera coordinate system XC—YC—ZC of the omnidirectional force camera 74 and the laser radar coordinate system XL—YL—ZL coincide with each other.
  • the omnidirectional camera 74 is installed so that the origin of the camera coordinate system is shifted upward on the ZL axis of the laser radar coordinate system.
  • a human candidate is detected by the image recognition processing means 72 (S601). If the candidate does not exist (at 3602: ⁇ ), a result indicating that the person does not exist is output to the environment recognition means 9 (S603), and if there is a captive (S620) Then Y is calculated, and the angle ⁇ between the head position direction of the detected human candidate and the XC axis of the camera coordinates is calculated (604).
  • the laser radar 83 measures the area around the angle ⁇ in the direction of the angle ⁇ from the XL axis of the laser radar coordinates (S 605), and the distance information analysis means 82 and the environment recognition means 9 use An object having a width corresponding to the size is searched (S606), and if a person is detected (Y in S607), the result is output to the travel control means 4 as a person is detected. (S609).
  • the above processing is performed for all the human candidates obtained by processing the image (S609).
  • FI G. 27 A shows an image where the person is aware of the device
  • FI G. 27 B shows an image where the person is unaware
  • FI G. 28 shows the distance to the person and the skin color area of the face. 3 shows a relationship graph.
  • the image recognition processing means 72 determines whether or not the person is aware of the autonomous mobile robot 1. It is performed by.
  • the image recognition processing means 7 2 A skin color region detection unit that detects the region; and a shape feature processing unit that performs arithmetic processing on the shape of the detected skin color region. When the detected skin color region satisfies a predetermined shape feature condition, an image is generated.
  • the recognition processing means 72 recognizes the skin color region as a human candidate.
  • the degree of awareness is determined to be higher as the person faces the autonomous mobile robot in front, and conversely, the lower the degree of awareness is, the more the person turns sideways.
  • the orientation of the face with respect to the self-supporting moving device is determined by the size of the skin color area in the head area. As shown in FIG.27, the skin color area generally increases as the user faces the front. The size of a person's head can be assumed to be a certain size regardless of individual differences. Therefore, as shown in FIG. 28, the skin color area S i of the standard face facing forward can be expressed as a function of the distance D i from the autonomously moving robot to the person. The relationship between the distance D i from the autonomous mobile robot to the person and the standard skin color area S i of the face can be obtained in advance by experiments.
  • FIG.29 shows the flow of the human detection process.
  • a laser radar 83 is used as the distance measuring device 81 of the distance information acquiring means 8
  • a fixed camera 70 is used as the imaging device 71 of the image information acquiring means 7.
  • Steps S701 to S709 in this processing flow are the same as steps S501 to S509 of the image processing flow based on the laser radar measurement result in FIG. Is omitted.
  • step S709 if a person is detected (at ⁇ 509), a process is performed to determine whether the detected person is aware of the autonomous mobile robot (S710).
  • FIG. 30 is for people This section shows the processing flow for determining whether or not the autonomous mobile robot is aware.
  • the image recognition processing means 72 the area smi of the flesh color region 24 where a person is detected, for example, is measured by the number of pixels (S801).
  • the area si is determined (S802).
  • the ratio smi / si between the area smi in the flesh color region and the standard flesh color area si is determined and compared with a predetermined threshold TH (S803).
  • TH a predetermined threshold
  • the autonomous mobile robot 1 of FI G.31A has one laser radar 83 and two cameras 70 on a rotating mechanism 70a
  • the autonomous mobile robot 1 of FI G.3 IB It is equipped with two laser radars 83 and two cameras 70 on a rotating mechanism 70a
  • the autonomous mobile robot 1 of FIG. 31C has one laser radar 83 and one set of ultrasonic waves. It comprises a sensor 84 and two cameras 70 on a rotating mechanism 70a.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

自律移動ロボット（１）は、環境情報取得手段（６）により障害物及び自己位置を認識しつつ障害物を回避しながら走行する。この環境情報取得手段（６）は、走行経路上の環境の画像を撮像する撮像装置（７１）と、撮像した画像を演算処理して人体の部位に関する属性を持つ領域を抽出する画像認識処理手段（７２）と、走行経路上の環境内に存在する物体までの距離とその方向を測定する距離測定装置（８１）と、得られた距離情報を演算処理して物体形状を求め、それから物体が人候補であることを認識する距離情報解析手段（８２）と、走行経路上の環境情報を認識する環境認識手段（９）とを備えている。この環境認識手段（９）は、画像認識処理手段（７２）で抽出された前記属性を持つ領域の方向と、距離情報解析手段（８２）で人候補であると認識された物体の方向とを比較し、両者が一致するとき、その物体を人であると認識する。かくして、自律移動ロボットは障害物が何であるかを判断して、障害物に応じて安全かつスムースに走行する。

Description

明 細 書 自律移動ロボット
技術分野
本発明は、 障害物を回避して目的地まで移動することができる自律移動 ロボッ トに関する。 背景技術
従来、 レーザレーダゃソナ一等の距離センサを使って障害物を検出し、 走行制御を行う自律移動ロボットが知られている。 自律移動ロボッ トが、 安全な走行を行うには、 障害物を検出するだけでなく、 検出物が何である かを認識して制御する必要がある。 検出物の認識には、 3次元空間全域に わたって密な距離計測が必要である。 そこで、 カメラによって得られる画 像から空間情報を得て、 走行を制御することが知られている。 例えば、 距 離情報と画像情報を用いて走行を行うロボッ トや （米国特許第 5 5 2 5 8 8 2号参照）、 C CDカメラと超音波センサを利用して障害物の横位置を測 定する技術が知られている (特開 2 0 0 0 - 1 2 3 2 9 8号公報参照）。
また、 2台のカメラによる画像から人物の頭部さらには正面顔を検出す ることにより、 人物を認識して移動するロボッ トが知られている (特開 2 0 0 2— 5 6 3 8 8号公報参照）。 この文献では、 ステレオ画像から対象物 の距離を算出しているが、 検出物の距離が近いときは、 誤差が大きいので、 距離センサによる距離情報を用いることが示されている。 また、 ステレオ カメラによる画像から、 人物の顔を検出すると共に、 人物までの距離を算 出して自律行動するロボッ トが知られている （特開 2 0 0 0— 3 2 6 2 7 4号公報参照）。 発明の開示
しかしながら、 上述の米国特許第 5 5 2 5 8 8 2号に示される技術は、 走行の障害となる物体面を持つ障害物を対象としており、 物体が何である かを判断して走行制御していない。 また、 特開 2 0 0 0— 1 2 3 2 9 8号 に示される技術は、 障害物の横方向の広がりを単に認識するのみであり、 これも物体が何であるかを判断して制御していない。 また、 特開 2 0 0 2 - 5 6 3 8 8号や、 同 2 0 0 0— 3 2 6 2 7 4号に示される技術は、 主と してステレオ画像情報のみから人物を検出しているので、 検出精度は低く、 障害物を誤検出し易い。
本発明は、 上記課題を解消するものであって、 物体までの距離と方向を 測定可能なレーザレーダや超音波センサ (ソナ—) 等の距離計測手段によ る距離情報から求まる物体形状情報と、 画像処理から得られる人体の部位 に関する属性を持つ領域情報とを総合して検出物が人であると判断するこ とにより、 信頼性の高い障害物認識を実現し、 安全かつスムースに走行で きる自律移動ロボットを提供することを目的とする。 上記課題を達成するために、 本発明は、 障害物を回避しながら走行する 自律移動ロボッ トにおいて、 走行する領域の地図情報と走行のための各種 パラメータを記憶する記憶手段と、 目的地や走行指令を前記記憶手段に入 力する入力指示手段と、 目的地までの走行経路を生成する経路生成手段と、 障害物となる物体を含む走行経路上の環境情報を取得する環境情報取得手 段と、 走行を行うための走行手段と、 前記環境情報取得手段で得られた情 報と前記地図情報とに基づいて自己位置を認識する自己位置認識手段と、 前記自己位置認識手段により自己位置を認識しつつ障害物を回避しながら 目的地に到達するように前記走行手段を制御する走行制御手段と、 を備え、 前記環境情報取得手段は、 走行経路上の環境の画像を撮像する撮像装置 と、 前記撮像された画像データを演算処理して人体の部位に関する属性を 持つ領域を抽出する画像認識処理手段と、 走行経路上の環境内に存在する 物体を検出し、 その物体の距離と方向を測定する距離測定装置と、 前記測 定された物体の距離データを演算処理して物体形状を求め、 当該形状から 物体が人候補であることを認識する距離情報解析手段と、 前記画像認識処 理手段で抽出された前記属性を持つ領域の位置と、 前記距離情報解析手段 で人侯捕であると認識された物体の位置とを比較し、 両者が一致するとき. その物体を人であると認識する環境認識手段と、 を備えたものである。
本発明によれば、 計測精度の高い距離データから物体形状を求め、 その 形状から人候補であると認識される位置情報と、 広いエリァの環境情報が 得られる画像情報による人体の部位に関する属性を持つ領域の位置情報と を組み合わせて、 両位置情報が一致する時、 人を検出したと判断するので- 信頼性の高い人の検出が実現できる。 ひいては、 自律移動ロボットの安全 かつスムースな走行動作を実現できる。 上記位置情報は、 方向をも含む。 上記本発明において、 画像認識処理手段は、 距離情報解析手段により求 められた物体の方向についての画像データを演算処理し、 環境認識手段は- 当該物体の方向に対応する部分について認識処理するものとすればよい。 これにより、 障害物の存在しない領域は処理しないので、 画像認識の計算 量を削減することができる。 また、 障害物の存在する部分だけを画像によ り認識処理できるので信頼性の高い環境認識が行える。
上記距離測定装置は、 前記画像認識処理手段により抽出された領域の方 向について距離計測を行い、 前記環境認識手段は、 前記抽出された領域方 向に対応する部分について認識処理するものとすればよい。 これにより、 無駄な距離情報取得処理をなくすことができる。 特に、 距離情報によって 識別したいものと同様の形状のものが多数存在する場合、 例えば、 人を柱 状物として検出 ·識別しょうとする場合に、 柱や、 テーブルの脚などが多 数ある場合に、 画像情報取得手段により得られる障害物の候補領域だけに ついて距離情報を取得することができるので、 効率的な距離情報取得処理 力 S行える。
上記距離測定装置は、 走行路面に平行な面内を予め設定した角度毎に走 査して障害物までの距離を計測するレーザレーダを用いればよい。 これに' より、 位置計測精度の高い計測データが得られ、 障害物の形状認識ができ る。 また、 計測平面上での障害物の形状が分かるので、 障害物推定のため のデータとすることができる。 上記距離情報解析手段は、 距離データを演算処理して求めた物体の幅が 予め決めた範囲内であるとき、 その物体を人の候捕として認識するものと すればよい。 これにより、 一般に、 人が立っている場合の人の脚や人が椅 子に座っている場合の人又は椅子の脚は柱状と仮定できるので、 計測平面 上での障害物の形状解析より、 容易に障害物が人であるかどうか推定する ことができる。 ，
上記距離情報解析手段は、 計測された物体までの距離が記憶された地図 上の物体までの距離と一致しないとき、 検出された物体を人の候補として 認識するものとすればよい。 これにより、 地図上に無い物体は人である可 能性が高いと判断することにより、 簡単に人検出を実現することができる c 壁に張られた人の写真などを人と誤認識することがなくなる。
上記撮像装置は、 自律移動ロボッ トに設置されたカメラであり、 それに より撮像された画像座標は自律移動ロボッ トの基準座標系に変換可能とす ればよい。 これにより、 特定の方向に固定して設置することにより構成が 簡単であり、 低コストの撮像装置が実現できる。
上記画像認識処理手段は、 少なく とも撮像した画像データから特定色領 域を検出する特定色領城検出部と、 それにより検出された特定色領域の形 状について演算処理する形状特徴処理部とを含み、 検出された特定色領域 が予め決めた形状特徴条件を満たすとき、 その特定色領域を人の候補とし て認識するものとすればよい。 これにより、 画像上で、 人の特徵を良く表 す特定色領域、 例えば肌色領域と、 人の形状特徴を両方使うことにより、 信頼性の高い人の検出を行うことができる。
上記環境認識手段は、 画像中で検出された人の肌の色領域の面積と、 自 律移動ロボッ トから人までの距離により予め決められたその距離における 人の肌の色領域の面積との比を求め、 この比と予め決められたしきい値と を比較することにより、 検出された人が自律移動ロボッ トに気付いている かいないかを判断するものとすればよい。 これにより、 人の有無だけでな く、 検出されたその人が自律移動ロボッ トに気付いているかいないかとい う、 その人の状態まで認識することができるので、 人の状態情報により、 安全かつスムースな移動動作を実現することができる。
上記走行制御手段は、 人と認識される物体が自律移動ロボッ トの進行方 向にあってかつ、 予め定めた距離内にある場合には停止し、 人と認識され る物体が自律移動ロボッ トの進行方向にない場合、 障害物があれば回避を 行い、 障害物がなければそのまま走行を継続するように走行手段を制御す るものとすればよレ、。 これにより、 人に対して安全を確保できる。
上記走行制御手段は、 人と認識される物体が自律移動 Πボッ トの進行方 向にある場合、 その人と認識される物体から予め定めた距離を隔てて回避 して走行するように走行手段を制御するものとすればよい。 これにより、 人がいても回避して目的地に進む必要がある場合に、 人に対して安全を確 保しながら動作ができる。 すなわち、 人でない検出物体に対しては距離を とって回避する必要がなく回避距離を短くできるので、 効率の良い自律移 動口ボッ トの運行が可能となる。
上記走行制御手段は、 人と認識される物体が予め定めた距離内にある場 合、 その距離又は距離と角度に応じた移動速度となるように走行手段を制 御するものとすればよい。 これにより、 人が不安を感じない動作で効率の 良い移動ができる。 また、 検出物体が人でない場合は、 速度を落とす必要 がなく、 効率の良い自律移動ロボットの運行が可能となる。
上記走行制御手段は、 検出された人が自律移動口ボッ トに気づいている と判断できる場合は接近し、 そうでない場合、 検出された人には予め定め た距離以上に近づかないように走行手段を制御するものとすればよい。 こ れにより、 自律移動ロボッ トに気付いていない人に自律移動ロボッ トが近 づかないので、 人を脅かすことがない。
上記走行制御手段は、 検出された人の近くを通過する際に、 人に対して 注意喚起行動をとるものとすればよい。 これにより、 人に対する自律移動 ロボットの親和性を向上することができる。
上記画像情報取得手段は、 検出された人を撮像してその画像を記憶手段 に記憶する、 又は画像を遠隔ステーションに送信するものとすればよい。 これにより、 自律移動口ポッ トに監視機能を持たせることができ、 セキュ リティ効果や防犯効果が得られる 図面の簡単な説明
F I G. 1は、 本発明の一実施形態に係る自律移動ロボッ トのプロック 構成図。
F I G 2は、 同上装置の外観を示す斜視図。
F I G 3は、 同上装置の画像認識処理手段のブロック構成図。
F I G 4は、 同上装置の画像認識処理手段の他の例を示すブロック構 成図。
F I G. 5 Aは同上装置の平面図、 F I G. 5 Bは同側面図、 F I G. 5 Cは同装置の撮像装置が撮像した画像を示す図。
F I G. 6は、 同上装置における画像認識処理手段による人認識処理フ ロー図。
F I G. 7 Aは同上装置における人認識処理の対象となる入力画像の図 F I G. 7 Bは同処理による肌色領域検出結果を示す画像の図、 F I G. 7 Cは同処理による肌色領域を含むエッジ画像の図、 F I G. 7 Dは同処 理による人認識結果を示すェッジ画像の図。
F I G. 8は、 同上装置により用いられる正規化色空間の概念図。
F I G. 9は、 同上装置における人認識処理フローに含まれる肌色領域 検出処理のフロー図。
F I G. 1 0 Aは同上装置における人認識処理フローに含まれる投票に よる頭部形状検出処理に用いられる投票範囲の図、 F I G. 1 O Bは投票 による頭部検出を説明する概念図。
F I G. 1 1は、 同上装置における人認識処理フローに含まれる投票に よる頭部形状検出処理のフロー図。
F I G. 1 2 Aは同上装置におけるレーザレーダによる障害物距離測定 を説明する平面図、 F I G. 1 2 Bは同レーザレーダによる距離測定結果 を示す図。
F I G. 1 3 Aは同上装置におけるレーザレーダによる特定形状物距離 測定を説明する平面図、 F I G. '1 3 Bは同レーザレーダによる距離測定 結果を示す図。
F I G. 1 4 Aは同上装箧におけるレーザレーダによる特定形状物の距 離測定結果のグラフを示す図、 F I G. 1 4 Bは同距離測定値の差分のグ ラフを示す図。
F I G. 1 5は、 同上装置における特定形状認識処理のフロー図。
F I G. 1 6は、 同上装置における人検知停止領域を説明する平面図。
F I G. 1 7 Aは同上装置における人検知の場合の停止動作を示す平面 図、 F I G. 1 7 Bは人以外の物体検知時の回避動作を示す平面図。
F I G. 1 8 Aは同上装置における人以外の物体検知時の回避動作を示 す平面図、 F I G. 1 8 Bは人検知の場合の回避動作を示す平面図。
F I G. 1 9 Aは同上装置における同装置に気づいた人に対する回避動 作を示す平面図、 F I G. 1 9 Bは同装置に気づいていない人に対する停 止動作を示す平面図。
F I G. 2 O A, F I G. 2 0 Bは同上装置における人に対する注意喚 起行動を説明する斜視図。
F I G. 2 1 Aは同上装置における距離測定装置の座標変換を説明する 斜視図、 F I G. 2 I Bは同平面図。
F I G. 2 2は、 同上装置における自律移動ロボッ トの基準座標系と正 規化画像座標系との関係説明図。
F I G. 2 3は、 同上装置におけるレーザレーダ計測結果を参照して画 像処理される画像を示す図。
F I G. 24は、 同上装置におけるレーザレーダ計測結果を参照して成 される画像処理のフロー図。
F I G. 2 5Aは、 同上装置における画像処理結果を参照してレーザレ ーダ訐測する装置の平面図、 F I G. 2 5 Bは同側面図、 F I G. 2 5 C は計測結果である画像を示す図。
F I G. 2 6は、 同上装置における画像処理結果を参照して成されるレ 一ザレーダ計測処理のフロー図。 F I G. 2 7 Aは同上装置において人が同装置に気づいていると判断す る画像を示す図、 F I G. 2 7 Bは同じく気づいていないとする画像を示 す図。
F I G. 2 8は、 同上装置において用いられる人までの距離と顔の肌色 面積の関係グラフを示す図。
F I G. 2 9は、 同上装置における人検出処理のフロー図。
F I G. 3 0は、 同上装置における人が同装置に気づいているかどうか の判断処理のフロー図。
F I G. 3 1 A, F I G. 3 1 B， F I G. 3 1 Cは同上装置における 撮像装置と距離測定装置の組み合わせを説明する斜視図。 発明を実施するための最良の形態
以下、 本発明の一実施形態に係る自律移動ロボッ トについて、 図面を参 照して説明する。 F I G. 1は本装置のブロック構成を示す。 自律移動口 ポット 1は、 走行する領域の地図データと走行のための各種パラメータを 記憶する記憶手段 2と、 目的地や走行指令を記憶手段 2に入力する入力指 示手段 3と、 目的地までの走行経路を生成する経路生成手段 4 1 と、 障害 物となる物体を含む走行経路上の環境情報を取得する環境情報取得手段 6 と、 走行を行うための走行手段 5と、 環境情報取得手段 6で得られた情報 と記憶した地図データとに基づいて自己位置を認識する自己位置認識手段 4 2と、 この自己位置認識手段 4 2により自己位置を認識しつつ障害物を 回避するように走行手段 5を制御する走行制御手段 4と、 を備えている。 また、 環境情報取得手段 6は、 走行経路上の環境の画像を撮像する撮像 装置 7 1と、 それにより撮像された画像データを演算処理して予め定めた 属性を有する物体を抽出する画像認識処理手段 7 2 (上記 2者は画像情報 取得手段 7を構成） と、 走行経路上の環境内に存在する物体を検出し、 そ の物体までの距離と物体の方向を測定する距離測定装置 8 1 と、 それによ り測定された距離データを演算処理する距離情報解析手段 8 2 (上記 2者 は距離情報取得手段 8を構成） と、 画像認識処理手段 7 2で得られた予め 定めた属性を有する物体の情報と距離情報解析手段 8 2で得られた距離情 報とに基づいて環境情報を認識する環境認識手段 9とを備えている。 環境 認識手段 9は走行経路上の環境情報を走行制御手段 4に出力する。
自己位置認識手段 4 2は、 例えば走行手段 5に取付けられたエンコーダ や内蔵されたジャィ口などを用いて、 走行中に自己位置が地図上のどの位 置にあるかを推定するとともに、 環境情報取得手段 6で得られた自己位置 情報を用いて自己位置推定値を補正する。
環境情報取得手段 6から得られる自己位置情報として、 例えば、 同手段 6により認識可能な標識を予め走行環境内に設置しておき、 また、 その標 識を地図データに登録しておくことにより、 走行中にその標識を認識して 自己位置情報とすることができる。 走行制御手段 4は、 自己の推定位置を 基準にして送られてきた相対位置による標識位置情報をもとに、 地図上の 登録標識を探索する。 標識が検出されると、 その標識の位置を基準にして 前記相対位置情報から自己位置認識ができる。 標識が 2個以上検出できる と、 自己位置は一意に決められる。
また、 環境情報取得手段 6は、 走行中に障害物を検出し、 その位置情報 を走行制御手段 4に送り、 走行制御手段 4は、 その障害物を避けるように 走行経路を修正し、 制御出力を走行手段 5に送る。 このように、 自律移動 ロボッ ト 1は、 自己位置を認識しつつ障害物を回避しながら走行経路に沿 つて指示された目的地まで走行する。
F I G . 2は自律移動ロボット 1の外観を示す。 この自律移動ロボッ ト 1は、 距離情報取得手段 8の距離測定装置 8 1 として、 レーザレーダ （レ 一ザレンジファインダ） 8 3を備えており、 画像情報取得手段 7の撮像装 置 7 1 として、 自律移動ロボッ ト本体 1 0に対して回転 （水平回転） 可能 な回転機構 7 0 aに設置されたカメラ 7 0を備えている。 また、 この装置 は、 例えば、 電池により車輪 5 2が駆動されて走行するものであり、 車輪 5 2の回転をモニタすることにより走行距離の計測が行われ、 自己位置認 識の情報とされる。 以下、 画像情報取得手段から順に、 本装置の詳細を説 明する。 (画像情報取得手段の構成）
本発明の自律移動ロポット 1は、 レーザレーダゃソナ一等の距離計測手 段により得られる部分的な障害物検出結果と画像処理により得られる障害 物検出結果の、 2種類の障害物情報を総合して障害物が何であるかを判断 する。 まず、 画像処理により障害物検出結果を得ることについて説明する F I G. 3及び F I G. 4は画像情報取得手段 7のプロック構成を示す。 画像認識処理手段 7 2は、 カラーカメラ （撮像装置） 70から入力される 画像信号を、 Aノ D変換器 6 1によりデジタル化して、 メモリ 6 2にデジ タル画像として保存する。 画像に対して演算処理を行う C P U 6 4には、 プログラムメモリ 6 3から処理アルゴリズムが記载されたソフトウエアが 呼び出されており、 C P U 6 4はそのソフ トウェアを用いて以下に示す処 理手順によりデジタル画像から人の検出処理を実行する。 画像処理結果は、 通信制御部 6 5により環境認識手段 9を経由して走行制御手段 4へと送信 される。
また、 ローカルに、 つまり自律移動ロボッ ト本体 1 0のところで操作者 が自律移動ロボット本体 1 0の機器を操作して、 画像情報取得手段 7 (力 メラ 7 0と画像認識処理手段 7 2) の操作や処理結果の表示を行うために、 F I G. 4に示すように、 キ一ボード制御部 6 6、 キーボード 6 Ί ' 表示 制御部 6 8 , 及び表示部 6 9を画像認識処理手段 7 2に備えてもよい。 ま た、 通信制御部 6 5を介して、 外部より画像情報取得手段 7の操作を制御 することもできる。
撮像装置 7 1 fcついて説明する。 F I G. 5 A及び F I G. 5 は 1っ の固定カメラからなる撮像装置 7 1を示し、 F I G. 5 Cはそれにより撮 像された画像を示す。 このカメラ 7 0は、 自律移動ロボッ ト本体 1 0に固 定されており、 自律移動ロボッ ト本体 1 0の進行方向 1 0 a前方の景色を 画像 1 1のように撮像する。 このカメラ 70の座標系は、 自律移動ロボッ ト本体 1 0に固定して定義された基準座標系とともに動くことになる。
(画像認識処理手段）
撮像装置 7 1で取得された画像データを画像認識処理手段 7 2により演 算処理して、 人や特定の物体の検出を行う方法について説明する。 ここに. 人体の部位に関する属性として、 人の頭部、 特には顔の肌色を用いる。 F
1 G. 6は画像から人を認識するための全体の処理の流れ （人認識処理フ ロー） を示す。 撮像装置 7 1であるカラーカメラにより、 自律移動ロボッ トの周辺状況、 例えば進行方向前方が撮像され （S 1 0 1)、 そのアナログ 画像信号が A/D変換器 6 1によりデジタル化され （S 1 0 2)、 色の 3成 分である R、 G、 B (赤、 緑、 青） からなる各色成分デジタル画像がメモ リ 6 2に保存される （ S 1 0 3 )。 次に、 C P U 64において色の 3成分を 平均した輝度 1 = (R + G + B) Z 3による画像が作成され、 その輝度画 像がメモリ 6 2に保存される （S 1 04)。 次に、 画像中より肌色領域の検 出処理が行われ （S 1 0 5)、 検出された肌色領域内についてエッジ画像に 基づく頭部形状検出処理が行われる （S 1 0 6)。 検出された頭部の位置が 人認識結果として環境認識手段 9に出力される。
上述の処理の流れの様子を、 処理対象となる画像により説明する。 F I G. 7 Aは入力画像、 F I G. 7 Bは肌色領域検出結果の画像、 F I G. 7 Cはエッジ画像上の肌色領域を示す画像、 F I G. 7 Dは認識結果を出 力した画像をそれぞれ示している。 まず、 入力画像 2 1において肌色領域
24〜2 6が検出され （画像 2 3)、 検出された肌色領域 24〜2 6につい てのみ、 エッジ画像 2 7上において頭部形状検出処理が行われるので、 効 率の良い処理が行える。
画像における肌色領域の検出に用いられる正規化 r一 g空間について説 明する。 F I G. 8は正規化 r一 g空間 （平面） を示す。 カラー画像にお ける R成分、 G成分は、 各画素のカラー成分の輝度値 R、 G、 Bを用いて、 計算式 r =R/ (R + G + B)、 g =G/ (R + G + B) により、 正規化さ れ、 正規化された r， g値が得られる。 一般に、 人の肌色は、 F I G. 8 に示すように、 r— g平面上で 1つの領域 2 0を形成するので、 カラー画 像の各画素から求めた正規化 r、 g値が、 この領域 2 0に入るかどうかに より、 その画素が肌色であるか否かが判定される。 この肌色領域 2 0は予 め多くの画像の肌色データに基づいて作成されたものである。
肌色領域の検出処理の詳細について説明する。 F I G. 9は肌色領域検 出処理フローを示す。 まず、 C PU 6 4において、 メモリ 6 2の肌色領域 を記憶する肌色画像部分が初期化される （S 20 1)。 次に、 入力画像の 1 つの画素について R成分、 G成分が計算式 r =RZ (R + G + B)、 g =G / (R + G + B) により正規化される ( S 2 02 )o この正規化された R成 分、 G成分の r、 g値が肌色領域 2 0内にあるか否かが検査され ( S 2 0 3)、 肌色領域内であればその画素は肌色と判定され （S 2 0 3で Y)、 肌 色画像の対応する位置に肌色フラグが立てられる (S 2 04 )0 入力画像の 全画素についてこれらの処理が終了後 (S 2 0 5で Υ)ゝ 肌色画像上で、 肌 色フラグの立った画素がグループ化され、 そのグループをもとに、 例えば 矩形の領域からなる肌色領域が作成される。 このような肌色領域にラベリ ング処理がなされ、 各領域の区別が行われて、 前出の F I G. 7 Bに示す ように肌色領域 24〜 2 6が得られる ( S 2 0 6 )0
検出された肌色領域から投票処理により頭部形状を検出する方法につい て説明する。 F I G. 1 OAは投票処理において用いられる投票範囲を定 める投票枠を示し、 F I G. 1 0 Bはその投票枠の用い方を示す。 頭部形 状検出は、 頭部がほぼ円形の形状を持つことを利用して行われる。 例えば、 人の顏を含む画像にェッジ抽出の画像処理 （例えば画像輝度についての微 分処理） を施したエッジ画像 3 4に、 顔の輪郭を表すエッジ画素集合 3 5 が得られたとする。 このエッジ画像 3 4の各画素点を投票ビン （投票箱） とする投票空間が設定される。 また、 エッジ画素の集合 3 5の各画素につ いて、 例えば、 画素 3 6に対して輝度勾配方向 3 6 aのように、 各画素に 輝度勾配方向が決定されているとする。 一般に、 人の顔とその背景の画像 には濃淡変化があり、 顔輪郭のエッジ画素における輝度勾配方向は、 顔の 中心から外へ、 又は外から内へ向かうものとなる。 そこで、 検出対象となる頭部の大きさを含むように設定された棒状の投 票枠 3 1の中央点 3 2を、 例えばェッジ画素 3 6に合わせ、 投票枠 3 1の 方向をそのエッジ画素 3 6における輝度勾配方向 3 6 aとして、 投票枠 3 1の各投票ビン 3 3と重なる投票空間の全ての投票ビンに投票する。 この ような投票を顔の輪郭を表すエッジ画素集合 3 5の全ての画素について行 うと、 星印 3 9で示されるように、 顔の中心にある投票ビンには、 他より も多くの投票がなされることになる。 このように、 頭部の外形上に沿う投 票処理の結果は、 頭部の中心部に集積するので、 投票空間内で予め決めら れたしきい値よりも大きい投票値を持つ投票ビンが有るとき、'その投票ビ ンを中心とする頭部が存在すると判定される。
頭部形状の検出処理の詳細について説明する。 F I G . 1 1は頭部形状 検出処理フローを示す。 まず、 C P U 6 4において、 例えば肌色領域 2 4 に対応する輝度画像を微分して、 輝度勾配画像 ·エッジ画像を作成される
( S 3 0 1 )。 次に、 投票値を記憶するメモリ空間である投票空間を初期化 される （S 3 0 2 )。 次に、 肌色領域 2 4内の全ェッジ画素について、 各ェ ッジ画素の輝度勾配方向に、 棒状の投票範囲枠を配置して選択された投票 空間の各投票ビンに投票が行われる ( S 3 0 3 )。 肌色領域 2 4内の全エツ ジ画素について投票終了後 ( S 3 0 4 )、 予め決められたしきい値以上の投 票値を持つ投票ビンの存在が調べられ、 そのような投票ビンが存在する場 合 （S 3 0 5で Y )、 その肌色領域の中心位置が頭部位置とし t通信制御部 6 5を介して環境認識手段 9に出力される ( S 3 0 6 )。 全ての肌色領域に ついて上記の処理が行われて、 頭部形状検出処理が終了する ( S 3 0 7 )。 前出の F I G . 7 Dの場合、 肌色領域 2 4 , 2 5 , 2 6のうち、 肌色領域 2 4が頭部形状として検出され、 星印 2 9の位置が頭部位置とされる。
画像上で肌色領域から頭部位置として検出された位置の、 実空間におけ る存在方向を特定する方法について説明する。 実空間における人存在方向 の特定は、 画像認識処理手段 7 2において行われる。
撮像装置 7 1が前述の F I G . 5に示したカメラ 7 0である場合、 画像 上の顔の大きさと画像上の顔の位置とから、 人のいる概略の方向を算出す ることができる。 以上のようにして特定された、 人のいる概略の方向は、 人が存在する方向の候補とされる。 画像認識処理手段 7 2で人が存在する 方向の候補であると認識されたこれらの結果は、 画像上の頭部位置検出結 果と同様に、 通信制御部 6 5から環境認識手段 9に送られる。 もし、 複数 の認識結果があれば、 その全ての結果が送られる。
(距離情報解析手段）
I ^一ザレーダによる障害物の位置認識について説明する。 F I G. 1 2 Aはレーザレーダ 8 3による障害物の距離測定を示し、 F I G. 1 2 Bは 同レーザレーダによる距離測定結果を示す。 距離測定装置 8 1 として、 レ 一ザレーダ 8 3を用いた場合、 例えば一定の角度 Δ Θ毎にレーザビームを 発射及び受光しながら所定の角度範囲が水平にスキャンされる。 レーザレ —ダ 8 3により得られる距離データは、 反射光が受光されないか、 又はレ 一ザ光反射物体が所定の距離より遠方にある場合の距離 L以上のデータ、 及び障害物 Oからの反射光により得られた障害物 Oの距離 L 1， L 2等か らなる。 一定の角度 を、 例えば 0. 5 ° として測定した、 一連の距離 データを用いると、 特定の形状物の位置を認識することができる （特開 2 0 0 2— 2 0 2 8 1 5号公報参照）。
このよ うな距離データを距離情報解析手段 8 2において演算処理して検 出された障害物の幅が、 予め決めた範囲内である物体 (特定形状物) の場 合、 その物体を、 例えば人の足であるとして人の候捕を認識することがで きる。 このよ うに、 記憶部 2に予め設定した幅以下又は予め設定した幅の 範囲内の物体が検出された位置に、 人 （の足） や椅子が存在する可能性が あると判断される。 その特定形状物の （分布） 位置は、 後述するように、 その幅のスキャンに要した測定点数 j と、 その幅内における物体の距離及 ぴスキャン角度組、 D ( i )、 Θ ( i )、 0≤ i < j として認識される。 こ のような距離及び方向データが、 距離情報解析手段 8 2から環境認識手段 9に送られる。
環境認識手段 9では、 画像認識処理手段 7 2における画像認識結果から 得られた、 例えば人存在の候補方向と、 距離情報解析手段 8 2から得られ た人存在可能性の方向とが比較される。 両者が略一致した場合、 その方向 が人の存在方向と判断され、 その方向と距離が走行制御手段 4に送られる また、 距離測定装置 8 1であるレーザレーダ 8 3により得られた特定の 形状物 （人の侯補位置） のデータ D ( i )、 Θ ( i ) は、 レーザレーダ 8 3 の座標系 （センサ座標系） のデータである。 そこで、 距離情報解析手段に おいて、 後述の F I G. 2 1に示すように、 特定形状物の位置が座標変換 され、 自律移動ロボット本体 1 0の座標系 （XR、 YR) で表現される。
(特定形状物の検出）
レーザレーダによる特定形状物の位置認識について説明する。 F I G. 1 3 Aはレーザレーダによる距離測定の様子を示し、 F I G. 1 3 Bはレ 一ザレーダによる距離測定結果を示す。 距離測定装置 8 1 として、 レーザ レーダ 8 3を用いた場合、 例えば一定の角度 Δ Θ毎にレーザビームを発射 及び受光しながら所定の角度範囲を水平にスキャンして、 F I G. 1 3 B に示すよ うな、 レーザ反射物体 O B l， O B 2 とレーザ源との距離 D ( i ) を示す一連のデータが得られる。 スキャンにおける角度 0 = 0から 数えて i番目の距離データが D ( i ) である。 以下の説明において、 所定 のスキャン角度範囲において、 N回の距離測定が行われる （0≤ i <N) とする。
特定形状物をスキャンした前後の距離データの特性について説明する。 F I G. 1 4 Aは特定形状物までの距離データ D ( i ) のグラフを示し、 F I G. 1 4 Bは同距離データの差分 Δ D ( i ) のグラフを示す （これら のグラフは一般的なグラフとして図示されており、 図中のパラメータ nを、 n=mとおいたとき、 前出の F I G. 1 3の測定結果に一致する）。 一般に、 障害物が測定されると、 その障害物の範囲において、 距離データ D ( i ) が低い値を示す （ i =m， m+ 1 , - ·、 η + 2の点）。 また、 測定された 距離データ D ( i ) は、 障害物の前後で、 遠一近一遠となる距離変化を示 すので、 距離の差分 Δϋ ( i ) は、 障害物の境界のところで正負のピーク を示す （ i =m， n + 3の点）。
そこで、 距離の差分値のグラフにおいて、 予め定めたしきい値 D R、 一 D Rにより、 特定形状物の境界を検出することができる。 また、 レーザレ —ダ 8 3に対向する特定形状物表面の距離変化に対して、 最大値のしきい 値 d d， 一 d dを定めて特定形状物の奥行きの判定を行うことができる。 例えば、 指定する特定形状物が柱状物体であり、 検出する必要のある柱状 物の中で最大の幅が r r X 2であるときには、 d d = r r と設定すること ができる。
また、 特定形状物までの距離の代表値を与えるデータ番号 Hとして、 特 定形状物の境界の距離データを与えるデータ番号を用いて、 例えば、 F I G. 1 4 Aの場合、 番号 mと （n + 2 ) を用いて、 H= i n t (m+ ( n + 2)) / 2 ) とする。 ここで、 i n t (X) は、 Xを超えない最大の整数 を与える関数である。 特定形状物の検出フローにおいて、 この距離の代表 値を与える番号 H、 その番号における距離データ D (H)、 角度データ Θ
(H) が記憶される。 また、 考慮すべき特定形状物が複数あれば、 これら の複数のデータが記憶される。
また、 特定形状物の距離測定値の連続する点の個数の上限についてしき い値 D Nを定めておき、 測定対象物の距離測定値が、 特定形状物の距離測 定点であると思われる点の個数 Cが、 しきい値 D N以下の場合 (Cく D N)、 その測定対象物を特定形状物であると判定する。 D Nの値は、 固定の値で も良い。 また、 例えば 1つの距離データで推定できる検出物の大きさを、 D ( i ) X s i n ( A Θ ) と仮定し、 特定形状の大きさを、 D ( i ) X s i n ( Α θ ) X Cと推定する。 特定形状の大きさを予め仮定して、 距離ご とに D Nの値を変化させても良い。 つまり、 特定形状物の最大の幅を Om a xとすると、 例えば D (m) の D Nを、 Om a x / (D (m) X s i n
( Λ Θ )) 以上の最小の整数とすることができる。
測定データから特定形状物を認識する処理フローについて説明する。 F I G . 1 5は特定形状認識処理フローを示す。 F I G. 1 3に示された測 定結果に沿って説明する。 各処理ルーティン毎にデータ番号 iが 1ずつィ ンクリメントされ （S 4 0 2)、 隣合う距離データの差 Δ ( i , i - 1 ) = D ( i ) 一 D ( i — 1) の大きさが調べられる （S 4 0 5 )。 F I G. 1 3 に示す例では、 i =mにおいて、 Δ (m、 m— 1 ) く一 D Rであるのでス テツプ S 4 0 7に行き、 C = l、 m= i とされる。 そして i =m+ lにお いて | Δ (m+ 2 , m+ 1 ) | ≤D R, かつ、 D (m+ 1 ) 一 D (m) < d dであるので、 処理はステップ S 4 0 8， S 4 0 9 , S 4 1 0を通り、 C = 2となる。
また、 i =m+ 2において、 | A (m+ 2、 m+ l ) ( ≤ D R かつ、 D (m+ 2 ) 一 D (m+1) < d dであるので、 同様にして C = 3となる。
さらに i =m+ 3において、 Δ (m+ 3、 m+ 2 ) > D Rであるので、 処理はステップ S 4 1 2 , S 4 1 3 , S 4 1 4を通る。 また、 i n t ( x) は Xを越えない最大の整数を返す関数である。
こう して D (m)， D (m+ 1 ), D (m+ 2 ) が 1つの特定形状物から の反射によって得られた距離データであると判断され、 複数ある特定形状 物の j番目の特定形状物までの距離が、 H (〗） - i n t ((m + m+ 2 ) / 2 ) = (m+ 1 ) 番目の距離データであらわされる （S 4 1 4)。 なお、 ステップ S 4 1 1 , S 4 1 5では C = 0として Cがリセットされる。
距離測定装置 8 1 として測距可能な超音波センサを用いた場合について 説明する。 超音波センサは安価であり、 自律移動口ボッ ト本体 1 0の周囲 に複数設置することができる。 前述の画像認識処理手段 7 2が、 ある方向 に人候補が存在すると判断した場合、 その方向に検出領域を有する超音波 センサの検出結果 （距離） について、 距離情報解析手段 8 2は、 その検出 結果が壁を検出したものかどうかを判断する。 壁と判断しない場合をその 人候補を人とする。 例えば、 超音波センサによって計測された物体までの 距離が、 記憶された地図上の物体 （壁） までの距離と一致しないとき、 距 離情報解析手段 8 2は、 計測された物体を人の候補として認識する。 距離 情報解析手段 8 2において、 地図上に無い物体は人である可能性が高いと 判断することにより、 簡単な人検出を実現することができる。 画像認識処 理手段 7 2の判断結果に、 超音波センサの検出結果を組み合わせることに よって、 壁に張られた人の写真などを人と誤認識することがなくなる。 記 憶された地図上の物体 （壁） までの距離の計算については、 後述される。
(走行制御手段）
走行制御について説明する。 走行制御手段 4は、 環境情報取得手段6か ら人であると認識された対象物体の方向と距離が送られてきた場合、 人と 認識される物体が自律移動ロボッ ト本体 1 0の進行方向にあってかつ、 予 め定めた距離内にある場合には停止するように走行手段 5を制御して、 人 に対して安全を確保する。 また、 走行制御手段 4は、 人と認識される物体 が自律移動ロボッ ト本体 1 0の進行方向にない場合、 他の障害物があれば 回避を行い、 他の障害物がなければそのまま走行を継続するように走行手 段 5を制御する。
人検知停止領域について説明する。 F I G. 1 6は超音波センサ 8 4に 基づく人検知停止領域 4 3を示す。 また、 F I G. 1 7 Aは人検知の場合 の停止動作を示し、 F I G. 1 7 Bは人以外の物体検知時の場合の回避動 作を示す。 F I G. 1 6に示すように、 自律移動ロボッ ト 1からの距離 D 1、 進行方向 1 0 aに対する方向各土 φ内の領域を人検知停止領域 4 3と し、 この領域 4 3において検知した物を人 Mと判断した場合、 F I G. 1 7 Aに示すように、 自律移動ロボッ ト 1は停止する。 超音波センサ 8 4を 用いることにより、 安価にこのような人検知停止領域 4 3を設定すること ができる。 人でないと判断した場合は、 F I G. 1 7 Bに示すように、 自 律移動ロボッ ト 1は、 所定の走行経路 44から離れて、 障害物 Oを回避し た走行経路 4 5に沿って目的地 Tに向かって移動を続ける。
また、 走行制御手段 4が、 走行手段 5を制御して自律移動ロボッ ト本体 1 0を走行させる他の方法として、 レーザレーダによる距離測定情報に基 づレヽて、 例えは、 T a n g e n t B u g ( The International Journal of Robotics Research, Vol.17、 No.9、 September 1998. pp.934-953 ) など の方法を用いて、 障害物を回避して目的地に向かって移動を続けるように してもよい。 検出物体回避の他の方法について説明する。 F I G. 1 8 Aは人以外の 物体検知時の回避動作を示し、 F I G. 1 8 Bは人検知の場合の回避動作 を示す。 走行制御手段は、 人と認識される物体が自律移動ロボット本体の 進行方向にある場合、 その人と認識される物体から予め定めた距離を隔て て回避して走行するように走行手段を制御する。 この場合、 検出された物 体を人と認識した場合と、 人でないと判断された場合に、 その検出物体を 回避する方法を変更するようにしてもよい。 例えば、 距離測定装置 8 1 と してレーザレーダ 8 3を用いた場合で、 障害物 Oが検出領域 4 6として設 定した範囲に入らないように経路を設定する場合に、 予め設定した 2種類 の検出半径 R 1 , R 2を切り替える。
検出された物体を人でないと判断した場合は、 F I G. 1 8 Aに示すよ うに小さな検出半径 R 1が用いられ、 人と判断した場合は、 F I G. 1 8 Bに示すように大きな検出半径 R 2が用いられる。 人がいても回避して目 的地に進む必要がある場合に、 人に対して安全を確保しながら走行動作が できる。 すなわち、 人でない検出物体に対しては距離をとって回避する必 要がなく回避距離を短くできるので、 効率のよい自律移動ロボッ トの運行 が可能となる。
検出された人に対する対応方法について説明する。 走行制御手段 4は、 人と認識される物体が予め定めた距離内にある場合、 その距離又は距離と 角度に応じた移動速度となるように走行手段 5を制御するようにしてもよ い。 環境情報取得手段 6から人であると認識された対象の方向と距離が送 られてきた場合、 走行制御手段 4は、 その距離によって移動速度を変更す る。 障害物のない通常の走行状態で用いられる移動速度として速度 Vが設 定されている場合、 走行制御手段 4は、 衝突回避アルゴリズムにおいて、 衝突回避時の速度 V 1を次式のようにすることができる。
V 1 = f (h) X v
ここで、 h≥ dに対して、 f (h) = 1であり、 hく dに対して、 0≤ f (h) く 1である。 判定値 dは予め設定している距離であり、 変数 hは 人と認識された検出物体までの最短距離である。 関数 f (h) は定数でも よい。
また、 関数 f (h) の代わりに、 最短の人と認識された検出物体と自律 移動ロボッ トの進行方向のなす角度の絶対値 δ をさらに考慮した関数 g ( h、 δ ) を用いてもよい。 この場合、 衝突回避時の速度 V 2を次式のよ うにすることができる。
V 2 = g (h、 δ ) X ν
ここで、 h≥ dに対して g (h、 δ ) = 1であり、 hく dに対して 0≤ g (h、 δ ) く 1である。 例えば、 h < d、 δ≤ 90° のとき、
g (h、 δ ) =0. 5 X ( 1 - 0. 2 X ( 9 0 ~ δ ) / 9 0)
とすることができる。
このように、 人と認識される物体の距離や角度に応じた移動速度とする ことにより、 人に不安を感じさせない動作で、 効率のよい自律移動ロボッ トの移動が実現できる。 また、 検出物体が人でない場合は、 速度を落とす 必要がなく、 効率の良い自律移動ロボットの運行が可能となる。
検出された人に対する他の対応方法について説明する。 F I G. 1 9 A は自律移動口ポッ トに気づいた人に対する回避動作を示し、 F I G. 1 9 Bは同装置に気づいていない人に対する停止動作を示す。 走行制御手段 4 は、 検出された人が自律移動ロボッ トに気づいていると判断できる場合は 接近し、 そうでない場合は、 検出された人には予め定めた距離以上に近づ かないように走行手段を制御する。 自律移動ロボット 1に気づいていると いう情報が環境情報取得手段 6から走行制御手段 4に送られてくると、 F I G. 1 9 Aに示されるように、 走行制御手段 4は走行手段 5を制御して 回避動作を行いつつ、 目的地 Tに向かって走行を続ける。 そうでない場合、 F I G. 1 9 Bに示されるように、 予め定めた距離 D 2以上は人 Mに近づ かないように停止制御がなされる。 この制御によって、 人が気づいていな いときに自律移動ロボッ トが近づいて人を脅かすようなことをなくすこと できる。 検出された人が自律移動ロボッ トに気づいているかどうかは、 後 述する方法によって判断される。
検出された人に対するさらに他の対応方法について説明する。 F I G. 2 0 A及び F I G. 2 0 Bは人に対する自律移動ロボッ トの注意喚起行動 を示す。 自律移動口ポッ トが検出された人の近くを通過する際に、 人に対 してアクショ ンをとる。 例えば、 自律移動ロボッ ト本体 1 0上部の回転部 分にモニタ画面 4 7が設置されている場合、 環境情報取得手段から送られ てきた人と認識された検出物の方向角 に従って回転部分を回転させ、 モ ニタ画面 4 7をその方向に向ける。 そのモユタ画面 4 7に、 例えば人の顏 を模した絵などの注意喚起表示があると、 自律移動ロボッ ト 1が人を意識 して走行していることが、 周囲にいる人に認識される。 また、 同時に人に 対して音声信号を発信して注意喚起するようにしても良い。 検出された人 の近くを通過する際に、 走行制御手段 4が人に対して注意喚起行動をとる ことで、 人に対する親和性を向上することができる。
検出された人に対するさらに他の対応方法について説明する。 検出され た人について、 撮像手段により撮像した画像を記憶手段に記憶し、 又は、 画像を自律移動ロボッ トに搭載した通信手段を用いて遠隔ステ一ションに 送信することで、 自律移動ロボッ トに監視機能を持たせ、 セキュリティや 防犯に適用することができる。
•レーザレーダを距離測定装置として用いる場合の座標間関係について説 明する。 F I G. 2 1 A及び F I G. 2 1 Bは自律移動ロボット 1におけ る座標の配置を示す。 自律移動ロボッ ト 1に固定された座標である基準座 標系 XR— YRは直交座標系であり、 レーザレーダ 8 3のスキャン中心に 原点を有する座標系 X S— Y Sも直交座標系である。 XR— YR平面と X S— Y S平面は同一平面内にあり、 XR軸と X S軸は同一方向にあり、 Y R軸と Y S軸は、 距離 d Sだけずれている。 レーザレーダ 8 3のスキャン 中心から距離 D 3、 方向角 βの位置にある X S一 Y S平面内の物体 Ο 3の 位置座標は、 座標系; X S— Y Sにおいて、
X S =D 3 X s i n ( β )
Y S =-D 3 X c o s ( β ) となり、 座標系 XR— YRにおいて、
XR=X S + d S
YR = YSとなる。 正規化画像座標系と自律移動ロボッ トの基準座標系との関係について説 明する。 F I G. 2 2は自律移動ロボッ ト 1の基準座標系と正規化画像座 標系との関係を示す。 距離情報取得手段で得られる 3次元空間中の点 Ml が、 正規化画像上の点 m 1 として観測される場合、 自律移動ロボッ ト 1の 基準座標系、 カメラ座標系、 デジタル画像座標系、 正規化画像座標系にお いて観測位置が表現される。 自律移動ロボット 1の基準座標系での点 Ml の座標を （XR、 YR、 Z R) とし、 正規化画像座標系での点 m 1の座標 を （u、 v) とすると、 点 M 1の座標より点 m 1の座標は式 （8) を用い て計算される。
U 1 f'ku — f-ku-cot θ uOl 「f 0 0 0'
V 0 f'kv/sin θ νθ 0 f 0 0
1 S 0 0 1 0 0 1 0 0 0 0
Figure imgf000024_0001
(8) このような変換を用いてレーザレーダ計測結果を画像上への投影するこ とができる。 上式において、 Sは定数、 f は焦点距離、 k u、 k vは正規 化画像座標を基準とした時の u、 V軸の単位、 u 0、 ν θはデジタル画像 座標系における正規化画像座標原点の座標、 Θは u軸と V軸の成す角度、 r 1 1等は自律移動ロボッ ト 1の基準座標系とカメラ座標系間の回転行列、 t 1， t 2 , t 3は自律移動ロボッ ト 1の基準座標系とカメラ座標系間の 並進行列を示す。 これらのパラメータは、 予めカメラキャリブレーション を行うことにより求められる。 この式 （8) の導出は基本的なものであり、 例えば、 「コンピュータビジョン技術評論と将来展望」 （新技術コミュニケ ーションズ） の第 6章コンピュータビジョンにおけるェピポーラ幾何に導 出例がある。
(レーザレーダ計測結果に基づく画像処理）
距離情報取得手段 8の計測結果を参照して、 画像情報取得手段 7におい て人認識を行い、 環境を認識する例について説明する。 この例では、 距離 情報取得手段 8における距離測定装置 8 1 としてレーザレーダ 8 3を使用 する。 レーザレーダ 8 3により距離計測を行い、 距離情報解析手段 8 2が、 その計測データから人の大きさに対応する幅の物体を検出した場合、 その 物体を人候補とする。 画像情報取得手段7は、 その人候補位置に対応する 画像中において人認識をする。
F I G. 2 3はレーザレーダ計測結果を参照して認識処理される画像を 示し、 F I G. 2 4はレーザレーダ計測結果を参照して人候補検出を行う 処理フローを示す。 レーザレーダで物体距離が計測され （S 5 0 1)、 距離 情報解析手段 8 2は距離計測データより人候補を探索する （S 5 02)。 人 候捕が存在しない場合 （3 5 0 3で1 、 人は存在しないとの結果を環境認 識手段 9に出力し (S 5 04 )、 人候補が存在する場合 (S 5 0 3で Y)、 その位置がレーザレーダ座標系から自律移動ロポットの基準座標系に変換 される （ S 50 5 )。
続いて、 前述の式 （8) を用い、 人候補の位置を、 自律移動ロボッ トの 基準座標系から正規化画像座標系に変換し （S 5 0 6)、 正規化画像座標上 での位置が求められ、 F I G. 2 3に示されるように、 画像 2 1上に投影 された人候捕位置 2 2の周辺に、 検出対象とする人の大きさに対応して予 め決めておいた人検出エリア 90が設定される （S 5 0 7 )。 環境認識手段 9は、 人検出エリア 9 0内で人検出処理を行い （S 5 0 8)、 人候補を検出 したらレーザレーダで検出された人候補は人であったと判定し ( S 5 0 9 で Y)、 レーザレーダからの検出結果は正しく人を検出したとして、 その信 号を走行制御手段 4に出力する (S 5 1 0)。 以上の処理が全ての人候補に ついて行われる ( S 5 1 1 )。 このよ うに、 レーザレーダの計測結果に基づ き、 画像処理による人検出処理を行うエリアを制限することにより、 処理 の効率を高め人検出の信頼性を向上させることができる。
(画像処理結果に基づく レーザレーダ計測）
以下は上記とは別の例であって、 画像情報取得手段 7の処理結果を参照 して、 距離情報取得手段 8において人候補の距離情報を取得し、 環境を認 識する例について説明する。 F I G. 2 5 A及び F I G. 2 5 Bは画像処 理結果に基づいたレーザレーダ計測を示し、 F I G. 2 5 Cは計測結果の 画像を示す。 F I G. 2 6は画像処理結果を参照してレーザレーダ計測に よる人検出の処理フローを示す。 この例では、 画像情報取得手段 7におけ る撮像装置 7 1には全方位カメラ 74を、 距離情報取得手段 8における距 離測定装置 8 1にはレーザレーダ 8 3が用いられる。 図に示すように、 全 方位力メラ 74のカメラ座標系 XC— YC— Z Cと、 レーザレーダの座標 系 X L— YL— Z Lとは、 各軸の方向が一致している。 カメラ座標系の原 点は、 レーザレーダ座標系の Z L軸上を上方にシフトした位置になるよう に、 全方位カメラ 74が設置されている。
まず、 全方位カメラ 74により取得された全方位画像 1 9について、 画 像認識処理手段 7 2により人候補の検出が行われる （S 6 0 1)。 人候補が 存在しない場合 （3 6 0 2で：^)、 人は存在しないとの結果が環境認識手段 9に出力され (S 6 0 3 )、 人候捕が存在する場合 (S 6 0 2で Y)、 検出 された人候補の頭部位置方向とカメラ座標の X C軸とのなす角度 φが計算 される （6 04)。 次に、 レーザレーダ 8 3により、 レーザレーダ座標の X L軸から角度 φの方向の角度周辺が計測され （S 6 0 5)、 距離情報解析手 段 8 2と環境認識手段 9とにより、 人の大きさに対応する幅の物体の探索 が行われ （S 6 0 6 )、 人候捕が検出されたら （S 6 0 7で Y)、 人を検出 したとして走行制御手段 4に結果が出力される (S 6 0 9)。 以上の処理が、 画像を処理して得られた全ての人候補について行われる (S 6 0 9 )。
(人が自律移動ロボットに気付いているかどうかの判断処理）
人が自律移動ロボッ トに気が付いているかどうかの判断方法について説 明する。 F I G. 2 7 Aは人が同装置に気づいている画像を示し、 F I G. 2 7 Bは気づいていないとする画像を示し、 F I G. 2 8は人までの距離 と顔の肌色面積の関係グラフを示す。 画像認識処理手段 7 2において、 距 離情報取得手段 8の情報に基づき人認識が行われた後、 その人が、 自律移 動ロボッ ト 1に気付いているかどうかの判断が画像認識処理手段 7 2によ り行われる。 画像認識処理手段 7 2は、 少なく とも撮像した画像から肌色 領域を検出する肌色領域検出部と、 検出された肌色領域の形状について演 算処理する形状特徴処理部とを含んでおり、 検出された肌色領域が予め決 めた形状特徴条件を満たすとき、 画像認識処理手段 7 2は、 その肌色領域 を人の候補として認識する。
そして、 人が自律移動ロボッ トに対して正面を向いている程、 気付き度 合いが高く、 逆に、 横を向いている程、 気付き度合いが低いとして気付き 度合いが判定される。 また、 自立移動装置に対する顔の向き具合は、 頭部 領域における肌色領域面積の大きさで行われる。 F I G . 2 7に示すよう に、 一般に、 正面を向くほど肌色面積が増える。 また、 人の頭部の大きさ は、 個人差によらずある一定の大きさを仮定することができる。 従って、 F I G . 2 8に示すように、 正面を向いた標準の顔の肌色面積 S iは、 自 律移動ロボッ トから人までの距離 D iの関数として表すことができる。 こ の自律移動ロボッ トから人までの距離 D i と顔の標準肌色面積 S i の関係 は、 実験により予め求めておくことができる。
人が自律移動ロボッ トに気付いているかどうかの判断処理を含む処理フ ローについて説明する。 F I G . 2 9は人検出処理フローを示す。 この例 では、 距離情報取得手段 8の距離測定装置 8 1 としてレーザレーダ 8 3を 用い、 画像情報取得手段 7の撮像装置 7 1 として固定カメラ 7 0を用いた 場合について説明する。 この処理フローにおけるステップ S 7 0 1〜 S 7 0 9は、 前出の F I G . 2 4におけるレーザレーダ計測結果による画像処 理フローのステップ S 5 0 1〜S 5 0 9と同じであり、 説明は省略する。 ステップ S 7 0 9において、 人候捕が検出された場合 （≤ 5 0 9で ）、 そ の検出された人が自律移動ロボッ トに気付いているかの処理が行われ ( S 7 1 0 )、 その後、 人の検出出力に人が自律移動ロボッ トに気が付いている かどうか判定されて、 その判定結果を表す属性と、 レーザレーダで検出さ れた人候捕は人であつたと判定結果とが環境認識手段 9に出力される ( S 7 1 1 )。 以上の処理が全ての人候補について行われる （S 7 1 2 )。
上述のステップ S 7 1 0における、 検出された人が自律移動ロボッ トに 気付いているかどうかの判定処理の詳細を説明する。 F I G . 3 0は人が 自律移動ロボットに気付いているかどうかの判断処理フ ーを示す。 画像 認識処理手段 7 2において、 人を検出した肌色領域 24の面積 s m i 、 例えば画素数により計測される （S 8 0 1)。 次に、 レーザレーダによる人 の計測距離 d i、 及び自律移動ロボッ トから人までの距離と正面を向いた 人の顔の肌色面積との関係 （F I G. 2 8) を使って、 檫準肌色面積 s i が求められる （S 8 0 2)。 次に、 肌色領域内の面積 s m i と標準肌色面積 s i との比 s m i / s iが求められて予め決められたしきい値 THと比較 される （ S 8 0 3 )。 比較の結果、 s m i / s i > THであれば （S 8 0 3 で Y)、 人が自律移動口ポットに気が付いていると判定され （S 8 0 4)、 s m i / s iく THであれば （S 8 0 3で N)、 人が自律移動ロボッ トに気 が付いていないと判定される ( S 8 0 5 )0
なお、 本発明は、 上記構成に限られることなく種々の変形が可能である。 例えば、 F I G. 3 1 A, F I G. 3 1 B , F I G. 3 1 Cに示されるよ うに、 撮像装置と距離測定装置を組み合わせることができる。 F I G. 3 1 Aの自律移動ロポッ ト 1は、 1つのレーザレーダ 8 3と回転機構 7 0 a 上の 2つのカメラ 7 0を備えており、 F I G. 3 I Bの自律移動ロボッ ト 1は、 2つのレーザレーダ 8 3と回転機構 7 0 a上の 2つのカメラ 7 0を 備えており、 F I G . 3 1 Cの自律移動ロボッ ト 1は、 1つのレーザレー ダ 8 3と 1組の超音波センサ 84、 及び回転機構 7 0 a上の 2つのカメラ 7 0を備えている。
なお、 この出願は、 2 0 0 3年 3月 1 4日付けの特許出願に基づいて優 先権主張を行う。 その出願の内容の全体が参照によって、 この出願に組み 込まれる。

Claims

請 求 の 範 囲
1 . 障害物を回避しながら走行する自律移動ロボットにおいて、
走行する領域の地図情報と走行のための各種パラメータを記憶する記憶 手段と、
目的地や走行指令を前記記憶手段に入力する入力指示手段と、
目的地までの走行経路を生成する経路生成手段と、
障害物となる物体を含む走行経路上の環境情報を取得する環境情報取得 手段と、
走行を行うための走行手段と、
前記環境情報取得手段で得られた情報と前記地図情報とに基づいて自己 位置を認識する自己位置認識手段と、
前記自己位置認識手段により自己位置を認識しつつ障害物を回避しなが ら目的地に到達するように前記走行手段を制御する走行制御手段と、 を備 、
前記環境情報取得手段は、
走行経路上の環境の画像を撮像する撮像装置と、
前記撮像された画像データを演算処理して人体の部位に関する属性を持 つ領域を抽出する画像認識処理手段と、
走行経路上の環境内に存在する物体を検出し、 その物体の距離と方向を 測定する距離測定装置と、
前記測定された物体の距離データを演算処理して物体形状を求め、 当該 形状から物体が人候補であることを認識する距離情報解析手段と、
前記画像認識処理手段で抽出された前記属性を持つ領域の位置と、 前記 距離情報解析手段で人候補であると認識された物体の位置とを比較し、 両 者が一致するとき、 その物体を人であると認識する環境認識手段と、 を備えたことを特徴とする。
2 . 請求項 1に記載の自律移動口ポットにおいて、
画像認識処理手段は、 距離情報解析手段により求められた物体の方向に ついての画像データを演算処理し、 環境認識手段は、 当該物体の方向に対 応する部分について認識処理することを特徴とする。
3 . 請求項 1に記載の自律移動口ポッ トにおいて、
距離測定装置は、 画像認識処理手段により抽出された領域の方向につい て距離計測を行い、 環境認識手段は、 前記抽出された領域方向に対応する 部分について認識処理することを特徴とする。
4 . 請求項 1に記載の自律移動ロポッ トにおいて、
距離測定装置は、 走行路面に平行な面内を予め設定した角度毎に走査し て障害物までの距離を計測するレーザレーダによりなることを特徴とする c
5 . 請求項 1に記載の自律移動口ポットにおいて、
距離情報解析手段は、 距離データを演算処理して求めた物体の幅が予め 決めた範囲内であるとき、 その物体を人の候補として認識することを特徴 とする。
6 . 請求項 1に記載の自律移動口ポットにおいて、
距離情報解析手段は、 計測さ†iた物体までの距離が記憶された地図上の 物体までの距離と一致しないとき、 検出された物体を人の候補として認識 することを特徴とする。
7 . 請求項 1に記載の自律移動ロポッ トにおいて、
撮像装置は、 自律移動口ポットに設置されたカメラであり、 それにより 撮像された画像座標は自律移動ロボッ トの基準座標系に変換可能であるこ とを特徴とする。
8 . 請求項 1に記載の自律移動口ポッ トにおいて、
画像認識処理手段は、 少なく とも撮像した画像データから特定色領域を 検出する特定色領域検出部と、 それにより検出された特定色領域の形状に ついて演算処理する形状特徴処理部とを含み、 検出された特定色領域が予 め決めた形状特徴条件を満たすとき、 その特定色領域を人の候補として認 識することを特徴とする。
9 . ,請求項 1に記載の自律移動ロポッ トにおいて、
環境認識手段は、 画像中で検出された人の肌の色領域の面積と、 自律移 動ロポッ トから人までの距離により予め決められたその距離における人の 肌の色領域の面積との比を求め、 この比と予め決められたしきい値とを比 較することにより、 検出された人が自律移動ロボットに気付いているかい ないかを判断することを特徴とする。
1 0 . 請求項 1に記載の自律移動口ポットにおいて、
走行制御手段は、 人と認識される物体が自律移動ロボッ トの進行方向に あってかつ、 予め定めた距離内にある場合には停止し、 人と認識される物 体が自律移動ロボットの進行方向にない場合、 障害物があれば回避を行い、 障害物がなければそのまま走行を継続するように走行手段を制御すること を特徴とする。
1 1 . 請求項 1に記載の自律移動ロボットにおいて、
走行制御手段は、 人と認識される物体が自律移動ロボッ トの進行方向に ある場合、 その人と認識される物体から予め定めた距離を隔てて回避して 走行するように走行手段を制御することを特徴とする。
1 2 . 請求項 1に記載の自律移動ロボッ トにおいて、
走行制御手段は、 人と認識される物体が予め定めた距離内にある場合、 その距離又は距離と角度に応じた移動速度となるように走行手段を制御す ることを特徴とする。
1 3 . 請求項 9に記載の自律移動口ポットにおいて、
走行制御手段は、 検出された人が自律移動ロボッ トに気づいていると判 断できる場合は接近し、 そうでない場合、 検出された人には予め定めた距 離以上に近づかないように走行手段を制御することを特徴とする。
1 4 . 請求項 1に記載の自律移動ロボッ トにおいて、
走行制御手段は、 検出された人の近くを通過する際に、 人に対して注意 喚起行動をとることを特徴とする。
1 5 . 請求項 1に記載の自律移動口ポットにおいて、
画像情報取得手段は、 検出された人を撮像してその画像を前記記憶手段 に記憶する、 又は画像を遠隔ステーションに送信することを特徴とする。
PCT/JP2004/003355 2003-03-14 2004-03-12 自律移動ロボット WO2004081683A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/549,110 US7684894B2 (en) 2003-03-14 2004-03-12 Autonomously moving robot
DE112004000438T DE112004000438T5 (de) 2003-03-14 2004-03-12 Autonom sich bewegender Roboter

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-070728 2003-03-14
JP2003070728A JP3879848B2 (ja) 2003-03-14 2003-03-14 自律移動装置

Publications (1)

Publication Number Publication Date
WO2004081683A1 true WO2004081683A1 (ja) 2004-09-23

Family

ID=32984667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/003355 WO2004081683A1 (ja) 2003-03-14 2004-03-12 自律移動ロボット

Country Status (6)

Country Link
US (1) US7684894B2 (ja)
JP (1) JP3879848B2 (ja)
KR (1) KR100773184B1 (ja)
DE (1) DE112004000438T5 (ja)
TW (1) TWI242701B (ja)
WO (1) WO2004081683A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602133B2 (en) 2006-05-01 2009-10-13 Samsung Electronics Co., Ltd. Robot having an obstacle detection unit and method of controlling the same
US8340901B2 (en) 2009-05-20 2012-12-25 National Taiwan University Of Science And Technology Mobile robot and path planning method thereof for manipulating target objects
US20150006016A1 (en) * 2008-01-28 2015-01-01 Seegrid Corporation Service robot and method of operating same
CN104718507A (zh) * 2012-11-05 2015-06-17 松下知识产权经营株式会社 自主行走装置的行走信息生成装置、方法及程序、以及自主行走装置
CN107463175A (zh) * 2017-08-04 2017-12-12 河南工程学院 自动避障小车、避障方法及***
CN112232272A (zh) * 2020-11-02 2021-01-15 上海有个机器人有限公司 一种激光与视觉图像传感器融合的行人识别方法
CN112602030A (zh) * 2018-09-04 2021-04-02 索尼公司 信息处理设备、信息处理方法、程序和移动设备
CN113433560A (zh) * 2021-06-25 2021-09-24 北京铁道工程机电技术研究所股份有限公司 一种机器人侧边巡检的定位方法、装置、电子设备及介质
WO2021233007A1 (zh) * 2020-05-18 2021-11-25 科沃斯机器人股份有限公司 一种自移动机器人的控制方法、***及自移动机器人
TWI769924B (zh) * 2021-09-15 2022-07-01 東元電機股份有限公司 人體跟隨系統

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4595436B2 (ja) * 2004-03-25 2010-12-08 日本電気株式会社 ロボット、その制御方法及び制御用プログラム
JP4564447B2 (ja) * 2004-12-14 2010-10-20 本田技研工業株式会社 自律移動ロボット
KR100954621B1 (ko) * 2005-02-23 2010-04-27 파나소닉 전공 주식회사 자동운전차량 및 평면 장애물인식방법
JP4093261B2 (ja) * 2005-03-15 2008-06-04 松下電工株式会社 自律移動装置
JP4882275B2 (ja) * 2005-05-18 2012-02-22 パナソニック電工株式会社 自律移動ロボット及びその移動状況記録システム
US7783382B2 (en) * 2006-02-24 2010-08-24 Qisda Corporation Controlling machine actions based on luminance of environmental light and distance from user
JP4970861B2 (ja) * 2006-07-07 2012-07-11 本田技研工業株式会社 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
JP4314266B2 (ja) * 2006-11-22 2009-08-12 キヤノン株式会社 画像制御装置及びその制御方法
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
JP4871160B2 (ja) 2007-02-16 2012-02-08 株式会社東芝 ロボットおよびその制御方法
JP4953313B2 (ja) * 2007-09-10 2012-06-13 公立大学法人首都大学東京 環境認識システム、自律型移動体および環境認識プログラム
KR100884904B1 (ko) * 2007-09-12 2009-02-19 아주대학교산학협력단 평행 투영 모델을 이용한 자기위치 인식 방법
JP5085251B2 (ja) * 2007-09-25 2012-11-28 パナソニック株式会社 自律移動装置
JP4978494B2 (ja) * 2008-02-07 2012-07-18 トヨタ自動車株式会社 自律移動体、及びその制御方法
KR101415297B1 (ko) 2008-04-16 2014-07-07 삼성전자주식회사 로봇 지도 생성 방법 및 로봇 지도 이용 방법 및 로봇지도를 가지는 로봇
JP4670899B2 (ja) * 2008-05-22 2011-04-13 村田機械株式会社 走行車
KR101556593B1 (ko) * 2008-07-15 2015-10-02 삼성전자주식회사 영상 처리 방법
TWM348676U (en) * 2008-07-22 2009-01-11 Iner Aec Executive Yuan Environmental survey robot
TWI408397B (zh) * 2008-08-15 2013-09-11 Univ Nat Chiao Tung Automatic navigation device with ultrasonic and computer vision detection and its navigation method
WO2010021090A1 (ja) * 2008-08-20 2010-02-25 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
EP3358434A1 (en) 2008-10-01 2018-08-08 Murata Machinery, Ltd. Autonomous mobile device
TWI396830B (zh) * 2008-11-28 2013-05-21 Univ Nat Taiwan 巡邏裝置及其巡邏路徑規劃方法
KR101006211B1 (ko) * 2008-12-01 2011-01-07 한국기술교육대학교 산학협력단 센서를 구비한 이동체의 센싱 범위 확장 방법
GB0919158D0 (en) * 2009-11-02 2009-12-16 Onslow Leigh M The Viscountess Multi-function monitor
CN102782600B (zh) 2009-11-27 2015-06-24 丰田自动车株式会社 自动移动体及其控制方法
TWI394933B (zh) * 2010-01-28 2013-05-01 Univ Nat Kaohsiung Applied Sci Image path planning guidance system
JP5560978B2 (ja) * 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
TWI409605B (zh) * 2010-07-14 2013-09-21 Qisda Corp 能自動定位移動的電子裝置及讓其移動件自動歸位的方法
JP5621483B2 (ja) * 2010-10-05 2014-11-12 トヨタ自動車株式会社 ロボット及びその制御方法
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
WO2012103525A2 (en) 2011-01-28 2012-08-02 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
KR101049155B1 (ko) * 2011-02-01 2011-07-14 국방과학연구소 자율이동장치의 장애물 판단방법 및 이를 이용한 자율이동장치
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US20140139616A1 (en) 2012-01-27 2014-05-22 Intouch Technologies, Inc. Enhanced Diagnostics for a Telepresence Robot
US9259842B2 (en) 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US8972055B1 (en) 2011-08-19 2015-03-03 Google Inc. Methods and systems for selecting a velocity profile for controlling a robotic device
JP5442050B2 (ja) * 2012-02-15 2014-03-12 本田技研工業株式会社 車両周辺監視システム
KR101272604B1 (ko) * 2012-04-25 2013-06-07 주식회사 유진로봇 탑승형 로봇 및 이를 포함하는 탑승형 로봇 운용 시스템
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
EP2852881A4 (en) 2012-05-22 2016-03-23 Intouch Technologies Inc GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES
JP5314788B2 (ja) * 2012-06-11 2013-10-16 パナソニック株式会社 自律移動装置
US9321173B2 (en) 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
US9186793B1 (en) * 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
TWI459170B (zh) * 2012-10-04 2014-11-01 Ind Tech Res Inst 行進控制裝置以及具有該行進控制裝置之自動引導載具
JP6123370B2 (ja) * 2013-03-12 2017-05-10 株式会社豊田中央研究所 障害物までの距離を計測して移動する自律式移動装置
US9141852B1 (en) * 2013-03-14 2015-09-22 Toyota Jidosha Kabushiki Kaisha Person detection and pose estimation system
JP5672327B2 (ja) * 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム
WO2014156733A1 (ja) * 2013-03-26 2014-10-02 株式会社日立国際電気 人数計数装置および人数計数方法
JP2014197294A (ja) * 2013-03-29 2014-10-16 株式会社日立産機システム 位置同定装置、及びそれを備えた移動ロボット
JP2015019689A (ja) * 2013-07-16 2015-02-02 アルプス電気株式会社 障害物検知装置とその検知方法
KR102085180B1 (ko) * 2013-10-08 2020-03-05 삼성전자주식회사 몸 방향 추정 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 몸 방향 추정 장치.
US20150142251A1 (en) * 2013-11-21 2015-05-21 International Business Machines Corporation Vehicle control based on colors representative of navigation information
US9532031B1 (en) * 2014-04-08 2016-12-27 The United States Of America As Represented By The Secretary Of The Navy Method for extrinsic camera calibration using a laser beam
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
JP6599603B2 (ja) * 2014-04-18 2019-10-30 東芝ライフスタイル株式会社 自律走行体
JP6344473B2 (ja) * 2014-07-16 2018-06-27 株式会社リコー システム、機械、制御方法、プログラム
CN104216411B (zh) * 2014-09-27 2016-11-09 江阴润玛电子材料股份有限公司 一种电子电路中的巡线方法
US9434069B1 (en) 2014-11-10 2016-09-06 Google Inc. Motion heat map
KR101681187B1 (ko) * 2015-01-21 2016-12-01 한국과학기술연구원 로봇 위치 측정 시스템 및 방법
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
JP2016064829A (ja) * 2015-12-28 2016-04-28 エイディシーテクノロジー株式会社 車両制御装置
JP6528280B2 (ja) * 2015-12-28 2019-06-12 株式会社エクォス・リサーチ 移動体
WO2017152390A1 (zh) * 2016-03-09 2017-09-14 广州艾若博机器人科技有限公司 地图构建方法、纠正方法及装置
WO2017159680A1 (ja) * 2016-03-17 2017-09-21 日本電気株式会社 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备
CN107356929B (zh) * 2016-08-29 2020-07-28 北醒（北京）光子科技有限公司 一种快速扫描探测方法
EP4194887A1 (en) * 2016-09-20 2023-06-14 Innoviz Technologies Ltd. Lidar systems and methods
US11094228B2 (en) * 2016-11-14 2021-08-17 Sony Corporation Information processing device, information processing method, and recording medium
KR102681557B1 (ko) * 2017-02-24 2024-07-03 엘지전자 주식회사 이동 로봇 및 그 제어방법
JP6938969B2 (ja) * 2017-03-07 2021-09-22 富士フイルムビジネスイノベーション株式会社 環境測定システムおよびプログラム
JP2018146440A (ja) * 2017-03-07 2018-09-20 株式会社豊田自動織機 環境認識装置
JP6776960B2 (ja) * 2017-03-14 2020-10-28 トヨタ自動車株式会社 自律移動体
WO2018173595A1 (ja) * 2017-03-22 2018-09-27 日本電産株式会社 移動装置
JP6830656B2 (ja) * 2017-03-30 2021-02-17 株式会社エクォス・リサーチ 対象物判定装置および対象物判定プログラム
KR20180134230A (ko) * 2017-06-08 2018-12-18 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102391914B1 (ko) * 2017-06-30 2022-04-27 엘지전자 주식회사 이동 로봇의 동작 방법
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
EP3732542A4 (en) * 2017-12-29 2021-08-25 PlusAI Corp METHOD AND SYSTEM FOR STEREO-BASED VEHICLE POSITION ESTIMATION
JP7060231B2 (ja) * 2018-02-06 2022-04-26 株式会社Soken 移動体制御装置
EP3761136B1 (en) * 2018-02-28 2022-10-26 Honda Motor Co., Ltd. Control device, mobile body, and program
JP6894595B2 (ja) * 2018-03-28 2021-06-30 株式会社エクォス・リサーチ 移動体
JP6788915B2 (ja) * 2018-06-21 2020-11-25 クモノスコーポレーション株式会社 ３ｄレーザスキャナ、３ｄレーザスキャナシステム、建設作業機械及び建設工事方法
WO2020060267A1 (en) * 2018-09-20 2020-03-26 Samsung Electronics Co., Ltd. Cleaning robot and method for performing task thereof
JP6559864B1 (ja) * 2018-10-04 2019-08-14 関西電力株式会社 走行制御装置及び走行制御方法、並びに自動走行車
TWI721324B (zh) * 2018-10-10 2021-03-11 鴻海精密工業股份有限公司 電子裝置及立體物體的判斷方法
JP2020071182A (ja) * 2018-11-01 2020-05-07 パナソニックＩｐマネジメント株式会社 運転支援装置、車両および運転支援方法
JP7390312B2 (ja) * 2019-01-10 2023-12-01 株式会社小糸製作所 ＬｉＤＡＲセンサユニット
US11338438B2 (en) * 2019-01-25 2022-05-24 Bear Robotics, Inc. Method, system and non-transitory computer-readable recording medium for determining a movement path of a robot
EP3924868A4 (en) * 2019-02-11 2022-11-30 643AI Ltd. SYSTEMS AND PROCEDURES FOR MANAGEMENT OF MULTIPLE AUTONOMOUS VEHICLES
US11597104B2 (en) * 2019-07-31 2023-03-07 X Development Llc Mobile robot sensor configuration
JP2021056764A (ja) * 2019-09-30 2021-04-08 日本電産株式会社 移動体
JP7408334B2 (ja) * 2019-10-03 2024-01-05 Thk株式会社 画像処理装置及び移動体制御システム
CN115038990A (zh) * 2020-01-31 2022-09-09 日产自动车株式会社 物体识别方法及物体识别装置
WO2021166637A1 (ja) * 2020-02-17 2021-08-26 ソニーグループ株式会社 運搬ロボット、制御方法、プログラム、および制御装置
JP7404137B2 (ja) 2020-04-01 2023-12-25 株式会社豊田中央研究所 顔画像処理装置及び顔画像処理プログラム
WO2021252425A1 (en) * 2020-06-08 2021-12-16 Brain Corporation Systems and methods for wire detection and avoidance of the same by robots
US11767037B2 (en) 2020-09-22 2023-09-26 Argo AI, LLC Enhanced obstacle detection
CN112526984B (zh) * 2020-09-30 2024-06-21 深圳银星智能集团股份有限公司 一种机器人避障方法、装置及机器人
KR20220064222A (ko) * 2020-11-11 2022-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7521442B2 (ja) 2021-02-01 2024-07-24 トヨタ自動車株式会社 自律移動システム、自律移動方法及び自律移動プログラム
JP7404282B2 (ja) 2021-02-10 2023-12-25 株式会社豊田中央研究所 顔モデルパラメータ推定装置、顔モデルパラメータ推定方法及び顔モデルパラメータ推定プログラム
CN113110481B (zh) * 2021-04-26 2024-02-06 上海智蕙林医疗科技有限公司 一种应急避让实现方法、***、机器人和存储介质
CN113610910B (zh) * 2021-07-30 2024-04-09 合肥科大智能机器人技术有限公司 一种移动机器人避障方法
KR20230039421A (ko) * 2021-09-14 2023-03-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102425271B1 (ko) 2021-12-29 2022-07-27 주식회사 파이엇 장애물회피방법을 구비한 자율주행로봇
KR102654371B1 (ko) * 2022-02-07 2024-04-02 백수빈 지상용 자율주행 무인정찰 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02259912A (ja) * 1989-03-31 1990-10-22 Glory Ltd 移動体の自己定位方法
JPH11104984A (ja) * 1997-10-06 1999-04-20 Fujitsu Ltd 実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11198075A (ja) * 1998-01-08 1999-07-27 Mitsubishi Electric Corp 行動支援装置
JP2003280739A (ja) * 2002-03-26 2003-10-02 Matsushita Electric Works Ltd 案内用自律移動ロボットとその制御方法
JP2004171165A (ja) * 2002-11-19 2004-06-17 Honda Motor Co Ltd 移動装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6371604A (ja) * 1986-09-12 1988-04-01 Hideo Mori 領域分割したカラ−画像を使つて道路境界と障害物を検出する方式
JPS63124114A (ja) * 1986-11-14 1988-05-27 Hitachi Ltd 移動体用環境認識装置
JPS63213005A (ja) * 1987-03-02 1988-09-05 Hitachi Ltd 移動体誘導方法
JPH036710A (ja) * 1989-06-05 1991-01-14 Toshiba Corp 追随移動ロボット制御装置
JPH0412218A (ja) * 1990-05-01 1992-01-16 Toyota Motor Corp 車両用距離検出装置
JP3263699B2 (ja) 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
JP2501010B2 (ja) * 1993-10-25 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション 移動ロボットの誘導装置
JPH07213753A (ja) * 1994-02-02 1995-08-15 Hitachi Ltd パーソナルロボット装置
JPH07325620A (ja) * 1994-06-02 1995-12-12 Hitachi Ltd 知能ロボット装置及び知能ロボットシステム
JPH09326096A (ja) * 1996-06-06 1997-12-16 Nissan Motor Co Ltd 車両用人的障害物検知装置
EP0913751B1 (de) * 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JP3660492B2 (ja) * 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
JP2000123298A (ja) 1998-10-13 2000-04-28 Japan Aviation Electronics Industry Ltd 障害物位置検出装置およびその検出方法
JP2000326274A (ja) 1999-05-24 2000-11-28 Nec Corp 自律行動ロボット
JP3648604B2 (ja) 2000-10-26 2005-05-18 松下電工株式会社 自律移動装置
JP3823760B2 (ja) 2001-05-28 2006-09-20 日本電気株式会社 ロボット装置
US6664918B2 (en) * 2002-01-09 2003-12-16 Mia-Com, Inc. Method and apparatus for identifying complex objects based on range readings from multiple sensors
JP4019736B2 (ja) * 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
JP4082190B2 (ja) * 2002-11-26 2008-04-30 松下電工株式会社 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02259912A (ja) * 1989-03-31 1990-10-22 Glory Ltd 移動体の自己定位方法
JPH11104984A (ja) * 1997-10-06 1999-04-20 Fujitsu Ltd 実環境情報表示装置及び実環境情報表示処理を実行するプログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11198075A (ja) * 1998-01-08 1999-07-27 Mitsubishi Electric Corp 行動支援装置
JP2003280739A (ja) * 2002-03-26 2003-10-02 Matsushita Electric Works Ltd 案内用自律移動ロボットとその制御方法
JP2004171165A (ja) * 2002-11-19 2004-06-17 Honda Motor Co Ltd 移動装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602133B2 (en) 2006-05-01 2009-10-13 Samsung Electronics Co., Ltd. Robot having an obstacle detection unit and method of controlling the same
US20150006016A1 (en) * 2008-01-28 2015-01-01 Seegrid Corporation Service robot and method of operating same
US9603499B2 (en) * 2008-01-28 2017-03-28 Seegrid Corporation Service robot and method of operating same
US8340901B2 (en) 2009-05-20 2012-12-25 National Taiwan University Of Science And Technology Mobile robot and path planning method thereof for manipulating target objects
CN104718507A (zh) * 2012-11-05 2015-06-17 松下知识产权经营株式会社 自主行走装置的行走信息生成装置、方法及程序、以及自主行走装置
CN107463175A (zh) * 2017-08-04 2017-12-12 河南工程学院 自动避障小车、避障方法及***
US11995995B2 (en) 2018-09-04 2024-05-28 Sony Corporation Information processing device, information processing method, program, and mobile device
CN112602030A (zh) * 2018-09-04 2021-04-02 索尼公司 信息处理设备、信息处理方法、程序和移动设备
WO2021233007A1 (zh) * 2020-05-18 2021-11-25 科沃斯机器人股份有限公司 一种自移动机器人的控制方法、***及自移动机器人
CN112232272B (zh) * 2020-11-02 2023-09-08 上海有个机器人有限公司 一种激光与视觉图像传感器融合的行人识别方法
CN112232272A (zh) * 2020-11-02 2021-01-15 上海有个机器人有限公司 一种激光与视觉图像传感器融合的行人识别方法
CN113433560A (zh) * 2021-06-25 2021-09-24 北京铁道工程机电技术研究所股份有限公司 一种机器人侧边巡检的定位方法、装置、电子设备及介质
CN113433560B (zh) * 2021-06-25 2023-12-26 北京铁道工程机电技术研究所股份有限公司 一种机器人侧边巡检的定位方法、装置、电子设备及介质
TWI769924B (zh) * 2021-09-15 2022-07-01 東元電機股份有限公司 人體跟隨系統

Also Published As

Publication number Publication date
US20060184274A1 (en) 2006-08-17
KR100773184B1 (ko) 2007-11-02
TW200508826A (en) 2005-03-01
KR20050108396A (ko) 2005-11-16
JP2004280451A (ja) 2004-10-07
DE112004000438T5 (de) 2006-01-26
JP3879848B2 (ja) 2007-02-14
TWI242701B (en) 2005-11-01
US7684894B2 (en) 2010-03-23

Similar Documents

Publication Publication Date Title
WO2004081683A1 (ja) 自律移動ロボット
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
KR102113955B1 (ko) 선박 및 항만 모니터링 장치 및 방법
JP6132659B2 (ja) 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
US8209074B2 (en) Robot and method for controlling the same
US7277559B2 (en) Mobile apparatus
KR101581197B1 (ko) 로봇 및 그 제어방법
Kim et al. Moving obstacle avoidance of a mobile robot using a single camera
EP3226207B1 (en) Automatic operation vehicle
US8842162B2 (en) Method and system for improving surveillance of PTZ cameras
KR20100031277A (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
JP6524529B2 (ja) 建築限界判定装置
JP6919882B2 (ja) 人推定システムおよび推定プログラム
KR20210090574A (ko) 선박 및 항만 모니터링 장치 및 방법
JPH11257931A (ja) 物体認識装置
JP2000293693A (ja) 障害物検出方法および装置
CN114341930A (zh) 图像处理装置、拍摄装置、机器人以及机器人***
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
Poomarin et al. Automatic docking with obstacle avoidance of a differential wheel mobile robot
JP3237705B2 (ja) 障害物検出装置および障害物検出装置を搭載した移動体
KR101784584B1 (ko) 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법
AU2020317303B2 (en) Information processing device, data generation method, and program
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
KR101997563B1 (ko) 이동 기기의 위치 인식 방법
US20230324199A1 (en) Information processing apparatus, movable apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020057017184

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020057017184

Country of ref document: KR

RET De translation (de og part 6b)

Ref document number: 112004000438

Country of ref document: DE

Date of ref document: 20060126

Kind code of ref document: P

WWE Wipo information: entry into national phase

Ref document number: 112004000438

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2006184274

Country of ref document: US

Ref document number: 10549110

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10549110

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: 8607