WO2022004495A1 - 障害物検出装置及び障害物検出方法 - Google Patents

障害物検出装置及び障害物検出方法 Download PDF

Info

Publication number
WO2022004495A1
WO2022004495A1 PCT/JP2021/023647 JP2021023647W WO2022004495A1 WO 2022004495 A1 WO2022004495 A1 WO 2022004495A1 JP 2021023647 W JP2021023647 W JP 2021023647W WO 2022004495 A1 WO2022004495 A1 WO 2022004495A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
detection
region
coordinate
detection device
Prior art date
Application number
PCT/JP2021/023647
Other languages
English (en)
French (fr)
Inventor
石▲崎▼将崇
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Priority to EP21831582.8A priority Critical patent/EP4177694A4/en
Priority to CN202180045638.5A priority patent/CN115720569A/zh
Priority to CA3184206A priority patent/CA3184206A1/en
Priority to US18/013,194 priority patent/US20230264938A1/en
Priority to KR1020227045118A priority patent/KR20230015429A/ko
Priority to AU2021301647A priority patent/AU2021301647A1/en
Publication of WO2022004495A1 publication Critical patent/WO2022004495A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • This disclosure relates to an obstacle detection device and an obstacle detection method.
  • a moving object such as a vehicle is equipped with an obstacle detection device for detecting obstacles.
  • the obstacle detection device disclosed in Patent Document 1 includes a sensor for detecting an obstacle and a position detecting unit for detecting the position of the obstacle from the detection result of the sensor.
  • the position detection unit detects the position of an obstacle existing in the detectable area of the sensor.
  • a stereo camera is used as the sensor.
  • the position detection unit derives a parallax image from the image captured by the stereo camera, and detects the position of the obstacle based on the parallax image.
  • An object of the present disclosure is to provide an obstacle detection device and an obstacle detection method capable of suppressing the detection of a part of a moving object as an obstacle.
  • the obstacle detection device that solves the above problems is an obstacle detection device mounted on a moving body, and is a sensor for detecting an obstacle and a position for detecting the position of the obstacle from the detection result of the sensor.
  • a detection unit is provided, and the position detection unit includes a region preset in a detectable region in which the obstacle can be detected by the sensor, and a region in which a part of the moving body is present is defined as a non-detection region. Then, in the non-detection region, there are a non-detection unit that determines that the obstacle does not exist regardless of the detection result of the sensor, and a detection region that is a region different from the non-detection region in the detectable region.
  • a detection unit for detecting the position of the obstacle is provided.
  • a non-detectable area is set in advance in the detectable area.
  • the non-detection unit determines that there is no obstacle in the non-detection area even if an obstacle exists in the non-detection area. Since a part of the moving body exists in the non-detection area, by determining that there is no obstacle in the non-detection area, the obstacle detection device detects a part of the moving body as an obstacle. Can be suppressed.
  • the moving body may be a forklift, and the non-detection region may be set at a position where a counterweight of the forklift exists.
  • the position detection unit uses the X-axis as one axis in the horizontal direction, the Y-axis as the axis in the direction orthogonal to the X-axis in the horizontal direction, and the X-axis and the Y-axis.
  • a coordinate derivation unit for deriving the coordinates of the obstacle in a coordinate system in real space whose axis in the orthogonal direction is the Z axis may be provided.
  • the non-detection region may be defined by three-dimensional coordinates indicating a region in which a part of the moving body exists in the coordinate system in the real space.
  • the obstacle detection method that solves the above-mentioned problems is an obstacle detection method that is mounted on a moving body and detects the position of an obstacle by an obstacle detection device including a sensor and a position detection unit.
  • the position detection unit does not include the step of acquiring the detection result of the sensor and the region preset in the detectable region where the obstacle can be detected by the sensor and in which a part of the moving body is present.
  • the position detection unit determines that the obstacle does not exist in the non-detection area regardless of the detection result of the sensor, and the position detection unit determines that the obstacle is not present in the non-detection area. It may include a step of detecting the position of the obstacle existing in the detection area which is a region different from the non-detection area.
  • the side view of the forklift in the 1st Embodiment The plan view of the forklift in the first embodiment.
  • the schematic block diagram of the forklift and the obstacle detection apparatus in 1st Embodiment The figure which shows an example of the 1st image taken by a stereo camera.
  • a flowchart showing an obstacle detection process performed by the position detection device The figure for demonstrating the detectable area, the non-detection area, and the detection area.
  • the schematic diagram which shows the position of the obstacle in the XY plane of the world coordinate system.
  • the side view of the forklift in the 2nd Embodiment The figure which shows an example of the 1st image taken by a stereo camera.
  • the forklift 10 as a moving body includes a vehicle body 11, a drive wheel 12 arranged at the front lower portion of the vehicle body 11, and a steering wheel 13 arranged at the rear lower portion of the vehicle body 11.
  • a cargo handling device 17 is provided.
  • the vehicle body 11 includes a head guard 14 provided on the upper part of the driver's seat, and a counterweight 15 for balancing the load loaded on the cargo handling device 17.
  • the counterweight 15 is provided at the rear of the vehicle body 11.
  • the forklift 10 may be operated by the operation by the passenger, may be automatically operated, or may be switched between manual operation and automatic operation.
  • the left and right are the left and right when the forward direction of the forklift 10 is used as a reference.
  • the forklift 10 includes a main control device 20, a traveling motor M1, a traveling control device 23 for controlling the traveling motor M1, and a rotation speed sensor 24.
  • the main control device 20 controls the traveling operation and the cargo handling operation.
  • the main control device 20 includes a processor 21 and a storage unit 22.
  • the storage unit 22 includes RAM: RandomAccessMemory and ROM: ReadOnlyMemory.
  • the storage unit 22 stores a program for operating the forklift 10. It can be said that the storage unit 22 stores a program code or a command configured to cause the processor 21 to execute the process.
  • the main control device 20 may be configured by a hardware circuit such as ASIC: Application Specific Integrated Circuit or FPGA: Field Programmable Gate Array.
  • the main control unit 20, which is a processing circuit, may include one or more processors operating according to a computer program, one or more hardware circuits such as ASICs and FPGAs, or a combination thereof.
  • the main control device 20 gives a command of the rotation speed of the traveling motor M1 to the traveling control device 23 so that the vehicle speed of the forklift 10 becomes the target vehicle speed.
  • the travel control device 23 of this embodiment is a motor driver.
  • the rotation speed sensor 24 outputs the rotation speed of the traveling motor M1 to the traveling control device 23.
  • the travel control device 23 controls the travel motor M1 so that the rotation speed of the travel motor M1 matches the command based on the command from the main control device 20.
  • the forklift 10 is equipped with an obstacle detection device 30.
  • the obstacle detection device 30 includes a stereo camera 31 as a sensor and a position detection device 41 that detects the position of an obstacle from an image captured by the stereo camera 31.
  • the stereo camera 31 is installed so that the road surface on which the forklift 10 travels can be seen from above the forklift 10.
  • the stereo camera 31 of the present embodiment images the rear of the forklift 10. Therefore, the obstacle detected by the position detection device 41 becomes an obstacle behind the forklift 10.
  • the stereo camera 31 is installed in, for example, the head guard 14. As shown in FIG. 2, the stereo camera 31 is installed so as to deviate from the center position CP in the vehicle width direction of the forklift 10. In the present embodiment, the stereo camera 31 is installed so as to be offset to the left from the center position CP in the vehicle width direction of the forklift 10.
  • the stereo camera 31 captures an imaging range determined by a horizontal angle of view and a vertical angle of view.
  • the counterweight 15 is included in the range of the vertical angle of view. Therefore, a part of the counterweight 15 which is a part of the forklift 10 is always included in the image captured by the stereo camera 31.
  • the stereo camera 31 includes a first camera 32 and a second camera 33.
  • the first camera 32 and the second camera 33 include those using a CCD image sensor and a CMOS image sensor.
  • the first camera 32 and the second camera 33 are arranged so that their optical axes are parallel to each other.
  • the first camera 32 and the second camera 33 are arranged side by side in the horizontal direction with each other. Assuming that the image captured by the first camera 32 is the first image and the image captured by the second camera 33 is the second image, the same obstacle appears laterally shifted in the first image and the second image. Become.
  • the obstacle shown in the first image and the obstacle shown in the second image have the first camera 32 and the second camera 33 in the horizontal pixel [px]. There will be a gap depending on the distance between them.
  • the first image and the second image are, for example, images represented by RGB signals.
  • the position detection device 41 includes a processor 42 and a storage unit 43.
  • the processor 42 for example, a CPU, a GPU, and a DSP are used.
  • the storage unit 43 includes RAM and ROM.
  • the storage unit 43 stores various programs for detecting obstacles from the image captured by the stereo camera 31. It can be said that the storage unit 43 stores a program code or a command configured to cause the processor 42 to execute the process.
  • the storage 43 i.e., a computer-readable medium, includes any available medium accessible by a general purpose or dedicated computer.
  • the position detection device 41 may be configured by a hardware circuit such as an ASIC or FPGA.
  • the position detection device 41 which is a processing circuit, may include one or more processors operating according to a computer program, one or more hardware circuits such as ASICs and FPGAs, or a combination thereof.
  • the obstacle detection process is performed by the processor 42 executing the program stored in the storage unit 43.
  • the obstacle detection process is repeated in a predetermined control cycle.
  • FIG. 4 is a first image I1 obtained by imaging the rear of the forklift 10. As can be seen from the first image I1, there are people and obstacles other than people behind the forklift 10. A part of the counterweight 15 is reflected in the first image I1.
  • the coordinates on the first image I1 in which the obstacle exists are shown by the frames A1, A2, A3, A4, but in the actual first image I1, the frames A1, A2, A3, A4 are shown. not exist.
  • step S1 the position detection device 41 acquires the first image I1 and the second image of the same frame from the image captured by the stereo camera 31.
  • the first image I1 and the second image are the detection results of the stereo camera 31.
  • the position detection device 41 acquires a parallax image by performing stereo processing.
  • the parallax image is an image in which the parallax [px] is associated with the pixels.
  • the parallax is obtained by comparing the first image I1 and the second image and calculating the difference in the number of pixels between the first image I1 and the second image for the same feature point appearing in each image.
  • the feature point is a part that can be recognized as a boundary, such as the edge of an obstacle.
  • the feature points can be detected from the luminance information and the like.
  • the position detection device 41 converts RGB to YCrCb using a RAM that temporarily stores each image.
  • the position detection device 41 may perform distortion correction, edge enhancement processing, and the like.
  • the position detection device 41 performs stereo processing for calculating the parallax by comparing the similarity between each pixel of the first image I1 and each pixel of the second image.
  • stereo processing a method of calculating the parallax for each pixel may be used, or a block matching method of dividing each image into blocks containing a plurality of pixels and calculating the parallax for each block may be used. ..
  • the position detection device 41 acquires a parallax image using the first image I1 as a reference image and the second image as a comparison image.
  • the position detection device 41 extracts the pixels of the second image most similar to each pixel of the first image I1, and the difference between the pixels of the first image I1 and the number of pixels in the horizontal direction most similar to the pixels. Is calculated as the parallax. As a result, it is possible to acquire a parallax image in which parallax is associated with each pixel of the first image I1 which is a reference image.
  • the parallax image does not necessarily require display, and indicates data in which parallax is associated with each pixel in the parallax image.
  • the position detection device 41 may perform a process of removing the parallax on the road surface from the parallax image.
  • the position detection device 41 derives the coordinates of the feature points in the world coordinate system.
  • the camera coordinate system is a coordinate system with the stereo camera 31 as the origin.
  • the camera coordinate system is a three-axis Cartesian coordinate system in which the optical axis is the Z axis and the two axes orthogonal to the optical axis are the X axis and the Y axis, respectively.
  • the coordinates of the feature points in the camera coordinate system can be represented by Z coordinate Zc, X coordinate Xc, and Y coordinate Yc in the camera coordinate system.
  • the Z coordinate Zc, the X coordinate Xc, and the Y coordinate Yc can be derived using the following equations (1) to (3), respectively.
  • B is the baseline length [mm]
  • f is the focal length [mm]
  • d is the parallax [px].
  • xp is an arbitrary X coordinate in the parallax image, and x'is the X coordinate of the center coordinate of the parallax image.
  • yp is an arbitrary Y coordinate in the parallax image, and y'is the Y coordinate of the center coordinate of the parallax image.
  • the feature point in the camera coordinate system can be used.
  • the coordinates are derived.
  • the axis extending in the vehicle width direction of the forklift 10 in the horizontal direction is the X axis
  • the axis extending in the direction orthogonal to the X axis in the horizontal direction is the Y axis, X.
  • a 3-axis Cartesian coordinate system whose Z axis is an axis orthogonal to the axis and the Y axis is a world coordinate system which is a coordinate system in real space.
  • the Y axis of the world coordinate system can be said to be an axis extending in the front-rear direction of the forklift 10, which is the traveling direction of the forklift 10.
  • the Z axis of the world coordinate system can be said to be an axis extending in the vertical direction.
  • the coordinates of the feature points in the world coordinate system can be represented by the X coordinate Xw, the Y coordinate Yw, and the Z coordinate Zw in the world coordinate system.
  • the position detection device 41 performs world coordinate conversion that converts camera coordinates to world coordinates using the following equation (4).
  • World coordinates are coordinates in the world coordinate system.
  • H in the equation (4) is the installation height [mm] of the stereo camera 31 in the world coordinate system
  • ⁇ is the angle + 90 ° between the optical axes of the first camera 32 and the second camera 33 and the horizontal plane. The angle of.
  • the origin of the world coordinate system is the coordinates where the X coordinate Xw and the Y coordinate Yw are the positions of the stereo camera 31 and the Z coordinate Zw is the road surface.
  • the position of the stereo camera 31 is, for example, an intermediate position between the lens of the first camera 32 and the lens of the second camera 33.
  • the X coordinate Xw indicates the distance from the origin to the feature point in the vehicle width direction of the forklift 10.
  • the Y coordinate Yw indicates the distance from the origin to the feature point with respect to the traveling direction of the forklift 10.
  • the Z coordinate Zw indicates the height from the road surface to the feature point. Characteristic points are points that represent a part of an obstacle.
  • the arrow X indicates the X axis of the world coordinate system
  • the arrow Y indicates the Y axis of the world coordinate system
  • the arrow Z indicates the Z axis of the world coordinate system.
  • the area where the world coordinates can be acquired is the detectable area CA, which is the area where obstacles can be detected.
  • the detectable region CA is determined by, for example, the imaging range of the stereo camera 31.
  • the non-detection area NA1 is set in advance in the detectable area CA of the stereo camera 31.
  • the non-detection region NA1 is a region where it is determined that there is no obstacle regardless of whether or not the obstacle is imaged by the stereo camera 31.
  • the region of the detectable region CA that is different from the non-detectable region NA1 is designated as the detection region DA.
  • the detection area DA is an area where obstacles are detected. Therefore, it can be said that the position detection device 41 detects an obstacle when the obstacle is imaged by the stereo camera 31 and the obstacle is present in the detection area DA.
  • step S4 the position detection device 41 deletes the feature points in the non-detection region NA1 as unnecessary feature points.
  • the non-detection region NA1 is set at a position in the detectable region CA where a part of the forklift 10 exists.
  • the position where the counterweight 15 exists is the non-detection region NA1. It can be said that the unnecessary feature points are the feature points generated by the image of the counterweight 15.
  • Unnecessary feature points can be derived from the vehicle specifications.
  • the vehicle specifications for deriving unnecessary feature points are stored in, for example, the storage unit 43 of the position detection device 41.
  • Information indicating each of the distance W2 in the vehicle width direction between the stereo camera and the stereo camera 31 is stored as vehicle specifications.
  • the width W1 of the counterweight 15 is the dimension of the counterweight 15 in the vehicle width direction.
  • the width W1 of the counterweight 15 can be said to be the dimension of the counterweight 15 in the X-axis direction in the world coordinate system.
  • the counterweight 15 imaged by the stereo camera 31 has a constant width. Therefore, the width W1 of the counterweight 15 can be set to a constant value.
  • the width W1 of the counterweight 15 may be stored according to the position of the counterweight 15 in the front-rear direction.
  • the width of the counterweight 15 may be grasped even when the width of the counterweight 15 is not constant. ..
  • the width of the counterweight 15 may be regarded as constant.
  • the maximum width of the counterweight 15 may be regarded as the width of the counterweight 15.
  • the height H1 of the counterweight 15 is the dimension from the road surface to the upper end of the counterweight 15. Since the origin of the Z axis in the world coordinate system is the road surface, the height H1 of the counterweight 15 can be said to be the Z coordinate Zw at the upper end of the counterweight 15 in the world coordinate system. When the height of the counterweight 15 differs depending on the position in the front-rear direction or the position in the vehicle width direction of the counterweight 15, the highest position may be the upper end of the counterweight 15.
  • the distance L1 in the front-rear direction from the stereo camera 31 to the rear end of the counter weight 15 is a dimension in the Y-axis direction from the stereo camera 31 to the rear end of the counter weight 15 in the world coordinate system. Since the origin of the Y axis in the world coordinate system is the stereo camera 31, the distance L1 in the front-rear direction from the stereo camera 31 to the rear end of the counter weight 15 is also the Y coordinate Yw of the rear end of the counter weight 15 in the world coordinate system. I can say. If the position of the rear end of the counterweight 15 differs depending on the position in the front-rear direction or the position in the vehicle width direction of the counterweight 15, the rearmost position may be the rear end of the counterweight 15.
  • the distance W2 between the center position CP of the forklift 10 and the stereo camera 31 in the vehicle width direction is the dimension in the X-axis direction from the center position CP of the forklift 10 to the stereo camera 31 in the world coordinate system. Since the origin of the X axis in the world coordinate system is the stereo camera 31, the distance W2 between the center position CP of the forklift 10 and the stereo camera 31 in the vehicle width direction is the X coordinate Xw of the center position CP of the forklift 10 in the world coordinate system. It can be said that.
  • the position detection device 41 deletes feature points that meet all of the following first condition, second condition, and third condition from the above-mentioned vehicle specifications as unnecessary feature points.
  • First condition ...- (W1 / 2 + W2) ⁇ Xw ⁇ (W1 / 2-W2)
  • Second condition ... 0 ⁇ Yw ⁇ L1
  • Third condition ... 0 ⁇ Zw ⁇ H1
  • the first condition is to extract feature points in the range of half the width W1 of the counterweight 15 for each of both sides in the X-axis direction of the world coordinate system from the center position CP in the vehicle width direction of the forklift 10. It can be said that.
  • the range of the X coordinate Xw is forked lifted by shifting the X coordinate Xw to the right by the distance W2. It can be said that the distance is offset to the range based on the center position CP of 10.
  • the second condition is to extract the feature points existing in the range from the stereo camera 31 to the rear end of the counterweight 15.
  • the third condition is that the feature points from the road surface to the upper end of the counterweight 15 are extracted.
  • each condition indicates the range of three-dimensional coordinates in the world coordinate system.
  • a rectangular parallelepiped region in which the range of the X coordinate Xw is-(W1 / 2 + W2) to (W1 / 2-W2), the range of the Y coordinate Yw is 0 to L1, and the range of the Z coordinate Zw is 0 to H1 is a feature point.
  • the non-detection region NA1 can be said to be a region surrounded by coordinates P1 to P8 in the world coordinate system.
  • the coordinates P1 are (-(W1 / 2 + W2), 0, H1)
  • the coordinates P2 are (W1 / 2-W2,0, H1).
  • the coordinate P3 can be represented by ( ⁇ (W1 / 2 + W2), L1, H1)
  • the coordinate P4 can be represented by (W1 / 2-W2, L1, H1).
  • the coordinate P5 is (-(W1 / 2 + W2), 0,0)
  • the coordinate P6 is (W1 / 2-W2,0,0)
  • the coordinate P7 is (-(W1 / 2 + W2), L1,0).
  • the coordinates P8 can be represented by (W1 / 2-W2, L1,0).
  • the non-detection region NA1 is defined by three-dimensional coordinates indicating an region in which the counterweight 15 exists in the world coordinate system.
  • the + coordinate or-coordinate in the world coordinates indicates in which direction the coordinates are located with respect to the origin of the world coordinate system, and can be arbitrarily set for each coordinate axis.
  • the X coordinate Xw has a + coordinate to the left of the origin and a-coordinate to the right of the origin.
  • the Y coordinate Yw has a + coordinate behind the origin and a-coordinate ahead of the origin.
  • the Z coordinate Zw has a + coordinate above the origin and a-coordinate below the origin.
  • the position detection device 41 extracts an obstacle existing in the world coordinate system.
  • the position detection device 41 sets a set of feature points that are assumed to represent the same obstacle out of a plurality of feature points that represent a part of the obstacle as one point cloud, and extracts the point cloud as an obstacle. ..
  • the position detection device 41 performs clustering in which the feature points located within a predetermined range are regarded as one point cloud from the world coordinates of the feature points derived in step S3.
  • the position detection device 41 regards the clustered point cloud as one obstacle.
  • the obstacle extracted in step S5 can be said to be an obstacle existing in the detection region DA, which is a region different from the non-detection region NA1.
  • the feature point clustering performed in step S5 can be performed by various methods. That is, the clustering may be performed by any method as long as it can be regarded as an obstacle by forming a plurality of feature points into one point cloud.
  • the position detection device 41 derives the position of the obstacle extracted in step S5.
  • the position of the obstacle is the coordinates of the obstacle in the XY plane of the world coordinate system.
  • the position detection device 41 can recognize the world coordinates of an obstacle from the world coordinates of the feature points constituting the clustered point cloud.
  • the X-coordinate Xw, Y-coordinate Yw, and Z-coordinate Zw of a plurality of feature points located at the ends of the clustered point group may be the X-coordinate Xw, Y-coordinate Yw, and Z-coordinate Zw of the obstacle.
  • the X-coordinate Xw, Y-coordinate Yw, and Z-coordinate Zw of the feature point that is the center of the point group may be the X-coordinate Xw, Y-coordinate Yw, and Z-coordinate Zw of the obstacle. That is, the coordinates of the obstacle in the world coordinate system may represent the entire obstacle or may represent one point of the obstacle.
  • the position detection device 41 projects the X-coordinate Xw, Y-coordinate Yw, and Z-coordinate Zw of the obstacle onto the XY plane of the world coordinate system, thereby projecting the obstacle on the XY plane of the world coordinate system.
  • Obstacles O1 to O4 shown in FIG. 7 are obstacles detected from the first image I1 and the second image by performing the processes of steps S1 to S6.
  • the obstacle O1 is an obstacle existing in the frame A1.
  • the obstacle O2 is an obstacle existing in the frame A2.
  • the obstacle O3 is an obstacle existing in the frame A3.
  • the obstacle O4 is an obstacle existing in the frame A4.
  • the position detection device 41 extracts the obstacle O5 corresponding to the counterweight 15.
  • the feature points of the non-detection region NA1 are deleted, and it is determined that no obstacle exists in the non-detection region NA1 to suppress the extraction of the obstacle O5.
  • the position detection device 41 functions as a non-detection unit.
  • the position detection device 41 functions as a detection unit.
  • the position detection device 41 functions as a position detection unit.
  • step S4 means that the feature points in the non-detection region NA1 are not used for the extraction of obstacles in step S5. That is, “deletion of feature points” is not only an embodiment in which the world coordinates of feature points in the non-detection area NA1 are deleted from the RAM of the position detection device 41, but also feature points in the non-detection area NA1 from the RAM of the position detection device 41. It includes an embodiment in which the feature points of the non-detection region NA1 are not used for the extraction of obstacles without deleting the world coordinates of.
  • the main control device 20 grasps the positional relationship between the forklift 10 and the obstacle in the horizontal direction by acquiring the detection result by the position detection device 41.
  • the main control device 20 controls according to the positional relationship between the forklift 10 and an obstacle. For example, the main control device 20 limits the vehicle speed or gives an alarm when the distance between the forklift 10 and an obstacle falls below the threshold value.
  • the non-detectable area NA1 is set in advance in the detectable area CA.
  • the position detection device 41 deletes the feature points existing in the non-detection region NA1. As a result, the position detection device 41 determines that there is no obstacle in the non-detection region NA1 even if an obstacle exists in the non-detection region NA1.
  • the non-detection region NA1 is an region in which the counterweight 15 exists. Since the positional relationship between the stereo camera 31 and the counterweight 15 is constant, the counterweight 15 always falls within the imaging range of the stereo camera 31.
  • the counterweight 15 When the main control device 20 issues a vehicle speed limit or an alarm according to the distance to an obstacle, the counterweight 15 may be detected as an obstacle and the vehicle speed limit or an alarm may be issued. Since the counterweight 15 always enters the detectable region CA, there is a possibility that the vehicle speed limit or the alarm will always be given. In this case, the forklift 10 may deteriorate the work efficiency. Further, if an alarm is always issued, it may not be possible to determine whether or not the forklift 10 and an obstacle are close to each other.
  • the counterweight 15 since the counterweight 15 is not detected as an obstacle, the counterweight 15 is imaged by the stereo camera 31 to suppress the vehicle speed limitation and the warning.
  • the non-detection area NA1 is set in advance in the detectable area CA of the stereo camera 31.
  • the position detection device 41 determines that there is no obstacle in the non-detection region NA1 by deleting the feature points in the non-detection region NA1. It is possible to prevent the counterweight 15 existing in the non-detection region NA1 from being detected as an obstacle.
  • a counterweight 15 is arranged behind the vehicle body 11 in order to balance with the load loaded on the cargo handling device 17. Therefore, the counterweight 15 tends to enter the detectable region CA of the stereo camera 31 that captures the rear image. Further, it may be difficult to arrange the stereo camera 31 so that the counterweight 15 does not enter the detectable area CA due to the arrangement restriction.
  • the area where the counterweight 15 exists as the non-detection area NA1 even if the counterweight 15 enters the detectable area CA of the stereo camera 31, the counterweight 15 is detected as an obstacle. Obstacles in the detection area DA can be detected while suppressing them.
  • the non-detection area NA1 is defined by the three-dimensional coordinates of the world coordinate system. It is also possible to define the non-detection region NA1 by the X coordinate Xw and the Y coordinate Yw of the world coordinate system and delete the feature points regardless of the Z coordinate Zw. In this case, even if an obstacle is placed on the counterweight 15, this obstacle is also included in the non-detection region NA1. Therefore, even if an obstacle is present on the counterweight 15, it is considered that this obstacle does not exist. By defining the non-detection region NA1 with three-dimensional coordinates, it is possible to detect an obstacle existing on the counterweight 15.
  • Non-detection area NA1 is a preset area.
  • the position detecting device 41 is used. It is necessary to set the area where the movable member exists as the non-detection area. Since the movable member moves, the non-detection region cannot be set in advance, and the position detection device 41 needs to detect the position of the movable member and set this position as the non-detection region.
  • the non-detection region NA1 is set corresponding to the counterweight 15 whose positional relationship with the stereo camera 31 is constant. Since the position of the counterweight 15 in the detectable area CA is constant, the non-detection area NA1 can be set in advance. Compared with the case where the position of the movable member is detected and the non-detection area is set according to this position, the load on the position detection device 41 can be reduced.
  • the forklift 10 includes a mirror 18 and a support portion 19 that supports the mirror 18.
  • the support portion 19 extends toward the rear of the vehicle body 11.
  • the mirror 18 and the support portion 19 are located within the range of the vertical angle of view of the stereo camera 31.
  • the mirror 18 and the support 19 are part of the forklift 10.
  • the mirror 18 and the support portion 19 are included in the first image I1 captured by the stereo camera 31.
  • an obstacle detection process is performed so that the mirror 18 and the support portion 19 are not detected as obstacles.
  • the storage unit 43 of the position detection device 41 stores the height H2 of the mirror 18 as vehicle specifications.
  • the height H2 of the mirror 18 is a dimension from the road surface to the lower end of the mirror 18. Since the origin of the Z axis in the world coordinate system is the road surface, the height H2 of the mirror 18 can be said to be the Z coordinate Zw of the lower end of the mirror 18 in the world coordinate system.
  • the support portion 19 is located above the lower end of the mirror 18 as a whole.
  • the position detection device 41 can delete the feature points generated by the mirror 18 and the support portion 19 as unnecessary feature points in addition to the counterweight 15. Is.
  • the position detection device 41 deletes feature points that meet all of the first condition, the second condition, and the third condition as unnecessary feature points.
  • Zw ⁇ H2 is added as an or condition. Therefore, the feature points that match 0 ⁇ Zw ⁇ H1 among the first condition, the second condition, and the third condition, and the feature points that match Zw ⁇ H2 among the first condition, the second condition, and the third condition. Both are deleted as unnecessary feature points.
  • the non-detection region NA2 defined by Zw ⁇ H2 has an X coordinate Xw range of ⁇ (W1 / 2 + W2) to (W1 / 2-W2) and a Y coordinate Yw. It can be said that the range of is 0 to L1 and the Z coordinate Zw is H2 or more.
  • the mirror 18 and the support portion 19 are no longer judged to be obstacles. Since the first condition and the second condition are the same as those in the first embodiment, the feature points in the same range as the counterweight 15 are deleted for the X coordinate Xw and the Y coordinate Yw. Depending on the size of the mirror 18 and the support portion 19, the range of the X coordinate Xw and the range of the Y coordinate Yw of the non-detection region NA2 may be excessive or insufficient with respect to the mirror 18 and the support portion 19. In this case, each condition may be set individually in the non-detection region NA1 for the counterweight 15 and the non-detection region NA2 for the mirror 18 and the support portion 19.
  • the mirror 18 and the support portion 19 are suppressed from being detected as obstacles. Even when a plurality of members are in the detectable region CA, by setting the non-detection regions NA1 and NA2 for the plurality of members, each of the plurality of members can be detected without being regarded as an obstacle. Obstacles in region DA can be detected.
  • the non-detection region NA1 may be defined by two-dimensional coordinates indicating the coordinates on the XY plane of the world coordinate system. That is, the third condition in each embodiment may be deleted, and the feature points satisfying the first condition and the second condition may be deleted. In this case, regardless of the Z coordinate Zw, the feature points existing in the non-detection region defined by the X coordinate Xw and the Y coordinate Yw are deleted as unnecessary feature points.
  • the position of the obstacle derived in step S6 may be three-dimensional coordinates in the world coordinate system. It can be said that the position detection device 41 does not have to project the obstacle onto the XY plane of the world coordinate system.
  • the obstacle detection device 30 may be a sensor capable of acquiring three-dimensional coordinates in the world coordinate system other than the stereo camera 31.
  • this type of sensor include LIDAR: Laser Imaging Detection and Ringing, millimeter-wave radar, and TOF: Time of Flight cameras.
  • LIDAR is a rangefinder that can recognize the surrounding environment by irradiating a laser while changing the irradiation angle and receiving the reflected light reflected from the part hit by the laser.
  • the millimeter wave radar is capable of recognizing the surrounding environment by irradiating the surroundings with radio waves in a predetermined frequency band.
  • the TOF camera includes a camera and a light source that irradiates light, and derives the distance in the depth direction for each pixel of the image captured by the camera from the time until the reflected light of the light emitted from the light source is received. It is a thing.
  • the sensor may be a combination of the above-mentioned sensors.
  • the obstacle detection device 30 may include, as a sensor, a two-dimensional LIDAR that irradiates a laser while changing the irradiation angle in the horizontal direction.
  • LIDAR irradiates the laser while changing the irradiation angle within the range of the irradiation angle.
  • the irradiation possible angle is, for example, 270 degrees with respect to the horizontal direction.
  • the two-dimensional LIDAR detectable region CA is a range defined by the irradiation angle and the measurable distance. Assuming that the portion hit by the laser is the irradiation point, the two-dimensional LIDAR can measure the distance to the irradiation point in association with the irradiation angle.
  • the two-dimensional LIDAR can measure the two-dimensional coordinates of the irradiation point when the two-dimensional LIDAR is the origin.
  • the two-dimensional coordinates measured by the two-dimensional LIDAR are the coordinates of the world coordinate system in which one direction in the horizontal direction is the X axis and the direction orthogonal to the X axis in the horizontal direction is the Y axis.
  • the non-detection area is defined by two-dimensional coordinates.
  • the installation position of the stereo camera 31 may be changed as appropriate.
  • the stereo camera 31 may be installed at the center position CP, for example.
  • the first condition can be changed as follows.
  • the non-detection region may be set to the image captured by the stereo camera 31.
  • the coordinates of the first image I1 in which the counterweight 15 is captured can be grasped in advance from the installation position and the installation angle of the stereo camera 31.
  • the coordinates in which the counterweight 15 is captured in the first image I1 are set as the non-detection region so that the parallax is not calculated in the non-detection region.
  • the non-detection region may be set in at least one of the first image I1 and the second image. As for the position where the counterweight 15 appears, the feature points cannot be obtained, so that the same effect as that of each embodiment can be obtained.
  • the coordinates reflected in the image can be set as the non-detection region.
  • the detectable region CA is a range that enters the image captured by the stereo camera 31. More specifically, it is a range in which a parallax image can be acquired among the images captured by the stereo camera 31.
  • the non-detection regions NA1 and NA2 need only include a region in which a part of the forklift 10 is present, and is a region larger than a region in which a part of the forklift 10 is present. May be good. That is, the non-detection regions NA1 and NA2 may be regions including a margin.
  • the position detection device 41 may determine whether or not each obstacle exists in the non-detection region NA1 after the feature points are clustered in step S5 to extract obstacles.
  • the position detection device 41 considers that the obstacle existing in the non-detection region NA1 does not exist.
  • the position detection device 41 may consider that an obstacle straddling the inside and outside of the non-detection region NA1 exists in the non-detection region NA1, or may exist outside the non-detection region NA1. You may consider it to be.
  • the position detection device 41 has an obstacle straddling the inside and outside of the non-detection region NA1, only the portion existing outside the non-detection region NA1 may be regarded as an obstacle.
  • the whole of the detectable area CA other than the non-detection areas NA1 and NA2 may be used as the detection area DA, or a part of the detectable area CA other than the non-detection areas NA1 and NA2 may be used as the detection area DA. May be.
  • the position detection device 41 may perform a process of determining whether the detected obstacle is a person or an object other than a person after performing the process of step S6. Whether or not an obstacle is a person can be determined by various methods. For example, the position detection device 41 determines whether or not an obstacle is a person by performing a person detection process on an image captured by any of the two cameras 32 and 33 of the stereo camera 31. .. The position detection device 41 converts the coordinates of the obstacle in the world coordinate system obtained in step S6 into the camera coordinates, and converts the camera coordinates into the coordinates of the images captured by the cameras 32 and 33. For example, the position detection device 41 converts the coordinates of an obstacle in the world coordinate system into the coordinates of the first image I1.
  • the position detection device 41 performs a person detection process on the coordinates of the obstacle in the first image I1.
  • the human detection process is performed using, for example, feature quantity extraction and a human determination device that has been machine-learned in advance.
  • the feature amount extraction include a method of extracting the feature amount of a local region in an image such as HOG: Histogram of Oriented Gradients feature amount and Haar-Like feature amount.
  • the human judgment device for example, a machine learning using a supervised learning model is used.
  • a supervised learning model for example, a support vector machine, a neural network, naive bays, deep learning, a decision tree, or the like can be adopted.
  • image-specific components such as human shape elements and appearance elements extracted from the image are used.
  • the shape element include the size and contour of a person.
  • the appearance element include light source information, texture information, camera information, and the like.
  • the light source information includes information on reflectance, shading, and the like.
  • the texture information includes color information and the like.
  • the camera information includes information on image quality, resolution, angle of view, and the like.
  • the time required for the person detection process is long, when detecting a person from the image, the coordinates where the obstacle exists are specified, and the person detection process is performed for those coordinates.
  • the time required for the person detection process can be shortened as compared with the case where the person detection process is performed on the entire area of the image. Since a part of the forklift 10 such as the counterweight 15 is not determined to be an obstacle, the person detection process is not performed at the coordinates where the part of the forklift 10 is captured in the image. Therefore, the processing time can be shortened as compared with the case where a part of the forklift 10 is detected as an obstacle and the person detection processing is performed on the coordinates in which the obstacle is reflected.
  • the entire counterweight 15 located behind the stereo camera 31 is set as the non-detection region NA1, but the non-detection region NA1 may be set in consideration of the range imaged by the stereo camera 31. good.
  • the image of the stereo camera 31 is captured. There is a part that does not fit in the range. Therefore, the portion that does not enter the imaging range of the stereo camera 31 does not have to be included in the non-detection region NA1.
  • the lower limit of the Y coordinate Yw of the second condition may be set to a value larger than 0.
  • the coordinates defining the non-detection area may be stored in the storage unit 43 of the position detection device 41. If it is the non-detection region NA1, the coordinates P1 to P8 may be stored.
  • the obstacle detection device 30 may detect an obstacle located in front of the forklift 10.
  • the stereo camera 31 is installed so as to image the front of the forklift 10. Even when the stereo camera 31 images the front of the forklift 10, a part of the forklift 10 enters the detectable area CA of the stereo camera 31 depending on the installation position of the stereo camera 31.
  • the non-detection region is set according to a part of the forklift 10 that enters the detectable region CA.
  • the obstacle detection device 30 may detect obstacles on both sides in front of and behind the forklift 10.
  • the stereo camera 31 is provided with both a camera that captures the front of the forklift 10 and a stereo camera 31 that captures the rear of the forklift 10.
  • the world coordinate system is not limited to the orthogonal coordinate system and may be a polar coordinate system.
  • the position detection unit may be composed of a plurality of devices.
  • the position detection unit may individually include a device that functions as a non-detection unit, a device that functions as a detection unit, and a device that functions as a coordinate derivation unit.
  • conversion from camera coordinates to world coordinates may be performed by table data.
  • the table data is table data in which the combination of the Y coordinate Yc and the Z coordinate Zc corresponds to the Y coordinate Yw, and the table data in which the combination of the Y coordinate Yc and the Z coordinate Zc corresponds to the Z coordinate Zw.
  • the first camera 32 and the second camera 33 may be arranged side by side in the vertical direction.
  • the obstacle detection device 30 may include an auxiliary storage device configured to store various information such as information stored in the storage unit 43 of the position detection device 41.
  • auxiliary storage device for example, a non-volatile storage device that can rewrite data such as a hard disk drive, a solid state drive, or an EEPROM: Electrically Erasable Programmable Read Only Memory is used.
  • the stereo camera 31 may include three or more cameras. ⁇ In each embodiment, the stereo camera 31 may be attached to any position such as the cargo handling device 17.
  • the forklift 10 may be driven by an engine.
  • the travel control device is a device that controls the fuel injection amount to the engine and the like.
  • the part of the forklift 10 may be other than the counterweight 15, the mirror 18, and the support portion 19, as long as it is a part of the forklift 10 and enters the detectable region CA. It may be something like.
  • the obstacle detection device 30 can be mounted on various moving objects such as construction machines, automatic guided vehicles, industrial vehicles other than forklifts 10 such as trucks, passenger cars, and flying objects.
  • Non-detection area 10 ... Forklift as a moving object 15 ... Counterweight that is part of the forklift 18 ... Mirror that is part of the forklift 19 ... Part of the forklift Support unit 30 ... Obstacle detection device 31 ... Stereo camera as a sensor 41 ... Position detection unit, non-detection unit, detection unit and position detection device as coordinate derivation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

障害物検出装置（３０）は、フォークリフト（１０）に搭載されている。障害物検出装置（３０）は、障害物を検出するためのステレオカメラ（３１）と、ステレオカメラ（３１）の検出結果から障害物の位置を検出する位置検出装置（４１）、を備える。検出可能領域（ＣＡ）には、非検出領域（ＮＡ１、ＮＡ２）が予め設定されている。非検出領域（ＮＡ１、ＮＡ２）は、フォークリフト（１０）のカウンタウェイト（１５）が存在する位置に設定されている。位置検出装置（４１）は、非検出領域（ＮＡ１、ＮＡ２）には障害物が存在しないと判断する。位置検出装置（４１）は、検出可能領域（ＣＡ）のうち非検出領域（ＮＡ１、ＮＡ２）とは異なる領域である検出領域（ＤＡ）に存在する障害物の位置を検出する。

Description

障害物検出装置及び障害物検出方法
　本開示は、障害物検出装置及び障害物検出方法に関する。
　車両などの移動体には障害物を検出するための障害物検出装置が搭載されている。特許文献１に開示の障害物検出装置は、障害物を検出するためのセンサと、センサの検出結果から障害物の位置を検出する位置検出部と、を備える。位置検出部は、センサの検出可能領域に存在する障害物の位置を検出する。センサとしては、ステレオカメラが用いられている。位置検出部は、ステレオカメラによって撮像された画像から視差画像を導出し、視差画像に基づき、障害物の位置を検出している。
特開２０１６－２０６８０１号公報
　センサの設置位置によっては、センサの検出可能領域に移動体の一部が入り込む。すると、障害物検出装置は、移動体の一部を障害物として検出するおそれがある。
　本開示の目的は、移動体の一部が障害物として検出されることを抑制できる障害物検出装置及び障害物検出方法を提供することにある。
　上記課題を解決する障害物検出装置は、移動体に搭載される障害物検出装置であって、障害物を検出するためのセンサと、前記センサの検出結果から前記障害物の位置を検出する位置検出部と、を備え、前記位置検出部は、前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断する非検出部と、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出する検出部と、を備える。
　検出可能領域には、予め非検出領域が設定されている。非検出部は、非検出領域に障害物が存在している場合であっても、非検出領域には障害物が存在していないと判断する。非検出領域には移動体の一部が存在しているため、非検出領域に障害物が存在していないと判断することで、障害物検出装置により移動体の一部が障害物として検出されることを抑制できる。
　上記障害物検出装置について、前記移動体はフォークリフトであり、前記非検出領域は、前記フォークリフトのカウンタウェイトが存在する位置に設定されていてもよい。
　上記障害物検出装置について、前記位置検出部は、水平方向のうち一方向の軸をＸ軸、水平方向のうち前記Ｘ軸に直交する方向の軸をＹ軸、前記Ｘ軸及び前記Ｙ軸に直交する方向の軸をＺ軸とする実空間上の座標系での前記障害物の座標を導出する座標導出部を備えていてもよい。
　上記障害物検出装置について、前記非検出領域は、前記実空間上の座標系で前記移動体の一部が存在する領域を示す３次元座標で規定されていてもよい。
　上記課題を解決する障害物検出方法は、移動体に搭載されており、かつ、センサと位置検出部とを備える障害物検出装置によって障害物の位置を検出する障害物検出方法であって、前記位置検出部が、前記センサの検出結果を取得するステップと、前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記位置検出部が、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップと、前記位置検出部が、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出するステップと、を含んでいてもよい。
　非検出領域には移動体の一部が存在しているため、非検出領域に障害物が存在していないと判断することで、移動体の一部が障害物として検出されることを抑制できる。
　本発明によれば、移動体の一部が障害物として検出されることを抑制できる。
第１実施形態におけるフォークリフトの側面図。 第１実施形態におけるフォークリフトの平面図。 第１実施形態におけるフォークリフト及び障害物検出装置の概略構成図。 ステレオカメラによって撮像された第１画像の一例を示す図。 位置検出装置が行う障害物検出処理を示すフローチャート。 検出可能領域、非検出領域及び検出領域を説明するための図。 ワールド座標系のＸＹ平面における障害物の位置を示す模式図。 第２実施形態におけるフォークリフトの側面図。 ステレオカメラによって撮像された第１画像の一例を示す図。
  （第１実施形態）
　以下、障害物検出装置及び障害物検出方法の第１実施形態について説明する。
　図１及び図２に示すように、移動体としてのフォークリフト１０は、車体１１と、車体１１の前下部に配置された駆動輪１２と、車体１１の後下部に配置された操舵輪１３と、荷役装置１７と、を備える。車体１１は、運転席の上部に設けられたヘッドガード１４と、荷役装置１７に積載される荷と釣り合いを取るためのカウンタウェイト１５と、を備える。カウンタウェイト１５は、車体１１の後部に設けられている。フォークリフト１０は、搭乗者による操作によって動作するものであってもよいし、自動で動作するものであってもよいし、手動での動作と自動での動作を切り替えられるものであってもよい。以下の説明において、左右とは、フォークリフト１０の前進方向を基準とした場合の左右である。
　図３に示すように、フォークリフト１０は、主制御装置２０と、走行用モータＭ１と、走行用モータＭ１を制御する走行制御装置２３と、回転数センサ２４と、を備える。主制御装置２０は、走行動作及び荷役動作に関する制御を行う。主制御装置２０は、プロセッサ２１と、記憶部２２と、を備える。プロセッサ２１としては、例えば、CPU：Central Processing Unit、GPU：Graphics Processing Unit、DSP：Digital Signal Processorが用いられる。記憶部２２は、RAM：Random Access Memory及びROM：Read Only Memoryを含む。記憶部２２には、フォークリフト１０を動作させるためのプログラムが記憶されている。記憶部２２は、処理をプロセッサ２１に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部２２、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。主制御装置２０は、ASIC：Application Specific Integrated CircuitやFPGA：Field Programmable Gate Array等のハードウェア回路によって構成されていてもよい。処理回路である主制御装置２０は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
　主制御装置２０は、フォークリフト１０の車速が目標車速となるように走行制御装置２３に走行用モータＭ１の回転数の指令を与える。本実施形態の走行制御装置２３は、モータドライバである。回転数センサ２４は、走行用モータＭ１の回転数を走行制御装置２３に出力する。走行制御装置２３は、主制御装置２０からの指令に基づき、走行用モータＭ１の回転数が指令と一致するように走行用モータＭ１を制御する。
　フォークリフト１０には、障害物検出装置３０が搭載されている。障害物検出装置３０は、センサとしてのステレオカメラ３１と、ステレオカメラ３１によって撮像された画像から障害物の位置を検出する位置検出装置４１と、を備える。ステレオカメラ３１は、フォークリフト１０の上方からフォークリフト１０の走行する路面を鳥瞰できるように設置されている。本実施形態のステレオカメラ３１は、フォークリフト１０の後方を撮像する。従って、位置検出装置４１で検出される障害物は、フォークリフト１０の後方の障害物となる。
　図１に示すように、ステレオカメラ３１は、例えば、ヘッドガード１４に設置されている。図２に示すように、ステレオカメラ３１は、フォークリフト１０の車幅方向の中心位置ＣＰからずれて設置されている。本実施形態において、ステレオカメラ３１は、フォークリフト１０の車幅方向の中心位置ＣＰから左方にずれて設置されている。
　ステレオカメラ３１は、水平画角及び垂直画角によって定まる撮像範囲を撮像する。垂直画角の範囲内には、カウンタウェイト１５が含まれている。従って、ステレオカメラ３１に撮像される画像には、フォークリフト１０の一部であるカウンタウェイト１５の一部が常に入り込むことになる。
　図３に示すように、ステレオカメラ３１は、第１カメラ３２と、第２カメラ３３と、を備える。第１カメラ３２及び第２カメラ３３としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたものが挙げられる。第１カメラ３２及び第２カメラ３３は、互いの光軸が平行となるように配置されている。本実施形態において、第１カメラ３２及び第２カメラ３３は、互いに水平方向に並んで配置されている。第１カメラ３２によって撮像された画像を第１画像、第２カメラ３３によって撮像された画像を第２画像とすると、第１画像と第２画像では同一障害物が横方向にずれて写ることになる。詳細にいえば、同一障害物を撮像した場合、第１画像に写る障害物と、第２画像に写る障害物では、横方向の画素［ｐｘ］に第１カメラ３２と第２カメラ３３との間の距離に応じたずれが生じることになる。第１画像及び第２画像は、画素数が同じであり、例えば、６４０×４８０［ｐｘ］＝ＶＧＡの画像が用いられる。第１画像及び第２画像は、例えば、ＲＧＢ信号で表される画像である。
　位置検出装置４１は、プロセッサ４２と、記憶部４３と、を備える。プロセッサ４２としては、例えば、CPU、GPU、DSPが用いられる。記憶部４３は、RAM及びROMを含む。記憶部４３には、ステレオカメラ３１によって撮像された画像から障害物を検出するための種々のプログラムが記憶されている。記憶部４３は、処理をプロセッサ４２に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部４３、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。位置検出装置４１は、ASICやFPGA等のハードウェア回路によって構成されていてもよい。処理回路である位置検出装置４１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
　以下、位置検出装置４１により行われる障害物検出処理について障害物検出方法とともに説明する。記憶部４３に記憶されたプログラムをプロセッサ４２が実行することで障害物検出処理は行われる。障害物検出処理は、所定の制御周期で繰り返し行われる。
　以下の説明では、一例として、図４に示す環境をステレオカメラ３１によって撮像した場合の障害物検出処理について説明する。図４は、フォークリフト１０の後方を撮像することで得られた第１画像Ｉ１である。第１画像Ｉ１から把握できるように、フォークリフト１０の後方には、人や、人以外の障害物が存在している。第１画像Ｉ１には、カウンタウェイト１５の一部が写り込んでいる。なお、説明の便宜上、障害物が存在する第１画像Ｉ１上の座標を枠Ａ１，Ａ２，Ａ３，Ａ４で示しているが、実際の第１画像Ｉ１には枠Ａ１，Ａ２，Ａ３，Ａ４は存在しない。
　図５に示すように、ステップＳ１において、位置検出装置４１は、ステレオカメラ３１によって撮像されている映像から同一フレームの第１画像Ｉ１及び第２画像を取得する。第１画像Ｉ１及び第２画像は、ステレオカメラ３１の検出結果である。
　次に、ステップＳ２において、位置検出装置４１は、ステレオ処理を行うことで、視差画像を取得する。視差画像は、画素に対して視差［ｐｘ］を対応付けた画像である。視差は、第１画像Ｉ１と、第２画像とを比較し、各画像に写る同一特徴点について第１画像Ｉ１と第２画像の画素数の差を算出することで得られる。なお、特徴点とは、障害物のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。
　位置検出装置４１は、各画像を一時的に格納するＲＡＭを用いて、ＲＧＢからＹＣｒＣｂへの変換を行う。なお、位置検出装置４１は、歪み補正、エッジ強調処理などを行ってもよい。位置検出装置４１は、第１画像Ｉ１の各画素と第２画像の各画素との類似度を比較して視差を算出するステレオ処理を行う。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。位置検出装置４１は、第１画像Ｉ１を基準画像、第２画像を比較画像として視差画像を取得する。位置検出装置４１は、第１画像Ｉ１の画素毎に、最も類似する第２画像の画素を抽出し、第１画像Ｉ１の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。これにより、基準画像である第１画像Ｉ１の各画素に視差が対応付けられた視差画像を取得することができる。視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素に視差が対応付けられたデータのことを示す。なお、位置検出装置４１は、視差画像から路面の視差を除去する処理を行ってもよい。
　次に、ステップＳ３において、位置検出装置４１は、ワールド座標系における特徴点の座標を導出する。まず、位置検出装置４１は、カメラ座標系における特徴点の座標を導出する。カメラ座標系は、ステレオカメラ３１を原点とする座標系である。カメラ座標系は、光軸をＺ軸とし、光軸に直交する２つの軸のそれぞれをＸ軸、Ｙ軸とする３軸直交座標系である。カメラ座標系における特徴点の座標は、カメラ座標系におけるＺ座標Ｚｃ、Ｘ座標Ｘｃ及びＹ座標Ｙｃで表わすことができる。Ｚ座標Ｚｃ、Ｘ座標Ｘｃ及びＹ座標Ｙｃは、それぞれ、以下の（１）式～（３）式を用いて導出することができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　（１）式～（３）式におけるＢは基線長［ｍｍ］、ｆは焦点距離［ｍｍ］、ｄは視差［ｐｘ］である。ｘｐは視差画像中の任意のＸ座標であり、ｘ’は視差画像の中心座標のＸ座標である。ｙｐは視差画像中の任意のＹ座標であり、ｙ’は視差画像の中心座標のＹ座標である。
　ｘｐを視差画像中の特徴点のＸ座標とし、ｙｐを視差画像中の特徴点のＹ座標とし、ｄを特徴点の座標に対応付けられた視差とすることで、カメラ座標系における特徴点の座標が導出される。
　ここで、フォークリフト１０が水平面に位置している状態で、水平方向のうちフォークリフト１０の車幅方向に延びる軸をＸ軸、水平方向のうちＸ軸に直交する方向に延びる軸をＹ軸、Ｘ軸及びＹ軸に直交する軸をＺ軸とする３軸直交座標系を実空間上での座標系であるワールド座標系とする。ワールド座標系のＹ軸は、フォークリフト１０の進行方向であるフォークリフト１０の前後方向に延びる軸ともいえる。ワールド座標系のＺ軸は、鉛直方向に延びる軸ともいえる。ワールド座標系での特徴点の座標は、ワールド座標系におけるＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗで表わすことができる。
　位置検出装置４１は、以下の（４）式を用いてカメラ座標をワールド座標に変換するワールド座標変換を行う。ワールド座標とは、ワールド座標系における座標である。
Figure JPOXMLDOC01-appb-M000004
 　ここで、（４）式におけるＨはワールド座標系におけるステレオカメラ３１の設置高さ［ｍｍ］であり、θは第１カメラ３２及び第２カメラ３３の光軸と、水平面とがなす角＋９０°の角度である。
　本実施形態において、ワールド座標系の原点は、Ｘ座標Ｘｗ及びＹ座標Ｙｗをステレオカメラ３１の位置とし、Ｚ座標Ｚｗを路面とする座標である。ステレオカメラ３１の位置とは、例えば、第１カメラ３２のレンズと、第２カメラ３３のレンズとの中間位置である。
　ワールド座標変換で得られたワールド座標のうちＸ座標Ｘｗは、フォークリフト１０の車幅方向に対する原点から特徴点までの距離を示す。Ｙ座標Ｙｗは、フォークリフト１０の進行方向に対する原点から特徴点までの距離を示す。Ｚ座標Ｚｗは、路面から特徴点までの高さを示す。特徴点は、障害物の一部を表す点である。なお、図中の矢印Ｘはワールド座標系のＸ軸、矢印Ｙはワールド座標系のＹ軸、矢印Ｚはワールド座標系のＺ軸を示す。
　図６に示すように、ワールド座標系において、ワールド座標を取得できる領域が、障害物を検出可能な領域である検出可能領域ＣＡである。検出可能領域ＣＡは、例えば、ステレオカメラ３１の撮像範囲によって定まる。ステップＳ３の処理を行うことで、位置検出装置４１は座標導出部として機能する。
　ここで、ステレオカメラ３１の検出可能領域ＣＡには、予め非検出領域ＮＡ１が設定されている。非検出領域ＮＡ１は、ステレオカメラ３１によって障害物が撮像されたか否かに関わらず障害物が存在していないと判断される領域である。検出可能領域ＣＡのうち非検出領域ＮＡ１とは異なる領域を検出領域ＤＡとする。検出領域ＤＡは、障害物の検出が行われる領域である。従って、ステレオカメラ３１によって障害物が撮像されており、かつ、この障害物が検出領域ＤＡに存在している場合に位置検出装置４１は障害物を検出するといえる。
　図５に示すように、ステップＳ４において、位置検出装置４１は、非検出領域ＮＡ１の特徴点を不要な特徴点として削除する。非検出領域ＮＡ１は、検出可能領域ＣＡのうちフォークリフト１０の一部が存在する位置に設定されている。本実施形態では、カウンタウェイト１５が存在する位置が非検出領域ＮＡ１である。不要な特徴点とは、カウンタウェイト１５が撮像されることで生じた特徴点ともいえる。
　不要な特徴点は、車両諸元から導出することができる。不要な特徴点を導出するための車両諸元は、例えば、位置検出装置４１の記憶部４３に記憶されている。
　図１及び図２に示すように、カウンタウェイト１５の幅Ｗ１、カウンタウェイト１５の高さＨ１、ステレオカメラ３１からカウンタウェイト１５の後端までの前後方向の距離Ｌ１、及びフォークリフト１０の中心位置ＣＰとステレオカメラ３１との車幅方向の距離Ｗ２のそれぞれを示す情報が車両諸元として記憶されている。
　カウンタウェイト１５の幅Ｗ１とは、車幅方向におけるカウンタウェイト１５の寸法である。カウンタウェイト１５の幅Ｗ１とは、ワールド座標系におけるＸ軸方向のカウンタウェイト１５の寸法ともいえる。本実施形態では、ステレオカメラ３１によって撮像されるカウンタウェイト１５は一定幅である。このため、カウンタウェイト１５の幅Ｗ１を一定値とすることができる。カウンタウェイト１５の幅Ｗ１が一定ではない場合、カウンタウェイト１５の前後方向の位置に応じてカウンタウェイト１５の幅を記憶してもよい。即ち、カウンタウェイト１５のＹ座標Ｙｗに対応付けてカウンタウェイト１５の幅を記憶することで、カウンタウェイト１５の幅が一定ではない場合であってもカウンタウェイト１５の幅を把握可能にしてもよい。あるいは、カウンタウェイト１５の幅が一定ではない場合であっても、カウンタウェイト１５の幅を一定とみなしてもよい。この場合、カウンタウェイト１５の最大幅をカウンタウェイト１５の幅とみなせばよい。
　カウンタウェイト１５の高さＨ１とは、路面からカウンタウェイト１５の上端までの寸法である。ワールド座標系におけるＺ軸の原点が路面であるため、カウンタウェイト１５の高さＨ１とは、ワールド座標系におけるカウンタウェイト１５の上端のＺ座標Ｚｗともいえる。なお、カウンタウェイト１５の前後方向の位置や車幅方向の位置によってカウンタウェイト１５の高さが異なる場合、最も高い位置をカウンタウェイト１５の上端とすればよい。
　ステレオカメラ３１からカウンタウェイト１５の後端までの前後方向の距離Ｌ１とは、ワールド座標系におけるステレオカメラ３１からカウンタウェイト１５の後端までのＹ軸方向の寸法である。ワールド座標系におけるＹ軸の原点がステレオカメラ３１であるため、ステレオカメラ３１からカウンタウェイト１５の後端までの前後方向の距離Ｌ１とはワールド座標系におけるカウンタウェイト１５の後端のＹ座標Ｙｗともいえる。なお、カウンタウェイト１５の前後方向の位置や車幅方向の位置によってカウンタウェイト１５の後端の位置が異なる場合、最も後方をカウンタウェイト１５の後端とすればよい。
　フォークリフト１０の中心位置ＣＰとステレオカメラ３１との車幅方向の距離Ｗ２とは、ワールド座標系におけるフォークリフト１０の中心位置ＣＰからステレオカメラ３１までのＸ軸方向の寸法である。ワールド座標系におけるＸ軸の原点がステレオカメラ３１であるため、フォークリフト１０の中心位置ＣＰとステレオカメラ３１との車幅方向の距離Ｗ２とはワールド座標系におけるフォークリフト１０の中心位置ＣＰのＸ座標Ｘｗともいえる。
　位置検出装置４１は、上記した車両諸元から以下の第１条件、第２条件及び第３条件の全てに合致する特徴点を不要な特徴点として削除する。
　第１条件…－（Ｗ１／２＋Ｗ２）≦Ｘｗ≦（Ｗ１／２－Ｗ２）
　第２条件…０≦Ｙｗ≦Ｌ１
　第３条件…０≦Ｚｗ≦Ｈ１
　第１条件は、フォークリフト１０の車幅方向の中心位置ＣＰから、ワールド座標系のＸ軸方向の両側のそれぞれに対して、カウンタウェイト１５の幅Ｗ１の半分の範囲の特徴点を抽出しているといえる。本実施形態では、フォークリフト１０の中心位置ＣＰとワールド座標系におけるＸ軸の原点とが距離Ｗ２ずれているため、距離Ｗ２だけＸ座標Ｘｗを右方にずらすことで、Ｘ座標Ｘｗの範囲をフォークリフト１０の中心位置ＣＰを基準とした範囲にオフセットしているともいえる。
　第２条件は、ステレオカメラ３１からカウンタウェイト１５の後端までの範囲に存在している特徴点を抽出しているといえる。
　第３条件は、路面からカウンタウェイト１５の上端までの特徴点を抽出しているといえる。
　各条件は、ワールド座標系における３次元座標の範囲を示しているといえる。Ｘ座標Ｘｗの範囲が－（Ｗ１／２＋Ｗ２）～（Ｗ１／２－Ｗ２）、Ｙ座標Ｙｗの範囲が０～Ｌ１、Ｚ座標Ｚｗの範囲が０～Ｈ１となる直方体状の領域は、特徴点が削除される非検出領域ＮＡ１といえる。第１条件、第２条件及び第３条件の全てに合致する特徴点を削除することで、非検出領域ＮＡ１の特徴点が削除される。
　図６に示すように、非検出領域ＮＡ１は、ワールド座標系において座標Ｐ１～Ｐ８に囲まれた領域といえる。ワールド座標系における３次元座標を座標（Ｘｗ，Ｙｗ，Ｚｗ）で表すと、座標Ｐ１は（－（Ｗ１／２＋Ｗ２），０，Ｈ１）、座標Ｐ２は（Ｗ１／２－Ｗ２，０，Ｈ１）、座標Ｐ３は（－（Ｗ１／２＋Ｗ２），Ｌ１，Ｈ１）、座標Ｐ４は（Ｗ１／２－Ｗ２，Ｌ１，Ｈ１）で表すことができる。同様に、座標Ｐ５は（－（Ｗ１／２＋Ｗ２），０，０）、座標Ｐ６は（Ｗ１／２－Ｗ２，０，０）、座標Ｐ７は（－（Ｗ１／２＋Ｗ２），Ｌ１，０）、座標Ｐ８は（Ｗ１／２－Ｗ２，Ｌ１，０）で表すことができる。非検出領域ＮＡ１は、ワールド座標系でカウンタウェイト１５が存在する領域を示す３次元座標で規定されている。
　なお、ワールド座標における＋座標か－座標かは、ワールド座標系の原点に対して座標がいずれの方向に位置しているかを表すものであり、座標軸毎に任意に設定することができる。Ｘ座標Ｘｗは、原点よりも左方を＋座標、原点よりも右方を－座標としている。Ｙ座標Ｙｗは、原点よりも後方を＋座標、原点よりも前方を－座標としている。Ｚ座標Ｚｗは、原点よりも上方を＋座標、原点よりも下方を－座標としている。
　図５に示すように、ステップＳ５において、位置検出装置４１は、ワールド座標系に存在する障害物を抽出する。位置検出装置４１は、障害物の一部を表す複数の特徴点のうち同一障害物を表していると想定される特徴点の集合を１つの点群とし、当該点群を障害物として抽出する。例えば、位置検出装置４１は、ステップＳ３で導出された特徴点のワールド座標から、所定範囲内に位置する特徴点を１つの点群とみなすクラスタ化を行う。位置検出装置４１は、クラスタ化された点群を１つの障害物とみなす。ステップＳ４で、非検出領域ＮＡ１の特徴点は削除されているため、ステップＳ５で抽出される障害物は、非検出領域ＮＡ１とは異なる領域である検出領域ＤＡに存在する障害物といえる。非検出領域ＮＡ１は、ステレオカメラ３１の検出結果に関わらず、言い換えれば、障害物の有無に関わらず障害物が存在していないと判断されることになる。なお、ステップＳ５で行われる特徴点のクラスタ化は種々の手法で行うことができる。即ち、クラスタ化は、複数の特徴点を１つの点群とすることで障害物とみなすことができれば、どのような手法で行われてもよい。
　次に、ステップＳ６において、位置検出装置４１は、ステップＳ５で抽出された障害物の位置を導出する。本実施形態において、障害物の位置とは、ワールド座標系のＸＹ平面における障害物の座標である。位置検出装置４１は、クラスタ化された点群を構成する特徴点のワールド座標から障害物のワールド座標を認識できる。例えば、クラスタ化された点群のうち端に位置する複数の特徴点のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗを障害物のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗとしてもよいし、点群の中心となる特徴点のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗを障害物のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗとしてもよい。即ち、ワールド座標系の障害物の座標は、障害物全体を表すものであってもよいし、障害物の一点を表すものであってもよい。
　図７に示すように、位置検出装置４１は、障害物のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標Ｚｗをワールド座標系のＸＹ平面に投影することで、ワールド座標系におけるＸＹ平面での障害物のＸ座標Ｘｗ及びＹ座標Ｙｗを導出する。即ち、位置検出装置４１は、障害物のＸ座標Ｘｗ、Ｙ座標Ｙｗ及びＺ座標ＺｗからＺ座標Ｚｗを除去することで、水平方向における障害物のＸ座標Ｘｗ及びＹ座標Ｙｗを導出する。
　図７に示す障害物Ｏ１～Ｏ４は、ステップＳ１～ステップＳ６の処理を行うことで、第１画像Ｉ１及び第２画像から検出された障害物である。障害物Ｏ１は、枠Ａ１に存在していた障害物である。障害物Ｏ２は、枠Ａ２に存在していた障害物である。障害物Ｏ３は、枠Ａ３に存在していた障害物である。障害物Ｏ４は、枠Ａ４に存在していた障害物である。
　仮に、非検出領域ＮＡ１の特徴点を削除していなかった場合、位置検出装置４１は、カウンタウェイト１５に対応する障害物Ｏ５を抽出する。本実施形態では、非検出領域ＮＡ１の特徴点を削除し、非検出領域ＮＡ１には障害物が存在していないと判断することで、障害物Ｏ５が抽出されることを抑制している。ステップＳ４の処理を行うことで、位置検出装置４１は、非検出部として機能している。ステップＳ５及びステップＳ６の処理を行うことで、位置検出装置４１は、検出部として機能している。位置検出装置４１は、位置検出部として機能している。
　なお、ステップＳ４における「特徴点の削除」とは、ステップＳ５による障害物の抽出に、非検出領域ＮＡ１の特徴点を用いないことを意味する。即ち、「特徴点の削除」とは、位置検出装置４１のＲＡＭから非検出領域ＮＡ１における特徴点のワールド座標を削除する態様だけでなく、位置検出装置４１のＲＡＭから非検出領域ＮＡ１における特徴点のワールド座標を削除せずに、非検出領域ＮＡ１の特徴点を障害物の抽出に用いない態様を含む。
　位置検出装置４１による障害物検出処理によって、フォークリフト１０と障害物との水平方向における位置関係を把握することができる。主制御装置２０は、位置検出装置４１による検出結果を取得することで、フォークリフト１０と障害物との水平方向における位置関係を把握する。主制御装置２０は、フォークリフト１０と障害物との位置関係に応じた制御を行う。例えば、主制御装置２０は、フォークリフト１０と障害物との距離が閾値を下回った場合には車速制限や警報を行う。
　第１実施形態の作用について説明する。
　検出可能領域ＣＡには、予め非検出領域ＮＡ１が設定されている。位置検出装置４１は、非検出領域ＮＡ１に存在する特徴点を削除している。これにより、位置検出装置４１は、非検出領域ＮＡ１に障害物が存在している場合であっても、非検出領域ＮＡ１には障害物が存在していないと判断する。非検出領域ＮＡ１は、カウンタウェイト１５が存在している領域である。ステレオカメラ３１とカウンタウェイト１５の位置関係は一定であるため、ステレオカメラ３１の撮像範囲には必ずカウンタウェイト１５が入り込む。
　主制御装置２０が障害物との距離に応じて車速制限や警報を行う場合、カウンタウェイト１５が障害物として検出されることで、車速制限や警報が行われるおそれがある。カウンタウェイト１５は、常に検出可能領域ＣＡに入り込むため、常に車速制限や警報が行われるおそれがある。この場合、フォークリフト１０による作業効率の悪化を招くおそれがある。また、常に警報がされることで、フォークリフト１０と障害物が近いか否かを判定することができなくなるおそれがある。
　これに対し、第１実施形態では、カウンタウェイト１５が障害物として検出されないため、カウンタウェイト１５がステレオカメラ３１によって撮像されることで、車速制限や警報が行われることが抑制されている。
　第１実施形態の効果について説明する。
　（１－１）ステレオカメラ３１の検出可能領域ＣＡには、予め非検出領域ＮＡ１が設定されている。位置検出装置４１は、非検出領域ＮＡ１の特徴点を削除することで、非検出領域ＮＡ１には障害物が存在していないと判断する。非検出領域ＮＡ１に存在するカウンタウェイト１５が障害物として検出されることを抑制することができる。
　（１－２）フォークリフト１０では、荷役装置１７に積載される荷との釣り合いをとるため、車体１１の後方にカウンタウェイト１５が配置される。このため、後方を撮像するステレオカメラ３１の検出可能領域ＣＡに、カウンタウェイト１５が入り込みやすい。また、配置上の制約により、カウンタウェイト１５が検出可能領域ＣＡに入り込まないようにステレオカメラ３１を配置することが困難な場合がある。カウンタウェイト１５の存在する領域を非検出領域ＮＡ１として設定することで、ステレオカメラ３１の検出可能領域ＣＡにカウンタウェイト１５が入り込む場合であっても、カウンタウェイト１５が障害物として検出されることを抑制しつつ、検出領域ＤＡの障害物を検出できる。
　（１－３）非検出領域ＮＡ１は、ワールド座標系の３次元座標で規定されている。ワールド座標系のＸ座標Ｘｗ及びＹ座標Ｙｗで非検出領域ＮＡ１を規定し、Ｚ座標Ｚｗに関わらず特徴点を削除することも可能である。この場合には、カウンタウェイト１５の上に障害物が置かれている場合であっても、この障害物も非検出領域ＮＡ１に含まれることになる。従って、カウンタウェイト１５の上に障害物が存在している場合であっても、この障害物が存在しないとみなされる。非検出領域ＮＡ１を３次元座標で規定することで、カウンタウェイト１５の上に存在している障害物を検出することができる。
　（１－４）非検出領域ＮＡ１は、予め設定された領域である。移動体の可動部材が動くことで検出可能領域ＣＡに移動体の一部が入り込む場合であり、この移動体の一部が障害物として検出されることを抑制する場合、位置検出装置４１は、可動部材の存在する領域を非検出領域として設定する必要がある。可動部材は、動くため、非検出領域を予め設定することはできず、位置検出装置４１は、可動部材の位置を検出し、この位置を非検出領域として設定する必要がある。これに対し、実施形態では、ステレオカメラ３１との位置関係が一定であるカウンタウェイト１５に対応して非検出領域ＮＡ１を設定している。カウンタウェイト１５の検出可能領域ＣＡでの位置は一定であるため、予め非検出領域ＮＡ１を設定することができる。可動部材の位置を検出して、この位置に合わせて非検出領域を設定する場合に比べて、位置検出装置４１の負荷を軽減することができる。
　（１－５）障害物検出装置３０が障害物検出方法を行うことで、非検出領域ＮＡ１には障害物が存在していないとみなされる。非検出領域ＮＡ１に存在するカウンタウェイト１５が障害物として検出されることを抑制することができる。
　（第２実施形態）
　以下、第２実施形態の障害物検出装置及び障害物検出方法について説明する。以下の説明において、第１実施形態と同様な部分については説明を省略する。
　図８に示すように、フォークリフト１０は、ミラー１８と、ミラー１８を支持する支持部１９と、を備える。支持部１９は、車体１１の後方に向けて延びている。ミラー１８及び支持部１９は、ステレオカメラ３１の垂直画角の範囲内に位置している。ミラー１８及び支持部１９は、フォークリフト１０の一部である。
　図９に示すように、ステレオカメラ３１によって撮像される第１画像Ｉ１には、ミラー１８及び支持部１９が入り込む。第２実施形態では、カウンタウェイト１５に加えて、ミラー１８及び支持部１９が障害物として検出されないように障害物検出処理が行われる。
　図８に示すように、位置検出装置４１の記憶部４３には、車両諸元として、ミラー１８の高さＨ２が記憶されている。ミラー１８の高さＨ２とは、路面からミラー１８の下端までの寸法である。ワールド座標系におけるＺ軸の原点が路面であるため、ミラー１８の高さＨ２とは、ワールド座標系におけるミラー１８の下端のＺ座標Ｚｗともいえる。なお、支持部１９は、全体に亘ってミラー１８の下端よりも上方に位置している。
　第１実施形態の第３条件を以下のように変更することで、位置検出装置４１は、カウンタウェイト１５に加えて、ミラー１８及び支持部１９によって生じた特徴点を不要な特徴点として削除可能である。位置検出装置４１は、第１条件、第２条件及び第３条件の全てに合致する特徴点を不要な特徴点として削除する。
　第３条件…０≦Ｚｗ≦Ｈ１  ｏｒ  Ｚｗ≧Ｈ２
　第１実施形態の第３条件に加えて、Ｚｗ≧Ｈ２がｏｒ条件として加えられている。従って、第１条件、第２条件、及び第３条件のうち０≦Ｚｗ≦Ｈ１に合致する特徴点と、第１条件、第２条件及び第３条件のうちＺｗ≧Ｈ２に合致する特徴点の両方が不要な特徴点として削除される。第１条件、第２条件及び第３条件のうちＺｗ≧Ｈ２によって規定される非検出領域ＮＡ２は、Ｘ座標Ｘｗの範囲が－（Ｗ１／２＋Ｗ２）～（Ｗ１／２－Ｗ２）、Ｙ座標Ｙｗの範囲が０～Ｌ１、Ｚ座標ＺｗがＨ２以上となる領域といえる。
　第３条件を上記した条件に変更することで、ミラー１８及び支持部１９は障害物と判断されなくなる。なお、第１条件及び第２条件を第１実施形態と同一にしているため、Ｘ座標Ｘｗ及びＹ座標Ｙｗについてはカウンタウェイト１５と同様の範囲の特徴点が削除される。ミラー１８及び支持部１９の大きさによっては、非検出領域ＮＡ２のＸ座標Ｘｗの範囲及びＹ座標Ｙｗの範囲がミラー１８及び支持部１９に対して過剰になったり、不足する場合がある。この場合には、カウンタウェイト１５用の非検出領域ＮＡ１と、ミラー１８及び支持部１９用の非検出領域ＮＡ２とで、各条件を個別に設定してもよい。
　第２実施形態の効果について説明する。
　（２－１）カウンタウェイト１５に加えて、ミラー１８及び支持部１９が障害物として検出されることを抑制している。複数の部材が検出可能領域ＣＡに入り込んでいる場合であっても、複数の部材に対して非検出領域ＮＡ１，ＮＡ２を設定することで、複数の部材のそれぞれを障害物とみなすことなく、検出領域ＤＡの障害物を検出できる。
　各実施形態は、以下のように変更して実施することができる。各実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
　○各実施形態において、非検出領域ＮＡ１は、ワールド座標系のＸＹ平面上での座標を示す２次元座標で規定されていてもよい。即ち、各実施形態における第３条件を削除し、第１条件及び第２条件に合致する特徴点を削除するようにしてもよい。この場合、Ｚ座標Ｚｗに関わらず、Ｘ座標Ｘｗ及びＹ座標Ｙｗで規定される非検出領域に存在する特徴点が不要な特徴点として削除される。
　○各実施形態において、ステップＳ６で導出される障害物の位置は、ワールド座標系における３次元座標であってもよい。位置検出装置４１は、障害物をワールド座標系のＸＹ平面に投影しなくてもよいといえる。
　○各実施形態において、障害物検出装置３０は、センサとして、ワールド座標系における３次元座標を取得できるセンサであってステレオカメラ３１以外のもの用いてもよい。この種のセンサとしては、例えば、LIDAR：Laser Imaging Detection and Ranging、ミリ波レーダー、TOF:Time of Flightカメラを挙げることができる。LIDARは、照射角度を変更しながらレーザーを照射し、レーザーが当たった部分から反射された反射光を受光することで周辺環境を認識可能な距離計である。ミリ波レーダーとは、所定の周波数帯域の電波を周囲に照射することで周辺環境を認識可能なものである。TOFカメラは、カメラと、光を照射する光源と、を備え、光源から照射された光の反射光を受光するまでの時間からカメラによって撮像された画像の画素毎に奥行き方向の距離を導出するものである。センサとしては、上記したセンサの組み合わせであってもよい。
　○各実施形態において、障害物検出装置３０は、センサとして、水平方向への照射角度を変更しながらレーザーを照射する二次元のLIDARを備えていてもよい。LIDARは、照射可能角度の範囲内で、照射角度を変更しながらレーザーを照射する。照射可能角度は、例えば、水平方向に対して２７０度である。２次元のLIDARの検出可能領域ＣＡとは、照射可能角度と測定可能距離によって規定される範囲である。レーザーが当たった部分を照射点とすると、２次元のLIDARは照射点までの距離を照射角度に対応付けて測定可能である。２次元のLIDARは、２次元のLIDARを原点とした場合の照射点の２次元座標を測定可能であるといえる。２次元のLIDARにより測定される２次元座標は、水平方向のうち一方向をＸ軸、水平方向のうちＸ軸に直交する方向をＹ軸とするワールド座標系の座標である。この場合、非検出領域は、２次元座標で規定される。
　○各実施形態において、ステレオカメラ３１の設置位置は適宜変更してもよい。ステレオカメラ３１は、例えば、中心位置ＣＰに設置されていてもよい。この場合、ワールド座標系のＸ軸の原点と中心位置ＣＰとが一致するため、第１条件は、以下のように変更することができる。
　第１条件…－Ｗ１／２≦Ｘｗ≦Ｗ１／２
　このように、ステレオカメラ３１の設置位置の変更などによりワールド座標系の座標軸が実施形態から変更された場合、各条件はこれに合わせて変更される。
　○各実施形態において、非検出領域は、ステレオカメラ３１によって撮像される画像に設定されていてもよい。第１画像Ｉ１を例に挙げて説明すると、ステレオカメラ３１の設置位置、設置角度から、第１画像Ｉ１のうちカウンタウェイト１５が写る座標は予め把握することができる。第１画像Ｉ１のうちカウンタウェイト１５が写る座標を非検出領域として設定し、非検出領域については視差が算出されないようにする。非検出領域は、第１画像Ｉ１及び第２画像のうち少なくとも一方に設定されていればよい。カウンタウェイト１５が写る位置については、特徴点が得られなくなるため、各実施形態と同様の効果を得ることができる。同様に、ミラー１８及び支持部１９についても画像に写る座標を非検出領域として設定することができる。画像に非検出領域を設定する場合、検出可能領域ＣＡは、ステレオカメラ３１によって撮像される画像に入り込む範囲となる。詳細にいえば、ステレオカメラ３１によって撮像される画像のうち視差画像を取得できる範囲である。
　○各実施形態において、非検出領域ＮＡ１，ＮＡ２は、フォークリフト１０の一部が存在している領域を含んでいればよく、フォークリフト１０の一部が存在している領域よりも大きな領域であってもよい。即ち、非検出領域ＮＡ１，ＮＡ２はマージンを含んだ領域であってもよい。
　○各実施形態において、位置検出装置４１は、ステップＳ５で特徴点をクラスタ化して障害物を抽出した後に、各障害物が非検出領域ＮＡ１に存在しているか否かを判定してもよい。位置検出装置４１は、非検出領域ＮＡ１に存在している障害物は存在していないとみなす。位置検出装置４１は、非検出領域ＮＡ１の内外に跨がっている障害物については、非検出領域ＮＡ１に存在しているとみなすようにしてもよいし、非検出領域ＮＡ１外に存在しているとみなすようにしてもよい。位置検出装置４１は、非検出領域ＮＡ１の内外に跨がって障害物が存在している場合、非検出領域ＮＡ１外に存在している部分のみを障害物とみなしてもよい。
　○各実施形態において、検出可能領域ＣＡのうち非検出領域ＮＡ１，ＮＡ２以外の全体を検出領域ＤＡとしてもよいし、検出可能領域ＣＡのうち非検出領域ＮＡ１，ＮＡ２以外の一部を検出領域ＤＡとしてもよい。
　○各実施形態において、位置検出装置４１は、ステップＳ６の処理を行った後に、検出した障害物が人か人以外の物体かを判定する処理を行ってもよい。障害物が人か否かの判定は、種々の方法で行うことができる。例えば、位置検出装置４１は、ステレオカメラ３１の２つのカメラ３２，３３のうちいずれかで撮像された画像に対して、人検出処理を行うことで、障害物が人か否かの判定を行う。位置検出装置４１は、ステップＳ６で得られたワールド座標系における障害物の座標をカメラ座標に変換し、当該カメラ座標をカメラ３２，３３によって撮像された画像の座標に変換する。例えば、位置検出装置４１は、ワールド座標系における障害物の座標を第１画像Ｉ１の座標に変換する。位置検出装置４１は、第１画像Ｉ１における障害物の座標に対して、人検出処理を行う。人検出処理は、例えば、特徴量抽出と、事前に機械学習を行った人判定器と、を用いて行われる。特徴量抽出としては、例えば、HOG：Histogram of Oriented Gradients特徴量、Haar-Like特徴量などの画像における局所領域の特徴量を抽出する手法が挙げられる。人判定器としては、例えば、教師有り学習モデルによる機械学習を行ったものが用いられる。教師有り学習モデルとしては、例えば、サポートベクタマシン、ニューラルネットワーク、ナイーブベイズ、ディープラーニング、決定木等を採用することが可能である。機械学習に用いる教師データとしては、画像から抽出された人の形状要素や、外観要素などの画像固有成分が用いられる。形状要素として、例えば、人の大きさや輪郭などが挙げられる。外観要素としては、例えば、光源情報、テクスチャ情報、カメラ情報などが挙げられる。光源情報には、反射率や、陰影等に関する情報が含まれる。テクスチャ情報には、カラー情報等が含まれる。カメラ情報には、画質、解像度、画角等に関する情報が含まれる。
　人検出処理に要する時間は長いため、画像から人を検出する場合、障害物が存在する座標を特定し、その座標に対して人検出処理を行う。座標を指定して人検出処理を行うことで、画像の全域に対して人検出処理を行う場合に比べて、人検出処理に要する時間を短くできる。カウンタウェイト１５等のフォークリフト１０の一部が障害物と判断されないことで、画像のうちフォークリフト１０の一部が写る座標には、人検出処理が行われない。従って、フォークリフト１０の一部が障害物として検出され、この障害物が写る座標に対して人検出処理が行われる場合に比べて、処理時間の短縮を図ることができる。
　○各実施形態では、ステレオカメラ３１よりも後方に位置するカウンタウェイト１５の全体を非検出領域ＮＡ１としたが、ステレオカメラ３１によって撮像される範囲を考慮して非検出領域ＮＡ１を設定してもよい。図１及び図２から把握できるように、ステレオカメラ３１の設置位置やステレオカメラ３１の垂直画角によっては、ステレオカメラ３１よりも後方に位置するカウンタウェイト１５であっても、ステレオカメラ３１の撮像範囲に入り込まない部分が存在する。従って、ステレオカメラ３１の撮像範囲に入り込まない部分については非検出領域ＮＡ１に含めなくてもよい。例えば、実施形態のように第２条件が設定されている場合、第２条件のＹ座標Ｙｗの下限を０よりも大きな値としてもよい。
　○各実施形態において、車両諸元を記憶するのに代えて、非検出領域を規定する座標を位置検出装置４１の記憶部４３に記憶してもよい。非検出領域ＮＡ１であれば、座標Ｐ１～Ｐ８を記憶しておけばよい。
　○各実施形態において、障害物検出装置３０は、フォークリフト１０の前方に位置する障害物を検出するものであってもよい。この場合、ステレオカメラ３１は、フォークリフト１０の前方を撮像するように設置される。ステレオカメラ３１がフォークリフト１０の前方を撮像する場合であっても、ステレオカメラ３１の設置位置によっては、フォークリフト１０の一部がステレオカメラ３１の検出可能領域ＣＡに入り込む。非検出領域は、検出可能領域ＣＡに入り込むフォークリフト１０の一部に合わせて設定される。また、障害物検出装置３０は、フォークリフト１０の前方及び後方の両側の障害物を検出するものであってもよい。この場合、ステレオカメラ３１は、フォークリフト１０の前方を撮像するものと、フォークリフト１０の後方を撮像するものの両方が設けられる。
　○各実施形態において、ワールド座標系は、直交座標系に限られず、極座標系としてもよい。
　○各実施形態において、位置検出部は、複数の装置によって構成されていてもよい。例えば、位置検出部は、非検出部として機能する装置と、検出部として機能する装置と、座標導出部として機能する装置と、を個別に備えていてもよい。
　○各実施形態において、カメラ座標からワールド座標への変換はテーブルデータによって行われてもよい。テーブルデータは、Ｙ座標ＹｃとＺ座標Ｚｃの組み合わせにＹ座標Ｙｗを対応させたテーブルデータと、Ｙ座標ＹｃとＺ座標Ｚｃとの組み合わせにＺ座標Ｚｗを対応させたテーブルデータである。これらのテーブルデータを位置検出装置４１の記憶部４３などに記憶しておくことで、カメラ座標系におけるＹ座標ＹｃとＺ座標Ｚｃから、ワールド座標系におけるＹ座標Ｙｗ及びＺ座標Ｚｗを求めることができる。なお、実施形態では、カメラ座標系におけるＸ座標Ｘｃと、ワールド座標系におけるＸ座標Ｘｗとは一致するため、Ｘ座標Ｘｗを求めるためのテーブルデータは記憶されない。
　○各実施形態において、第１カメラ３２と第２カメラ３３は、鉛直方向に並んで配置されていてもよい。
　○各実施形態において、障害物検出装置３０は、位置検出装置４１の記憶部４３に記憶されている情報など、種々の情報を記憶するように構成された補助記憶装置を備えていてもよい。補助記憶装置としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、EEPROM：Electrically Erasable Programmable Read Only Memory等の、データを書き換え可能な不揮発性記憶装置が用いられる。
　○各実施形態において、ステレオカメラ３１は、３つ以上のカメラを備えていてもよい。
　○各実施形態において、ステレオカメラ３１は、荷役装置１７等、どのような位置に取り付けられていてもよい。
　○各実施形態において、フォークリフト１０は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
　○各実施形態において、フォークリフト１０の一部は、カウンタウェイト１５、ミラー１８及び支持部１９以外であってもよく、フォークリフト１０の一部であって検出可能領域ＣＡに入り込むものであれば、どのようなものであってもよい。
　○各実施形態において、障害物検出装置３０は、建設機械、自動搬送車、トラックなどのフォークリフト１０以外の産業車両、乗用車、及び飛行体など、種々の移動体に搭載することができる。
　ＣＡ…検出可能領域
　ＤＡ…検出領域
　ＮＡ１，ＮＡ２…非検出領域
　１０…移動体としてのフォークリフト
　１５…フォークリフトの一部であるカウンタウェイト
　１８…フォークリフトの一部であるミラー
　１９…フォークリフトの一部である支持部
　３０…障害物検出装置
　３１…センサとしてのステレオカメラ
　４１…位置検出部、非検出部、検出部及び座標導出部としての位置検出装置
 

 

Claims (5)

  1. 　移動体に搭載される障害物検出装置であって、
    　障害物を検出するためのセンサと、
    　前記センサの検出結果から前記障害物の位置を検出する位置検出部と、を備え、
    　前記位置検出部は、
    　前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断する非検出部と、
    　前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出する検出部と、を備える障害物検出装置。
  2. 　前記移動体はフォークリフトであり、
    　前記非検出領域は、前記フォークリフトのカウンタウェイトが存在する位置に設定されている請求項１に記載の障害物検出装置。
  3. 　前記位置検出部は、水平方向のうち一方向の軸をＸ軸、水平方向のうち前記Ｘ軸に直交する方向の軸をＹ軸、前記Ｘ軸及び前記Ｙ軸に直交する方向の軸をＺ軸とする実空間上の座標系での前記障害物の座標を導出する座標導出部を備える請求項１又は請求項２に記載の障害物検出装置。
  4. 　前記非検出領域は、前記実空間上の座標系で前記移動体の一部が存在する領域を示す３次元座標で規定されている請求項３に記載の障害物検出装置。
  5. 　移動体に搭載されており、かつ、センサと位置検出部とを備える障害物検出装置によって障害物の位置を検出する障害物検出方法であって、
    　前記位置検出部が、前記センサの検出結果を取得するステップと、
    　前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記位置検出部が、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップと、
    　前記位置検出部が、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出するステップと、を含む障害物検出方法。
     

     
PCT/JP2021/023647 2020-07-02 2021-06-22 障害物検出装置及び障害物検出方法 WO2022004495A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP21831582.8A EP4177694A4 (en) 2020-07-02 2021-06-22 OBSTACLE DETECTION DEVICE AND OBSTACLE DETECTION METHOD
CN202180045638.5A CN115720569A (zh) 2020-07-02 2021-06-22 障碍物检测装置和障碍物检测方法
CA3184206A CA3184206A1 (en) 2020-07-02 2021-06-22 Obstacle detector device and obstacle detection method
US18/013,194 US20230264938A1 (en) 2020-07-02 2021-06-22 Obstacle detector and obstacle detection method
KR1020227045118A KR20230015429A (ko) 2020-07-02 2021-06-22 장해물 검출 장치 및 장해물 검출 방법
AU2021301647A AU2021301647A1 (en) 2020-07-02 2021-06-22 Obstacle detection device and obstacle detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020114903A JP7409240B2 (ja) 2020-07-02 2020-07-02 障害物検出装置及び障害物検出方法
JP2020-114903 2020-07-02

Publications (1)

Publication Number Publication Date
WO2022004495A1 true WO2022004495A1 (ja) 2022-01-06

Family

ID=79316197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023647 WO2022004495A1 (ja) 2020-07-02 2021-06-22 障害物検出装置及び障害物検出方法

Country Status (9)

Country Link
US (1) US20230264938A1 (ja)
EP (1) EP4177694A4 (ja)
JP (1) JP7409240B2 (ja)
KR (1) KR20230015429A (ja)
CN (1) CN115720569A (ja)
AU (1) AU2021301647A1 (ja)
CA (1) CA3184206A1 (ja)
TW (1) TWI808434B (ja)
WO (1) WO2022004495A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159083B2 (ja) * 2019-03-06 2022-10-24 株式会社クボタ 作業車両

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014097867A (ja) * 2012-11-14 2014-05-29 Sumitomo Heavy Industries Material Handling Systems Co Ltd ジブクレーン
WO2016174977A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2016206801A (ja) 2015-04-17 2016-12-08 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6844508B2 (ja) * 2017-11-15 2021-03-17 株式会社豊田自動織機 安全装置
JP6923480B2 (ja) * 2018-03-29 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム
CN111886518A (zh) * 2018-03-29 2020-11-03 洋马动力科技有限公司 障碍物检测***以及作业车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014097867A (ja) * 2012-11-14 2014-05-29 Sumitomo Heavy Industries Material Handling Systems Co Ltd ジブクレーン
JP2016206801A (ja) 2015-04-17 2016-12-08 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム
WO2016174977A1 (ja) * 2015-04-28 2016-11-03 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4177694A4

Also Published As

Publication number Publication date
CN115720569A (zh) 2023-02-28
AU2021301647A1 (en) 2023-02-02
KR20230015429A (ko) 2023-01-31
JP2022012811A (ja) 2022-01-17
EP4177694A1 (en) 2023-05-10
JP7409240B2 (ja) 2024-01-09
EP4177694A4 (en) 2023-12-20
TW202203155A (zh) 2022-01-16
US20230264938A1 (en) 2023-08-24
TWI808434B (zh) 2023-07-11
CA3184206A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
KR20190095592A (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
EP3716145A1 (en) Object detection device and method
EP3633619B1 (en) Position detection apparatus and position detection method
JP7180445B2 (ja) 物体検出装置
WO2022004495A1 (ja) 障害物検出装置及び障害物検出方法
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
US20230237809A1 (en) Image processing device of person detection system
JP6171608B2 (ja) 物体検出装置
JP6114572B2 (ja) 対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両。
US20230237830A1 (en) Image processing device of person detection system
JP7081526B2 (ja) 物体検出装置
JP7014122B2 (ja) 物体検出装置及び物体検出方法
JP2022094178A (ja) 産業車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21831582

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227045118

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3184206

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2021301647

Country of ref document: AU

Date of ref document: 20210622

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021831582

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021831582

Country of ref document: EP

Effective date: 20230202

NENP Non-entry into the national phase

Ref country code: DE