JP2020135616A - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP2020135616A JP2020135616A JP2019030461A JP2019030461A JP2020135616A JP 2020135616 A JP2020135616 A JP 2020135616A JP 2019030461 A JP2019030461 A JP 2019030461A JP 2019030461 A JP2019030461 A JP 2019030461A JP 2020135616 A JP2020135616 A JP 2020135616A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- coordinate
- area
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 32
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 22
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、物体検出装置に関する。 The present invention relates to an object detection device.
車両などの移動体には人や、障害物などの物体を検出するための物体検出装置が搭載されている。特許文献１に記載の物体検出装置は、ステレオカメラによって撮像された画像から得られた視差画像に基づきステレオカメラによって撮像された物体の位置を検出している。物体検出装置は、視差画像を左右方向に分割して得られる各領域について視差の頻度分布を算出する。物体検出装置は、視差画像のＸ軸方向の位置と、間引き視差との関係から画像に写る環境を俯瞰したマップを得ることができる。間引き視差とは、視差を距離に応じた間引き率で変換したものである。 Moving objects such as vehicles are equipped with an object detection device for detecting objects such as people and obstacles. The object detection device described in Patent Document 1 detects the position of an object captured by a stereo camera based on a parallax image obtained from an image captured by the stereo camera. The object detection device calculates the frequency distribution of parallax for each region obtained by dividing the parallax image in the left-right direction. The object detection device can obtain a map that gives a bird's-eye view of the environment captured in the image from the relationship between the position of the parallax image in the X-axis direction and the thinned parallax. The thinning parallax is a parallax converted by a thinning rate according to a distance.
ところで、物体検出装置では、画像から人を検出する人検出処理が行われる場合がある。人検出処理は、例えば、HOG：Histograms of Oriented Gradients等の特徴量抽出法により行われる。人の検出を行う際に、画像の全体に亘って人検出処理を行うと、人を検出するのに要する時間が長くなる。 By the way, in the object detection device, a person detection process for detecting a person from an image may be performed. The human detection process is performed by, for example, a feature extraction method such as HOG: Histograms of Oriented Gradients. When detecting a person, if the person detection process is performed over the entire image, the time required to detect the person becomes long.
本発明の目的は、人の検出に要する時間を短縮できる物体検出装置を提供することにある。 An object of the present invention is to provide an object detection device capable of shortening the time required for detecting a person.
上記課題を解決する物体検出装置は、ステレオカメラと、前記ステレオカメラによる撮像が行われた画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、前記視差が取得された特徴点について、実空間上での位置を表す三次元座標系での座標を算出する座標算出部と、前記三次元座標系の水平面を俯瞰した俯瞰図を得る俯瞰図取得部と、前記俯瞰図において物体が存在する座標を算出する物体座標算出部と、前記俯瞰図における前記物体の座標から、前記画像において前記物体が存在する領域を抽出する領域抽出部と、前記領域に対して人検出処理を行うことで、前記物体が人か否かを判定する人判定部と、を備える。 The object detection device that solves the above problems is a stereo camera, a parallax image acquisition unit that acquires a parallax image in which a parallax is associated with each pixel from an image captured by the stereo camera, and a parallax image acquisition unit that acquires the parallax. A coordinate calculation unit that calculates coordinates in a three-dimensional coordinate system that represents a position in real space, a bird's-eye view acquisition unit that obtains a bird's-eye view of the horizontal plane of the three-dimensional coordinate system, and the bird's-eye view. An object coordinate calculation unit that calculates the coordinates of an object in the figure, an area extraction unit that extracts an area in which the object exists in the image from the coordinates of the object in the bird's-eye view, and a person detection for the area. A person determination unit for determining whether or not the object is a person by performing the process is provided.
俯瞰図は、三次元座標系の水平面を俯瞰したものであるため、俯瞰図における物体の座標は、実空間上の座標といえる。従って、俯瞰図における物体の座標から、画像において物体が存在する領域を抽出することができる。人判定部は、物体が存在している領域に対して人検出処理を行えばよいため、画像の全体に対して人検出処理を行う場合に比べて、人の検出に要する時間を短縮できる。 Since the bird's-eye view is a bird's-eye view of the horizontal plane of the three-dimensional coordinate system, the coordinates of the object in the bird's-eye view can be said to be the coordinates in the real space. Therefore, the region where the object exists in the image can be extracted from the coordinates of the object in the bird's-eye view. Since the person determination unit may perform the person detection process on the area where the object exists, the time required for detecting the person can be shortened as compared with the case where the person detection process is performed on the entire image.
上記物体検出装置について、前記画像における前記領域の大きさから、前記領域の物体が人候補か否かを判定する人候補判定部を備え、前記人判定部は、前記人候補判定部によって人候補が存在すると判定された前記領域に対して前記人検出処理を行ってもよい。 The object detection device includes a person candidate determination unit that determines whether or not an object in the region is a person candidate based on the size of the area in the image, and the person determination unit is a person candidate by the person candidate determination unit. The person detection process may be performed on the region determined to be present.
人判定部は、人候補と判定された物体に対して人検出処理を行えばよいため、人の検出に要する時間を更に短縮できる。 Since the person determination unit may perform the person detection process on the object determined as the person candidate, the time required for detecting the person can be further shortened.
本発明によれば、人の検出に要する時間を短縮できる。 According to the present invention, the time required for detecting a person can be shortened.
以下、物体検出装置の一実施形態について説明する。
図１に示すように、フォークリフト１０は、車体１１と、車体１１に設けられた荷役装置１２と、を備える。なお、フォークリフト１０は、自動で走行動作及び荷役動作が行われるものであってもよいし、搭乗者による操作によって走行動作及び荷役動作が行われるものであってもよい。
Hereinafter, an embodiment of the object detection device will be described.
As shown in FIG. 1, the forklift 10 includes a vehicle body 11 and a cargo handling device 12 provided on the vehicle body 11. The forklift 10 may be one in which the traveling operation and the cargo handling operation are automatically performed, or the forklift 10 may be one in which the traveling operation and the cargo handling operation are performed by the operation by the passenger.
図２に示すように、フォークリフト１０は、メインコントローラ２０と、走行用モータＭ１と、走行用モータＭ１を制御する走行制御装置２３と、車速センサ２４と、を備える。メインコントローラ２０は、走行動作及び荷役動作に関する制御を行う。メインコントローラ２０は、ＣＰＵ２１と、種々の制御を行うためのプログラムなどが記憶されたメモリ２２と、を備える。 As shown in FIG. 2, the forklift 10 includes a main controller 20, a traveling motor M1, a traveling control device 23 for controlling the traveling motor M1, and a vehicle speed sensor 24. The main controller 20 controls the traveling operation and the cargo handling operation. The main controller 20 includes a CPU 21 and a memory 22 in which programs for performing various controls and the like are stored.
メインコントローラ２０のＣＰＵ２１は、フォークリフト１０の車速が目標速度となるように走行制御装置２３に走行用モータＭ１の回転数の指令を与える。本実施形態の走行制御装置２３は、モータドライバである。本実施形態の車速センサ２４は、走行用モータＭ１の回転数を検出する回転数センサである。車速センサ２４は、走行用モータＭ１の回転数を走行制御装置２３に出力する。走行制御装置２３は、メインコントローラ２０からの指令に基づき、走行用モータＭ１の回転数が指令と一致するように走行用モータＭ１を制御する。 The CPU 21 of the main controller 20 gives a command of the rotation speed of the traveling motor M1 to the traveling control device 23 so that the vehicle speed of the forklift 10 becomes the target speed. The travel control device 23 of this embodiment is a motor driver. The vehicle speed sensor 24 of the present embodiment is a rotation speed sensor that detects the rotation speed of the traveling motor M1. The vehicle speed sensor 24 outputs the rotation speed of the traveling motor M1 to the traveling control device 23. The travel control device 23 controls the travel motor M1 so that the rotation speed of the travel motor M1 matches the command based on the command from the main controller 20.
フォークリフト１０には、物体検出装置３０が搭載されている。物体検出装置３０は、ステレオカメラ３１と、ステレオカメラ３１によって撮像された画像の画像処理を行う画像処理部４１と、を備える。図１に示すように、ステレオカメラ３１は、例えば、車体１１の上部などフォークリフト１０の上方からフォークリフト１０の走行する路面を鳥瞰できるように配置されている。なお、車体１１とは、座席や走行に関する部材を備える基台や、座席の上部に設けられるヘッドガードを含む。本実施形態のステレオカメラ３１は、フォークリフト１０の後方を撮像する。従って、物体検出装置３０で検出される物体は、フォークリフト１０の後方の物体となる。 An object detection device 30 is mounted on the forklift 10. The object detection device 30 includes a stereo camera 31 and an image processing unit 41 that performs image processing of the image captured by the stereo camera 31. As shown in FIG. 1, the stereo camera 31 is arranged so that the road surface on which the forklift 10 travels can be seen from above the forklift 10, such as the upper part of the vehicle body 11. The vehicle body 11 includes a base provided with seats and members related to traveling, and a head guard provided on the upper part of the seats. The stereo camera 31 of the present embodiment images the rear of the forklift 10. Therefore, the object detected by the object detection device 30 is the object behind the forklift 10.
なお、フォークリフト１０の前方を撮像するステレオカメラを用いてフォークリフト１０の前方の物体を検出するようにしてもよい。また、フォークリフト１０の前方及び後方を撮像する個別のステレオカメラを用いてフォークリフト１０の前方及び後方の両側の物体を検出するようにしてもよい。即ち、ステレオカメラの配置を変更することで、任意の方向の物体を検出することが可能である。フォークリフト１０の前方を撮像するステレオカメラを設ける場合、例えば、車体１１の上部や荷役装置１２の上部などにステレオカメラは設けられる。 An object in front of the forklift 10 may be detected by using a stereo camera that images the front of the forklift 10. Alternatively, an individual stereo camera that images the front and rear of the forklift 10 may be used to detect objects on both sides of the front and rear of the forklift 10. That is, it is possible to detect an object in an arbitrary direction by changing the arrangement of the stereo camera. When a stereo camera that images the front of the forklift 10 is provided, for example, the stereo camera is provided on the upper part of the vehicle body 11 or the upper part of the cargo handling device 12.
図２に示すように、ステレオカメラ３１は、２つのカメラ３２，３３を備える。カメラ３２，３３としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。各カメラ３２，３３は、互いの光軸が平行となるように配置されている。本実施形態において、２つのカメラ３２，３３は、水平方向に並んで配置されている。２つのカメラ３２，３３のうち、一方を第１カメラ３２、他方を第２カメラ３３とする。第１カメラ３２によって撮像された画像を第１画像、第２カメラ３３によって撮像された画像を第２画像とすると、第１画像と第２画像では同一物体が横方向にずれて写ることになる。詳細にいえば、同一物体を撮像した場合、第１画像に写る物体と、第２画像に写る物体では、横方向の画素［ｐｘ］にカメラ３２，３３間の距離に応じたずれが生じることになる。第１画像及び第２画像は、画素数が同じであり、例えば、６４０×４８０［ｐｘ］＝ＶＧＡの画像が用いられる。第１画像及び第２画像は、ＲＧＢ形式の画像である。 As shown in FIG. 2, the stereo camera 31 includes two cameras 32 and 33. As the cameras 32 and 33, for example, a CCD image sensor or a CMOS image sensor is used. The cameras 32 and 33 are arranged so that their optical axes are parallel to each other. In this embodiment, the two cameras 32 and 33 are arranged side by side in the horizontal direction. Of the two cameras 32 and 33, one is the first camera 32 and the other is the second camera 33. Assuming that the image captured by the first camera 32 is the first image and the image captured by the second camera 33 is the second image, the same object appears laterally displaced in the first image and the second image. .. More specifically, when the same object is imaged, the horizontal pixels [px] of the object captured in the first image and the object captured in the second image are displaced according to the distance between the cameras 32 and 33. become. The first image and the second image have the same number of pixels, and for example, an image of 640 × 480 [px] = VGA is used. The first image and the second image are images in RGB format.
画像処理部４１は、ＣＰＵ４２と、ＲＡＭ及びＲＯＭ等からなる記憶部４３と、を備える。記憶部４３には、ステレオカメラ３１によって撮像された画像から物体を検出するための種々のプログラムが記憶されている。画像処理部４１は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア、例えば、特定用途向け集積回路：ＡＳＩＣを備えていてもよい。画像処理部４１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ＡＳＩＣ等の１つ以上の専用のハードウェア回路、あるいは、それらの組み合わせを含む回路として構成し得る。プロセッサは、ＣＰＵ、並びに、ＲＡＭ及びＲＯＭ等のメモリを含む。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆるものを含む。 The image processing unit 41 includes a CPU 42 and a storage unit 43 including a RAM, a ROM, and the like. The storage unit 43 stores various programs for detecting an object from an image captured by the stereo camera 31. The image processing unit 41 may include dedicated hardware that executes at least a part of the various processes, for example, an integrated circuit for a specific application: ASIC. The image processing unit 41 may be configured as one or more processors operating according to a computer program, one or more dedicated hardware circuits such as an ASIC, or a circuit including a combination thereof. The processor includes a CPU and memories such as RAM and ROM. The memory stores a program code or a command configured to cause the CPU to execute the process. Memory, or computer-readable medium, includes anything that can be accessed by a general purpose or dedicated computer.
以下、画像処理部４１により行われる物体検出処理について説明する。物体検出処理は、フォークリフト１０が起動状態のときに繰り返し行われる。起動状態とは、フォークリフト１０に走行動作及び荷役動作を行わせることが可能な状態である。以下の説明では、一例として、図３に示す環境をステレオカメラ３１によって撮像した場合の物体検出処理について説明する。図３は、フォークリフト１０の周辺を撮像することで得られた第１画像Ｉ１である。第１画像Ｉ１から把握できるように、フォークリフト１０の周辺には、人や、人以外の物体が存在している。人以外の物体とは、フォークリフト１０の進行の妨げとなる障害物である。 Hereinafter, the object detection process performed by the image processing unit 41 will be described. The object detection process is repeated when the forklift 10 is in the activated state. The activated state is a state in which the forklift 10 can perform a traveling operation and a cargo handling operation. In the following description, as an example, an object detection process when the environment shown in FIG. 3 is imaged by the stereo camera 31 will be described. FIG. 3 is a first image I1 obtained by imaging the periphery of the forklift 10. As can be seen from the first image I1, there are people and non-human objects around the forklift 10. An object other than a human is an obstacle that hinders the progress of the forklift 10.
図４及び図５に示すように、ステップＳ１において、画像処理部４１は、視差画像ｄｐを取得する。視差画像ｄｐは、画素に対して視差［ｐｘ］を対応付けた画像である。視差は、第１画像Ｉ１と、第２画像とを比較し、各画像に写る同一特徴点について第１画像Ｉ１と第２画像の画素数の差を算出することで得られる。なお、特徴点とは、物体のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。 As shown in FIGS. 4 and 5, in step S1, the image processing unit 41 acquires the parallax image dp. The parallax image dp is an image in which the parallax [px] is associated with the pixels. The parallax is obtained by comparing the first image I1 and the second image and calculating the difference in the number of pixels between the first image I1 and the second image for the same feature point appearing in each image. The feature point is a part that can be recognized as a boundary, such as an edge of an object. The feature points can be detected from the luminance information and the like.
画像処理部４１は、ステレオカメラ３１によって撮像されている映像から同一フレームの第１画像Ｉ１及び第２画像を取得する。画像処理部４１は、各画像を一時的に格納するＲＡＭを用いて、ＲＧＢからＹＣｒＣｂへの変換を行う。なお、画像処理部４１は、歪み補正、エッジ強調処理などを行ってもよい。画像処理部４１は、第１画像Ｉ１の各画素と第２画像の各画素との類似度を比較して視差を算出するステレオ処理を行う。なお、ステレオ処理としては、画素毎に視差を算出する手法を用いてもよいし、各画像を複数の画素を含むブロックに分割してブロック毎の視差を算出するブロックマッチング法を用いてもよい。各画素の類似度の比較には、例えば、SAD：Sum of Absolute Difference、SSD：Sum of Squared Differenceなどが用いられる。画像処理部４１は、第１画像Ｉ１を基準画像、第２画像を比較画像として視差画像ｄｐを取得する。画像処理部４１は、第１画像Ｉ１の画素毎に、最も類似する第２画像の画素を抽出し、第１画像Ｉ１の画素と、当該画素に最も類似する画素の横方向の画素数の差を視差として算出する。これにより、基準画像である第１画像Ｉ１の各画素に視差が対応付けられた視差画像ｄｐを取得することができる。なお、視差画像ｄｐとは、必ずしも表示を要するものではなく、視差画像ｄｐにおける各画素に視差が対応付けられたデータのことを示す。ステップＳ１の処理を行うことで、画像処理部４１は、視差画像取得部として機能する。 The image processing unit 41 acquires the first image I1 and the second image of the same frame from the image captured by the stereo camera 31. The image processing unit 41 converts RGB to YCrCb using a RAM that temporarily stores each image. The image processing unit 41 may perform distortion correction, edge enhancement processing, and the like. The image processing unit 41 performs stereo processing for calculating the parallax by comparing the similarity between each pixel of the first image I1 and each pixel of the second image. As the stereo processing, a method of calculating the parallax for each pixel may be used, or a block matching method of dividing each image into blocks including a plurality of pixels and calculating the parallax for each block may be used. .. For comparison of the similarity of each pixel, for example, SAD: Sum of Absolute Difference, SSD: Sum of Squared Difference and the like are used. The image processing unit 41 acquires the parallax image dp with the first image I1 as the reference image and the second image as the comparison image. The image processing unit 41 extracts the pixels of the second image most similar to each pixel of the first image I1, and the difference between the pixels of the first image I1 and the number of pixels most similar to the pixels in the horizontal direction. Is calculated as the parallax. As a result, it is possible to acquire a parallax image dp in which parallax is associated with each pixel of the first image I1 which is a reference image. The parallax image dp does not necessarily require display, and indicates data in which parallax is associated with each pixel in the parallax image dp. By performing the process of step S1, the image processing unit 41 functions as a parallax image acquisition unit.
図５には、第１画像Ｉ１と第２画像から得られた視差画像ｄｐを示す。図５に示す視差画像ｄｐでは、視差の大小を濃淡で表現している。視差は、ステレオカメラ３１に近い位置ほど大きくなり、ステレオカメラ３１から離れるほど小さくなる。以下、視差画像ｄｐの横方向＝Ｘ軸方向の座標をＸ座標Ｘｉとし、視差画像ｄｐの縦方向＝Ｙ軸方向の座標をＹ座標Ｙｉとする。なお、視差画像ｄｐは第１画像Ｉ１を基準画像として取得された画像であるため、Ｘ座標Ｘｉ及びＹ座標Ｙｉは第１画像Ｉ１の座標ともいえる。Ｘ座標Ｘｉは横方向の画素位置を示し、Ｙ座標Ｙｉは縦方向の画素位置を示す。例えば、視差画像ｄｐが６４０×４８０［ｐｘ］であれば、視差画像ｄｐの中心座標は、（Ｘｉ：３２０，Ｙｉ：２４０）と表すことができる。 FIG. 5 shows the parallax image dp obtained from the first image I1 and the second image. In the parallax image dp shown in FIG. 5, the magnitude of the parallax is represented by shading. The parallax increases as the position is closer to the stereo camera 31, and decreases as the distance from the stereo camera 31 increases. Hereinafter, the coordinates in the horizontal direction of the parallax image dp = the X-axis direction are defined as the X-coordinates Xi, and the coordinates in the vertical direction of the parallax image dp = the Y-axis direction are defined as the Y-coordinates Yi. Since the parallax image dp is an image acquired with the first image I1 as a reference image, the X coordinate Xi and the Y coordinate Yi can be said to be the coordinates of the first image I1. The X coordinate Xi indicates the pixel position in the horizontal direction, and the Y coordinate Yi indicates the pixel position in the vertical direction. For example, if the parallax image dp is 640 × 480 [px], the center coordinates of the parallax image dp can be expressed as (Xi: 320, Yi: 240).
図４に示すように、ステップＳ２において、画像処理部４１は、視差画像ｄｐから路面の視差を除去する。路面とは、フォークリフト１０が存在している面である。路面の視差は、以下の（１）式によって予め求められる。 As shown in FIG. 4, in step S2, the image processing unit 41 removes the parallax on the road surface from the parallax image dp. The road surface is the surface on which the forklift 10 is present. The parallax of the road surface is obtained in advance by the following equation (1).
ステップＳ３において、画像処理部４１は、ワールド座標系における特徴点の座標を算出する。まず、画像処理部４１は、カメラ座標系における特徴点の座標を算出する。カメラ座標系は、光軸をＺ軸とし、光軸に直交する２つの軸のそれぞれをＸ軸、Ｙ軸とする３軸直交座標系である。カメラ座標系における特徴点の座標は、カメラ座標系におけるＺ座標Ｚｃ、Ｘ座標Ｘｃ及びＹ座標Ｙｃで表わすことができる。Ｚ座標Ｚｃ、Ｘ座標Ｘｃ及びＹ座標Ｙｃは、それぞれ、以下の（２）式〜（４）式を用いて算出することができる。 In step S3, the image processing unit 41 calculates the coordinates of the feature points in the world coordinate system. First, the image processing unit 41 calculates the coordinates of the feature points in the camera coordinate system. The camera coordinate system is a three-axis Cartesian coordinate system in which the optical axis is the Z axis and the two axes orthogonal to the optical axis are the X axis and the Y axis, respectively. The coordinates of the feature points in the camera coordinate system can be represented by Z coordinate Zc, X coordinate Xc, and Y coordinate Yc in the camera coordinate system. The Z coordinate Zc, the X coordinate Xc, and the Y coordinate Yc can be calculated using the following equations (2) to (4), respectively.
ｘｐを視差画像ｄｐ中の特徴点のＸ座標Ｘｉとし、ｙｐを視差画像ｄｐ中の特徴点のＹ座標Ｙｉとし、ｄを特徴点の座標に対応付けられた視差とすることで、カメラ座標系における特徴点の座標が算出される。 By setting xp as the X coordinate Xi of the feature point in the parallax image dp, yp as the Y coordinate Yi of the feature point in the parallax image dp, and d as the parallax associated with the coordinates of the feature point, the camera coordinate system. The coordinates of the feature points in are calculated.
ここで、フォークリフト１０の進行方向に延びる軸をＹ軸、鉛直方向に延びる軸をＺ軸、Ｙ軸及びＺ軸に直交する軸をＸ軸とする３軸直交座標系での座標を実空間上での三次元座標系であるワールド座標系とする。ワールド座標系での特徴点の座標は、ワールド座標系におけるＸ座標Ｘｗ、Ｙ座標Ｙｗ、Ｚ座標Ｚｗで表わすことができる。 Here, the coordinates in the three-axis Cartesian coordinate system in which the axis extending in the traveling direction of the forklift 10 is the Y axis, the axis extending in the vertical direction is the Z axis, and the Y axis and the axis orthogonal to the Z axis are the X axes are in real space. Let it be the world coordinate system, which is the three-dimensional coordinate system in. The coordinates of the feature points in the world coordinate system can be represented by the X coordinate Xw, the Y coordinate Yw, and the Z coordinate Zw in the world coordinate system.
画像処理部４１は、以下の（５）式を用いてカメラ座標系をワールド座標系に変換するワールド座標変換を行う。 The image processing unit 41 performs world coordinate conversion for converting the camera coordinate system into the world coordinate system using the following equation (5).
ワールド座標変換で得られたワールド座標のうちＸ座標Ｘｗは、フォークリフト１０の左右方向に対するフォークリフト１０から特徴点までの距離を示す。なお、左右とは、ステレオカメラ３１が向いている方向を前とした場合の左右である。Ｙ座標Ｙｗは、フォークリフト１０の進行方向に対するフォークリフト１０から特徴点までの距離を示す。Ｚ座標Ｚｗは、路面から特徴点までの高さを示す。ステップＳ３の処理を行うことで、画像処理部４１は、座標算出部として機能する。 Of the world coordinates obtained by the world coordinate conversion, the X coordinate Xw indicates the distance from the forklift 10 to the feature point in the left-right direction of the forklift 10. The left and right are the left and right when the direction in which the stereo camera 31 is facing is the front. The Y coordinate Yw indicates the distance from the forklift 10 to the feature point with respect to the traveling direction of the forklift 10. The Z coordinate Zw indicates the height from the road surface to the feature point. By performing the process of step S3, the image processing unit 41 functions as a coordinate calculation unit.
次に、図４及び図６に示すように、ステップＳ４において、画像処理部４１は、ワールド座標系における水平面を表す座表面であるＸＹ平面を複数のエリアＡ１に分割して、プロットエリアＡ２とする。プロットエリアＡ２は、横方向をＸ軸方向、縦方向をＹ軸方向とし、１つのエリアＡ１を１つの画素とみなした画像と捉えることができる。プロットエリアＡ２のうちＹ座標Ｙｗが最小であり、Ｘ座標ＸｗがプロットエリアＡ２の中心である座標をプロットエリアＡ２の原点Ｏとする。原点Ｏは、フォークリフト１０の位置、詳細にいえば、ステレオカメラ３１の位置といえる。原点ＯからＸ軸方向に離れるほど、左右方向に対してフォークリフト１０から離れており、原点ＯからＹ軸方向に離れるほど、前後方向に対してフォークリフト１０から離れている。原点Ｏを（Ｘｗ：０，Ｙｗ：０）とし、原点Ｏより左側のＸ座標Ｘｗは−の値とし、原点Ｏより右側のＸ座標Ｘｗは＋の値とする。即ち、Ｘ座標Ｘｗの−と＋は、フォークリフト１０に対して左右いずれの方向かを示すものである。プロットエリアＡ２は、特徴点をプロットしたワールド座標系を俯瞰した俯瞰図である。言い換えれば、プロットエリアＡ２は、ステレオカメラ３１によって撮像された環境を俯瞰した俯瞰図といえる。 Next, as shown in FIGS. 4 and 6, in step S4, the image processing unit 41 divides the XY plane, which is a seat surface representing the horizontal plane in the world coordinate system, into a plurality of areas A1 and sets the plot area A2. To do. The plot area A2 can be regarded as an image in which the horizontal direction is the X-axis direction and the vertical direction is the Y-axis direction, and one area A1 is regarded as one pixel. The Y coordinate Yw of the plot area A2 is the smallest, and the coordinate whose X coordinate Xw is the center of the plot area A2 is defined as the origin O of the plot area A2. The origin O can be said to be the position of the forklift 10, or more specifically, the position of the stereo camera 31. The farther away from the origin O in the X-axis direction, the farther away from the forklift 10 in the left-right direction, and the farther away from the origin O in the Y-axis direction, the farther away from the forklift 10 in the front-rear direction. The origin O is (Xw: 0, Yw: 0), the X coordinate Xw on the left side of the origin O is a − value, and the X coordinate Xw on the right side of the origin O is a + value. That is, − and + of the X coordinate Xw indicate which direction is left or right with respect to the forklift 10. The plot area A2 is a bird's-eye view of the world coordinate system in which the feature points are plotted. In other words, the plot area A2 can be said to be a bird's-eye view of the environment captured by the stereo camera 31.
各エリアＡ１は、同一の大きさであり、例えば、一辺を５００［ｍｍ］とする正方形である。本実施形態では、直立した人を俯瞰した場合に、人の水平方向への寸法の取り得る最大値を考慮してエリアＡ１の大きさは設定される。直立した人の水平方向への寸法の取り得る最大値とは、例えば、人の肩幅である。人の肩幅としては、例えば、成人の平均値を採用することができる。 Each area A1 has the same size, and is, for example, a square having a side of 500 [mm]. In the present embodiment, when an upright person is viewed from a bird's-eye view, the size of the area A1 is set in consideration of the maximum value that the person can take in the horizontal direction. The maximum possible horizontal dimension of an upright person is, for example, the shoulder width of the person. As the shoulder width of a person, for example, the average value of an adult can be adopted.
次に、ステップＳ５において、画像処理部４１は、エリアＡ１毎に含まれる特徴点を計数する。画像処理部４１は、各特徴点のＸ座標Ｘｗ及びＹ座標Ｙｗから各特徴点がいずれのエリアＡ１に位置しているかを判定し、エリアＡ１毎に特徴点を計数する。プロットエリアＡ２はＸＹ平面であるため、特徴点の座標からは特徴点の高さ情報であるＺ座標Ｚｗが失われる。画像処理部４１は、特徴点の計数を行う際に、特徴点の高さの範囲で分けた区分毎に特徴点を計数する。なお、Ｘ座標Ｘｗ及びＹ座標Ｙｗが同一であり、Ｚ座標Ｚｗのみが異なる複数の特徴点が存在する場合、プロットエリアＡ２では、同一座標に複数の特徴点が存在することになる。この場合、同一座標に存在する複数の特徴点毎に個別に計数を行う。 Next, in step S5, the image processing unit 41 counts the feature points included in each area A1. The image processing unit 41 determines from which area A1 each feature point is located from the X coordinate Xw and the Y coordinate Yw of each feature point, and counts the feature points for each area A1. Since the plot area A2 is an XY plane, the Z coordinate Zw, which is the height information of the feature points, is lost from the coordinates of the feature points. When counting the feature points, the image processing unit 41 counts the feature points for each division divided by the height range of the feature points. When there are a plurality of feature points in which the X coordinate Xw and the Y coordinate Yw are the same and only the Z coordinate Zw is different, in the plot area A2, there are a plurality of feature points at the same coordinate. In this case, counting is performed individually for each of a plurality of feature points existing at the same coordinates.
特徴点の高さの範囲で分けた区分とは、隣接した物体同士を区別できるように設定されている。好ましくは、ステレオカメラ３１の撮像範囲に人と、当該人に隣り合う物体とが存在する場合、人と物体とを別々の物体と区別できるように区分が設定される。本実施形態では、特徴点の高さの範囲は、５００［ｍｍ］以上１０００［ｍｍ］未満、１０００［ｍｍ］以上１５００［ｍｍ］未満、１５００［ｍｍ］以上２０００［ｍｍ］未満、２０００［ｍｍ］以上の４つの区分に分けられている。以下、５００［ｍｍ］以上１０００［ｍｍ］未満の範囲を第１区分、１０００［ｍｍ］以上１５００［ｍｍ］未満の範囲を第２区分、１５００［ｍｍ］以上２０００［ｍｍ］未満の範囲を第３区分、２０００［ｍｍ］以上の範囲を第４区分として説明を行う。 The division divided by the height range of the feature points is set so that adjacent objects can be distinguished from each other. Preferably, when a person and an object adjacent to the person are present in the imaging range of the stereo camera 31, the division is set so that the person and the object can be distinguished from different objects. In the present embodiment, the height range of the feature points is 500 [mm] or more and less than 1000 [mm], 1000 [mm] or more and less than 1500 [mm], 1500 [mm] or more and less than 2000 [mm], 2000 [mm]. ] It is divided into the above four categories. Hereinafter, the range of 500 [mm] or more and less than 1000 [mm] is the first category, the range of 1000 [mm] or more and less than 1500 [mm] is the second category, and the range of 1500 [mm] or more and less than 2000 [mm] is the first category. The explanation will be given with the range of 3 categories and 2000 [mm] or more as the 4th category.
次に、図４及び図７に示すように、ステップＳ６において、画像処理部４１は、物体が存在しているエリアＡ１を検出する。画像処理部４１は、ステップＳ５での計数によって、特徴点の総和が閾値を越えたエリアＡ１には、物体が存在していると判定する。なお、特徴点の総和とは、区分毎に計数された特徴点の数の合計である。閾値としては、ステレオ処理の精度等を原因として生じる僅かな特徴点が存在するエリアＡ１に、物体が存在していると判定されないような値に設定される。即ち、物体が存在していないにも関わらず、物体が存在していると判定されないように閾値は設定されている。図７には、物体が存在していると判定されたエリアＡ１をプロットしている。ステップＳ４〜ステップＳ６の処理を行うことで、画像処理部４１は俯瞰図取得部として機能する。 Next, as shown in FIGS. 4 and 7, in step S6, the image processing unit 41 detects the area A1 in which the object exists. The image processing unit 41 determines by counting in step S5 that an object exists in the area A1 in which the sum of the feature points exceeds the threshold value. The total number of feature points is the total number of feature points counted for each category. The threshold value is set to a value such that it is not determined that an object exists in the area A1 in which a slight feature point generated due to the accuracy of stereo processing or the like exists. That is, the threshold value is set so that it is not determined that the object exists even though the object does not exist. In FIG. 7, the area A1 where it is determined that the object exists is plotted. By performing the processes of steps S4 to S6, the image processing unit 41 functions as a bird's-eye view acquisition unit.
なお、ステレオカメラ３１から離れた位置ほど視差が小さくなるため、視差が１変化したときに算出される特徴点の座標はＹ座標Ｙｗが大きくなるほど、即ち、原点Ｏから離れるほど大きく変化する。結果として、Ｙ座標Ｙｗが大きくなるほど特徴点は離散的になり、Ｙ座標Ｙｗが大きいエリアＡ１ほど、物体が存在していると判定されにくくなる。しかしながら、Ｙ座標Ｙｗが大きいエリアＡ１ほどフォークリフト１０から離れたエリアＡ１であり、フォークリフト１０に近いエリアＡ１に比べて、フォークリフト１０から離れたエリアＡ１の物体を検出する必要性は低い。また、物体検出処理は繰り返し行われるため、フォークリフト１０の進行に伴い物体とフォークリフト１０が近付けば、距離を原因として検出されなかった物体も検出されるようになる。このため、Ｙ座標Ｙｗが大きいエリアＡ１ほど物体が存在していると判定されにくい場合であっても、実用上の支障は来さないと考えられる。 Since the parallax becomes smaller as the distance from the stereo camera 31 increases, the coordinates of the feature points calculated when the parallax changes by 1 change larger as the Y coordinate Yw increases, that is, as the distance from the origin O increases. As a result, the larger the Y coordinate Yw, the more discrete the feature points, and the larger the Y coordinate Yw, the more difficult it is to determine that an object exists. However, the area A1 having a larger Y coordinate Yw is the area A1 farther from the forklift 10, and it is less necessary to detect an object in the area A1 away from the forklift 10 than the area A1 closer to the forklift 10. Further, since the object detection process is repeated, if the object and the forklift 10 come close to each other as the forklift 10 progresses, an object that has not been detected due to the distance will be detected. Therefore, even if it is difficult to determine that an object exists in the area A1 having a larger Y coordinate Yw, it is considered that there is no practical problem.
次に、図４及び図７に示すように、ステップＳ７において、画像処理部４１は、エリアＡ１毎に検出された物体から同一物体を検出する。プロットエリアＡ２では、同一物体がエリアＡ１毎に分離されているため、同一物体が存在していると予測されるエリアＡ１を抽出して、分離された物体を１つの物体として処理を行えるようにする。各エリアＡ１に存在する物体が同一物体か否かは、種々の手法により判定することができる。本実施形態では、エリアＡ１の位置及び物体の高さ情報から各エリアＡ１に存在する物体が同一物体か否かを判定する。 Next, as shown in FIGS. 4 and 7, in step S7, the image processing unit 41 detects the same object from the objects detected in each area A1. In the plot area A2, the same object is separated for each area A1, so that the area A1 in which the same object is predicted to exist can be extracted and the separated objects can be processed as one object. To do. Whether or not the objects existing in each area A1 are the same can be determined by various methods. In the present embodiment, it is determined whether or not the objects existing in each area A1 are the same object from the position of the area A1 and the height information of the objects.
画像処理部４１は、各エリアＡ１に存在する物体の高さを設定する。物体の高さとは、特徴点の高さの範囲を表す各区分のいずれかである。画像処理部４１は、第１区分を含む複数の区分に特徴点が存在している場合であり、かつ、第１区分から連続して区分に特徴点が存在する場合、第１区分から連続して特徴点が存在する区分のうち最も高い区分を物体の高さとして設定する。例えば、第１区分、第２区分及び第４区分のそれぞれに特徴点が存在しており、第３区分に特徴点が存在していないエリアＡ１であれば、第１区分から連続して特徴点が存在する区分は第２区分までとなるため、物体の高さは第２区分になる。なお、特徴点が存在する区分とは、ステップＳ５での特徴点の計数によって、特徴点が計数された区分である。画像処理部４１は、計数された特徴点の数に計数閾値を設定し、計数された特徴点の数が計数閾値を超えた区分には特徴点が存在していると判定してもよい。即ち、特徴点の数が計数閾値に満たない区分には、特徴点が存在していないと判定してもよい。 The image processing unit 41 sets the height of the object existing in each area A1. The height of the object is one of the divisions representing the range of heights of the feature points. The image processing unit 41 is continuous from the first division when the feature points are present in a plurality of divisions including the first division and the feature points are continuously present in the divisions from the first division. The highest division among the divisions in which the feature points exist is set as the height of the object. For example, if the area A1 has feature points in each of the first, second, and fourth sections and no feature points in the third section, the feature points are continuous from the first section. Since the division in which is present is up to the second division, the height of the object is the second division. The category in which the feature points exist is a category in which the feature points are counted by counting the feature points in step S5. The image processing unit 41 may set a counting threshold value for the number of counted feature points, and may determine that the feature points exist in the division in which the number of counted feature points exceeds the counting threshold value. That is, it may be determined that the feature points do not exist in the category in which the number of feature points is less than the count threshold value.
画像処理部４１は、第１区分を含む複数の区分に特徴点が存在している場合で、かつ、第１区分に連続した区分に特徴点が存在しない場合には第１区分を物体の高さとして設定する。例えば、第１区分及び第３区分に特徴点が存在し、第２区分に特徴点が存在しない場合、物体の高さとして第１区分が設定される。 The image processing unit 41 sets the height of the object in the first division when the feature points exist in a plurality of divisions including the first division and there are no feature points in the continuous divisions in the first division. Set as a height. For example, when the feature points exist in the first section and the third section and the feature points do not exist in the second section, the first section is set as the height of the object.
画像処理部４１は、第１区分を除く複数の区分に特徴点が存在している場合には、複数の区分のうち最も高い区分を物体の高さとして設定する。例えば、第２区分及び第３区分に特徴点が存在しており、第１区分及び第４区分に特徴点が存在していない場合、物体の高さとして第３区分が設定される。画像処理部４１は、いずれか１つの区分に特徴点が存在している場合、当該区分を物体の高さとして設定する。例えば、第２区分にのみ特徴点が存在している場合、物体の高さとして第２区分が設定される。図７では、物体が存在するエリアＡ１の濃淡によって、物体の高さを表している。 When the feature points exist in a plurality of divisions other than the first division, the image processing unit 41 sets the highest division among the plurality of divisions as the height of the object. For example, when the feature points exist in the second section and the third section and the feature points do not exist in the first section and the fourth section, the third section is set as the height of the object. When the feature point exists in any one of the sections, the image processing unit 41 sets the section as the height of the object. For example, when the feature point exists only in the second division, the second division is set as the height of the object. In FIG. 7, the height of the object is represented by the shade of the area A1 in which the object exists.
物体が路面上に位置している場合、特徴点は、第１区分のみ、あるいは、第１区分から連続する区分に存在することになる。従って、第１区分に特徴点が存在しているにも関わらず、特徴点が存在しない区分よりも高い区分に特徴点が存在しているエリアＡ１には、飛行体など路面から浮いた物体が存在していると推測できる。この場合には、路面から浮いている物体は存在しないとみなし、路面から浮いている物体の下方に存在する物体のみを物体として認識する。 When the object is located on the road surface, the feature points exist only in the first division or in a division continuous from the first division. Therefore, in the area A1 where the feature points exist in the higher section than the section in which the feature points do not exist even though the feature points exist in the first section, an object floating from the road surface such as an air vehicle is present. It can be inferred that it exists. In this case, it is considered that the object floating from the road surface does not exist, and only the object existing below the object floating from the road surface is recognized as an object.
画像処理部４１は、同一の高さの物体のうち隣接したエリアＡ１に存在している物体を同一物体であると判定する。なお、互いに隣接したエリアＡ１とは、Ｙ軸方向及びＸ軸方向に隣り合う４つのエリアＡ１に加えて、斜めに隣り合う４つのエリアＡ１を含むものである。即ち、各エリアＡ１と、当該エリアＡ１を囲む八方のエリアＡ１は、互いに隣接したエリアＡ１といえる。同一物体が存在するエリアＡ１は、１又は複数のエリアＡ１から構成される。 The image processing unit 41 determines that the objects existing in the adjacent area A1 among the objects having the same height are the same objects. The areas A1 adjacent to each other include four areas A1 diagonally adjacent to each other in addition to the four areas A1 adjacent to each other in the Y-axis direction and the X-axis direction. That is, it can be said that each area A1 and the eight areas A1 surrounding the area A1 are adjacent areas A1. Area A1 in which the same object exists is composed of one or a plurality of areas A1.
次に、ステップＳ８において、画像処理部４１は、同一物体と判定された物体毎に、プロットエリアＡ２での座標を算出する。プロットエリアＡ２は、ワールド座標系のＸＹ平面であるため、プロットエリアＡ２での座標は、ワールド座標といえる。物体が存在するエリアＡ１は、少なくとも１つのエリアＡ１により構成されているため、物体は複数の座標に跨がって存在しているといえる。プロットエリアＡ２上の物体のうち、いずれの位置の座標を算出するかは任意に設定することができる。例えば、Ｘ座標Ｘｗは、物体の中心座標とし、Ｙ座標Ｙｗは物体のうち最も原点Ｏに近い座標としてもよい。また、物体のうち最も原点Ｏに近い位置のＸ座標Ｘｗ及びＹ座標Ｙｗと、物体のうち最も原点Ｏから離れた位置のＸ座標Ｘｗ及びＹ座標Ｙｗとを算出する等、複数の座標を算出してもよい。物体のＸ座標Ｘｗは、Ｘ軸方向に対する原点Ｏからの距離によって算出することができる。物体のＹ座標Ｙｗは、Ｙ軸方向に対する原点Ｏからの距離によって算出することができる。ステップＳ８の処理を行うことで、画像処理部４１は、物体座標算出部として機能する。 Next, in step S8, the image processing unit 41 calculates the coordinates in the plot area A2 for each object determined to be the same object. Since the plot area A2 is the XY plane of the world coordinate system, the coordinates in the plot area A2 can be said to be the world coordinates. Since the area A1 in which the object exists is composed of at least one area A1, it can be said that the object exists over a plurality of coordinates. It is possible to arbitrarily set which position of the object on the plot area A2 to calculate the coordinates. For example, the X coordinate Xw may be the center coordinate of the object, and the Y coordinate Yw may be the coordinate closest to the origin O of the object. Further, a plurality of coordinates are calculated, such as calculating the X coordinate Xw and the Y coordinate Yw of the position closest to the origin O of the object and the X coordinate Xw and the Y coordinate Yw of the position farthest from the origin O of the object. You may. The X coordinate Xw of the object can be calculated by the distance from the origin O with respect to the X axis direction. The Y coordinate Yw of the object can be calculated by the distance from the origin O with respect to the Y axis direction. By performing the process of step S8, the image processing unit 41 functions as an object coordinate calculation unit.
次に、画像処理部４１は、図４及び図８に示すように、ステップＳ９において、第１画像Ｉ１での物体の領域Ｆ１〜Ｆ５を抽出する。まず、画像処理部４１は、ステップＳ８で算出された物体のワールド座標をカメラ座標に変換する。ワールド座標からカメラ座標への変換は、以下の（６）式を用いて行うことができる。 Next, as shown in FIGS. 4 and 8, the image processing unit 41 extracts the regions F1 to F5 of the object in the first image I1 in step S9. First, the image processing unit 41 converts the world coordinates of the object calculated in step S8 into camera coordinates. The conversion from the world coordinates to the camera coordinates can be performed by using the following equation (6).
次に、画像処理部４１は、以下の（７）式及び（８）式を用いて、カメラ座標から第１画像Ｉ１上での物体の座標を算出する。 Next, the image processing unit 41 calculates the coordinates of the object on the first image I1 from the camera coordinates using the following equations (7) and (8).
次に、図４、図８及び図９に示すように、ステップＳ１０において、画像処理部４１は、領域Ｆ１〜Ｆ５に存在する物体が人候補か否かを判定する。物体が人候補か否かの判定は、領域Ｆ１〜Ｆ５の大きさを用いて判定される。なお、領域Ｆ１〜Ｆ５の大きさには、領域Ｆ１〜Ｆ５の縦方向＝Ｘ軸方向の寸法、領域Ｆ１〜Ｆ５の横方向＝Ｙ軸方向の寸法及び領域Ｆ１〜Ｆ５の広さが含まれる。領域Ｆ１〜Ｆ５に存在する物体が人候補か否かは、領域Ｆ１〜Ｆ５の縦横比から判定されてもよい。直立した人を水平方向から撮像した場合の縦横比は、２：１〜４：１の範囲に収まると推測される。このため、縦横比が２：１〜４：１となる物体を人候補と判定してもよい。また、領域Ｆ１〜Ｆ５に存在する物体が人候補か否かの判定は、ステレオカメラ３１からの距離＝Ｙ座標Ｙｗに対する領域Ｆ１〜Ｆ５の広さから判定されてもよい。直立した人を水平方向から撮像した場合に領域Ｆ１〜Ｆ５の広さが取り得る範囲は推測することができる。また、ステレオカメラ３１から離れるほど領域Ｆ１〜Ｆ５は小さくなる。このため、Ｙ座標Ｙｗに応じて予め設定された範囲内に、領域Ｆ１〜Ｆ５の広さが収まるか否かによって物体が人候補か否かを判定してもよい。なお、領域Ｆ１〜Ｆ５の広さとは、領域Ｆ１〜Ｆ５の縦方向の寸法×横方向の寸法で表される面積であってもよいし、領域Ｆ１〜Ｆ５の画素数であってもよい。 Next, as shown in FIGS. 4, 8 and 9, in step S10, the image processing unit 41 determines whether or not the objects existing in the regions F1 to F5 are human candidates. Whether or not an object is a human candidate is determined using the sizes of regions F1 to F5. The size of the areas F1 to F5 includes the vertical direction of the areas F1 to F5 = the dimension in the X-axis direction, the horizontal direction of the areas F1 to F5 = the dimension in the Y-axis direction, and the width of the areas F1 to F5. .. Whether or not the object existing in the regions F1 to F5 is a human candidate may be determined from the aspect ratio of the regions F1 to F5. It is estimated that the aspect ratio when an upright person is imaged from the horizontal direction falls within the range of 2: 1 to 4: 1. Therefore, an object having an aspect ratio of 2: 1 to 4: 1 may be determined as a human candidate. Further, the determination as to whether or not the object existing in the regions F1 to F5 is a human candidate may be determined from the size of the regions F1 to F5 with respect to the distance from the stereo camera 31 = Y coordinate Yw. It is possible to estimate the range in which the area F1 to F5 can be taken when an upright person is imaged from the horizontal direction. Further, the areas F1 to F5 become smaller as the distance from the stereo camera 31 increases. Therefore, it may be determined whether or not the object is a human candidate depending on whether or not the area of the areas F1 to F5 fits within the range preset according to the Y coordinate Yw. The area of the areas F1 to F5 may be an area represented by the vertical dimension x the horizontal dimension of the areas F1 to F5, or may be the number of pixels of the areas F1 to F5.
画像処理部４１は、領域Ｆ１〜Ｆ５に存在する物体が人候補か否かの判定を、領域Ｆ１〜Ｆ５の縦横比から判定してもよいし、領域Ｆ１〜Ｆ５の広さから判定してもよい。また、画像処理部４１は、領域Ｆ１〜Ｆ５の縦横比及び領域Ｆ１〜Ｆ５の広さの両方から領域Ｆ１〜Ｆ５に存在する物体が人候補か否かの判定を行ってもよい。この場合、画像処理部４１は、領域Ｆ１〜Ｆ５の縦横比が予め定められた範囲に収まる第１条件及び領域Ｆ１〜Ｆ５の広さが予め定められた範囲に収まる第２条件のうちいずれかが成立した場合に、領域Ｆ１〜Ｆ５に存在する物体が人候補であると判定してもよい。また、画像処理部４１は、第１条件及び第２条件の両方が成立した場合に領域Ｆ１〜Ｆ５に存在する物体が人候補であると判定してもよい。即ち、領域Ｆ１〜Ｆ５に存在する物体が人候補か否かの判定は、種々の態様で行うことができる。 The image processing unit 41 may determine whether or not the object existing in the areas F1 to F5 is a human candidate from the aspect ratio of the areas F1 to F5, or may determine from the size of the areas F1 to F5. May be good. Further, the image processing unit 41 may determine whether or not the object existing in the areas F1 to F5 is a human candidate from both the aspect ratio of the areas F1 to F5 and the size of the areas F1 to F5. In this case, the image processing unit 41 has either one of the first condition in which the aspect ratio of the areas F1 to F5 falls within a predetermined range and the second condition in which the area of the areas F1 to F5 falls within a predetermined range. If is satisfied, it may be determined that the objects existing in the regions F1 to F5 are human candidates. Further, the image processing unit 41 may determine that the objects existing in the regions F1 to F5 are human candidates when both the first condition and the second condition are satisfied. That is, it can be determined in various ways whether or not the objects existing in the regions F1 to F5 are human candidates.
また、ステレオカメラ３１の設置高さやステレオカメラ３１の設置角度によって、人の写り方は異なり、これにより、領域Ｆ１〜Ｆ５の大きさも変化する。具体的にいえば、ステレオカメラ３１の設置高さが高いほど領域Ｆ１〜Ｆ５は狭くなる。カメラ３２，３３の光軸の延びる方向が鉛直方向に近付くほど領域Ｆ１〜Ｆ５の縦方向の寸法は短くなる。従って、ステレオカメラ３１の設置高さやステレオカメラ３１の設置角度によって、物体が人候補か否かを判定するための縦横比の範囲や領域Ｆ１〜Ｆ５の広さの範囲を変更してもよい。具体的にいえば、ステレオカメラ３１の設置高さが高いほど、物体が人候補か否かを判定するための領域Ｆ１〜Ｆ５の広さについて、範囲の下限値と上限値を小さくしてもよい。また、カメラ３２，３３の光軸の延びる方向が鉛直方向に近いほど、物体が人候補か否かを判定するための領域Ｆ１〜Ｆ５の縦横比の範囲について、範囲の下限値と上限値を小さくしてもよい。 Further, the way a person is photographed differs depending on the installation height of the stereo camera 31 and the installation angle of the stereo camera 31, and the size of the areas F1 to F5 also changes accordingly. Specifically, the higher the installation height of the stereo camera 31, the narrower the areas F1 to F5. The closer the extension direction of the optical axes of the cameras 32 and 33 is to the vertical direction, the shorter the vertical dimension of the regions F1 to F5. Therefore, the range of the aspect ratio and the range of the areas F1 to F5 for determining whether or not the object is a human candidate may be changed depending on the installation height of the stereo camera 31 and the installation angle of the stereo camera 31. Specifically, the higher the installation height of the stereo camera 31, the smaller the lower and upper limits of the range F1 to F5 for determining whether or not the object is a human candidate. Good. Further, as the direction in which the optical axis of the cameras 32 and 33 extends is closer to the vertical direction, the lower limit value and the upper limit value of the range of the aspect ratio of the areas F1 to F5 for determining whether or not the object is a human candidate are set. It may be made smaller.
人の年齢や、性別によっても領域Ｆ１〜Ｆ５の大きさは異なり、人の姿勢によっても領域Ｆ１〜Ｆ５の大きさは異なる。このため、どのような人を検出対象とするかによって、物体が人候補か否かを判定するための縦横比の範囲や領域Ｆ１〜Ｆ５の広さの範囲を変更してもよい。図９に示すように、第１画像Ｉ１では、領域Ｆ１〜Ｆ５のうち領域Ｆ１，Ｆ２，Ｆ４に存在する物体が人候補と判定される。画像処理部４１は、ステップＳ１０の処理を行うことで、人候補判定部として機能する。 The size of the regions F1 to F5 differs depending on the age and gender of the person, and the size of the regions F1 to F5 also differs depending on the posture of the person. Therefore, the range of the aspect ratio for determining whether or not the object is a candidate for a person and the range of the width of the areas F1 to F5 may be changed depending on what kind of person is to be detected. As shown in FIG. 9, in the first image I1, the objects existing in the regions F1, F2, and F4 of the regions F1 to F5 are determined to be human candidates. The image processing unit 41 functions as a person candidate determination unit by performing the processing in step S10.
次に、図４、図９及び図１０に示すように、ステップＳ１１において、画像処理部４１は、第１画像Ｉ１において人候補が存在していると判定された領域Ｆ１，Ｆ２，Ｆ４に対して人検出処理を行う。人検出処理は、第１画像Ｉ１から特徴量を抽出する特徴量抽出法により行われ、例えば、HOG：Histograms of Oriented Gradientsや、SIFT：Scale Invariant Feature Transformを用いて行われる。これにより、画像処理部４１は、ステップＳ１０で検出された人候補が人か人以外の物体かを判定することができる。図１０に示すように、第１画像Ｉ１では、領域Ｆ１，Ｆ２，Ｆ４のうち領域Ｆ１，Ｆ４に存在する物体が人であると判定される。なお、フォークリフト１０と人との位置関係は、ステップＳ９で予め算出しているため、画像処理部４１は、フォークリフト１０と人との位置関係を把握することができる。ステップＳ１１の処理を行うことで、画像処理部４１は、人判定部として機能する。 Next, as shown in FIGS. 4, 9 and 10, in step S11, the image processing unit 41 relates to the regions F1, F2 and F4 where it is determined in the first image I1 that a human candidate exists. Performs person detection processing. The human detection process is performed by a feature amount extraction method that extracts a feature amount from the first image I1, and is performed by using, for example, HOG: Histograms of Oriented Gradients or SIFT: Scale Invariant Feature Transform. As a result, the image processing unit 41 can determine whether the person candidate detected in step S10 is a person or an object other than a person. As shown in FIG. 10, in the first image I1, it is determined that the object existing in the regions F1 and F4 of the regions F1, F2 and F4 is a person. Since the positional relationship between the forklift 10 and the person is calculated in advance in step S9, the image processing unit 41 can grasp the positional relationship between the forklift 10 and the person. By performing the process of step S11, the image processing unit 41 functions as a person determination unit.
本実施形態の作用について説明する。
プロットエリアＡ２は、ワールド座標系のＸＹ平面を俯瞰したものであるため、画像処理部４１は、物体のプロットエリアＡ２上での座標から第１画像Ｉ１における領域Ｆ１〜Ｆ５を抽出することができる。そして、画像処理部４１は、領域Ｆ１〜Ｆ５に対して人検出処理を行うことで、第１画像Ｉ１から人を検出することができる。
The operation of this embodiment will be described.
Since the plot area A2 is a bird's-eye view of the XY plane of the world coordinate system, the image processing unit 41 can extract regions F1 to F5 in the first image I1 from the coordinates on the plot area A2 of the object. .. Then, the image processing unit 41 can detect a person from the first image I1 by performing the person detection process on the areas F1 to F5.
フォークリフト１０では、検出した物体が人の場合、物体が人以外の場合とは異なる処理が行われる場合がある。例えば、搭乗者の操作により動作するフォークリフト１０の場合、物体検出装置３０によって人が検出されると、メインコントローラ２０は搭乗者に対して近くに人がいる旨の報知を行う。報知は、表示によって報知を行う表示器や、音によって報知を行うブザー等を用いて行われる。また、メインコントローラ２０は、フォークリフト１０の周辺の人に対して、フォークリフト１０が近くにいることを認識させるための報知を行ってもよい。自動で動作するフォークリフト１０の場合、物体が人の場合と、物体が人以外の場合とで、走行経路や車速を変更する場合がある。例えば、メインコントローラ２０は、物体の回避を行う場合、物体が人以外の場合に比べて、物体が人の場合のほうが回避距離を大きくしたり、物体が人の場合の方が近くを走行するときの車速を低くする。 In the forklift 10, when the detected object is a person, processing different from the case where the object is not a person may be performed. For example, in the case of a forklift 10 operated by a passenger's operation, when a person is detected by the object detection device 30, the main controller 20 notifies the passenger that there is a person nearby. The notification is performed using a display that notifies by display, a buzzer that notifies by sound, or the like. Further, the main controller 20 may notify a person around the forklift 10 to recognize that the forklift 10 is nearby. In the case of the forklift 10 that operates automatically, the traveling route and the vehicle speed may be changed depending on whether the object is a person or the object is not a person. For example, when the main controller 20 avoids an object, the avoidance distance is longer when the object is a person than when the object is not a person, or when the object is a person, the main controller 20 travels closer. Decrease the vehicle speed at the time.
本実施形態の効果について説明する。
（１）画像処理部４１は、第１画像Ｉ１において物体が存在している領域Ｆ１〜Ｆ５を抽出し、抽出した領域Ｆ１〜Ｆ５に対して人検出処理を行う。領域Ｆ１〜Ｆ５に対して人検出処理を行えばよいため、第１画像Ｉ１の全体に対して人検出処理を行う場合に比べて、人の検出に要する時間を短縮できる。
The effect of this embodiment will be described.
(1) The image processing unit 41 extracts regions F1 to F5 in which an object exists in the first image I1, and performs human detection processing on the extracted regions F1 to F5. Since the person detection process may be performed on the regions F1 to F5, the time required for detecting the person can be shortened as compared with the case where the person detection process is performed on the entire first image I1.
（２）画像処理部４１は、領域Ｆ１〜Ｆ５の大きさから物体が人候補か否かを判定し、人候補が存在すると判定された領域Ｆ１，Ｆ２，Ｆ４に対して人検出処理を行う。物体が人候補か否かは、領域Ｆ１〜Ｆ５の大きさから判定できるため、短時間で判定を行うことができる。従って、全ての領域Ｆ１〜Ｆ５に対して人検出処理を行う場合に比べて、人の検出に要する時間を短縮できる。 (2) The image processing unit 41 determines whether or not the object is a human candidate from the sizes of the areas F1 to F5, and performs human detection processing on the areas F1, F2, and F4 where it is determined that the human candidate exists. .. Whether or not the object is a human candidate can be determined from the sizes of the regions F1 to F5, so that the determination can be made in a short time. Therefore, the time required for detecting a person can be shortened as compared with the case where the person detection process is performed on all the regions F1 to F5.
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○物体が人候補か否かの判定を行うことなく、全ての領域Ｆ１〜Ｆ５に対して人検出処理を行ってもよい。
The embodiment can be modified and implemented as follows. The embodiments and the following modifications can be implemented in combination with each other to the extent that they are technically consistent.
○ The person detection process may be performed on all the regions F1 to F5 without determining whether or not the object is a person candidate.
○画像処理部４１は、特徴点が存在する区分同士の間に、特徴点が存在しない区分が存在するか否かに関わらず、特徴点が存在する区分のうち最も高い区分を物体の高さとして設定してもよい。即ち、画像処理部４１は、路面から浮いている物体が存在すると推測される場合、路面から浮いている物体によって生じた特徴点を考慮して物体の高さを設定してもよい。 ○ The image processing unit 41 sets the height of the object as the highest division among the divisions in which the feature points exist, regardless of whether or not there is a division in which the feature points do not exist among the divisions in which the feature points exist. It may be set as. That is, when it is presumed that an object floating from the road surface exists, the image processing unit 41 may set the height of the object in consideration of the feature points generated by the object floating from the road surface.
○画像処理部４１は、第１区分を除く複数の区分に特徴点が存在している場合であり、かつ、特徴点が存在する区分同士の間に特徴点が存在しない区分が介在している場合、低い方の区分を物体の高さとして設定してもよい。例えば、第２区分及び第４区分に特徴点が存在しており、第３区分に特徴点が存在していない場合、物体の高さとして第２区分を設定してもよい。第２区分及び第４区分に特徴点が存在しており、第３区分に特徴点が存在していない場合、上下に向かい合う２つの物体が同一エリアＡ１に存在しているといえる。この場合、特徴点が存在する区分のうち最も高い区分とは、上下に向かい合う２つの物体のうち下方の物体によって生じた特徴点のみを考慮した区分である。 ○ The image processing unit 41 is a case where feature points exist in a plurality of sections other than the first section, and there is a section in which the feature points do not exist between the sections in which the feature points exist. In that case, the lower division may be set as the height of the object. For example, when the feature points exist in the second section and the fourth section and the feature points do not exist in the third section, the second section may be set as the height of the object. When the feature points exist in the second section and the fourth section and the feature points do not exist in the third section, it can be said that two objects facing each other up and down exist in the same area A1. In this case, the highest category among the categories in which the feature points exist is the category in which only the feature points generated by the lower object among the two objects facing up and down are considered.
○特徴点の高さの区分は、４つ以上に分けられていてもよい。例えば、実施形態の区分に加えて、０［ｍｍ］以上５００［ｍｍ］未満の区分を第５区分として追加してもよい。
○画像処理部４１は、エリアＡ１に物体が存在しているか否かを判定する際の閾値をプロットエリアのＹ座標Ｙｗに応じて変更してもよい。画像処理部４１は、Ｙ軸方向に対して原点Ｏから離れたエリアＡ１ほど、閾値を低くする。これにより、Ｙ軸方向に対して原点Ｏから離れたエリアＡ１ほど、特徴点の総和が低くても物体が存在していると判定されることになる。実施形態に記載したように、Ｙ座標Ｙｗが大きくなるほど特徴点は離散的になる。このため、Ｙ軸方向に対して原点Ｏから離れたエリアＡ１ほど、閾値を低くすることで、特徴点が離散しやすいエリアＡ１でも物体の検出を行うことができる。即ち、フォークリフト１０から離れている物体であっても検出が可能になる。
○ The height of the feature points may be divided into four or more. For example, in addition to the categories of the embodiment, a category of 0 [mm] or more and less than 500 [mm] may be added as the fifth category.
○ The image processing unit 41 may change the threshold value for determining whether or not an object exists in the area A1 according to the Y coordinate Yw of the plot area. The image processing unit 41 lowers the threshold value as the area A1 is farther from the origin O in the Y-axis direction. As a result, it is determined that the area A1 farther from the origin O in the Y-axis direction is that the object exists even if the sum of the feature points is low. As described in the embodiment, the larger the Y coordinate Yw, the more discrete the feature points. Therefore, by lowering the threshold value as the area A1 is farther from the origin O in the Y-axis direction, the object can be detected even in the area A1 where the feature points are likely to be dispersed. That is, even an object far from the forklift 10 can be detected.
○画像処理部４１は、特徴点の計数を行う際に、Ｘ座標Ｘｗ及びＹ座標Ｙｗが同一であり、Ｚ座標Ｚｗのみが異なる複数の特徴点が存在する場合、Ｚ座標Ｚｗが最も大きい特徴点のみを計数してもよい。 ○ When the image processing unit 41 counts the feature points, when there are a plurality of feature points in which the X coordinate Xw and the Y coordinate Yw are the same and only the Z coordinate Zw is different, the Z coordinate Zw is the largest feature. Only points may be counted.
○物体が人か否かの判定は、教師有り学習モデルによる機械学習を行った人判定部に対して第１画像Ｉ１を入力することで行われてもよい。詳細にいえば、学習済みの人判定部に対して、第１画像Ｉ１のうち物体が写っている領域Ｆ１〜Ｆ５を入力することで、物体が人か否かを判定させてもよい。人判定部としては、例えば、サポートベクタマシン、ニューラルネットワーク、ナイーブベイズ、決定木等の教師有り学習器を採用することが可能である。機械学習に用いる教師データとしては、画像から抽出された人の形状要素や、外観要素などの画像固有成分が用いられる。形状要素として、例えば、人の大きさや輪郭などが挙げられる。外観要素としては、例えば、光源情報、テクスチャ情報、カメラ情報などが挙げられる。光源情報には、反射率や、陰影等に関する情報が含まれる。テクスチャ情報には、カラー情報等が含まれる。カメラ情報には、画質、解像度、画角等に関する情報が含まれる。 -The determination as to whether or not the object is a human may be performed by inputting the first image I1 to the human determination unit that has performed machine learning by the supervised learning model. More specifically, the trained person determination unit may be made to determine whether or not the object is a person by inputting the regions F1 to F5 in the first image I1 in which the object is captured. As the human determination unit, for example, a supervised learner such as a support vector machine, a neural network, a naive Bayes, or a decision tree can be adopted. As the teacher data used for machine learning, image-specific components such as human shape elements and appearance elements extracted from the image are used. Examples of the shape element include the size and contour of a person. Examples of the appearance element include light source information, texture information, camera information, and the like. The light source information includes information on reflectance, shading, and the like. The texture information includes color information and the like. The camera information includes information on image quality, resolution, angle of view, and the like.
○俯瞰図として、複数のエリアＡ１に分割されたプロットエリアＡ２以外を用いてもよい。例えば、特許文献１に記載された俯瞰図であってもよい。
○三次元座標系は、直交座標系に限られず、極座標系としてもよい。この場合、極座標系のうち水平面を表す座表面は、座標面の原点を中心として扇状のエリアＡ１に分割される。
○ As a bird's-eye view, a plot area other than the plot area A2 divided into a plurality of areas A1 may be used. For example, it may be a bird's-eye view described in Patent Document 1.
○ The three-dimensional coordinate system is not limited to the orthogonal coordinate system, but may be a polar coordinate system. In this case, the seat surface representing the horizontal plane in the polar coordinate system is divided into fan-shaped areas A1 centered on the origin of the coordinate plane.
○ステレオカメラ３１によって撮像された画像のうち第２画像から人を検出するようにしてもよい。この場合、画像処理部４１は、プロットエリアＡ２の原点Ｏと物体との位置関係から第２画像上での人候補の座標を算出するが、第２画像は比較画像であるため、基線長に応じたずれが生じる。このため、画像処理部４１は、基線長に応じて第２画像上での人候補の座標を補正し、補正した座標から物体が存在している領域を抽出する。 ○ A person may be detected from the second image of the images captured by the stereo camera 31. In this case, the image processing unit 41 calculates the coordinates of the human candidate on the second image from the positional relationship between the origin O of the plot area A2 and the object, but since the second image is a comparison image, the baseline length is set. There will be a corresponding shift. Therefore, the image processing unit 41 corrects the coordinates of the person candidate on the second image according to the baseline length, and extracts the region where the object exists from the corrected coordinates.
○画像処理部４１は、視差画像ｄｐから路面の視差を除去する際に、ハフ変換などの直線抽出法を用いて路面を検出してもよい。路面は、平坦であるため、路面の視差はステレオカメラ３１から離れるにつれて徐々に小さくなっていく。従って、視差画像ｄｐのＹ座標Ｙｉと、路面の視差との二次元座標系に視差をプロットすると、路面の視差が直線状になって現れる。画像処理部４１は、この直線の視差を路面の視差として除去する。 -The image processing unit 41 may detect the road surface by using a linear extraction method such as a Hough transform when removing the parallax of the road surface from the parallax image dp. Since the road surface is flat, the parallax of the road surface gradually decreases as the distance from the stereo camera 31 increases. Therefore, when the parallax is plotted in the two-dimensional coordinate system of the Y coordinate Yi of the parallax image dp and the parallax of the road surface, the parallax of the road surface appears as a straight line. The image processing unit 41 removes the parallax of this straight line as the parallax of the road surface.
○画像処理部４１は、路面の視差を除去しなくてもよい。路面は、高さが低いため、視差画像ｄｐから視差を除去しない場合であっても、第１区分には含まれず、実施形態と同様の効果が得られる。 ○ The image processing unit 41 does not have to remove the parallax on the road surface. Since the height of the road surface is low, even if the parallax is not removed from the parallax image dp, it is not included in the first category, and the same effect as that of the embodiment can be obtained.
○視差画像取得部、座標算出部、俯瞰図取得部、物体座標算出部、領域抽出部、人判定部、及び人候補判定部は、それぞれ、個別の制御装置によって構成されていてもよい。
○カメラ座標からワールド座標への変換はテーブルデータによって行われてもよい。テーブルデータは、Ｙ座標ＹｃとＺ座標Ｚｃの組み合わせにＹ座標Ｙｗを対応させたテーブルデータと、Ｙ座標ＹｃとＺ座標Ｚｃとの組み合わせにＺ座標Ｚｗを対応させたテーブルデータである。これらのテーブルデータを画像処理部４１のＲＯＭなどに記憶しておくことで、カメラ座標系におけるＹ座標ＹｃとＺ座標Ｚｃから、ワールド座標系におけるＹ座標Ｙｗ及びＺ座標Ｚｗを求めることができる。同様に、ワールド座標からカメラ座標への変換についてもテーブルデータによって行われてもよい。
○ The parallax image acquisition unit, the coordinate calculation unit, the bird's-eye view acquisition unit, the object coordinate calculation unit, the area extraction unit, the person determination unit, and the person candidate determination unit may each be configured by individual control devices.
○ Conversion from camera coordinates to world coordinates may be performed by table data. The table data is table data in which the Y coordinate Yw is associated with the combination of the Y coordinate Yc and the Z coordinate Zc, and the table data in which the Z coordinate Zw is associated with the combination of the Y coordinate Yc and the Z coordinate Zc. By storing these table data in the ROM of the image processing unit 41 or the like, the Y coordinate Yw and the Z coordinate Zw in the world coordinate system can be obtained from the Y coordinate Yc and the Z coordinate Zc in the camera coordinate system. Similarly, the conversion from the world coordinates to the camera coordinates may be performed by the table data.
○第１カメラ３２と第２カメラ３３は、鉛直方向に並んで配置されていてもよい。
○第１画像Ｉ１の画素数と第２画像の画素数とは異なっていてもよい。例えば、比較画像である第２画像の画素数を視差画像の画素数と同一とし、基準画像である第１画像Ｉ１の画素数を第２画像の画素数よりも多くしてもよい。
○ The first camera 32 and the second camera 33 may be arranged side by side in the vertical direction.
○ The number of pixels of the first image I1 and the number of pixels of the second image may be different. For example, the number of pixels of the second image, which is a comparative image, may be the same as the number of pixels of the differential image, and the number of pixels of the first image I1 which is the reference image may be larger than the number of pixels of the second image.
○ステレオカメラ３１は、３つ以上のカメラを備えていてもよい。
○フォークリフト１０は、エンジンの駆動によって走行するものでもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
○ The stereo camera 31 may include three or more cameras.
○ The forklift 10 may be driven by an engine. In this case, the travel control device is a device that controls the fuel injection amount to the engine and the like.
○物体検出装置３０は、建設機械、自動搬送車、トラックなどフォークリフト１０以外の産業車両や乗用車などの移動体に搭載されていてもよい。 ○ The object detection device 30 may be mounted on a moving body such as an industrial vehicle or a passenger car other than the forklift 10 such as a construction machine, an automatic guided vehicle, or a truck.
３０…物体検出装置、３１…ステレオカメラ、４１…視差画像取得部、座標算出部、俯瞰図取得部、物体座標算出部、領域抽出部、人判定部、及び人候補判定部して機能する画像処理部。 30 ... Object detection device, 31 ... Stereo camera, 41 ... Parallax image acquisition unit, coordinate calculation unit, bird's-eye view acquisition unit, object coordinate calculation unit, area extraction unit, person determination unit, and image that functions as a person candidate determination unit Processing unit.
Claims (2)
前記ステレオカメラによる撮像が行われた画像から各画素に視差が対応付けられた視差画像を取得する視差画像取得部と、
前記視差が取得された特徴点について、実空間上での位置を表す三次元座標系での座標を算出する座標算出部と、
前記三次元座標系の水平面を俯瞰した俯瞰図を得る俯瞰図取得部と、
前記俯瞰図において物体が存在する座標を算出する物体座標算出部と、
前記俯瞰図における前記物体の座標から、前記画像において前記物体が存在する領域を抽出する領域抽出部と、
前記領域に対して人検出処理を行うことで、前記物体が人か否かを判定する人判定部と、を備える物体検出装置。 With a stereo camera
A parallax image acquisition unit that acquires a parallax image in which parallax is associated with each pixel from an image captured by the stereo camera.
A coordinate calculation unit that calculates the coordinates of the feature point for which the parallax has been acquired in a three-dimensional coordinate system that represents the position in real space, and
A bird's-eye view acquisition unit that obtains a bird's-eye view of the horizontal plane of the three-dimensional coordinate system,
An object coordinate calculation unit that calculates the coordinates of the existence of an object in the bird's-eye view,
A region extraction unit that extracts a region in which the object exists in the image from the coordinates of the object in the bird's-eye view,
An object detection device including a person determination unit that determines whether or not the object is a person by performing a person detection process on the area.
前記人判定部は、前記人候補判定部によって人候補が存在すると判定された前記領域に対して前記人検出処理を行う請求項１に記載の物体検出装置。 A person candidate determination unit for determining whether or not an object in the area is a person candidate based on the size of the area in the image is provided.
The object detection device according to claim 1, wherein the person determination unit performs the person detection process on the area where the person candidate determination unit determines that a person candidate exists.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019030461A JP7180445B2 (en) | 2019-02-22 | 2019-02-22 | object detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019030461A JP7180445B2 (en) | 2019-02-22 | 2019-02-22 | object detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020135616A true JP2020135616A (en) | 2020-08-31 |
| JP7180445B2 JP7180445B2 (en) | 2022-11-30 |
Family
ID=72278805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019030461A Active JP7180445B2 (en) | 2019-02-22 | 2019-02-22 | object detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7180445B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436201A (en) * | 2021-05-26 | 2021-09-24 | 清华大学 | Article fingerprint area selection method and device |
| EP4216176A1 (en) | 2022-01-24 | 2023-07-26 | Kabushiki Kaisha Toyota Jidoshokki | Image processing device of person detection system |
| EP4216177A1 (en) | 2022-01-24 | 2023-07-26 | Kabushiki Kaisha Toyota Jidoshokki | Image processing device of person detection system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351193A (en) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | Device for detecting passenger |
| JP2005259173A (en) * | 2005-05-23 | 2005-09-22 | Omron Corp | Human detector, human detecting method and program |
| JP2006113738A (en) * | 2004-10-13 | 2006-04-27 | Matsushita Electric Ind Co Ltd | Device and method for detecting object |
| JP2007316856A (en) * | 2006-05-24 | 2007-12-06 | Sumitomo Electric Ind Ltd | Traveling object detecting device, computer program, and traveling object detection method |
| JP2014081871A (en) * | 2012-10-18 | 2014-05-08 | Yamaha Motor Co Ltd | Obstacle detector and vehicle using the same |
| JP2015520433A (en) * | 2012-03-26 | 2015-07-16 | ティーケー ホールディングス インコーポレーテッド | Range-cue object segmentation system and method |
| JP2017083326A (en) * | 2015-10-29 | 2017-05-18 | 株式会社リコー | Image processor, imaging apparatus, equipment control system, frequency distribution image generation method, and program |
-
2019
- 2019-02-22 JP JP2019030461A patent/JP7180445B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351193A (en) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | Device for detecting passenger |
| JP2006113738A (en) * | 2004-10-13 | 2006-04-27 | Matsushita Electric Ind Co Ltd | Device and method for detecting object |
| JP2005259173A (en) * | 2005-05-23 | 2005-09-22 | Omron Corp | Human detector, human detecting method and program |
| JP2007316856A (en) * | 2006-05-24 | 2007-12-06 | Sumitomo Electric Ind Ltd | Traveling object detecting device, computer program, and traveling object detection method |
| JP2015520433A (en) * | 2012-03-26 | 2015-07-16 | ティーケー ホールディングス インコーポレーテッド | Range-cue object segmentation system and method |
| JP2014081871A (en) * | 2012-10-18 | 2014-05-08 | Yamaha Motor Co Ltd | Obstacle detector and vehicle using the same |
| JP2017083326A (en) * | 2015-10-29 | 2017-05-18 | 株式会社リコー | Image processor, imaging apparatus, equipment control system, frequency distribution image generation method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 笹谷 聡、外３名: ""監視向けステレオカメラを用いた高精度かつ遮蔽ロバストな人物追跡"", ＳＳＩＩ２０１５ 第２１回 画像センシングシンポジウム 講演論文集, JPN6022014943, 10 June 2015 (2015-06-10), JP, pages 1 - 4, ISSN: 0004897688 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436201A (en) * | 2021-05-26 | 2021-09-24 | 清华大学 | Article fingerprint area selection method and device |
| CN113436201B (en) * | 2021-05-26 | 2023-01-06 | 清华大学 | Article fingerprint area selection method and device |
| EP4216176A1 (en) | 2022-01-24 | 2023-07-26 | Kabushiki Kaisha Toyota Jidoshokki | Image processing device of person detection system |
| EP4216177A1 (en) | 2022-01-24 | 2023-07-26 | Kabushiki Kaisha Toyota Jidoshokki | Image processing device of person detection system |
| KR20230114202A (en) | 2022-01-24 | 2023-08-01 | 가부시키가이샤 도요다 지도숏키 | Image processing device of person detection system |
| KR20230114201A (en) | 2022-01-24 | 2023-08-01 | 가부시키가이샤 도요다 지도숏키 | Image processing device of person detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7180445B2 (en) | 2022-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3716145A1 (en) | Object detection device and method | |
| JP7180445B2 (en) | object detector | |
| JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
| EP3633619B1 (en) | Position detection apparatus and position detection method | |
| US20230237809A1 (en) | Image processing device of person detection system | |
| CN112611360B (en) | Object detection device, vehicle, and object detection processing method | |
| WO2022004495A1 (en) | Obstacle detection device and obstacle detection method | |
| JP6171608B2 (en) | Object detection device | |
| JP7081526B2 (en) | Object detector | |
| US20230237830A1 (en) | Image processing device of person detection system | |
| JP7014122B2 (en) | Object detection device and object detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7180445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |