JP7009945B2 - Image processing equipment and vehicles - Google Patents
Image processing equipment and vehicles Download PDFInfo
- Publication number
- JP7009945B2 JP7009945B2 JP2017220195A JP2017220195A JP7009945B2 JP 7009945 B2 JP7009945 B2 JP 7009945B2 JP 2017220195 A JP2017220195 A JP 2017220195A JP 2017220195 A JP2017220195 A JP 2017220195A JP 7009945 B2 JP7009945 B2 JP 7009945B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- area
- representative
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置及び車両に関する。 The present invention relates to an image processing device and a vehicle .
ステレオカメラによって撮像された画像を画像処理して、画像に写った対象物の位置を算出する画像処理装置としては、例えば、特許文献1に記載されている。
特許文献1の画像処理装置は、ステレオカメラによって撮像された画像から視差画像を取得し、視差画像から画像に写った先行車を検出している。自動車の場合、高さ1m~1.5m付近に側縁が存在するため、画像処理装置は、画像において高さ1mに相当する部分のみ画像処理を行っている。即ち、位置を算出する対象物を自動車の側縁に限定することで、画像の特定部分のみしか画像処理を行わなくても、先行車を検出できるようにしている。
For example, Patent Document 1 describes an image processing device that processes an image captured by a stereo camera and calculates the position of an object in the image.
The image processing device of Patent Document 1 acquires a parallax image from an image captured by a stereo camera, and detects a preceding vehicle reflected in the image from the parallax image. In the case of an automobile, since the side edge exists in the vicinity of the height of 1 m to 1.5 m, the image processing apparatus performs image processing only on the portion corresponding to the height of 1 m in the image. That is, by limiting the object for which the position is calculated to the side edge of the automobile, the preceding vehicle can be detected even if the image processing is performed only on a specific part of the image.
ところで、画像に写る障害物など、先行車以外の物体を検出したい場合、画像における特定部分とは異なる部分についても、対象物の位置を算出する必要がある。しかしながら、画像の全体に対して画像処理を行うと、画像の特定部分とは異なる部分に写る対象物の位置も算出できる一方で、計算コストが増大する。 By the way, when it is desired to detect an object other than the preceding vehicle such as an obstacle shown in an image, it is necessary to calculate the position of the object even for a part different from a specific part in the image. However, when image processing is performed on the entire image, the position of the object appearing in a portion different from the specific portion of the image can be calculated, but the calculation cost increases.
本発明の目的は、計算コストの増大を抑制しつつ、画像に写る対象物の位置を算出することができる画像処理装置及び車両を提供することにある。 An object of the present invention is to provide an image processing device and a vehicle capable of calculating the position of an object reflected in an image while suppressing an increase in calculation cost.
上記課題を解決する画像処理装置は、ステレオカメラによって撮像された画像を画像処理して、前記画像に写る対象物の位置を算出する画像処理装置であって、前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、前記視差画像を複数の画素を含んだエリアに分割する分割手段と、前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備える。 The image processing device that solves the above-mentioned problems is an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a misalignment is generated for each pixel from the image. An area based on an acquisition means for acquiring an associated disparity image, a division means for dividing the disparity image into an area containing a plurality of pixels, and a disparity associated with a plurality of pixels included in the area. It is provided with a representative parallax derivation means for deriving the representative parallax for each, and a position calculation means for calculating the position of the object to be reflected in the image from the representative parallax.
これによれば、視差画像を複数のエリアに分割し、エリア毎に対応付けられた代表視差から画像に写る対象物の位置を算出することができる。エリアは、複数の画素を含んでいるため、視差画像の画素毎に対象物の位置を算出する場合に比べて、画像処理装置の計算コストを低減することができる。また、位置算出手段は、視差画像を分割したエリア毎に対象物の位置を算出するため、視差画像の全体に亘って対象物の位置の算出が行われることになる。したがって、計算コストの増大を抑制しつつ、画像に写る対象物の位置を検出することができる。 According to this, the parallax image can be divided into a plurality of areas, and the position of the object reflected in the image can be calculated from the representative parallax associated with each area. Since the area includes a plurality of pixels, the calculation cost of the image processing device can be reduced as compared with the case where the position of the object is calculated for each pixel of the parallax image. Further, since the position calculation means calculates the position of the object for each area in which the parallax image is divided, the position of the object is calculated over the entire parallax image. Therefore, it is possible to detect the position of the object in the image while suppressing the increase in the calculation cost.
上記画像処理装置について、前記代表視差導出手段は、前記エリアに含まれる各画素に対応付けられた視差についての分布を求め、頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差とする。 With respect to the image processing apparatus, the representative parallax deriving means obtains a distribution of parallax associated with each pixel included in the area, and representative parallax is the largest value of the most frequently used parallax. And .
ステレオカメラによって撮像された画像から視差画像を取得すると、ステレオカメラに近い画素ほど、対応付けられる視差が大きくなる。頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差とすることで、ステレオカメラに近い対象物の位置を優先して算出することができる。 When a parallax image is acquired from an image captured by a stereo camera, the closer the pixels are to the stereo camera, the larger the associated parallax. By using the parallax of the largest value among the high-frequency parallax as the representative parallax, the position of the object close to the stereo camera can be preferentially calculated.
上記画像処理装置について、前記分割手段は、前記エリアを前記エリアよりも細分化された細分化エリアに分割可能であり、前記代表視差導出手段は、前記細分化エリアの代表視差を導出可能である。 Regarding the image processing apparatus, the division means can divide the area into subdivision areas that are subdivided from the area, and the representative parallax derivation means can derive the representative parallax of the subdivision area. To .
これによれば、位置算出手段は、細分化エリアの代表視差から対象物の位置を算出することができる。対象物の位置精度を向上させたいエリアについては、エリアよりも細分化された細分化エリアの代表視差から対象物の位置を算出することで、対象物の位置精度を向上させることができる。 According to this, the position calculation means can calculate the position of the object from the representative parallax of the subdivided area. For an area where the position accuracy of the object is desired to be improved, the position accuracy of the object can be improved by calculating the position of the object from the representative parallax of the subdivided area subdivided from the area.
上記画像処理装置について、前記分割手段は、前記視差画像において、前記ステレオカメラから離れた前記エリアほど含まれる画素が少なくなるように分割を行う。
視差は、ステレオカメラに近いほど大きくなり、ステレオカメラから離れるほど小さくなる。すると、視差画像を均等なエリアに分割した場合、ステレオカメラから離れたエリアほど、代表視差の値の変化によって、算出される対象物の位置が大きく変化する。即ち、ステレオカメラから離れたエリアほど、対象物の位置精度が低くなりやすい。ステレオカメラから離れたエリアほど含まれる画素を少なくすることで、ステレオカメラから離れたエリアにおける対象物の位置精度を向上させることができる。対象物の位置精度が低くなりにくいエリアと、対象物の位置精度が低くなりやすいエリアで含まれる画素数を変更することで、計算コストの増大を抑制しつつ、対象物の位置精度の低下を抑制できる。
上記課題を解決する車両は、ステレオカメラによって撮像された画像を画像処理して、前記画像に写る対象物の位置を算出する画像処理装置と、走行動作及び荷役動作に関する制御を行うコントローラと、を備えた車両であって、前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、前記視差画像を複数の画素を含んだエリアに分割する分割手段と、前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、前記分割手段は、前記視差画像において、前記エリアが格子状になるように分割を行い、前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う。
Regarding the image processing device, the dividing means divides the parallax image so that the area farther from the stereo camera contains fewer pixels.
The parallax increases as the distance from the stereo camera increases and decreases as the distance from the stereo camera increases. Then, when the parallax image is divided into equal areas, the position of the calculated object changes greatly due to the change in the value of the representative parallax as the area is farther from the stereo camera. That is, the farther the area is from the stereo camera, the lower the position accuracy of the object tends to be. By reducing the number of pixels included in the area farther from the stereo camera, it is possible to improve the positional accuracy of the object in the area farther from the stereo camera. By changing the number of pixels included in the area where the position accuracy of the object is unlikely to be low and the area where the position accuracy of the object is likely to be low, the increase in calculation cost is suppressed and the position accuracy of the object is reduced. Can be suppressed.
A vehicle that solves the above problems includes an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a controller that controls traveling and cargo handling operations. The vehicle is provided with an acquisition means for acquiring a parallax image in which a parallax is associated with each pixel from the image, a dividing means for dividing the parallax image into an area including a plurality of pixels, and the area. A representative parallax derivation means for deriving a representative parallax for each area based on the parallax associated with a plurality of included pixels, and a position calculation means for calculating the position of an object to be reflected in the image from the representative parallax. The dividing means divides the parallax image so that the area is in a grid pattern, and the controller sets a predetermined value as a relative distance between the current position of the vehicle and the calculated position of the object. Deceleration processing is performed in the following cases.
本発明によれば、計算コストの増大を抑制しつつ、画像に写る対象物の位置を算出することができる。 According to the present invention, it is possible to calculate the position of an object to be captured in an image while suppressing an increase in calculation cost.
(第1実施形態)
以下、画像処理装置の第1実施形態について説明する。
図1に示すように、フォークリフト10は、メインコントローラ20と、走行用モータM1を制御する走行制御装置23と、車速センサ24と、を備える。メインコントローラ20は、走行動作、及び、荷役動作に関する制御を行う。メインコントローラ20は、CPU(演算部)21と、種々の制御を行うためのプログラムなどが記憶されたメモリ22と、を備える。
(First Embodiment)
Hereinafter, the first embodiment of the image processing apparatus will be described.
As shown in FIG. 1, the
メインコントローラ20のCPU21は、フォークリフト10の車速が目標速度となるように走行制御装置23に走行用モータM1の回転数の指令を与える。メインコントローラ20は、走行制御装置23に走行用モータM1を回転させる方向の指令を与えることで、フォークリフト10を進行させる方向(前進又は後進)を制御する。
The
本実施形態の走行制御装置23は、モータドライバである。本実施形態の車速センサ24は、走行用モータM1の回転数を検出する回転数センサである。車速センサ24は、走行用モータM1の回転数を走行制御装置23に出力する。走行制御装置23は、メインコントローラ20からの指令に基づき、走行用モータM1の回転数が指令と一致するように走行用モータM1を制御する。走行制御装置23は、走行用モータM1の回転方向がメインコントローラ20からの指令と一致するように走行用モータM1を制御する。なお、フォークリフト10は、自動で走行動作及び荷役動作が行われるものであってもよいし、搭乗者(オペレータ)による操作によって走行動作及び荷役動作が行われるものであってもよい。
The travel control device 23 of this embodiment is a motor driver. The
フォークリフト10には、障害物検出装置30が搭載されている。障害物検出装置30は、2つの撮像装置31,41を備える。2つの撮像装置31,41のうちの一方は、前方撮像装置31であり、他方は後方撮像装置41である。前方撮像装置31は、フォークリフト10の前方を撮像するステレオカメラである。後方撮像装置41は、フォークリフト10の後方を撮影するステレオカメラである。
The
前方撮像装置31は、2つのカメラ32,33を備える。カメラ32,33としては、例えば、CCDイメージセンサや、CMOSイメージセンサが用いられる。各カメラ32,33は、互いの光軸が平行となるように配置されている。なお、各カメラ32,33の光軸は、水平であってもよいし、水平でなくてもよい。2つのカメラ32,33のうち、一方を第1カメラ32とし、他方を第2カメラ33とする。後方撮像装置41は、前方撮像装置31と同一構成であり、第1カメラ42と、第2カメラ43と、を備える。本実施形態において、各カメラ32,33,42,43によって撮像される画像の画素数は、同一である。画像としては、例えば、VGA(640×480ピクセル)が用いられる。以下の説明において、第1カメラ32,42によって撮像された画像を第1画像、第2カメラ33,43によって撮像された画像を第2画像として説明を行う。
The front
障害物検出装置30は、各撮像装置31,41によって撮像された画像を画像処理して、画像に写る対象物の位置を算出する画像処理装置50を備える。画像処理装置50は、CPU、RAM、ROM等から構成されている。
The
以下、画像処理装置50の行う画像処理について作用とともに説明する。
画像処理装置50は、撮像装置31,41によって撮像された画像から、視差を算出する。視差は、撮像装置31,41のそれぞれについて第1画像と、第2画像とを比較し、各画像に写る同一の対象物について第1画像と第2画像の画像位置(ピクセル)の差を算出することで得られる。画像位置の差は、第1画像に写る対象物と、第2画像に写る対象物との画素(ピクセル)数の差[px]である。本実施形態において、視差は視差画像として得られる。視差画像とは、撮像装置31,41によって撮像された画像に写る対象物と、当該対象物の視差とを対応付けた画像である。視差画像には、画素毎に視差が対応付けられている。視差画像の画素数は、第1画像(第2画像)の画素数と同一である。なお、視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素(視差画像におけるX座標及びY座標)に視差が対応付けられたデータのことを示す。画像処理装置50は、視差画像を取得する取得手段を備えているといえる。
Hereinafter, the image processing performed by the
The
なお、対象物とは、各画像に含まれる特徴部分であり、例えば、物体のエッジなど、境目として認識可能な部分である。対象物は、輝度情報などから検出することができ、画像処理装置50は、対象物から視差を算出することができる。
The object is a feature portion included in each image, and is a portion that can be recognized as a boundary, such as an edge of an object. The object can be detected from the luminance information and the like, and the
図2に示すように、本実施形態の視差画像Iは、視差を濃淡によって表わしたものである。視差は、撮像装置31,41から近いほど大きくなり、撮像装置31,41から離れるほど小さくなる。視差画像Iは、視差の大きい画素ほど濃く、視差の小さい画素ほど薄くなるように表現されている。
As shown in FIG. 2, the parallax image I of the present embodiment represents the parallax by shading. The parallax increases as the distance from the
画像処理装置50は、視差画像Iを複数のエリアAに分割する。本実施形態の画像処理装置50は、全てのエリアAの画素数が同一となるように視差画像Iを均等に分割する。分割された各エリアAは、複数の画素を含む。したがって、各エリアAは、複数の画素に対応付けられた視差を含んでいるといえる。画像処理装置50は、分割手段を備えているといえる。
The
画像処理装置50は、エリアA毎に代表視差を求める。代表視差とは、エリアAに対応付けられる視差である。上記したように、エリアAは、複数の画素を含んでいるため、画像処理装置50は、各画素に対応付けられた視差に基づき、代表視差を導出する。代表視差とは、エリアAを1つの画素としてみなした場合に、当該画素に対応付けられる視差であるといえる。本実施形態において、画像処理装置50は、各エリアAの視差のうち最も頻度の高い視差を代表視差とする。
The
例えば、各エリアAのうちの1つのエリアA1(図2において破線で囲まれたエリアA)について、値の異なる視差毎に計数を行うと、図3に示すように、視差と頻度との関係を示す分布(ヒストグラム)が求められる。 For example, when counting is performed for each parallax having different values for one area A1 (area A surrounded by a broken line in FIG. 2) of each area A, as shown in FIG. 3, the relationship between the parallax and the frequency is performed. A distribution (histogram) showing the above is obtained.
図3から把握できるように、画像処理装置50は、視差についての分布を求めることで、エリアA1において、最も頻度の高い(割合の大きい)視差を導出することができる。画像処理装置50は、最も頻度の高い視差を代表視差として、エリアA1に対応付ける。画像処理装置50は、視差画像Iを分割した全てのエリアAについて代表視差を対応付ける。画像処理装置50は、代表視差導出手段を備えているといえる。
As can be seen from FIG. 3, the
画像処理装置50は、代表視差からフォークリフト10の周囲に存在する対象物の位置を算出する。まず、画像処理装置50は、視差画像Iからカメラ座標系における対象物の位置を算出する。カメラ座標系は、光軸をZ軸とし、光軸に直交する2つの軸のそれぞれをX軸、Y軸とする3軸直交座標系である。カメラ座標系における対象物の位置は、カメラ座標系におけるZ座標Zc、X座標Xc、Y座標Ycで表わすことができる。Z座標Zc、X座標Xc、及び、Y座標Ycは、それぞれ、以下の(1)式~(3)式を用いて算出することができる。
The
ここで、フォークリフト10の進行方向に延びる軸をY軸、鉛直方向に延びる軸をZ軸、Y軸及びZ軸に直交する軸をX軸とする3軸直交座標系(ワールド座標系)での座標を実空間上での座標(ワールド座標)とする。実空間上での対象物の位置は、実空間上におけるX座標Xw、Y座標Yw、Z座標Zwで表わすことができる。
Here, in a three-axis Cartesian coordinate system (world coordinate system) in which the axis extending in the traveling direction of the
各カメラ32,33,42,43の光軸が水平(鉛直方向と直交)となるように撮像装置31,41が設置されている場合、Xc=Xw、Yc=Zw、Zc=Ywとなる。即ち、カメラ座標系における対象物の位置が実空間上での対象物の位置となる。
When the
一方で、各カメラ32,33、42,43の光軸が水平(鉛直方向と直交)ではない場合、画像処理装置50は、以下の(4)式を用いて座標変換(ワールド座標変換)を行う。
On the other hand, when the optical axes of the
画像処理装置50は、実空間上での位置(座標)が算出された対象物のうち、所定の高さ以上のものをXY平面にプロットする。所定の高さは、フォークリフト10の走行に際して障害となり得る高さであり、例えば、100[mm]である。対象物が所定の高さ以上か否かは、対象物のZ座標Zwから判断することができる。
The
XY平面に対象物をプロットすると、フォークリフト10の走行の障害となり得る障害物を俯瞰した場合の位置情報を得ることができる。
ここで、代表視差を用いて算出された対象物の位置は、エリアAを1つの画素とみなして算出したものである。このため、視差画像Iの全ての画素に対応付けられた視差から対象物の位置を算出する場合に比べると、対象物の位置精度は低くなる。具体的にいうと、実際の対象物の位置と、算出される対象物の位置との差が大きくなる。
By plotting an object on the XY plane, it is possible to obtain position information when a bird's-eye view of an obstacle that may be an obstacle to the running of the
Here, the position of the object calculated by using the representative parallax is calculated by regarding the area A as one pixel. Therefore, the position accuracy of the object is lower than that of the case where the position of the object is calculated from the parallax associated with all the pixels of the parallax image I. Specifically, the difference between the actual position of the object and the calculated position of the object becomes large.
図4(a)は視差画像Iを100画素(10×10画素)のエリアAに分割した場合に、XY平面にプロットされる対象物を示している。図4(b)は視差画像Iを25画素(5×5画素)のエリアAに分割した場合にXY平面にプロットされる対象物を示している。図4(c)は視差画像Iを分割しない場合にXY平面にプロットされる対象物を示している。なお、図4(a)~図4(c)は、視差画像IにおけるエリアA1、及び、エリアA1の周辺のエリアAから対象物の位置を算出した場合のXY平面を示している。 FIG. 4A shows an object plotted on the XY plane when the parallax image I is divided into an area A of 100 pixels (10 × 10 pixels). FIG. 4B shows an object plotted on the XY plane when the parallax image I is divided into an area A of 25 pixels (5 × 5 pixels). FIG. 4 (c) shows an object plotted on the XY plane when the parallax image I is not divided. 4 (a) to 4 (c) show the XY plane when the position of the object is calculated from the area A1 in the parallax image I and the area A around the area A1.
図4(c)から把握できるように、視差画像Iの全ての画素について対象物の位置の算出を行うと、対象物のプロットが密となる。画像処理装置50は、プロットが集中している部分が障害物Bであると判断することができる。これにより、画像処理装置50により、障害物Bの検出が行われる。
As can be seen from FIG. 4C, when the position of the object is calculated for all the pixels of the parallax image I, the plot of the object becomes dense. The
図4(a)及び図4(b)に示すように、視差画像Iの分割数を増やすと、対象物のプロットが疎となる。図4(c)に比べると、障害物Bの形状を精度良く検出することはできないが、おおまかな形状は把握することができる。このため、視差画像Iを複数のエリアAに分割した場合であっても、画像処理装置50は、障害物Bを検出することができる。
As shown in FIGS. 4 (a) and 4 (b), when the number of divisions of the parallax image I is increased, the plot of the object becomes sparse. Compared with FIG. 4C, the shape of the obstacle B cannot be detected with high accuracy, but the rough shape can be grasped. Therefore, even when the parallax image I is divided into a plurality of areas A, the
画像処理装置50は、障害物Bを検出すると、フォークリフト10の現在位置と、障害物Bとの相対位置とを算出する。そして、画像処理装置50は、フォークリフト10と障害物Bとの相対距離をメインコントローラ20に出力する。
When the
メインコントローラ20は、フォークリフト10と障害物Bとの相対距離が所定値以下の場合、減速処理を行う。所定値とは、例えば、フォークリフト10の最高速度や、制動性能などに基づき定められる値である。減速処理としては、フォークリフト10を停止させる処理、フォークリフト10の速度を現在速度から段階的に低下させる処理、フォークリフト10の速度に制限を課し、制限速度を上回る速度での走行を規制する処理など、様々な処理が挙げられる。
When the relative distance between the
したがって、上記実施形態によれば、以下の効果を得ることができる。
(1-1)画像処理装置50は、エリアA毎に対応付けられた代表視差から対象物の位置を算出し、これに基づき、障害物Bを検出している。エリアAは、複数の画素を含んでいるため、代表視差から対象物の位置を算出することで、視差画像Iの画素毎に対象物の位置を算出する場合に比べて、計算コストが低減される。例えば、視差画像Iに含まれるエリアAの数を視差画像Iの全ての画素数の1/100にした場合、視差画像Iの全ての画素について座標計算(対象物の位置の算出)を行う場合に比べて、座標計算を行う回数が1/100となる。同様に、視差画像Iに含まれるエリアAの数を視差画像Iの全ての画素数の1/25にした場合、視差画像Iの全ての画素について座標計算を行う場合に比べて座標計算を行う回数が1/25となる。
Therefore, according to the above embodiment, the following effects can be obtained.
(1-1) The
また、視差画像Iを分割した各エリアAの代表視差から対象物の位置を算出しているため、カメラ32,33,42,43によって撮像された画像に写る対象物の全てについて位置を算出することができる。したがって、視差画像Iの特定部分のみについて対象物の位置を算出する場合に比べて、広範囲に亘って対象物の位置を算出することができる。
Further, since the position of the object is calculated from the representative parallax of each area A obtained by dividing the parallax image I, the position is calculated for all the objects reflected in the images captured by the
(1-2)エリアAに含まれる画素に対応付けられた視差のうち、最も頻度の高い視差を代表視差としている。最も頻度の高い視差を代表視差とすることで、代表視差と、エリアAに含まれる各画素の視差との差とを小さくすることができる。これにより、代表視差から算出される対象物の位置の精度を向上させることができる。 (1-2) Among the parallax associated with the pixels included in the area A, the most frequent parallax is taken as the representative parallax. By using the most frequent parallax as the representative parallax, the difference between the representative parallax and the parallax of each pixel included in the area A can be reduced. This makes it possible to improve the accuracy of the position of the object calculated from the representative parallax.
(第2実施形態)
以下、画像処理装置の第2実施形態について説明する。なお、以下の説明において、第1実施形態と同様の部分については記載を省略する。
(Second Embodiment)
Hereinafter, a second embodiment of the image processing apparatus will be described. In the following description, the same parts as those in the first embodiment will be omitted.
第2実施形態の画像処理装置50は、視差画像Iを分割した複数のエリアを更に分割可能である。
図5に示すように、画像処理装置50は、視差画像IをエリアA10に分割し、エリアA10毎に代表視差を算出する。画像処理装置50は、エリアA10の代表視差から対象物の位置を算出する。画像処理装置50は、代表視差によって得られた対象物の位置から、障害物Bが存在すると推定されるエリアA10を特定する。なお、障害物Bが存在すると推定されるエリアA10は、単数であってもよいし、複数であってもよい。
The
As shown in FIG. 5, the
本実施形態では、一例として、障害物Bが存在すると推定されるエリアとして、4つの隣接するエリアA10が特定された場合について説明する。画像処理装置50は、障害物Bが存在すると推定された4つのエリアA10を、エリアA10よりも細分化された細分化エリアA11に分割する。本実施形態において、細分化エリアA11は、エリアA10を4分割したエリアとなっている。したがって、細分化エリアA11に含まれる画素は、エリアA10に含まれる画素の1/4となる。
In the present embodiment, as an example, a case where four adjacent areas A10 are specified as areas where the obstacle B is presumed to exist will be described. The
画像処理装置50は、細分化エリアA11について、代表視差を導出する。代表視差は、エリアA10の代表視差と同様の方法で求めることができる。画像処理装置50は、細分化エリアA11の代表視差から対象物の位置を算出する。これにより、細分化エリアA11については、エリアA10の代表視差によって算出された対象物の位置に比べて、対象物の位置精度を向上させることができる。即ち、XY平面にプロットされる対象物が密となり、障害物Bが検出されやすくなる。
The
したがって、上記実施形態によれば、第1実施形態の各効果に加えて、以下の効果を得ることができる。
(2-1)画像処理装置50は、視差画像Iを分割したエリアA10を更に分割することができる。障害物Bが存在すると推定されるエリアA10については、対象物の位置精度を向上させることで、障害物Bの検出精度を向上させることができる。また、障害物Bが存在すると推定されるエリアA10についてのみ細分化エリアA11に分割を行うことで、全てのエリアA10について細分化エリアA11に分割を行う場合に比べて、計算コストを削減できる。したがって、計算コストの増大を抑制しつつ、障害物Bの検出精度を向上させることができる。
Therefore, according to the above embodiment, the following effects can be obtained in addition to the effects of the first embodiment.
(2-1) The
(第3実施形態)
以下、画像処理装置の第3実施形態について説明する。なお、以下の説明において、第1実施形態と同様の部分については記載を省略する。
(Third Embodiment)
Hereinafter, a third embodiment of the image processing apparatus will be described. In the following description, the same parts as those in the first embodiment will be omitted.
図6に示すように、画像処理装置50は、視差画像Iを分割する際に、含まれる画素数の異なるエリアA21、及び、エリアA22に視差画像Iを分割する。エリアA22は、エリアA21よりも含まれる画素数が少ない。エリアA22は、エリアA21よりも細分化されたエリアといえる。
As shown in FIG. 6, when the parallax image I is divided, the
視差画像Iは、視差画像Iの二次元座標(XY座標)において、所定のY座標(縦ピクセル)を境として、エリアA21に分割される部分と、エリアA22に分割される部分に分かれている。視差画像Iにおける下側の部分は、エリアA21に分割されており、視差画像Iにおける上側の部分はエリアA22に分割されている。画像処理装置50は、エリアA21の代表視差、エリアA22の代表視差のそれぞれから、対象物の位置を算出する。エリアA22は、エリアA21よりも含まれる画素が少ないため、視差画像Iにおいては、下側に比べて上側のほうが対象物の位置精度を向上させているといえる。
The parallax image I is divided into a portion divided into an area A21 and a portion divided into an area A22 with a predetermined Y coordinate (vertical pixel) as a boundary in the two-dimensional coordinates (XY coordinates) of the parallax image I. .. The lower portion of the parallax image I is divided into areas A21, and the upper portion of the parallax image I is divided into areas A22. The
視差画像Iにおいては、下側ほど撮像装置31,41に近い位置となる。視差は、撮像装置31,41に近いほど大きくなり、撮像装置31,41から離れるほど小さくなる。すると、対象物の位置を算出するに際して、代表視差が与える影響は、撮像装置31,41に近いエリアA21ほど小さく、撮像装置31,41から離れたエリアA22ほど大きくなる。
In the parallax image I, the lower side is closer to the
詳細にいうと、撮像装置31,41に近いエリアA21は、撮像装置31,41から離れたエリアA22に比べて、対応付けられる代表視差が大きくなる。(1)式から把握できるように、代表視差が1変化した場合のZ座標Zcの変化は、代表視差が大きいほど小さくなる。即ち、視差画像Iを均等なエリアに分割した場合、撮像装置31,41から離れたエリアほど、代表視差の値の変化によって、算出される対象物の位置が大きく変化する。
More specifically, the area A21 close to the
これに対して、撮像装置31,41から離れたエリアA22ほど含まれる画素を少なくすることで、撮像装置31,41から離れたエリアA22における対象物の位置精度を向上させることができる。
On the other hand, by reducing the number of pixels included in the area A22 farther from the
したがって、上記実施形態によれば、第1実施形態の各効果に加えて、以下の効果を得ることができる。
(3-1)対象物の位置精度が低くなりにくいエリアA21と、対象物の位置精度が低くなりやすいエリアA22とで含まれる画素を変更することで、計算コストの増大を抑制しつつ、対象物の位置精度の低下を抑制できる。
Therefore, according to the above embodiment, the following effects can be obtained in addition to the effects of the first embodiment.
(3-1) By changing the pixels included in the area A21 where the position accuracy of the object is unlikely to be low and the area A22 where the position accuracy of the object is likely to be low, the target is suppressed from increasing in calculation cost. It is possible to suppress a decrease in the positioning accuracy of an object.
なお、実施形態は以下のように変更してもよい。
○各実施形態において、代表視差の導出方法を変更してもよい。例えば、図7に示すように、画像処理装置50は、各エリアに含まれる各画素についての分布を求め、頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差としてもよい。図7では、各画素に対応付けられた視差のうち、頻度の多い上位3つの視差が抽出される。画像処理装置50は、抽出された上位3つの視差のうち、最も大きい視差を代表視差とする。なお、上位として抽出される視差は、3つより多くてもよいし、2つであってもよい。
The embodiment may be changed as follows.
○ In each embodiment, the method of deriving the representative parallax may be changed. For example, as shown in FIG. 7, the
また、代表視差は、各エリアに含まれる各画素に対応付けられた視差の平均値であってもよいし、頻度の多い上位複数の視差の平均値であってもよい。
○第2実施形態において、エリアA10の代表視差の導出方法と、細分化エリアA11の代表視差の導出方法を異なるものにしてもよい。例えば、エリアA10の代表視差は、最も頻度の高い視差とし、細分化エリアA11の代表視差は、頻度の高い上位複数の視差のうち、最も値の大きい視差としてもよい。また、第3実施形態において、エリアA21の代表視差の導出方法と、エリアA22の代表視差の導出方法とを異なるものにしてもよい。
Further, the representative parallax may be an average value of parallax associated with each pixel included in each area, or may be an average value of a plurality of high-order parallax with high frequency.
○ In the second embodiment, the method for deriving the representative parallax in the area A10 and the method for deriving the representative parallax in the subdivided area A11 may be different. For example, the representative parallax of the area A10 may be the most frequent parallax, and the representative parallax of the subdivided area A11 may be the parallax having the highest value among the high-order parallax with high frequency. Further, in the third embodiment, the method of deriving the representative parallax of the area A21 and the method of deriving the representative parallax of the area A22 may be different.
○第3実施形態において、視差画像Iを分割するエリアとして、含まれる視差の数が異なる3種類以上のエリアを用いてもよい。例えば、視差画像Iにおいて、撮像装置31,41から離れるにつれて、3段階に亘ってエリアに含まれる視差の数が少なくなってもよい。
○ In the third embodiment, as the area for dividing the parallax image I, three or more types of areas having different numbers of parallax included may be used. For example, in the parallax image I, the number of parallax included in the area may decrease in three stages as the distance from the
○第2実施形態の画像処理と、第3実施形態の画像処理とを組み合わせてもよい。画像処理装置50は、エリアA21の代表視差と、エリアA22の代表視差から対象物の位置を算出し、障害物Bが存在すると推定されるエリアA21,A22を特定する。画像処理装置50は、障害物Bが存在すると推定されるエリアA21,A22を細分化エリアに分割して、細分化エリアの代表視差から対象物の位置を算出する。
○ The image processing of the second embodiment and the image processing of the third embodiment may be combined. The
○各実施形態において、撮像装置31,41として、3つ以上のカメラを備えるものを用いてもよい。
○各実施形態において、前方撮像装置31と、後方撮像装置41とは同一構成でなくてもよい。
○ In each embodiment, the
-In each embodiment, the front
○各実施形態において、障害物検出装置30は、撮像装置31,41のうちいずれか一方のみを備える構成でもよい。
○各実施形態において、障害物Bの検出は、画像処理装置50以外の装置によって行われてもよい。
-In each embodiment, the
○ In each embodiment, the detection of the obstacle B may be performed by an apparatus other than the
○各実施形態において、画像処理装置50は、画像に写る対象物の位置(座標)を算出することができればよく、対象物の位置から障害物の検出を行わなくてもよい。例えば、画像処理装置50は、画像に写る物体の寸法の計測や、物体までの距離計測に用いられてもよい。
○ In each embodiment, the
○各実施形態において、画像処理装置50は、乗用車、建設機械、自動搬送車、トラックなどの車両や、二足歩行式のロボットなどの移動体に搭載されてもよいし、移動しない装置に搭載されてもよい。
○ In each embodiment, the
○各実施形態において、走行駆動装置として、エンジンが用いられてもよい。すなわち、フォークリフト10は、エンジンの駆動によって走行してもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
-In each embodiment, an engine may be used as a traveling drive device. That is, the
○各実施形態において、座標変換は、(4)式に代えて、テーブルデータによって行われてもよい。テーブルデータは、Y座標YcとZ座標Zcの組み合わせにY座標Ywを対応させたテーブルデータと、Y座標YcとZ座標Zcとの組み合わせにZ座標Zwを対応させたテーブルデータである。これらのテーブルデータを画像処理装置50のROMなどに記憶しておくことで、カメラ座標系におけるY座標YcとZ座標Zcから、ワールド座標系におけるY座標Yw及びZ座標Zwを求めることができる。これにより、画像処理装置50の計算コストを更に低減させることができる。なお、実施形態では、カメラ座標系におけるX座標Xcと、ワールド座標系におけるX座標Xwとは一致するため、X座標Xwを求めるためのテーブルデータは記憶されない。
○ In each embodiment, the coordinate transformation may be performed by table data instead of the equation (4). The table data is table data in which the combination of the Y coordinate Yc and the Z coordinate Zc corresponds to the Y coordinate Yw, and the table data in which the combination of the Y coordinate Yc and the Z coordinate Zc corresponds to the Z coordinate Zw. By storing these table data in the ROM of the
A,A10,A21,A22…エリア、A11…細分化エリア、31,41…撮像装置(ステレオカメラ)、50…画像処理装置(取得手段、分割手段、代表視差導出手段、及び、位置算出手段)。 A, A10, A21, A22 ... Area, A11 ... Subdivision area, 31,41 ... Image pickup device (stereo camera), 50 ... Image processing device (acquisition means, division means, representative parallax derivation means, and position calculation means) ..
Claims (4)
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、
前記代表視差導出手段は、前記エリアに含まれる各画素に対応付けられた視差についての分布を求め、頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差とする画像処理装置。 An image processing device that processes an image captured by a stereo camera and calculates the position of an object reflected in the image.
An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
A dividing means for dividing the parallax image into an area including a plurality of pixels, and
A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
The representative parallax deriving means obtains a distribution of parallax associated with each pixel included in the area, and performs image processing in which the largest parallax value among the frequently used upper parallax is used as the representative parallax. Device.
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、
前記分割手段は、前記エリアを前記エリアよりも細分化された細分化エリアに分割可能であり、
前記代表視差導出手段は、前記細分化エリアの代表視差を導出可能であり、
前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う車両。 A vehicle equipped with an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a controller that controls traveling operation and cargo handling operation.
An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
A dividing means for dividing the parallax image into an area including a plurality of pixels, and
A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
The dividing means can divide the area into subdivided areas that are subdivided from the area.
The representative parallax deriving means can derive the representative parallax of the subdivided area .
The controller is a vehicle that performs deceleration processing when the relative distance between the current position of the vehicle and the calculated position of the object is equal to or less than a predetermined value .
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、
前記分割手段は、前記視差画像において、前記ステレオカメラから離れた前記エリアほど含まれる画素が少なくなるように分割を行い、
前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う車両。 A vehicle equipped with an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a controller that controls traveling operation and cargo handling operation.
An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
A dividing means for dividing the parallax image into an area including a plurality of pixels, and
A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
The dividing means divides the parallax image so that the area farther from the stereo camera contains fewer pixels .
The controller is a vehicle that performs deceleration processing when the relative distance between the current position of the vehicle and the calculated position of the object is equal to or less than a predetermined value .
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、 An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、 A dividing means for dividing the parallax image into an area including a plurality of pixels, and
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、 A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、 A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
前記分割手段は、前記視差画像において、前記エリアが格子状になるように分割を行い、 The dividing means divides the parallax image so that the area is in a grid pattern.
前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う車両。 The controller is a vehicle that performs deceleration processing when the relative distance between the current position of the vehicle and the calculated position of the object is equal to or less than a predetermined value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220195A JP7009945B2 (en) | 2017-11-15 | 2017-11-15 | Image processing equipment and vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220195A JP7009945B2 (en) | 2017-11-15 | 2017-11-15 | Image processing equipment and vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019091295A JP2019091295A (en) | 2019-06-13 |
JP7009945B2 true JP7009945B2 (en) | 2022-01-26 |
Family
ID=66837430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017220195A Active JP7009945B2 (en) | 2017-11-15 | 2017-11-15 | Image processing equipment and vehicles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7009945B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7247827B2 (en) * | 2019-09-13 | 2023-03-29 | 株式会社豊田自動織機 | forklift side shift controller |
JP7104452B1 (en) | 2022-01-04 | 2022-07-21 | 株式会社レグラス | Peripheral monitoring device for work machines |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110172A (en) | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | Object detection device |
WO2011058876A1 (en) | 2009-11-13 | 2011-05-19 | 富士フイルム株式会社 | Distance measuring device, distance measuring method, distance measuring program, distance measuring system, and image capturing device |
JP2016205887A (en) | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | Road surface gradient detection device |
-
2017
- 2017-11-15 JP JP2017220195A patent/JP7009945B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110172A (en) | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | Object detection device |
WO2011058876A1 (en) | 2009-11-13 | 2011-05-19 | 富士フイルム株式会社 | Distance measuring device, distance measuring method, distance measuring program, distance measuring system, and image capturing device |
JP2016205887A (en) | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | Road surface gradient detection device |
Also Published As
Publication number | Publication date |
---|---|
JP2019091295A (en) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106462968B (en) | Method and device for calibrating a camera system of a motor vehicle | |
EP3082066B1 (en) | Road surface gradient detection device | |
JP6743882B2 (en) | Image processing device, device control system, imaging device, image processing method, and program | |
JP2007300181A (en) | Periphery monitoring apparatus and periphery monitoring method and program thereof | |
JP6456499B2 (en) | Three-dimensional object detection device, stereo camera device, vehicle, and three-dimensional object detection method | |
EP3633619B1 (en) | Position detection apparatus and position detection method | |
JP2020160914A (en) | Object detection device | |
JP7009945B2 (en) | Image processing equipment and vehicles | |
JP2020060550A (en) | Abnormality detector, method for detecting abnormality, posture estimating device, and mobile control system | |
JP7180445B2 (en) | object detector | |
JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
US20230237809A1 (en) | Image processing device of person detection system | |
JP2019089636A (en) | Safety apparatus | |
JP6763198B2 (en) | Image processing equipment, imaging equipment, mobile device control systems, image processing methods, and programs | |
JP6174884B2 (en) | Outside environment recognition device and outside environment recognition method | |
CN112611360B (en) | Object detection device, vehicle, and object detection processing method | |
JP7409240B2 (en) | Obstacle detection device and obstacle detection method | |
JP6114572B2 (en) | Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle. | |
JP7014122B2 (en) | Object detection device and object detection method | |
JP6561688B2 (en) | DETECTING DEVICE, DETECTING METHOD, IMAGING DEVICE, DEVICE CONTROL SYSTEM, AND PROGRAM | |
US20230237830A1 (en) | Image processing device of person detection system | |
JP2019090711A (en) | Wall detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211227 |