JP7009945B2 - Image processing equipment and vehicles - Google Patents
Image processing equipment and vehicles Download PDFInfo
- Publication number
- JP7009945B2 JP7009945B2 JP2017220195A JP2017220195A JP7009945B2 JP 7009945 B2 JP7009945 B2 JP 7009945B2 JP 2017220195 A JP2017220195 A JP 2017220195A JP 2017220195 A JP2017220195 A JP 2017220195A JP 7009945 B2 JP7009945 B2 JP 7009945B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- area
- representative
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置及び車両に関する。 The present invention relates to an image processing device and a vehicle .
ステレオカメラによって撮像された画像を画像処理して、画像に写った対象物の位置を算出する画像処理装置としては、例えば、特許文献１に記載されている。
特許文献１の画像処理装置は、ステレオカメラによって撮像された画像から視差画像を取得し、視差画像から画像に写った先行車を検出している。自動車の場合、高さ１ｍ～１．５ｍ付近に側縁が存在するため、画像処理装置は、画像において高さ１ｍに相当する部分のみ画像処理を行っている。即ち、位置を算出する対象物を自動車の側縁に限定することで、画像の特定部分のみしか画像処理を行わなくても、先行車を検出できるようにしている。
For example, Patent Document 1 describes an image processing device that processes an image captured by a stereo camera and calculates the position of an object in the image.
The image processing device of Patent Document 1 acquires a parallax image from an image captured by a stereo camera, and detects a preceding vehicle reflected in the image from the parallax image. In the case of an automobile, since the side edge exists in the vicinity of the height of 1 m to 1.5 m, the image processing apparatus performs image processing only on the portion corresponding to the height of 1 m in the image. That is, by limiting the object for which the position is calculated to the side edge of the automobile, the preceding vehicle can be detected even if the image processing is performed only on a specific part of the image.
ところで、画像に写る障害物など、先行車以外の物体を検出したい場合、画像における特定部分とは異なる部分についても、対象物の位置を算出する必要がある。しかしながら、画像の全体に対して画像処理を行うと、画像の特定部分とは異なる部分に写る対象物の位置も算出できる一方で、計算コストが増大する。 By the way, when it is desired to detect an object other than the preceding vehicle such as an obstacle shown in an image, it is necessary to calculate the position of the object even for a part different from a specific part in the image. However, when image processing is performed on the entire image, the position of the object appearing in a portion different from the specific portion of the image can be calculated, but the calculation cost increases.
本発明の目的は、計算コストの増大を抑制しつつ、画像に写る対象物の位置を算出することができる画像処理装置及び車両を提供することにある。 An object of the present invention is to provide an image processing device and a vehicle capable of calculating the position of an object reflected in an image while suppressing an increase in calculation cost.
上記課題を解決する画像処理装置は、ステレオカメラによって撮像された画像を画像処理して、前記画像に写る対象物の位置を算出する画像処理装置であって、前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、前記視差画像を複数の画素を含んだエリアに分割する分割手段と、前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備える。 The image processing device that solves the above-mentioned problems is an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a misalignment is generated for each pixel from the image. An area based on an acquisition means for acquiring an associated disparity image, a division means for dividing the disparity image into an area containing a plurality of pixels, and a disparity associated with a plurality of pixels included in the area. It is provided with a representative parallax derivation means for deriving the representative parallax for each, and a position calculation means for calculating the position of the object to be reflected in the image from the representative parallax.
これによれば、視差画像を複数のエリアに分割し、エリア毎に対応付けられた代表視差から画像に写る対象物の位置を算出することができる。エリアは、複数の画素を含んでいるため、視差画像の画素毎に対象物の位置を算出する場合に比べて、画像処理装置の計算コストを低減することができる。また、位置算出手段は、視差画像を分割したエリア毎に対象物の位置を算出するため、視差画像の全体に亘って対象物の位置の算出が行われることになる。したがって、計算コストの増大を抑制しつつ、画像に写る対象物の位置を検出することができる。 According to this, the parallax image can be divided into a plurality of areas, and the position of the object reflected in the image can be calculated from the representative parallax associated with each area. Since the area includes a plurality of pixels, the calculation cost of the image processing device can be reduced as compared with the case where the position of the object is calculated for each pixel of the parallax image. Further, since the position calculation means calculates the position of the object for each area in which the parallax image is divided, the position of the object is calculated over the entire parallax image. Therefore, it is possible to detect the position of the object in the image while suppressing the increase in the calculation cost.
上記画像処理装置について、前記代表視差導出手段は、前記エリアに含まれる各画素に対応付けられた視差についての分布を求め、頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差とする。 With respect to the image processing apparatus, the representative parallax deriving means obtains a distribution of parallax associated with each pixel included in the area, and representative parallax is the largest value of the most frequently used parallax. And .
ステレオカメラによって撮像された画像から視差画像を取得すると、ステレオカメラに近い画素ほど、対応付けられる視差が大きくなる。頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差とすることで、ステレオカメラに近い対象物の位置を優先して算出することができる。 When a parallax image is acquired from an image captured by a stereo camera, the closer the pixels are to the stereo camera, the larger the associated parallax. By using the parallax of the largest value among the high-frequency parallax as the representative parallax, the position of the object close to the stereo camera can be preferentially calculated.
上記画像処理装置について、前記分割手段は、前記エリアを前記エリアよりも細分化された細分化エリアに分割可能であり、前記代表視差導出手段は、前記細分化エリアの代表視差を導出可能である。 Regarding the image processing apparatus, the division means can divide the area into subdivision areas that are subdivided from the area, and the representative parallax derivation means can derive the representative parallax of the subdivision area. To .
これによれば、位置算出手段は、細分化エリアの代表視差から対象物の位置を算出することができる。対象物の位置精度を向上させたいエリアについては、エリアよりも細分化された細分化エリアの代表視差から対象物の位置を算出することで、対象物の位置精度を向上させることができる。 According to this, the position calculation means can calculate the position of the object from the representative parallax of the subdivided area. For an area where the position accuracy of the object is desired to be improved, the position accuracy of the object can be improved by calculating the position of the object from the representative parallax of the subdivided area subdivided from the area.
上記画像処理装置について、前記分割手段は、前記視差画像において、前記ステレオカメラから離れた前記エリアほど含まれる画素が少なくなるように分割を行う。
視差は、ステレオカメラに近いほど大きくなり、ステレオカメラから離れるほど小さくなる。すると、視差画像を均等なエリアに分割した場合、ステレオカメラから離れたエリアほど、代表視差の値の変化によって、算出される対象物の位置が大きく変化する。即ち、ステレオカメラから離れたエリアほど、対象物の位置精度が低くなりやすい。ステレオカメラから離れたエリアほど含まれる画素を少なくすることで、ステレオカメラから離れたエリアにおける対象物の位置精度を向上させることができる。対象物の位置精度が低くなりにくいエリアと、対象物の位置精度が低くなりやすいエリアで含まれる画素数を変更することで、計算コストの増大を抑制しつつ、対象物の位置精度の低下を抑制できる。
上記課題を解決する車両は、ステレオカメラによって撮像された画像を画像処理して、前記画像に写る対象物の位置を算出する画像処理装置と、走行動作及び荷役動作に関する制御を行うコントローラと、を備えた車両であって、前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、前記視差画像を複数の画素を含んだエリアに分割する分割手段と、前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、前記分割手段は、前記視差画像において、前記エリアが格子状になるように分割を行い、前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う。
Regarding the image processing device, the dividing means divides the parallax image so that the area farther from the stereo camera contains fewer pixels.
The parallax increases as the distance from the stereo camera increases and decreases as the distance from the stereo camera increases. Then, when the parallax image is divided into equal areas, the position of the calculated object changes greatly due to the change in the value of the representative parallax as the area is farther from the stereo camera. That is, the farther the area is from the stereo camera, the lower the position accuracy of the object tends to be. By reducing the number of pixels included in the area farther from the stereo camera, it is possible to improve the positional accuracy of the object in the area farther from the stereo camera. By changing the number of pixels included in the area where the position accuracy of the object is unlikely to be low and the area where the position accuracy of the object is likely to be low, the increase in calculation cost is suppressed and the position accuracy of the object is reduced. Can be suppressed.
A vehicle that solves the above problems includes an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a controller that controls traveling and cargo handling operations. The vehicle is provided with an acquisition means for acquiring a parallax image in which a parallax is associated with each pixel from the image, a dividing means for dividing the parallax image into an area including a plurality of pixels, and the area. A representative parallax derivation means for deriving a representative parallax for each area based on the parallax associated with a plurality of included pixels, and a position calculation means for calculating the position of an object to be reflected in the image from the representative parallax. The dividing means divides the parallax image so that the area is in a grid pattern, and the controller sets a predetermined value as a relative distance between the current position of the vehicle and the calculated position of the object. Deceleration processing is performed in the following cases.
本発明によれば、計算コストの増大を抑制しつつ、画像に写る対象物の位置を算出することができる。 According to the present invention, it is possible to calculate the position of an object to be captured in an image while suppressing an increase in calculation cost.
（第１実施形態）
以下、画像処理装置の第１実施形態について説明する。
図１に示すように、フォークリフト１０は、メインコントローラ２０と、走行用モータＭ１を制御する走行制御装置２３と、車速センサ２４と、を備える。メインコントローラ２０は、走行動作、及び、荷役動作に関する制御を行う。メインコントローラ２０は、ＣＰＵ（演算部）２１と、種々の制御を行うためのプログラムなどが記憶されたメモリ２２と、を備える。
(First Embodiment)
Hereinafter, the first embodiment of the image processing apparatus will be described.
As shown in FIG. 1, the
メインコントローラ２０のＣＰＵ２１は、フォークリフト１０の車速が目標速度となるように走行制御装置２３に走行用モータＭ１の回転数の指令を与える。メインコントローラ２０は、走行制御装置２３に走行用モータＭ１を回転させる方向の指令を与えることで、フォークリフト１０を進行させる方向（前進又は後進）を制御する。
The
本実施形態の走行制御装置２３は、モータドライバである。本実施形態の車速センサ２４は、走行用モータＭ１の回転数を検出する回転数センサである。車速センサ２４は、走行用モータＭ１の回転数を走行制御装置２３に出力する。走行制御装置２３は、メインコントローラ２０からの指令に基づき、走行用モータＭ１の回転数が指令と一致するように走行用モータＭ１を制御する。走行制御装置２３は、走行用モータＭ１の回転方向がメインコントローラ２０からの指令と一致するように走行用モータＭ１を制御する。なお、フォークリフト１０は、自動で走行動作及び荷役動作が行われるものであってもよいし、搭乗者（オペレータ）による操作によって走行動作及び荷役動作が行われるものであってもよい。
The travel control device 23 of this embodiment is a motor driver. The
フォークリフト１０には、障害物検出装置３０が搭載されている。障害物検出装置３０は、２つの撮像装置３１，４１を備える。２つの撮像装置３１，４１のうちの一方は、前方撮像装置３１であり、他方は後方撮像装置４１である。前方撮像装置３１は、フォークリフト１０の前方を撮像するステレオカメラである。後方撮像装置４１は、フォークリフト１０の後方を撮影するステレオカメラである。
The
前方撮像装置３１は、２つのカメラ３２，３３を備える。カメラ３２，３３としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサが用いられる。各カメラ３２，３３は、互いの光軸が平行となるように配置されている。なお、各カメラ３２，３３の光軸は、水平であってもよいし、水平でなくてもよい。２つのカメラ３２，３３のうち、一方を第１カメラ３２とし、他方を第２カメラ３３とする。後方撮像装置４１は、前方撮像装置３１と同一構成であり、第１カメラ４２と、第２カメラ４３と、を備える。本実施形態において、各カメラ３２，３３，４２，４３によって撮像される画像の画素数は、同一である。画像としては、例えば、ＶＧＡ（６４０×４８０ピクセル）が用いられる。以下の説明において、第１カメラ３２，４２によって撮像された画像を第１画像、第２カメラ３３，４３によって撮像された画像を第２画像として説明を行う。
The front
障害物検出装置３０は、各撮像装置３１，４１によって撮像された画像を画像処理して、画像に写る対象物の位置を算出する画像処理装置５０を備える。画像処理装置５０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成されている。
The
以下、画像処理装置５０の行う画像処理について作用とともに説明する。
画像処理装置５０は、撮像装置３１，４１によって撮像された画像から、視差を算出する。視差は、撮像装置３１，４１のそれぞれについて第１画像と、第２画像とを比較し、各画像に写る同一の対象物について第１画像と第２画像の画像位置（ピクセル）の差を算出することで得られる。画像位置の差は、第１画像に写る対象物と、第２画像に写る対象物との画素（ピクセル）数の差［ｐｘ］である。本実施形態において、視差は視差画像として得られる。視差画像とは、撮像装置３１，４１によって撮像された画像に写る対象物と、当該対象物の視差とを対応付けた画像である。視差画像には、画素毎に視差が対応付けられている。視差画像の画素数は、第１画像（第２画像）の画素数と同一である。なお、視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素（視差画像におけるＸ座標及びＹ座標）に視差が対応付けられたデータのことを示す。画像処理装置５０は、視差画像を取得する取得手段を備えているといえる。
Hereinafter, the image processing performed by the
The
なお、対象物とは、各画像に含まれる特徴部分であり、例えば、物体のエッジなど、境目として認識可能な部分である。対象物は、輝度情報などから検出することができ、画像処理装置５０は、対象物から視差を算出することができる。
The object is a feature portion included in each image, and is a portion that can be recognized as a boundary, such as an edge of an object. The object can be detected from the luminance information and the like, and the
図２に示すように、本実施形態の視差画像Ｉは、視差を濃淡によって表わしたものである。視差は、撮像装置３１，４１から近いほど大きくなり、撮像装置３１，４１から離れるほど小さくなる。視差画像Ｉは、視差の大きい画素ほど濃く、視差の小さい画素ほど薄くなるように表現されている。
As shown in FIG. 2, the parallax image I of the present embodiment represents the parallax by shading. The parallax increases as the distance from the
画像処理装置５０は、視差画像Ｉを複数のエリアＡに分割する。本実施形態の画像処理装置５０は、全てのエリアＡの画素数が同一となるように視差画像Ｉを均等に分割する。分割された各エリアＡは、複数の画素を含む。したがって、各エリアＡは、複数の画素に対応付けられた視差を含んでいるといえる。画像処理装置５０は、分割手段を備えているといえる。
The
画像処理装置５０は、エリアＡ毎に代表視差を求める。代表視差とは、エリアＡに対応付けられる視差である。上記したように、エリアＡは、複数の画素を含んでいるため、画像処理装置５０は、各画素に対応付けられた視差に基づき、代表視差を導出する。代表視差とは、エリアＡを１つの画素としてみなした場合に、当該画素に対応付けられる視差であるといえる。本実施形態において、画像処理装置５０は、各エリアＡの視差のうち最も頻度の高い視差を代表視差とする。
The
例えば、各エリアＡのうちの１つのエリアＡ１（図２において破線で囲まれたエリアＡ）について、値の異なる視差毎に計数を行うと、図３に示すように、視差と頻度との関係を示す分布（ヒストグラム）が求められる。 For example, when counting is performed for each parallax having different values for one area A1 (area A surrounded by a broken line in FIG. 2) of each area A, as shown in FIG. 3, the relationship between the parallax and the frequency is performed. A distribution (histogram) showing the above is obtained.
図３から把握できるように、画像処理装置５０は、視差についての分布を求めることで、エリアＡ１において、最も頻度の高い（割合の大きい）視差を導出することができる。画像処理装置５０は、最も頻度の高い視差を代表視差として、エリアＡ１に対応付ける。画像処理装置５０は、視差画像Ｉを分割した全てのエリアＡについて代表視差を対応付ける。画像処理装置５０は、代表視差導出手段を備えているといえる。
As can be seen from FIG. 3, the
画像処理装置５０は、代表視差からフォークリフト１０の周囲に存在する対象物の位置を算出する。まず、画像処理装置５０は、視差画像Iからカメラ座標系における対象物の位置を算出する。カメラ座標系は、光軸をＺ軸とし、光軸に直交する２つの軸のそれぞれをＸ軸、Ｙ軸とする３軸直交座標系である。カメラ座標系における対象物の位置は、カメラ座標系におけるＺ座標Ｚｃ、Ｘ座標Ｘｃ、Ｙ座標Ｙｃで表わすことができる。Ｚ座標Ｚｃ、Ｘ座標Ｘｃ、及び、Ｙ座標Ｙｃは、それぞれ、以下の（１）式～（３）式を用いて算出することができる。
The
ここで、フォークリフト１０の進行方向に延びる軸をＹ軸、鉛直方向に延びる軸をＺ軸、Ｙ軸及びＺ軸に直交する軸をＸ軸とする３軸直交座標系（ワールド座標系）での座標を実空間上での座標（ワールド座標）とする。実空間上での対象物の位置は、実空間上におけるＸ座標Ｘｗ、Ｙ座標Ｙｗ、Ｚ座標Ｚｗで表わすことができる。
Here, in a three-axis Cartesian coordinate system (world coordinate system) in which the axis extending in the traveling direction of the
各カメラ３２，３３，４２，４３の光軸が水平（鉛直方向と直交）となるように撮像装置３１，４１が設置されている場合、Ｘｃ＝Ｘｗ、Ｙｃ＝Ｚｗ、Ｚｃ＝Ｙｗとなる。即ち、カメラ座標系における対象物の位置が実空間上での対象物の位置となる。
When the
一方で、各カメラ３２，３３、４２，４３の光軸が水平（鉛直方向と直交）ではない場合、画像処理装置５０は、以下の（４）式を用いて座標変換（ワールド座標変換）を行う。
On the other hand, when the optical axes of the
画像処理装置５０は、実空間上での位置（座標）が算出された対象物のうち、所定の高さ以上のものをＸＹ平面にプロットする。所定の高さは、フォークリフト１０の走行に際して障害となり得る高さであり、例えば、１００［ｍｍ］である。対象物が所定の高さ以上か否かは、対象物のＺ座標Ｚｗから判断することができる。
The
ＸＹ平面に対象物をプロットすると、フォークリフト１０の走行の障害となり得る障害物を俯瞰した場合の位置情報を得ることができる。
ここで、代表視差を用いて算出された対象物の位置は、エリアＡを１つの画素とみなして算出したものである。このため、視差画像Ｉの全ての画素に対応付けられた視差から対象物の位置を算出する場合に比べると、対象物の位置精度は低くなる。具体的にいうと、実際の対象物の位置と、算出される対象物の位置との差が大きくなる。
By plotting an object on the XY plane, it is possible to obtain position information when a bird's-eye view of an obstacle that may be an obstacle to the running of the
Here, the position of the object calculated by using the representative parallax is calculated by regarding the area A as one pixel. Therefore, the position accuracy of the object is lower than that of the case where the position of the object is calculated from the parallax associated with all the pixels of the parallax image I. Specifically, the difference between the actual position of the object and the calculated position of the object becomes large.
図４（ａ）は視差画像Ｉを１００画素（１０×１０画素）のエリアＡに分割した場合に、ＸＹ平面にプロットされる対象物を示している。図４（ｂ）は視差画像Ｉを２５画素（５×５画素）のエリアＡに分割した場合にＸＹ平面にプロットされる対象物を示している。図４（ｃ）は視差画像Ｉを分割しない場合にＸＹ平面にプロットされる対象物を示している。なお、図４（ａ）～図４（ｃ）は、視差画像ＩにおけるエリアＡ１、及び、エリアＡ１の周辺のエリアＡから対象物の位置を算出した場合のＸＹ平面を示している。 FIG. 4A shows an object plotted on the XY plane when the parallax image I is divided into an area A of 100 pixels (10 × 10 pixels). FIG. 4B shows an object plotted on the XY plane when the parallax image I is divided into an area A of 25 pixels (5 × 5 pixels). FIG. 4 (c) shows an object plotted on the XY plane when the parallax image I is not divided. 4 (a) to 4 (c) show the XY plane when the position of the object is calculated from the area A1 in the parallax image I and the area A around the area A1.
図４（ｃ）から把握できるように、視差画像Ｉの全ての画素について対象物の位置の算出を行うと、対象物のプロットが密となる。画像処理装置５０は、プロットが集中している部分が障害物Ｂであると判断することができる。これにより、画像処理装置５０により、障害物Ｂの検出が行われる。
As can be seen from FIG. 4C, when the position of the object is calculated for all the pixels of the parallax image I, the plot of the object becomes dense. The
図４（ａ）及び図４（ｂ）に示すように、視差画像Ｉの分割数を増やすと、対象物のプロットが疎となる。図４（ｃ）に比べると、障害物Ｂの形状を精度良く検出することはできないが、おおまかな形状は把握することができる。このため、視差画像Ｉを複数のエリアＡに分割した場合であっても、画像処理装置５０は、障害物Ｂを検出することができる。
As shown in FIGS. 4 (a) and 4 (b), when the number of divisions of the parallax image I is increased, the plot of the object becomes sparse. Compared with FIG. 4C, the shape of the obstacle B cannot be detected with high accuracy, but the rough shape can be grasped. Therefore, even when the parallax image I is divided into a plurality of areas A, the
画像処理装置５０は、障害物Ｂを検出すると、フォークリフト１０の現在位置と、障害物Ｂとの相対位置とを算出する。そして、画像処理装置５０は、フォークリフト１０と障害物Ｂとの相対距離をメインコントローラ２０に出力する。
When the
メインコントローラ２０は、フォークリフト１０と障害物Ｂとの相対距離が所定値以下の場合、減速処理を行う。所定値とは、例えば、フォークリフト１０の最高速度や、制動性能などに基づき定められる値である。減速処理としては、フォークリフト１０を停止させる処理、フォークリフト１０の速度を現在速度から段階的に低下させる処理、フォークリフト１０の速度に制限を課し、制限速度を上回る速度での走行を規制する処理など、様々な処理が挙げられる。
When the relative distance between the
したがって、上記実施形態によれば、以下の効果を得ることができる。
（１－１）画像処理装置５０は、エリアＡ毎に対応付けられた代表視差から対象物の位置を算出し、これに基づき、障害物Ｂを検出している。エリアＡは、複数の画素を含んでいるため、代表視差から対象物の位置を算出することで、視差画像Ｉの画素毎に対象物の位置を算出する場合に比べて、計算コストが低減される。例えば、視差画像Ｉに含まれるエリアＡの数を視差画像Ｉの全ての画素数の１／１００にした場合、視差画像Ｉの全ての画素について座標計算（対象物の位置の算出）を行う場合に比べて、座標計算を行う回数が１／１００となる。同様に、視差画像Ｉに含まれるエリアＡの数を視差画像Ｉの全ての画素数の１／２５にした場合、視差画像Ｉの全ての画素について座標計算を行う場合に比べて座標計算を行う回数が１／２５となる。
Therefore, according to the above embodiment, the following effects can be obtained.
(1-1) The
また、視差画像Ｉを分割した各エリアＡの代表視差から対象物の位置を算出しているため、カメラ３２，３３，４２，４３によって撮像された画像に写る対象物の全てについて位置を算出することができる。したがって、視差画像Ｉの特定部分のみについて対象物の位置を算出する場合に比べて、広範囲に亘って対象物の位置を算出することができる。
Further, since the position of the object is calculated from the representative parallax of each area A obtained by dividing the parallax image I, the position is calculated for all the objects reflected in the images captured by the
（１－２）エリアＡに含まれる画素に対応付けられた視差のうち、最も頻度の高い視差を代表視差としている。最も頻度の高い視差を代表視差とすることで、代表視差と、エリアＡに含まれる各画素の視差との差とを小さくすることができる。これにより、代表視差から算出される対象物の位置の精度を向上させることができる。 (1-2) Among the parallax associated with the pixels included in the area A, the most frequent parallax is taken as the representative parallax. By using the most frequent parallax as the representative parallax, the difference between the representative parallax and the parallax of each pixel included in the area A can be reduced. This makes it possible to improve the accuracy of the position of the object calculated from the representative parallax.
（第２実施形態）
以下、画像処理装置の第２実施形態について説明する。なお、以下の説明において、第１実施形態と同様の部分については記載を省略する。
(Second Embodiment)
Hereinafter, a second embodiment of the image processing apparatus will be described. In the following description, the same parts as those in the first embodiment will be omitted.
第２実施形態の画像処理装置５０は、視差画像Ｉを分割した複数のエリアを更に分割可能である。
図５に示すように、画像処理装置５０は、視差画像ＩをエリアＡ１０に分割し、エリアＡ１０毎に代表視差を算出する。画像処理装置５０は、エリアＡ１０の代表視差から対象物の位置を算出する。画像処理装置５０は、代表視差によって得られた対象物の位置から、障害物Ｂが存在すると推定されるエリアＡ１０を特定する。なお、障害物Ｂが存在すると推定されるエリアＡ１０は、単数であってもよいし、複数であってもよい。
The
As shown in FIG. 5, the
本実施形態では、一例として、障害物Ｂが存在すると推定されるエリアとして、４つの隣接するエリアＡ１０が特定された場合について説明する。画像処理装置５０は、障害物Ｂが存在すると推定された４つのエリアＡ１０を、エリアＡ１０よりも細分化された細分化エリアＡ１１に分割する。本実施形態において、細分化エリアＡ１１は、エリアＡ１０を４分割したエリアとなっている。したがって、細分化エリアＡ１１に含まれる画素は、エリアＡ１０に含まれる画素の１／４となる。
In the present embodiment, as an example, a case where four adjacent areas A10 are specified as areas where the obstacle B is presumed to exist will be described. The
画像処理装置５０は、細分化エリアＡ１１について、代表視差を導出する。代表視差は、エリアＡ１０の代表視差と同様の方法で求めることができる。画像処理装置５０は、細分化エリアＡ１１の代表視差から対象物の位置を算出する。これにより、細分化エリアＡ１１については、エリアＡ１０の代表視差によって算出された対象物の位置に比べて、対象物の位置精度を向上させることができる。即ち、ＸＹ平面にプロットされる対象物が密となり、障害物Ｂが検出されやすくなる。
The
したがって、上記実施形態によれば、第１実施形態の各効果に加えて、以下の効果を得ることができる。
（２－１）画像処理装置５０は、視差画像Ｉを分割したエリアＡ１０を更に分割することができる。障害物Ｂが存在すると推定されるエリアＡ１０については、対象物の位置精度を向上させることで、障害物Ｂの検出精度を向上させることができる。また、障害物Ｂが存在すると推定されるエリアＡ１０についてのみ細分化エリアＡ１１に分割を行うことで、全てのエリアＡ１０について細分化エリアＡ１１に分割を行う場合に比べて、計算コストを削減できる。したがって、計算コストの増大を抑制しつつ、障害物Ｂの検出精度を向上させることができる。
Therefore, according to the above embodiment, the following effects can be obtained in addition to the effects of the first embodiment.
(2-1) The
（第３実施形態）
以下、画像処理装置の第３実施形態について説明する。なお、以下の説明において、第１実施形態と同様の部分については記載を省略する。
(Third Embodiment)
Hereinafter, a third embodiment of the image processing apparatus will be described. In the following description, the same parts as those in the first embodiment will be omitted.
図６に示すように、画像処理装置５０は、視差画像Ｉを分割する際に、含まれる画素数の異なるエリアＡ２１、及び、エリアＡ２２に視差画像Ｉを分割する。エリアＡ２２は、エリアＡ２１よりも含まれる画素数が少ない。エリアＡ２２は、エリアＡ２１よりも細分化されたエリアといえる。
As shown in FIG. 6, when the parallax image I is divided, the
視差画像Ｉは、視差画像Ｉの二次元座標（ＸＹ座標）において、所定のＹ座標（縦ピクセル）を境として、エリアＡ２１に分割される部分と、エリアＡ２２に分割される部分に分かれている。視差画像Ｉにおける下側の部分は、エリアＡ２１に分割されており、視差画像Ｉにおける上側の部分はエリアＡ２２に分割されている。画像処理装置５０は、エリアＡ２１の代表視差、エリアＡ２２の代表視差のそれぞれから、対象物の位置を算出する。エリアＡ２２は、エリアＡ２１よりも含まれる画素が少ないため、視差画像Ｉにおいては、下側に比べて上側のほうが対象物の位置精度を向上させているといえる。
The parallax image I is divided into a portion divided into an area A21 and a portion divided into an area A22 with a predetermined Y coordinate (vertical pixel) as a boundary in the two-dimensional coordinates (XY coordinates) of the parallax image I. .. The lower portion of the parallax image I is divided into areas A21, and the upper portion of the parallax image I is divided into areas A22. The
視差画像Ｉにおいては、下側ほど撮像装置３１，４１に近い位置となる。視差は、撮像装置３１，４１に近いほど大きくなり、撮像装置３１，４１から離れるほど小さくなる。すると、対象物の位置を算出するに際して、代表視差が与える影響は、撮像装置３１，４１に近いエリアＡ２１ほど小さく、撮像装置３１，４１から離れたエリアＡ２２ほど大きくなる。
In the parallax image I, the lower side is closer to the
詳細にいうと、撮像装置３１，４１に近いエリアＡ２１は、撮像装置３１，４１から離れたエリアＡ２２に比べて、対応付けられる代表視差が大きくなる。（１）式から把握できるように、代表視差が１変化した場合のＺ座標Ｚｃの変化は、代表視差が大きいほど小さくなる。即ち、視差画像Ｉを均等なエリアに分割した場合、撮像装置３１，４１から離れたエリアほど、代表視差の値の変化によって、算出される対象物の位置が大きく変化する。
More specifically, the area A21 close to the
これに対して、撮像装置３１，４１から離れたエリアＡ２２ほど含まれる画素を少なくすることで、撮像装置３１，４１から離れたエリアＡ２２における対象物の位置精度を向上させることができる。
On the other hand, by reducing the number of pixels included in the area A22 farther from the
したがって、上記実施形態によれば、第１実施形態の各効果に加えて、以下の効果を得ることができる。
（３－１）対象物の位置精度が低くなりにくいエリアＡ２１と、対象物の位置精度が低くなりやすいエリアＡ２２とで含まれる画素を変更することで、計算コストの増大を抑制しつつ、対象物の位置精度の低下を抑制できる。
Therefore, according to the above embodiment, the following effects can be obtained in addition to the effects of the first embodiment.
(3-1) By changing the pixels included in the area A21 where the position accuracy of the object is unlikely to be low and the area A22 where the position accuracy of the object is likely to be low, the target is suppressed from increasing in calculation cost. It is possible to suppress a decrease in the positioning accuracy of an object.
なお、実施形態は以下のように変更してもよい。
○各実施形態において、代表視差の導出方法を変更してもよい。例えば、図７に示すように、画像処理装置５０は、各エリアに含まれる各画素についての分布を求め、頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差としてもよい。図７では、各画素に対応付けられた視差のうち、頻度の多い上位３つの視差が抽出される。画像処理装置５０は、抽出された上位３つの視差のうち、最も大きい視差を代表視差とする。なお、上位として抽出される視差は、３つより多くてもよいし、２つであってもよい。
The embodiment may be changed as follows.
○ In each embodiment, the method of deriving the representative parallax may be changed. For example, as shown in FIG. 7, the
また、代表視差は、各エリアに含まれる各画素に対応付けられた視差の平均値であってもよいし、頻度の多い上位複数の視差の平均値であってもよい。
○第２実施形態において、エリアＡ１０の代表視差の導出方法と、細分化エリアＡ１１の代表視差の導出方法を異なるものにしてもよい。例えば、エリアＡ１０の代表視差は、最も頻度の高い視差とし、細分化エリアＡ１１の代表視差は、頻度の高い上位複数の視差のうち、最も値の大きい視差としてもよい。また、第３実施形態において、エリアＡ２１の代表視差の導出方法と、エリアＡ２２の代表視差の導出方法とを異なるものにしてもよい。
Further, the representative parallax may be an average value of parallax associated with each pixel included in each area, or may be an average value of a plurality of high-order parallax with high frequency.
○ In the second embodiment, the method for deriving the representative parallax in the area A10 and the method for deriving the representative parallax in the subdivided area A11 may be different. For example, the representative parallax of the area A10 may be the most frequent parallax, and the representative parallax of the subdivided area A11 may be the parallax having the highest value among the high-order parallax with high frequency. Further, in the third embodiment, the method of deriving the representative parallax of the area A21 and the method of deriving the representative parallax of the area A22 may be different.
○第３実施形態において、視差画像Ｉを分割するエリアとして、含まれる視差の数が異なる３種類以上のエリアを用いてもよい。例えば、視差画像Ｉにおいて、撮像装置３１，４１から離れるにつれて、３段階に亘ってエリアに含まれる視差の数が少なくなってもよい。
○ In the third embodiment, as the area for dividing the parallax image I, three or more types of areas having different numbers of parallax included may be used. For example, in the parallax image I, the number of parallax included in the area may decrease in three stages as the distance from the
○第２実施形態の画像処理と、第３実施形態の画像処理とを組み合わせてもよい。画像処理装置５０は、エリアＡ２１の代表視差と、エリアＡ２２の代表視差から対象物の位置を算出し、障害物Ｂが存在すると推定されるエリアＡ２１，Ａ２２を特定する。画像処理装置５０は、障害物Ｂが存在すると推定されるエリアＡ２１，Ａ２２を細分化エリアに分割して、細分化エリアの代表視差から対象物の位置を算出する。
○ The image processing of the second embodiment and the image processing of the third embodiment may be combined. The
○各実施形態において、撮像装置３１，４１として、３つ以上のカメラを備えるものを用いてもよい。
○各実施形態において、前方撮像装置３１と、後方撮像装置４１とは同一構成でなくてもよい。
○ In each embodiment, the
-In each embodiment, the front
○各実施形態において、障害物検出装置３０は、撮像装置３１，４１のうちいずれか一方のみを備える構成でもよい。
○各実施形態において、障害物Ｂの検出は、画像処理装置５０以外の装置によって行われてもよい。
-In each embodiment, the
○ In each embodiment, the detection of the obstacle B may be performed by an apparatus other than the
○各実施形態において、画像処理装置５０は、画像に写る対象物の位置（座標）を算出することができればよく、対象物の位置から障害物の検出を行わなくてもよい。例えば、画像処理装置５０は、画像に写る物体の寸法の計測や、物体までの距離計測に用いられてもよい。
○ In each embodiment, the
○各実施形態において、画像処理装置５０は、乗用車、建設機械、自動搬送車、トラックなどの車両や、二足歩行式のロボットなどの移動体に搭載されてもよいし、移動しない装置に搭載されてもよい。
○ In each embodiment, the
○各実施形態において、走行駆動装置として、エンジンが用いられてもよい。すなわち、フォークリフト１０は、エンジンの駆動によって走行してもよい。この場合、走行制御装置は、エンジンへの燃料噴射量などを制御する装置となる。
-In each embodiment, an engine may be used as a traveling drive device. That is, the
○各実施形態において、座標変換は、（４）式に代えて、テーブルデータによって行われてもよい。テーブルデータは、Ｙ座標ＹｃとＺ座標Ｚｃの組み合わせにＹ座標Ｙｗを対応させたテーブルデータと、Ｙ座標ＹｃとＺ座標Ｚｃとの組み合わせにＺ座標Ｚｗを対応させたテーブルデータである。これらのテーブルデータを画像処理装置５０のＲＯＭなどに記憶しておくことで、カメラ座標系におけるＹ座標ＹｃとＺ座標Ｚｃから、ワールド座標系におけるＹ座標Ｙｗ及びＺ座標Ｚｗを求めることができる。これにより、画像処理装置５０の計算コストを更に低減させることができる。なお、実施形態では、カメラ座標系におけるＸ座標Ｘｃと、ワールド座標系におけるＸ座標Ｘｗとは一致するため、Ｘ座標Ｘｗを求めるためのテーブルデータは記憶されない。
○ In each embodiment, the coordinate transformation may be performed by table data instead of the equation (4). The table data is table data in which the combination of the Y coordinate Yc and the Z coordinate Zc corresponds to the Y coordinate Yw, and the table data in which the combination of the Y coordinate Yc and the Z coordinate Zc corresponds to the Z coordinate Zw. By storing these table data in the ROM of the
Ａ，Ａ１０，Ａ２１，Ａ２２…エリア、Ａ１１…細分化エリア、３１，４１…撮像装置（ステレオカメラ）、５０…画像処理装置（取得手段、分割手段、代表視差導出手段、及び、位置算出手段）。 A, A10, A21, A22 ... Area, A11 ... Subdivision area, 31,41 ... Image pickup device (stereo camera), 50 ... Image processing device (acquisition means, division means, representative parallax derivation means, and position calculation means) ..
Claims (4)
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、
前記代表視差導出手段は、前記エリアに含まれる各画素に対応付けられた視差についての分布を求め、頻度の高い上位複数の視差のうち、最も大きい値の視差を代表視差とする画像処理装置。 An image processing device that processes an image captured by a stereo camera and calculates the position of an object reflected in the image.
An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
A dividing means for dividing the parallax image into an area including a plurality of pixels, and
A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
The representative parallax deriving means obtains a distribution of parallax associated with each pixel included in the area, and performs image processing in which the largest parallax value among the frequently used upper parallax is used as the representative parallax. Device.
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、
前記分割手段は、前記エリアを前記エリアよりも細分化された細分化エリアに分割可能であり、
前記代表視差導出手段は、前記細分化エリアの代表視差を導出可能であり、
前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う車両。 A vehicle equipped with an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a controller that controls traveling operation and cargo handling operation.
An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
A dividing means for dividing the parallax image into an area including a plurality of pixels, and
A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
The dividing means can divide the area into subdivided areas that are subdivided from the area.
The representative parallax deriving means can derive the representative parallax of the subdivided area .
The controller is a vehicle that performs deceleration processing when the relative distance between the current position of the vehicle and the calculated position of the object is equal to or less than a predetermined value .
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、
前記分割手段は、前記視差画像において、前記ステレオカメラから離れた前記エリアほど含まれる画素が少なくなるように分割を行い、
前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う車両。 A vehicle equipped with an image processing device that processes an image captured by a stereo camera to calculate the position of an object reflected in the image, and a controller that controls traveling operation and cargo handling operation.
An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
A dividing means for dividing the parallax image into an area including a plurality of pixels, and
A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
The dividing means divides the parallax image so that the area farther from the stereo camera contains fewer pixels .
The controller is a vehicle that performs deceleration processing when the relative distance between the current position of the vehicle and the calculated position of the object is equal to or less than a predetermined value .
前記画像から、画素毎に視差が対応付けられた視差画像を取得する取得手段と、 An acquisition means for acquiring a parallax image in which parallax is associated with each pixel from the image, and
前記視差画像を複数の画素を含んだエリアに分割する分割手段と、 A dividing means for dividing the parallax image into an area including a plurality of pixels, and
前記エリアに含まれる複数の画素に対応付けられた視差に基づいて、エリア毎に代表視差を導出する代表視差導出手段と、 A representative parallax deriving means for deriving a representative parallax for each area based on the parallax associated with the plurality of pixels included in the area.
前記代表視差から前記画像に写る対象物の位置を算出する位置算出手段と、を備え、 A position calculation means for calculating the position of an object reflected in the image from the representative parallax is provided.
前記分割手段は、前記視差画像において、前記エリアが格子状になるように分割を行い、 The dividing means divides the parallax image so that the area is in a grid pattern.
前記コントローラは、前記車両の現在位置と算出された前記対象物の位置との相対距離が所定値以下の場合に減速処理を行う車両。 The controller is a vehicle that performs deceleration processing when the relative distance between the current position of the vehicle and the calculated position of the object is equal to or less than a predetermined value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017220195A JP7009945B2 (en) | 2017-11-15 | 2017-11-15 | Image processing equipment and vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017220195A JP7009945B2 (en) | 2017-11-15 | 2017-11-15 | Image processing equipment and vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019091295A JP2019091295A (en) | 2019-06-13 |
| JP7009945B2 true JP7009945B2 (en) | 2022-01-26 |
Family
ID=66837430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017220195A Active JP7009945B2 (en) | 2017-11-15 | 2017-11-15 | Image processing equipment and vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7009945B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7247827B2 (en) * | 2019-09-13 | 2023-03-29 | 株式会社豊田自動織機 | forklift side shift controller |
| JP7104452B1 (en) | 2022-01-04 | 2022-07-21 | 株式会社レグラス | Peripheral monitoring device for work machines |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009110172A (en) | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | Object detection device |
| WO2011058876A1 (en) | 2009-11-13 | 2011-05-19 | 富士フイルム株式会社 | Distance measuring device, distance measuring method, distance measuring program, distance measuring system, and image capturing device |
| JP2016205887A (en) | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | Road surface gradient detection device |
-
2017
- 2017-11-15 JP JP2017220195A patent/JP7009945B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009110172A (en) | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | Object detection device |
| WO2011058876A1 (en) | 2009-11-13 | 2011-05-19 | 富士フイルム株式会社 | Distance measuring device, distance measuring method, distance measuring program, distance measuring system, and image capturing device |
| JP2016205887A (en) | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | Road surface gradient detection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019091295A (en) | 2019-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106462968B (en) | Method and device for calibrating a camera system of a motor vehicle | |
| EP3082066B1 (en) | Road surface gradient detection device | |
| JP6743882B2 (en) | Image processing device, device control system, imaging device, image processing method, and program | |
| JP2007300181A (en) | Periphery monitoring apparatus and periphery monitoring method and program thereof | |
| JP6456499B2 (en) | Three-dimensional object detection device, stereo camera device, vehicle, and three-dimensional object detection method | |
| EP3633619B1 (en) | Position detection apparatus and position detection method | |
| JP2020160914A (en) | Object detection device | |
| JP7009945B2 (en) | Image processing equipment and vehicles | |
| JP2020060550A (en) | Abnormality detector, method for detecting abnormality, posture estimating device, and mobile control system | |
| JP7180445B2 (en) | object detector | |
| JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
| US20230237809A1 (en) | Image processing device of person detection system | |
| JP2019089636A (en) | Safety apparatus | |
| JP6763198B2 (en) | Image processing equipment, imaging equipment, mobile device control systems, image processing methods, and programs | |
| JP6174884B2 (en) | Outside environment recognition device and outside environment recognition method | |
| CN112611360B (en) | Object detection device, vehicle, and object detection processing method | |
| JP7409240B2 (en) | Obstacle detection device and obstacle detection method | |
| JP6114572B2 (en) | Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle. | |
| JP7014122B2 (en) | Object detection device and object detection method | |
| JP6561688B2 (en) | DETECTING DEVICE, DETECTING METHOD, IMAGING DEVICE, DEVICE CONTROL SYSTEM, AND PROGRAM | |
| US20230237830A1 (en) | Image processing device of person detection system | |
| JP2019090711A (en) | Wall detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211227 |