JP2016019009A - Information processing apparatus - Google Patents
Information processing apparatus Download PDFInfo
- Publication number
- JP2016019009A JP2016019009A JP2014138238A JP2014138238A JP2016019009A JP 2016019009 A JP2016019009 A JP 2016019009A JP 2014138238 A JP2014138238 A JP 2014138238A JP 2014138238 A JP2014138238 A JP 2014138238A JP 2016019009 A JP2016019009 A JP 2016019009A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- information
- memory
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
本技術分野の背景技術として、特開2007−200232号公報(特許文献1)がある。該公報には、課題として、「汎用バスに接続された画像処理部を備えた装置において、高性能な汎用バスに交換することなく、画像処理速度を向上させる。」と記載され、解決手段として、「展開された画像データを生成する制御部101と、前記制御部が接続されるローカルバス100Aと、複数の独立した汎用バス100B,100Cと、前記複数の汎用バスのそれぞれに接続され前記展開された画像データに画像処理を施して処理済み画像データを生成する複数の画像処理部121,122と、前記ローカルバスと前記複数の汎用バスとを接続する複数のブリッジ107,108と、前記ローカルバスに接続され、前記展開された画像データもしくは前記処理済み画像データを記憶する記憶部103と、を備え、前記制御部で生成された前記画像データに対して、前記複数の画像処理部で分担して画像処理を実行して前記記憶部に処理済み画像データを記憶させる。」と記載されている。
As a background art in this technical field, there is JP-A-2007-200272 (Patent Document 1). This publication describes, as a problem solving means, “In an apparatus including an image processing unit connected to a general-purpose bus, the image processing speed is improved without replacement with a high-performance general-purpose bus”. , “A
情報処理装置の主な用途として、例えば、2つのカメラから撮影された画像データから障害物を検知する装置がある。この装置を、自動車などの前方監視装置として使用すると、前方の障害物を検出して衝突を回避するといったアプリケーションを実現でき、交通事故の被害低減または回避することができる。ここで、確実に障害物を検出して、自動車を制御するためには情報処理装置の出力結果の応答性が速いことが好ましい。 As a main application of the information processing apparatus, for example, there is an apparatus that detects an obstacle from image data taken from two cameras. When this device is used as a forward monitoring device for an automobile or the like, an application for detecting a front obstacle and avoiding a collision can be realized, and damage caused by a traffic accident can be reduced or avoided. Here, in order to reliably detect an obstacle and control the automobile, it is preferable that the response of the output result of the information processing apparatus is fast.
前記特許文献1では、高性能なバスを用いずに画像処理速度を向上させることが記載されているが、出力結果の応答性を向上させる点について考慮されていない。
In
そこで、本発明は、高性能なバスを用いずに応答性を向上させた情報処理装置の提供を目的とする。例えば、第一の画像処理装置で3次元情報を生成し、第二の画像処理装置でより情報量多くの情報を必要とする空間認識を実行する。これにより、立体物を早期に検出でき、制御信号を生成できる。 Therefore, an object of the present invention is to provide an information processing apparatus with improved responsiveness without using a high-performance bus. For example, three-dimensional information is generated by the first image processing apparatus, and space recognition that requires more information is executed by the second image processing apparatus. Thereby, a solid object can be detected early and a control signal can be generated.
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。 In order to solve the above object, the configuration described in the claims is adopted.
本発明によれば、処理速度が高速で出力結果の応答性のよい画像処理装置を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus having a high processing speed and good output result responsiveness.
以下、本発明の実施形態を図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本実施形態では、情報処理装置の一例である車載用ステレオカメラを使用して車両を制御する例を説明する。本実施形態は、車載用ステレオカメラを機能の異なる複数の車種に展開する際に、特に有効である。 In the present embodiment, an example in which a vehicle is controlled using an in-vehicle stereo camera that is an example of an information processing apparatus will be described. This embodiment is particularly effective when deploying a vehicle-mounted stereo camera to a plurality of vehicle types having different functions.
車載用ステレオカメラは2つのカメラを備え、2つのカメラで撮影された画像に対して、画像処理により画面に映っている物体までの距離を測定する。物体の距離がわかると、物体までの距離情報を元に、自動車のブレーキを制御して車を停車させることができる。これにより、運転手が万が一わき見などしてしまった場合など、事故を回避することができる。車載ステレオカメラは、人間の目と同じように、可視光の領域の見えの情報と、画像上の3次元位置がわかることから、前述した物体検知機能だけでなく、信号検知、標識検知など複数のアプリケーションをひとつのセンサで検出できる。しかしながら、認識対象物が増えると、計算量が増大するため、リアルタイム処理することが困難になる。増大する計算量をリアルタイム処理するためには、ASICなどのLSIを開発して解決することができるが、機能が増えるごとにASICの開発をすることは、コスト面や開発期間の面で課題がある。また、認識する対象が増えることで、認識機能を開発する時間も必要となり、タイムリーにユーザに機能を提供することができない。 The in-vehicle stereo camera includes two cameras, and measures the distance to an object shown on the screen by image processing with respect to images taken by the two cameras. If the distance of the object is known, the vehicle can be stopped by controlling the brake of the automobile based on the distance information to the object. As a result, accidents can be avoided, for example, when the driver has looked aside. Since the in-vehicle stereo camera knows the visible information of the visible light region and the three-dimensional position on the image, similar to the human eye, not only the object detection function described above but also signal detection, sign detection, etc. Can be detected with a single sensor. However, when the number of recognition objects increases, the amount of calculation increases, and real-time processing becomes difficult. In order to process the increasing amount of calculation in real time, an LSI such as an ASIC can be developed and solved. However, the development of an ASIC as the number of functions increases causes problems in terms of cost and development period. is there. In addition, since the number of objects to be recognized increases, it takes time to develop the recognition function, and the function cannot be provided to the user in a timely manner.
そこで、2つのカメラから得られる画像から3次元位置を求める処理のように、基本的な画像処理を実行する回路と、さまざまな認識機能をリアルタイムに処理するために実現する回路を別々に持ち、認識機能部分の拡張に合わせて、認識のリアルタイム処理に必要な回路のみ更新する構成とすることで、最小限のコストでタイムリーに製品をユーザの元に届けることができる。また、高級車には多くの認識機能を搭載した高級車用モデルと、障害物のみを検出するといった最低限の機能を搭載した低価格帯向けモデルのように、ユーザのニーズに合わせてカスタマイズする場合にも、認識部分にかかわる回路のみ変更することで対応することができるため、多くの部品を共用化でき、効率がよい。 Therefore, we have separate circuits that perform basic image processing, such as processing to obtain a three-dimensional position from images obtained from two cameras, and circuits that realize various recognition functions in real time. By adopting a configuration in which only the circuits necessary for real-time processing of recognition are updated in accordance with the expansion of the recognition function portion, the product can be delivered to the user in a timely manner at a minimum cost. In addition, high-end cars are customized according to user needs, such as high-end car models with many recognition functions and low-priced models with minimum functions such as detecting only obstacles. Even in this case, it is possible to cope with the problem by changing only the circuit related to the recognition part, so that many parts can be shared and the efficiency is high.
図1に本実施形態の具体的な構成について説明する。本実施形態に示す情報処理装置は、車載ステレオカメラを自動車に取り付けて、障害物を回避する機能を実現するものである。 FIG. 1 illustrates a specific configuration of the present embodiment. The information processing apparatus shown in this embodiment implements a function of avoiding an obstacle by attaching an in-vehicle stereo camera to a car.
センサ101と画像処理部102とメモリ103からなる第一の画像処理装置はバス130を介して第2の画像処理部に接続されている。センサ101は、一例として、CMOSセンサを2つ接続したステレオカメラがある。センサの種類は、カメラ1つで実現してもよく、TOF(Time of Fright)センサでもよく、被写体までの距離と画像が取得できるセンサあればよい。ステレオカメラは2つの画像データを取得でき、情報量が多いため、本発明が効果的である。
A first image processing apparatus including the
画像処理部102は、センサ101から出力されたデータから認識処理の前処理として必要な処理を行う。ここでは、センサ101がステレオカメラの場合について説明する。画像処理部102では画素毎に視差を算出する処理を行う。右画像と左画像の輝度のばらつきを補正する輝度補正を行い、左右の画像が平行になるように幾何補正を行う。
The
輝度補正および幾何補正は、あらかじめ校正された校正テーブルおよび座標変換テーブルを参照して実行される。輝度補正の校正テーブルは、画素毎にオフセット量と倍率が設定されており、幾何補正の座標変換テーブルは画素毎にどの座標にマッピングするかについての情報を持つ。 Luminance correction and geometric correction are executed with reference to a calibration table and a coordinate conversion table that have been calibrated in advance. In the calibration table for luminance correction, an offset amount and a magnification are set for each pixel, and the coordinate conversion table for geometric correction has information on which coordinate is mapped for each pixel.
次に、画像処理部102は、平行化された左右の画像に対して、対応点検索を行い、画素毎に基準点からの距離を算出する。基準点は左右のカメラの中央や車両の中央先端部分など、任意に設定することができる。
Next, the
対応点検索は、以下のように行われる。まず、左右どちらかの画像を基準画像、他方を参照画像として、例えば縦5画素、横5画素のブロックをウィンドウとして設定する。そして、基準画像の注目画素周辺の縦5画素、横5画素を基準として、参照画像を水平に探索する。このとき、相関値としてSADを用いる。SADは縦5画素と横5画素のブロックにおいて、座標ごとに絶対値差分をとり、その差分値を足し合わせたものである。この相関値がもっとも小さいエリアを探索し、その点をマッチング位置と呼ぶ。マッチング位置は、左右の見え方の差である視差と呼ぶ。この計算を、基準画像の画素毎に計算し、基準画像の画素に対応した視差画像を生成する。この対応点探索によって生成される視差画像は画素毎に3次元位置に変換できるため、近い距離にある画素をグルーピングすることで立体物を検出することができる。 The corresponding point search is performed as follows. First, one of the left and right images is set as a standard image, and the other is set as a reference image. For example, a block of 5 pixels vertically and 5 pixels horizontally is set as a window. Then, the reference image is searched horizontally with reference to the vertical 5 pixels and the horizontal 5 pixels around the target pixel of the standard image. At this time, SAD is used as the correlation value. SAD is an absolute value difference for each coordinate in a block of 5 pixels in the vertical direction and 5 pixels in the horizontal direction, and the difference values are added together. An area having the smallest correlation value is searched, and that point is called a matching position. The matching position is called parallax, which is the difference between the left and right appearance. This calculation is performed for each pixel of the reference image, and a parallax image corresponding to the pixel of the reference image is generated. Since the parallax image generated by the corresponding point search can be converted into a three-dimensional position for each pixel, a three-dimensional object can be detected by grouping pixels at a close distance.
外部IF110は第一の画像処理装置から送られてくるデータを受信する。第一の画像処理装置から送信されるデータは、右カメラで撮影した右カメラ画像と、左カメラで撮影した左カメラ画像と、右カメラの画像からエッジの強度を計算したエッジ画像と、左右のカメラ算出した距離画像と、の4種類が含まれている。転送制御部111は外部IF110から送られてくるこれらのデータを画像処理部112とメモリ113に転送する。転送内容は図2に示すように、あらかじめ転送テーブルをCPU114が転送制御部111に設定しておく。外部IF110と画像処理部102でのデータの送受信の手続きの中に、画像の種別を示すIDと転送サイズ、画像サイズといった情報を送信する。転送制御部111はこのIDや転送サイズ、画像サイズの情報から、事前にCPUから設定された転送テーブルを参照して、データ転送先とデータ転送先に送るデータを切り出して転送する。
The
メモリ113は、転送制御部111から転送されたデータの一時記憶領域として使用する。また、CPU114のプログラムとプログラム作業用領域のメモリとしても利用する。メモリ113と転送制御部111はバス130に比べて十分高速なバスを使用する。バス130は、送信された距離画像とエッジ画像を転送できる帯域であり、メモリ113と転送制御部111の間のバスは、距離画像とエッジ画像を転送に加えて、CPU114や誤述する画像処理112がバスを占有しても距離画像とエッジ画像を滞りなく転送できる帯域をもつ。
The
CPU114はメモリ113に転送されたデータを使用して認識処理を行う。例えば、距離画像から距離の近い点をグルーピングして立体物を検出し、立体物の距離や相対速度を計算する。この計算結果は外部通信部115からバス132を経由して車両制御部120に送信される。
The
車両制御部120は立体物に対して衝突する可能性があるかどうかを判定し、ブレーキ制御部121、エンジンコントロール部122に指令値をだす。また、警報制御部123、表示部124を制御してユーザに対して注意喚起する。
The
ここで、認識処理において、より早く車両制御部120に指示を出すことが重要であるため、認識処理を高速に処理する必要がある。そこで、画像処理部112の処理について詳しく説明する。
Here, in the recognition process, since it is important to give an instruction to the
画像処理部112は、メモリ113を介さずに転送制御部111から転送されたデータに画像処理を行い、画像処理の結果をメモリ113に格納する。したがって、第一の画像処理装置から第二の画像処理装置への画像転送中に認識処理の高速化に必要な画像を生成することができるため、認識処理すなわち立体物検出処理を早期に実行し結果を出力することができるようになる。認識処理の高速化に必要な画像の種類としては、例えば、エッジ強度を計算したエッジ強度画像やヒストグラム結果などがあり、認識処理の内容によって自由に選択してもよい。画像処理の効率を考慮すると、数ラインで処理できる計算を実行させると、画像転送速度と同等の速度でメモリ113に出力できるため、よりリアルタイム性が向上し、効果的である。
The
また画像処理部112は複数の画像処理を並列して行うと、CPUの計算負荷をさらに低減できるためより効率的である。図3を用いて転送制御部111から画像処理部112がデータを受信し、複数の画像を生成する例について説明する。Line buffer301は輝度画像を一時保存する領域であり、Line buffer302は距離画像を一時保存する領域である。本例では、輝度画像から画像縮小部303が縮小画像を、積分画像処理部304が積分画像を生成する。また、視差画像からヒストグラム処理部305がヒストグラムを生成する。したがってそれぞれの画像処理で必要なライン数分の画像を蓄えられればよい。転送制御部111は画像の種別が図2の転送テーブルによってあらかじめわかっているため、画像の種類毎にLine buffer301,302にデータを転送する。画像縮小部303は輝度画像を縮小する処理を行い、元の画像の1/2倍、1/3倍、1/4倍といった複数の画像を同時に生成することができる。これにより、認識処理を行う際に縮小処理を省略できるため、認識処理が高速に処理できる。例えば、パターンマッチングする際に、1つのテンプレートで複数のスケールで探索する場合に有効である。積分画像処理部304は輝度画像の各画素に対して数式1の計算を行うことができる。
S(x,y)=I(x,y)+I(x−1,y)+I(x,y−1)−I(x−1,y−1) 数式1
積分画像は、矩形領域内の輝度値の総和を求める際に、矩形内のすべての画素を読み出す必要がなく、積分画像の4点を読み出すことで計算できるため、輝度値の総和計算を高速に行うことができる。
Further, when the
S (x, y) = I (x, y) + I (x-1, y) + I (x, y-1) -I (x-1, y-1)
The integral image does not need to read out all the pixels in the rectangle when calculating the sum of the luminance values in the rectangular area, and can be calculated by reading out four points in the integral image. It can be carried out.
ヒストグラム305は視差画像のヒストグラム計算をする。横軸は視差値、縦軸は視差画像のY軸で、1ラインごとの視差値の出現した回数を値として記録した画像である。1ラインの中でもっとも視差が多かった視差の位置と数がわかる。この画像を使用すると視差の数が多い点をつなぐと路面高さを推定することできるため、ステレオカメラで最初に計算しておくと、高速に立体物検出処理に進むことができる。 また、ヒストグラム処理を視差の小さい部分に制限し細かい分解能にした遠方用ヒストグラムと視差の小さいところから大きいところまで荒い分解能の近傍用ヒストグラムの2種類を作成すると、遠方と近傍の両方を精度よく路面推定することができ、すべてを細かい分解能で生成するより画像サイズを抑えることができる。Out buffer306は各画像処理303,304,305のデータを一時出力する領域で出力制御部307はメモリ113にOut buffer306に蓄積された画像を転送する。メモリ113の負荷状況によって転送が中断されても処理が継続できるようにOut buffer306のサイズを調整するとよい。転送された画像は図4のようにメモリ113にA面、B面交互に出力される。交互に出力することで、画像の転送処理とCPU114での認識処理をパイプライン処理できる。
A
図4は、メモリ113に格納するデータのメモリマップ例を示し、メモリ113の物理アドレスとそれに対応する画像の種類が記載されている。ID1、ID3、ID4の画像は、転送制御部111から直接書き込まれるデータで、図2の転送ONかつ転送先にメモリとなっているものがAreaに従って転送される。そのほかの積分画像、縮小画像、ヒストグラム結果は画像処理部112から転送されるデータの格納領域である。
FIG. 4 shows an example of a memory map of data stored in the
次に転送画像と認識処理の動作タイミングについて図5を用いて説明する。図5では横軸が時間で縦軸に処理する内容が記載されている。画像の転送と並行して画像処理部112による画像処理が実行され、これらの処理と並行して認識処理がCPU114にて実行されている様子を表す。これにより、従来CPUで各種画像処理をして認識処理をする場合に比べて、短時間で認識処理することができる。また、CPUを介在せずに画像転送と画像処理が実行されるため、CPUの計算量を増加させずに画像処理が行えるため、立体物検知をより早く出力できる。さらに、余ったCPUのリソースを使用して複数のアプリケーションを動作させるといった使い方もできる。複数のアプリケーションをステレオカメラ1台で済ますことができれば、車両に搭載するセンサの数を減らすことができるため、ユーザに対して低価格で安全機能を提供することができる。
Next, the operation timing of the transfer image and the recognition process will be described with reference to FIG. In FIG. 5, the horizontal axis indicates time and the vertical axis indicates the processing content. The image processing by the
本実施例では実施例1の構成のバス130が低速な場合の例について説明する。
バス130が低速な場合でかつリアルタイム処理が必要な場合、転送量を小さくする必要がある。また、認識処理によって、必要な画像の種類や領域が異なるため、例えば、標識を検知する場合は道路よりも撮像された画像のうち上方の領域が必要となるが、車線を検知する場合は道路付近、つまり下側の領域が必要となる。
In this embodiment, an example in which the
When the
そこで図2の転送テーブルを参照してCPU114が画像処理部102に対して、必要なデータ転送を指示することができるようにする。画像処理部102は、外部IF110からの転送要求によって、転送するデータのサイズや種類を選択して転送する。これにより、バス130の転送速度や認識の処理周期、認識機能の数によって調整することができる。例えば、認識機能の少ないシステムを構築する場合、必要な画像の量も少ないので、バス130の負荷を減らした設定テーブルにする。例えば、図6のように画像の領域を中心部分に絞ると、面積比で転送負荷を削減することができ、バス130が低速であっても実現できる。また、突然画面内に飛び出してくる歩行者を検出したい場合、できるだけ応答性を上げるために処理周期を短くしたい。しかし、処理周期を短くすると、転送データ量が少なくなってしまうため、領域を制限することで対応できる。飛び出してくる歩行者の場合は、画面を縦方向を削り、できるだけ横方向に広くすると、早期に歩行者を検出できる利点がある。
Therefore, the
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, each of the above-described configurations may be configured such that some or all of them are configured by hardware, or are implemented by executing a program by a processor. Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
101:センサ、102:画像処理部、103:メモリ、110:外部IF、111:転送制御部、112:画像処理部、113:メモリ、114:CPU、115:外部通信部、120:車両制御部、121:ブレーキ制御部、122:エンジンコントロール部、123:警報制御部、124:表示部、130:バス、132:バス 101: Sensor, 102: Image processing unit, 103: Memory, 110: External IF, 111: Transfer control unit, 112: Image processing unit, 113: Memory, 114: CPU, 115: External communication unit, 120: Vehicle control unit 121: Brake control unit, 122: Engine control unit, 123: Alarm control unit, 124: Display unit, 130: Bus, 132: Bus
Claims (4)
メモリと、
前記第一の画像処理により作成された情報に第二の画像処理を行う画像処理部と、
前記他の画像処理装置から送信された、少なくとも前記第一の画像処理により作成された情報を含む複数の種類の情報を受信し、前記メモリと、前記画像処理部と、に出力する転送制御部と、
前記転送制御部を制御する制御部と、を備え、
前記転送制御部は、前記複数の種類の情報のうち、少なくとも前記第一の画像処理により作成された情報を前記メモリを介さずに前記画像処理部に出力し、
前記画像処理部は前記第二の画像処理により作成された情報を前記メモリに出力することを特徴とする画像処理装置。 Connected to other image processing devices that perform first image processing on the input image via a network,
Memory,
An image processing unit that performs second image processing on the information created by the first image processing;
A transfer control unit that receives a plurality of types of information including at least information created by the first image processing, transmitted from the other image processing device, and outputs the information to the memory and the image processing unit When,
A control unit for controlling the transfer control unit,
The transfer control unit outputs at least the information created by the first image processing among the plurality of types of information to the image processing unit without going through the memory,
The image processing apparatus, wherein the image processing unit outputs information created by the second image processing to the memory.
前記第一の画像処理により作成された情報は輝度画像と輝度画像に対応する距離情報とを含み、
前記転送制御部は、前記輝度画像と前記距離情報を前記メモリにも出力し、
前記画像処理部は、前記距離情報を基に路面推定処理を行い、当該路面推定処理の結果を前記メモリに出力することを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The information created by the first image processing includes a luminance image and distance information corresponding to the luminance image,
The transfer control unit also outputs the luminance image and the distance information to the memory,
The image processing apparatus, wherein the image processing unit performs a road surface estimation process based on the distance information, and outputs a result of the road surface estimation process to the memory.
前記画像処理部は、前記路面推定処理の結果として水平方向画像座標毎に画素の距離の分布を示す情報を生成し、前記メモリに出力することを特徴とする画像処理装置。 The image processing apparatus according to claim 2,
The image processing unit generates information indicating a distribution of pixel distances for each horizontal image coordinate as a result of the road surface estimation process, and outputs the information to the memory.
前記画素の距離の分布を示す情報は、水平方向画像座標毎に近距離の画素に限定して生成した情報と、水平方向画像座標毎に遠距離の画素に限定して生成した情報と、があることを特徴とする画像処理装置。 The image processing apparatus according to claim 3,
The information indicating the distribution of the distance of the pixels includes information generated only for short distance pixels for each horizontal image coordinate and information generated for only long distance pixels for each horizontal image coordinate. An image processing apparatus comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014138238A JP2016019009A (en) | 2014-07-04 | 2014-07-04 | Information processing apparatus |
PCT/JP2015/065971 WO2016002418A1 (en) | 2014-07-04 | 2015-06-03 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014138238A JP2016019009A (en) | 2014-07-04 | 2014-07-04 | Information processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016019009A true JP2016019009A (en) | 2016-02-01 |
Family
ID=55018970
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014138238A Pending JP2016019009A (en) | 2014-07-04 | 2014-07-04 | Information processing apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2016019009A (en) |
WO (1) | WO2016002418A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7106332B2 (en) * | 2018-04-17 | 2022-07-26 | 日立Astemo株式会社 | External recognition device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3522317B2 (en) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | Travel guide device for vehicles |
JP3272696B2 (en) * | 1999-07-30 | 2002-04-08 | 富士重工業株式会社 | Outside monitoring device with fail-safe function |
JP6014867B2 (en) * | 2012-12-14 | 2016-10-26 | 富士重工業株式会社 | Image processing device |
-
2014
- 2014-07-04 JP JP2014138238A patent/JP2016019009A/en active Pending
-
2015
- 2015-06-03 WO PCT/JP2015/065971 patent/WO2016002418A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2016002418A1 (en) | 2016-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6202367B2 (en) | Image processing device, distance measurement device, mobile device control system, mobile device, and image processing program | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
JP2019096072A (en) | Object detection device, object detection method and program | |
US10242272B2 (en) | Method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle | |
JP6406159B2 (en) | In-vehicle display control device, in-vehicle display control method | |
CN106335502B (en) | Semiconductor device, control system and observation method | |
JP6601506B2 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method, image processing program, and vehicle | |
WO2017183141A1 (en) | Periphery recognition device, periphery recognition method, and periphery recognition program | |
US20170180701A1 (en) | Information processing system | |
JP2017033402A (en) | Vehicle-mounted display control device and vehicle-mounted display control method | |
JPWO2016063545A1 (en) | Stereo camera device and vehicle equipped with stereo camera device | |
JP2019168821A (en) | Car outside environment recognition device | |
JP2015184907A (en) | Image processor and image processing program | |
US20200166346A1 (en) | Method and Apparatus for Constructing an Environment Model | |
JP6591188B2 (en) | Outside environment recognition device | |
WO2016002418A1 (en) | Information processing device | |
JP2021092996A (en) | Measurement system, vehicle, measurement method, measurement device and measurement program | |
JPWO2017154305A1 (en) | Image processing apparatus, device control system, imaging apparatus, image processing method, and program | |
JP2018077713A (en) | Lane marking detection system | |
JP4404047B2 (en) | Obstacle collision determination system, determination apparatus, obstacle collision determination method, and computer program | |
JP2016009427A (en) | Image processor, image processing method, and device control system | |
US20170078644A1 (en) | Controller applied to a three-dimensional (3d) capture device and 3d image capture device | |
JP7429246B2 (en) | Methods and systems for identifying objects | |
JP2021051348A (en) | Object distance estimation apparatus and object distance estimation method | |
JP2013161187A (en) | Object recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170117 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170124 |