JP2009085651A - Image processing system - Google Patents
Image processing system Download PDFInfo
- Publication number
- JP2009085651A JP2009085651A JP2007252955A JP2007252955A JP2009085651A JP 2009085651 A JP2009085651 A JP 2009085651A JP 2007252955 A JP2007252955 A JP 2007252955A JP 2007252955 A JP2007252955 A JP 2007252955A JP 2009085651 A JP2009085651 A JP 2009085651A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- image processing
- processing system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、接近する他車の画像を処理するシステムに関する。 The present invention relates to a system for processing an image of an approaching other vehicle.
自動車の安全性に対する要求はますます高まっている。また高齢化社会の進展に伴い、ドライバーの安全で快適な運転を援助する機能が求められている。 The demand for automobile safety is increasing. Along with the progress of an aging society, there is a need for a function that assists the driver in driving safely and comfortably.
自車の後方を監視する技術としては、ステレオカメラを用いたものが知られている。しかしながら、後方監視のためにステレオカメラを用いると、後方監視のために単眼カメラを用いるよりも高コストとなる。ステレオカメラは撮像デバイスが１つのステレオカメラに対して少なくとも２ついること、ステレオカメラのデータ転送量は単眼カメラに対して少なくとも２倍あること、そのデータを処理するためにＣＰＵの処理性能が要求されること、２つのカメラの相対位置が経年変化でかわるために定期的なキャリブレーションが必要なこと、といったことによる。そこで、近年、単眼のリアビューカメラの搭載率が増加している。このリアビューカメラは、主として自車が後進する際の後方確認用として利用されている。また、ドアミラー部にも後側方を監視するカメラが搭載されつつある。ここで、車両に取り付けられた複数の撮像装置により撮像した撮像データを画像処理し、障害物を認識して警告するシステムがある（特許文献１参照）。 A technique using a stereo camera is known as a technique for monitoring the rear of the vehicle. However, using a stereo camera for rear monitoring is more expensive than using a monocular camera for rear monitoring. A stereo camera requires at least two imaging devices for one stereo camera, the data transfer amount of the stereo camera is at least double that of a monocular camera, and CPU processing performance is required to process the data. This is because periodic calibration is necessary in order for the relative position of the two cameras to change over time. Therefore, in recent years, the mounting rate of monocular rear view cameras has increased. This rear view camera is mainly used for rearward confirmation when the host vehicle moves backward. A camera for monitoring the rear side is also being mounted on the door mirror. Here, there is a system that performs image processing on imaging data captured by a plurality of imaging devices attached to a vehicle, recognizes an obstacle, and warns (see Patent Document 1).
特許文献１では、複数の撮像装置により撮像した撮像画像の重複領域と非重複領域との間で、認識対象が移動した場合の対応方法が記載されていない。即ち、認識対象が重複領域から非重複領域へ移動した場合に正確な画像処理を行うことができない、という課題がある。
そこで、本発明の目的は、認識対象が重複領域から非重複領域へ移動した場合であっても、正確な画像処理を行うシステムを提供することにある。 Therefore, an object of the present invention is to provide a system that performs accurate image processing even when a recognition target moves from an overlapping region to a non-overlapping region.
上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。 In order to solve the above problems, one of the desirable embodiments of the present invention is as follows.
車両検知システムは、第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える。 The vehicle detection system includes: an input unit that inputs an overlapping area and a non-overlapping area between a first area captured by a first monocular camera and a second area captured by a second monocular camera; and an image in the overlapping area A distance calculation unit for recognizing the other vehicle and calculating a distance between the host vehicle and the other vehicle, and when the other vehicle moves from the overlapping region to the non-overlapping region, the distance calculation unit calculates the distance And a tracking unit that estimates a relative position of the other vehicle with respect to the host vehicle.
本発明によれば、認識対象が重複領域から非重複領域へ移動した場合であっても、正確な画像処理を行うシステムを提供することにある。 According to the present invention, it is an object of the present invention to provide a system that performs accurate image processing even when a recognition target moves from an overlapping region to a non-overlapping region.
以下、図面を参照して詳細に説明する。 Hereinafter, it will be described in detail with reference to the drawings.
図１は、本発明の全体システムの構成例である。 FIG. 1 is a configuration example of the entire system of the present invention.
図１において、１０１は全体システム、１０２，１０３は車載カメラ、１０４はビデオ入力インタフェース（入力部）、１０５はマイコン、１０６はランダムアクセスメモリ、１０７はリードオンリーメモリ、１０８は歪み補正部、１０９は画像処理部、１１０は表示部、１１１は表示インタフェース、１１２は音声出力部、１１３は音声出力インタフェース、１１４はバス、である。 In FIG. 1, 101 is an overall system, 102 and 103 are on-vehicle cameras, 104 is a video input interface (input unit), 105 is a microcomputer, 106 is a random access memory, 107 is a read-only memory, 108 is a distortion correction unit, 109 is An image processing unit, 110 is a display unit, 111 is a display interface, 112 is an audio output unit, 113 is an audio output interface, and 114 is a bus.
車載カメラ１０２，１０３は、車外の予め決まった場所に設置されており、車外の画像をビデオ入力インタフェース１０４に伝える。本実施例では車載カメラ１０２が側方、車載カメラ１０３が後方を撮影しており、それら２つの撮影領域には重複領域がある。ビデオ入力インタフェース１０４は、車載カメラ１０２，１０３を本実施例のシステムに接続するためのインタフェースである。マイコン１０５は、汎用的な演算処理が可能な回路であり、リードオンリーメモリ（ＲＯＭ）１０６から起動プログラムを読み込み起動し、ランダムアクセスメモリ１０６上のデータを変更しながら、本実施例のシステム全体の動作を制御する。ランダムアクセスメモリ１０６は、画像データや演算の途中結果や車両の検知結果などを保存する。リードオンリーメモリ１０７は、本実施例のシステムのプログラムや画像補正に用いる定数値などを保存する。歪み補正部１０８は、車載カメラ１０２，１０３で取得してランダムアクセスメモリ１２４上に保存されている画像を、予め車載カメラ１０２，１０３のそれぞれのパラメータに基づいてＲＯＭに保存されており、歪みのない画像に補正し、再びランダムアクセスメモリ１０７上に格納する。
The in-
画像処理部１０９は、画像処理のための専用回路であり、ランダムアクセスメモリ１０６上に保存されている画像データに対して処理を行い、処理結果を再びランダムアクセスメモリ１０６上に書き戻す。画像処理はマイコン１０５のソフトウェアだけで処理することも可能であるが、画像処理部１０９をアクセラレータとして用いて高速に処理することも可能である。その場合にはマイコン１０５が画像処理部１０９に対して処理に必要な設定を行い、また、必要に応じてステータス情報（演算終了やヒストグラムなど画像の性質に関する情報など）をマイコン１０５が画像処理部１０９より受け取る。
The
表示部１１１は、表示インタフェース１３０を通じてバス１１４に接続されており、本実施例の車両検知結果を表示するための装置であり、表示部１１１は自車の運転席側に取り付けられている。音声出力部１１２は、本実施例のシステムの車両検知結果をユーザに知らせる際、動作モードによって音声やアラーム音などで知らせる（例えばスピーカ）。バス１１４は、マイコン１０５やランダムアクセスメモリ１０６など図示の要に接続がなされており、接続された構成要素間で情報授受が行われる。
The
尚、本稿では、車載カメラ１０３が後方の場合について説明しているが、前方カメラにも適用できることはいうまでもない。
In this paper, the case where the in-
図２は、車載カメラ１０２，１０３が撮像する範囲を、自車の頭上から示した図である。
FIG. 2 is a diagram showing a range captured by the in-
図２において、２０１，２０３は車道の車線、２０２は車道の中央線、２０４は車載カメラ１０３の光軸方向、２０５，２０９は車載カメラ１０２の撮影範囲を示すために表記された線、２０６と２０８は車載カメラ１０３の撮影範囲を示すために表記された線、２０７は車載カメラ１０２の光軸方向、２１０は本発明の実施例が搭載されている自車、２１１は自車が走行する方向を示す矢印、である。
In FIG. 2, 201 and 203 are lanes of the roadway, 202 is a center line of the roadway, 204 is an optical axis direction of the in-
図２において、Ａ，Ｂ，Ｃ，Ｄ，Ｅといったアルファベットが表記されている。これらはそれぞれある領域を示すものであり、領域Ａは車載カメラ１０３でのみ撮像される場所、領域Ｂは車載カメラ１０２と１０３で撮像される場所、領域Ｃは車載カメラ１０２でのみ撮像される場所を示している。領域Ｄ、Ｅは車載カメラ１０２でも１０３でも撮像されない場所を示している。
In FIG. 2, alphabets such as A, B, C, D, and E are shown. Each of these indicates a certain area, area A is a place where only the in-
図３は、全体動作を説明するためのフロー図である。図３（ａ）は、通常動作時の全体動作を説明するためのフロー図、図３（ｂ）は、キャリブレーションの全体動作を説明するためのフロー図である。 FIG. 3 is a flowchart for explaining the overall operation. FIG. 3A is a flowchart for explaining the overall operation during normal operation, and FIG. 3B is a flowchart for explaining the overall operation of calibration.
図３（ａ）において、３０２は入力画像確認処理、３０３は検知処理、３０４は表示処理、である。 In FIG. 3A, 302 is an input image confirmation process, 303 is a detection process, and 304 is a display process.
入力画像確認処理３０２は、入力された画像に不具合がないか確認するための処理である。検知処理３０３は、後方車両の検知やトラッキングを行う処理である。表示処理３０４は、検知した車両をユーザに分かり易く表示したり音声でアナウンスするための処理である。
The input
図３（ｂ）において、３０７は入力画像確認処理、３０８はキャリブレーション処理、である。
In FIG. 3B,
入力画像確認処理３０７は、入力画像確認処理３０２と同様の処理である。キャリブレーション処理３０８は、車載カメラ１０２，１０３による重複領域について、より正確に三次元位置を把握できるよう、パラメータを調整するための処理である。キャリブレーション処理は製品出荷前の製造の工程で行われる処理である。この処理でパラメータが確定され、それがＲＯＭに書き込まれて出荷される。
The input
図４は、入力画像確認処理３０２を説明するため図である。図４（ａ）は入力画像確認処理３０２のフロー図である。
FIG. 4 is a diagram for explaining the input
図４（ａ）において、４０２はヒストグラム計算処理、４０３はスミア確認処理、である。 In FIG. 4A, 402 is a histogram calculation process, and 403 is a smear confirmation process.
ヒストグラム計算処理４０２は、入力画像において図に示すように縦方向に濃淡画像の和を計算する処理である。このヒストグラム計算処理４０２によって、画面のＸ座標毎に値が１つずつ計算され、画面の横方向のサイズと同じ大きさの配列にそれぞれの和が格納される。
The
スミア確認処理４０３は、先に計算した結果が格納されている前記配列を用いて、配列の要素がある閾値を超えているか否かで、そのＸ座標においてスミアが発生しているか否か確認する。画面のすべてのＸ座標について確認を行い、スミアが発生していないことを確認する。もしスミアが発生していれば、スミア発生を後段の処理に伝える。スミアが発生している場合には、本実施例ではそのフレームについての画像処理は行わない。その他の対処方法としては、その列の画素を用いずに、隣の画素の値をそのまま用いる方法、あるいは周辺の画素の平均を用いる方法といったことが考えられる。尚、スミアはＣＣＤカメラを使用した場合に発生しうるものであり、ＣＭＯＳカメラを使用した場合には発生しない。本実施例では、ＣＣＤカメラの使用を想定している。
The
図５は、検知処理３０３のフロー図である。
FIG. 5 is a flowchart of the
図５において、５０１は側方入力画像、５０２は後方入力画像、５０３，５０６は歪み補正のための係数、５０４，５０５は歪み補正処理、５０７は画像準備処理、５０９，５１０は射影変換処理、５０８，５１１は射影変換のための係数、５１２は走行道路検出処理、５１３はブロックマッチング処理、５１４は優先処理候補指示処理、５１５は後方車両判定処理、５１６はトラッキング処理、５１７は検出結果、である。 In FIG. 5, 501 is a lateral input image, 502 is a backward input image, 503 and 506 are distortion correction coefficients, 504 and 505 are distortion correction processes, 507 is an image preparation process, 509 and 510 are projective transformation processes, 508 and 511 are coefficients for projective transformation, 512 is a road detection process, 513 is a block matching process, 514 is a priority process candidate instruction process, 515 is a rear vehicle determination process, 516 is a tracking process, and 517 is a detection result. is there.
歪み補正処理５０４は、側方入力画像５０１を入力とし、予め定められた係数値をもとに、カメラの歪みを補正した画像を得る処理である。歪み補正処理５０５も、入力画像が後方入力画像５０２である以外は、同様である。
The
画像準備処理５０７は、歪みが補正された画像により後方車両を検知するための準備の処理である。ここで入力画像に不具合がないかの確認や、２つの車載カメラの明度の違いが補正される。
The
射影変換処理５０９は、取り付け位置と撮像方向（光軸）が異なる２つのカメラ画像について、それらを擬似的にあわせていく（取り付け位置については視差を許容する）処理である。射影変換処理５１０についても同様である。本実施例では、２つの入力画像のうち、より解像度が高い方の画像に対して処理を行うことにより、画像情報が失われることによる検出精度の低下の抑止を狙っている。
The
走行道路検出処理５１２は、画像を用いた処理であり、一般にレーン認識と呼ばれる技術が基本となっている。更に、画像情報と、これまでの走行履歴（位置の履歴）と、自車の進行方向をもとに、画像上の後方道路の形状を把握している。これにより、走行路上を接近する後方車両や、追い越し車両を、ガードレールや街路樹、対抗車両と区別して認識することができる。また、本実施例では記載していないが、カーナビゲーションシステム等から道路形状のデータを入手して、それを利用することもできる。
The traveling
ブロックマッチング処理５１３は、優先処理候補指示５１４のデータをもとに、ブロックマッチング処理を行う。この指示のデータは、トラッキング処理５１６により得られたものである。車両が検出されうる領域すべてについてブロックマッチングを行うべきであるが、領域のどの部分から処理するかということについて、優先処理候補指示５１４のデータを利用する。一般に、ブロックマッチング処理は演算量が多いため時間がかかる。そこで、画像上の処理領域で優先順位をつける。所定時間内に処理が終わらないときは、優先度の低いものは処理しない。
The
後方車両判定処理５１５は、走行路検出処理５１２とブロックマッチング処理５１３の結果を元に、後方の車両を検知する処理である。
The rear
トラッキング処理５１６は、検出結果５１７を出力するとともに、優先処理候補指示５１４のデータを出力する。
The
ここで図６を用いて、歪み補正処理５０４，５０５の動作を説明する。
Here, the operation of the
図６において、６０１は歪み補正前の画像、６０２は歪み補正後の画像、６０３〜６０６と６０７〜６１０はそれぞれ４つずつの座標であり、歪み補正の仕方を指示するためのデータ群の１セットである。６１１〜６１４は４つの画素を示しており、６１５と６１６の２つの点線の交点が、歪み補正後の画素の色情報を取得したい点（サブピクセル単位の点）である。
In FIG. 6,
歪み補正部１０８により歪みがある画像から、歪み補正後の画像を作るには、車載カメラ１０２〜１０４のそれぞれのカメラパラメータに基づいて、歪み補正のテーブル（座標の対応関係を示すテーブル）がカメラの設計データやキャリブレーションによってに予め作成されている。本実施例では車載カメラが２つあるので、テーブルも２つある。前記テーブルは、図６（ｂ）の座標データの組（セット）が複数集まってできている。例えば、歪み補正後に座標６０７から６１０で示される範囲の座標となる画素の位置は、歪み補正前の座標６０３〜６０６の座標を元に、線形補間計算を行い、求められる。このとき、歪み補正前の座標の値が、小数点以下、即ち、画素よりも細かい単位での座標となることがあるが（６１５と６１６で示される座標）、その場合には、画素６１１〜６１４の４つの画素の色情報を元に、補間計算を行って、６１５と６１６で表される座標の色情報を求め、それを歪み補正後の画素の色とする。このような処理を歪み補正後の画像６０２の全域にわたって処理を行い、歪み補正後画像６０２を求める。この歪み補正部による処理は、本実施例におけるすべての車載カメラによる撮像画像に対して行われている。
In order to create an image after distortion correction from an image having distortion by the
図７は、画像準備処理５０７のフロー図である。
FIG. 7 is a flowchart of the
図７において、７０２は縮小処理、７０３は明度補正処理、である。
In FIG. 7,
縮小処理７０２は、カメラから入力された画像を縮小する処理である。これは隣り合う画素の平均をとることによって入力画像に対する縮小画像を作成する処理である。画像処理においては、一般に、入力画像が高解像度であったとしても、実際に処理される際には、縮小画像が作成され、それについて画像認識処理が施されることが多い。
The
明度補正処理７０３は、２つのカメラの入力画像において、その明度が異なる場合、その明度を補正するための処理である。本処理の狙いは、２つのカメラにおける、画像の明るさの違いの影響を軽減しようということである。ここで利用するのは、路面の画像である。路面は、一般に乱反射しており、どの方向からみても一様な明るさに見えることが多いことが知られている。本実施例では、このことを利用し、２つの車載カメラで撮影した画像について、その路面上の同じ点が２つのカメラから同じ明るさに見えるように、２つのカメラの絞りを調整する。また、ただ１つのペア（座標同士）の比較であると、誤差を含む可能性があるため、比較候補を複数予め用意しておきそれらの座標をリストとし、それら複数の候補について明るさの比較処理を行った後に、想定される明るさを誤差少なく求める。
The
以上により、複数の撮像装置の取り付け位置や方向が異なるとき、それらの撮像画像についての明度の調整や照明・反射の影響を軽減することができる。 As described above, when the mounting positions and directions of the plurality of imaging devices are different, it is possible to reduce the effects of the brightness adjustment and the illumination / reflection on those captured images.
図８，図９を用いて、射影変換処理５０９，５１０について説明する。射影変換とは、画像の拡大や縮小，移動，台形変換といった演算処理のことである。 The projective transformation processes 509 and 510 will be described with reference to FIGS. Projective transformation refers to arithmetic processing such as image enlargement, reduction, movement, and trapezoid transformation.
図８は、角度θだけ擬似的にカメラを回転させることを示す図、図９は、Ｌだけカメラ画像を拡大し、カメラ位置を擬似的に変えることを示す図である。このとき、２つのカメラについて、重複領域においてより高解像度な画像を得られるカメラについて、本処理（射影変換処理）を行うこととする。これは射影変換による画像情報の損失を低減するためである。 FIG. 8 is a diagram showing that the camera is artificially rotated by the angle θ, and FIG. 9 is a diagram showing that the camera image is enlarged by L and the camera position is changed pseudo. At this time, with respect to the two cameras, the main process (projection conversion process) is performed on the camera that can obtain a higher resolution image in the overlapping region. This is to reduce loss of image information due to projective transformation.
２つの車載カメラは撮像する方向（光軸方向）とその取り付け位置とが異なっている。そこで、図８において８０１で示される角度分に相当する射影変換を側方カメラの画像に対して行い、擬似的に光軸が平行となった画像を生成する。更に画像の変換（拡大）を行い、これによりカメラ画像を擬似的に図９の取り付け位置９０２とした場合の画像に変換する。ここで実施する射影変換については、予めキャリブレーション処理によってどのような変換を行う必要があるかを把握しておく。以上２回の射影変換により、２つのカメラ画像の視差がｄのステレオマッチング処理を適用することができる。 The two in-vehicle cameras have different imaging directions (optical axis directions) and their mounting positions. Therefore, projective transformation corresponding to the angle indicated by reference numeral 801 in FIG. 8 is performed on the image of the side camera to generate an image in which the optical axes are pseudo-parallel. Further, the image is converted (enlarged), whereby the camera image is converted into an image in the case where the attachment position 902 in FIG. As for the projective transformation performed here, it is known in advance what kind of transformation should be performed by calibration processing. The stereo matching processing in which the parallax between the two camera images is d can be applied by the above-described projective transformation twice.
本実施例では記載していないが、予めキャリブレーション処理によって、図２の１０２のカメラ位置での撮影画像と、図９の５０２の位置に実際にカメラを設置して撮影した画像と、の２つを比較し、その対応点を把握することにより、実施すべき画像変換の内容を把握する方法も考えられる。
Although not described in the present embodiment, two images, that is, a photographed image at the
図１０は、本実施例におけるブロックマッチング処理５１３の説明図である。
FIG. 10 is an explanatory diagram of the
図１０において、１００１は比較画像から切り出した領域、１００２は基準画像、１００３は探索する方向を示す線、１００４は距離画像、である。
In FIG. 10,
ブロックマッチング処理は画像の重複領域に対して、ＣＰＵ１０５によって行われる処理である。本処理は図１１で説明されるステレオ法の演算に必要な処理である。
The block matching process is a process performed by the
領域１００１は、比較画像から切り出された５×５の画像であり、２つの車載カメラのうちの一方からの画像である。基準画像１００２は、領域１００１が属さない方の車載カメラ画像である。領域１００１と基準画像１００２を用いて、２つの画像の横方向（１００３）の差異が、サブピクセル単位で計算される。本実施例では正規化相関により求められる。ここで用いた際により、奥行き方向の距離がもとめられ、距離画像１００４を得る。距離画像とは濃度画像であるが、その濃度値を奥行き方向の距離値としたものである。
A
図１１を用いて、図５のブロックマッチング処理５１３により３次元の距離を把握する方式を説明する。本実施例では、ステレオ法により画像計測を行う。
A method for grasping a three-dimensional distance by the
図１１において、Ｐ０は対象となる点、Ｐｌは左眼画像上の点、Ｐｒは右眼画像上の点、Ｐｏ＿ｌは左眼座標系の原点、Ｐｏ＿ｒは右眼座標系の原点、Ｏはｘｙｚ座標系の原点、Ｏ＿ｌは左眼カメラの投影の中心、Ｏ＿ｒは右眼カメラの投影の中心、である。また、ｘ，ｙ，ｚはＯを原点とする全体空間の座標系、ｖ＿ｌ，ｖ＿ｒは左眼座標系の軸、ｕ＿ｌ，ｕ＿ｒは右眼座標系の軸、である。また、ｆは投影中心と画像面との距離、Ｌは左眼カメラと右眼カメラの距離、である。 In FIG. 11, P0 is a target point, Pl is a point on the left eye image, Pr is a point on the right eye image, Po_l is the origin of the left eye coordinate system, Po_r is the origin of the right eye coordinate system, and O is xyz. The origin of the coordinate system, O_l is the center of projection of the left-eye camera, and O_r is the center of projection of the right-eye camera. Further, x, y, and z are the coordinate system of the entire space with O as the origin, v_l and v_r are the axes of the left eye coordinate system, and u_l and u_r are the axes of the right eye coordinate system. Further, f is the distance between the projection center and the image plane, and L is the distance between the left eye camera and the right eye camera.
ここで、Ｏ＿ｌとＰｌという直線と、Ｏ＿ｒとＰｒという直線の、２つの直線が点Ｐ０で交わることから、次の関係式が成り立つことが知られている。 Here, it is known that the following relational expression holds because two straight lines of O_l and Pl and a straight line of O_r and Pr intersect at a point P0.
ｘ０＝(Ｌ(ｕ＿ｌ＋ｕ＿ｒ)）／(２(ｕ＿ｌ−ｕ＿ｒ)）
ｙ０＝Ｌｖ(ｕ＿ｌ−ｕ＿ｒ)
ｚ０＝(Ｌｆ)／(ｕ＿ｌ−ｕ＿ｒ)
ここで、ｖ＿ｌとｖ＿ｒは同じ値であることから、ｖで表している。
x0 = (L (u_l + u_r)) / (2 (u_l-u_r))
y0 = Lv (u_l-u_r)
z0 = (Lf) / (u_l-u_r)
Here, v_l and v_r have the same value and are represented by v.
ブロックマッチング処理によりＰｌの座標とＰｒの座標を求め、更に先に示した３つの関係式によりＰ０の座標を求めることができ、二次元の画像からｚ方向の距離を得ることができる。この演算処理はＣＰＵ１０５が行う。
The coordinate of Pl and the coordinate of Pr can be obtained by the block matching process, and the coordinate of P0 can be obtained by the three relational expressions shown above, and the distance in the z direction can be obtained from the two-dimensional image. This arithmetic processing is performed by the
図１２，図１３を用いて、図５の後方車両検出処理５１２を説明する。
The rear
図１２において、１２０１は左眼画像（側方カメラによる画像）、１２０２は右眼画像（後方カメラによる画像）、１２０３は重複領域における左眼画像、１２０４は重複領域における左眼画像１２０３を微小領域に区分した画像、である。
In FIG. 12, 1201 is a left eye image (image by a side camera), 1202 is a right eye image (image by a rear camera), 1203 is a left eye image in an overlapping area, and 1204 is a
図１３において、図１３（ａ）は左眼画像を微小領域に区分した画像１２０４、図１３（ｂ）は、ある微小領域について距離を横軸にとった場合の投票結果、である。
In FIG. 13, FIG. 13A shows an
図１３（ｂ）では、１３０１の部分で、４つの微小領域がある有意な高さを持った領域となっている。この領域の存在が、障害物の存在を示しており、４つの微小領域の幅によって障害物の幅がわかる。これと、トラッキングしている対象物体の相対速度から、後方車両が検出される。相対速度はトラッキング情報のリストに保存されている、三次元の位置と、今回検出された三次元位置との差と、検出処理間隔（時間）により計算することができる。このとき相対速度がある一定以上あるものは後方車両と検知しないとする。例えば、本実施例では、自車速度と略同じ相対速度であれば、それは後方車両ではない（少なくとも走行中ではない）として、後方車両であると検出しない。
In FIG. 13B, a
図１４，図１５を用いて、トラッキング処理５１６について説明する。
The
図１４は、トラッキング処理５１６のフロー図である。
FIG. 14 is a flowchart of the
図１４において、１４０１は重複領域トラッキング処理、１４０２は重複領域リスト更新処理、１４０３は非重複領域トラッキング処理、１４０４は、非重複領域リスト更新処理、である。
In FIG. 14,
重複領域トラッキング処理１４０１は、重複領域において既に検出済みの車両のリストと、今回重複領域において検出した車両と、を比較する処理である。この比較処理は、今回検出した車両と、前回検出していた車両（リストにある車両）の３次元的な位置を比較し、ある一定の距離範囲にある車両は（例えば１つの車両の大きさよりも近い距離にあると検出された車両は）同一の車両と判定する。一方、そうでない新規の検出車両については、リストに追加する。また、前回検出していたにもかかわらず、今回検出されていない車両については、非重複領域におけるトラッキングの候補の１つとして、非重複領域トラッキング処理に伝えられる。
The overlapping
重複領域リスト更新処理１４０２は、重複領域トラッキング処理１４０１の結果をもとに、リストを更新し、優先処理候補指示５１４を出力する。
The overlap area
非重複領域トラッキング処理１４０３は、非重複領域において既に検出済みの車両のリストと、重複領域において取得されている対象車両のテンプレート画像をもとに、トラッキングを行う処理である。また、重複領域トラッキング処理１４０１から伝えられた、非重複領域におけるトラッキング候補について、初回のトラッキングを試みる。即ち、テンプレートマッチングを行う。
The non-overlapping
非重複領域リスト更新処理１４０４は、非重複領域トラッキング処理１４０３の結果をもとに、リストを更新する処理である。
The non-overlapping area
ここで、重複領域リストと非重複領域リストのデータ構造について説明する。両方のリストともに、車両ＩＤ，検出位置（画像上），検出位置（３次元），自車との相対速度、テンプレート画像を含んでいる。車両ＩＤとは検出対象に対してつけられる番号で、リスト上で検出対象を区別するためのものである。検出位置（画像上）、検出位置（３次元）はそれぞれ検出対象の座標位置を示す。自車との相対速度は、検出対象の速度と自車との相対速度であり、前回と今回の検出位置（３次元）をもとに計算されたものである。テンプレート画像、は車両前面のテンプレート画像である。 Here, the data structure of the overlapping area list and the non-overlapping area list will be described. Both lists include a vehicle ID, a detection position (on the image), a detection position (three-dimensional), a relative speed with the host vehicle, and a template image. The vehicle ID is a number assigned to the detection target, and is used to distinguish the detection target on the list. The detection position (on the image) and the detection position (three-dimensional) indicate the coordinate position of the detection target. The relative speed with the own vehicle is a speed to be detected and a relative speed with the own vehicle, and is calculated based on the previous and current detection positions (three-dimensional). The template image is a template image in front of the vehicle.
ここで図１９を用いて、トラッキングに関する非重複領域と重複領域のリストと、優先候補を示すリストの構造を説明する。 Here, with reference to FIG. 19, the structure of a list indicating non-overlapping areas and overlapping areas relating to tracking, and a list indicating priority candidates will be described.
図１９（ａ）は、トラッキングに関する非重複領域リストと重複領域リストである。このリストは、図に示すような構造をしており、１車両分のエントリーが１行に対応している。図１９（ｂ）は、優先候補指示のためのリストである。このリストは、１車両分のエントリーが１行に対応しており、各行には画像上の座標が１つずつ収められている。このリストは、候補としての優先度が高い順に並べられている。 FIG. 19A shows a non-overlapping area list and an overlapping area list related to tracking. This list has a structure as shown in the figure, and one vehicle entry corresponds to one line. FIG. 19B is a list for instructing priority candidates. In this list, one vehicle entry corresponds to one line, and each line stores one coordinate on the image. This list is arranged in descending order of priority as candidates.
図１６を用いて、重複領域トラッキング処理で行われる、テンプレートに関する処理について説明する。 With reference to FIG. 16, the template-related processing performed in the overlapping area tracking processing will be described.
図１６において、１６０１はテンプレート取得処理、１６０２はテンプレート更新処理、である。 In FIG. 16, 1601 is a template acquisition process, and 1602 is a template update process.
テンプレート取得処理１６０１は、新規に重複領域のトラッキングリストに登録された車両について行われる処理で、車両前面の部分の画像を取得する処理である。テンプレート更新処理１６０２は、既に取得してある車両のテンプレートについて、その車両が重複領域においてトラッキングしている間は、そのテンプレートを更新する（再取得する）処理である。本実施例においては、テンプレート画像は、同一車両において複数フレーム取得して保存しておくとする。一般に走行中は、走行環境（日向や日陰など）によってその取得される画像が異なってくる。そこでその環境の変化に対応するため、同一車両についてテンプレートを複数取得しておき、テンプレートマッチングの際には複数のテンプレートを必要に応じて順次用いることができるシステムとしている。
The
本システムでは、重複領域に対象物（車両）があるときに、その画像をテンプレートとして保持しており、その物体が非重複領域に移動した場合、それ以後の挙動をテンプレートマッチングによりトラッキングし続ける。また、テンプレートの取得は、対象物体が重複領域にあるときに行われる。テンプレートマッチングは、幾何学的な特徴に富んでいる方が適用しやすい。車の場合、車両前方（ヘッドライト，ナンバープレート等）は特徴に富んでいるが、車両側方は特徴に乏しい。 In this system, when there is an object (vehicle) in the overlapping area, the image is held as a template, and when the object moves to the non-overlapping area, the subsequent behavior is continuously tracked by template matching. Further, the template is acquired when the target object is in the overlapping region. Template matching is easier to apply if it is rich in geometric features. In the case of a car, the front side of the vehicle (headlight, license plate, etc.) is rich in characteristics, but the side of the vehicle is poor in characteristics.
本実施例では、非重複領域が２つ存在しているが、後方入力画像における非重複領域の場合と、側方入力画像における非重複領域の場合と、によって、検出対象車両の見え方が異なってくる。前者の場合（図１５の１５０３）には、車両の前面だけでなく側方が見えるのに対し、後者の場合（図１５の１５０２）には車両の前面のみで側方は見えない。そのため、テンプレート更新処理１６０２においては、図１５の１５０３の位置に近づきつつある車両に対しては、車両の画像のうち、右端のある一定画素を取得しない、つまり（車両前面を取得するため）左寄りの部分をテンプレートとして取得し保持する。一方、図１５の１５０２の領域に近づきつつある車両については、前面として検出したそのままのテンプレートを保持する処理を行う。これはカメラの取り付け位置と検出車両の相対的な位置関係を考慮した処理となっている。本実施例では記載していないが、テンプレートマッチングにおいて、そのテンプレートの１画素１画素に重み付けをし、その重みについて相対的な位置関係を考慮した重みとする方法も考えられる。
In this embodiment, there are two non-overlapping areas, but the appearance of the detection target vehicle differs depending on the non-overlapping area in the rear input image and the non-overlapping area in the side input image. Come. In the former case (1503 in FIG. 15), not only the front side of the vehicle but also the side is visible, whereas in the latter case (1502 in FIG. 15), the side is not visible only on the front side of the vehicle. Therefore, in the
図１７は、表示処理３０４により表示される画面を示している。
FIG. 17 shows a screen displayed by the
図１７において、１８０１は表示画面、１８０２は自車を示すマーク、１８０３，１８０４，１８０５，１８０６は領域の境界を示す線、１８０７は検出車両を示すマーク、である。 In FIG. 17, 1801 is a display screen, 1802 is a mark indicating the vehicle, 1803, 1804, 1805 and 1806 are lines indicating the boundaries of the area, and 1807 is a mark indicating the detected vehicle.
後方車両が図２における領域Ｃにあることが検出されている場合、境界線１８０３と１８０４で囲まれた領域が黄色に点灯する。後方車両が図２における領域Ａにある場合も同様に黄色に点灯する。一方、後方車両が図２における領域Ｂにある場合は、境界線１８０４と１８０５で囲まれた領域が水色に点灯し、自車との相対的な位置が水色の領域内に長方形（１８０７）で表示される。黄色に点灯する場合と、水色に点灯しかつ長方形表示がある場合とに動作が異なっているのは、後方車両の検出精度の違いを反映させたものである。検出精度は、非重複領域はステレオではなく単眼画像によるによる検出のため、検出対象の距離精度が落ちる。これらの表示はマイコンによって行われ、重複領域と非重複領域の検出結果のリストを元に処理される。また、検出時や検出中には必要に応じて音声出力させることも可能である。また、図３の入力画像確認処理３０２で処理に適さないと入力画像が判定された場合には、本表示システムに入力エラー状態であることを示す表示を行う。
When it is detected that the rear vehicle is in the region C in FIG. 2, the region surrounded by the
次に、図１８を用いて、画像の特徴点を利用してマッチング処理を行う場合について説明する。１８０１，１８０２は特徴点計算処理、１８０３は特徴点マッチング処理、である。
Next, a case where matching processing is performed using feature points of an image will be described with reference to FIG.
特徴点計算処理１８０１は、一般に画像処理で用いられる、エッジやカドなどの特徴点を抽出する計算処理を行う。走行路検出特徴点計算処理１８０２も同様である。特徴点マッチング処理１８０３は、特徴点のマッチングを行う処理である。特徴点によって処理を行うことにより、より一層、２つのカメラ画像における、明るさの変化に対する耐性の向上が期待できる。
A feature
１０２，１０３ 車載カメラ
１０５ ＣＰＵ
１０６ ＲＡＭ
１０７ ＲＯＭ
１０８ 歪み補正部
１０９ 画像処理部
１１０ 表示部
１１１ 表示インタフェース
１１２ 音声出力部
１１３ 音声出力インタフェース
１１４ バス
102,103 In-
106 RAM
107 ROM
108
Claims (8)
前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、
前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える、画像処理システム。 An input unit for inputting an overlapping region and a non-overlapping region between a first region imaged by a first monocular camera and a second region imaged by a second monocular camera;
A distance calculation unit that recognizes another vehicle from the image in the overlapping region and calculates a distance between the host vehicle and the other vehicle;
An image processing system comprising a tracking unit that estimates a relative position of the other vehicle with respect to the host vehicle based on the distance calculated by the distance calculation unit when the other vehicle moves from the overlapping region to the non-overlapping region. .
前記距離算出部は、前記抽出部が抽出した特徴量に基づいて、前記距離を算出する、請求項１記載の画像処理システム。 An extraction unit for extracting a feature amount in the overlapping region;
The image processing system according to claim 1, wherein the distance calculation unit calculates the distance based on the feature amount extracted by the extraction unit.
前記自車の側方に取り付けられる、請求項１記載の画像処理システム。 The first monocular camera is attached to the rear of the host vehicle, and the second monocular camera is
The image processing system of Claim 1 attached to the side of the said own vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007252955A JP5011049B2 (en) | 2007-09-28 | 2007-09-28 | Image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007252955A JP5011049B2 (en) | 2007-09-28 | 2007-09-28 | Image processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009085651A true JP2009085651A (en) | 2009-04-23 |
| JP5011049B2 JP5011049B2 (en) | 2012-08-29 |
Family
ID=40659285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007252955A Active JP5011049B2 (en) | 2007-09-28 | 2007-09-28 | Image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5011049B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011125270A1 (en) * | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device |
| KR101428403B1 (en) | 2013-07-17 | 2014-08-07 | 현대자동차주식회사 | Apparatus and method for detecting obstacle in front |
| WO2014203658A1 (en) * | 2013-06-21 | 2014-12-24 | コニカミノルタ株式会社 | Distance measurement device and distance measurement method |
| JP2016005190A (en) * | 2014-06-18 | 2016-01-12 | 日本放送協会 | Image correction device, optical correction device and program for image correction |
| WO2016047473A1 (en) * | 2014-09-24 | 2016-03-31 | ソニー株式会社 | Signal processing circuit and imaging device |
| JP2017529517A (en) * | 2014-06-27 | 2017-10-05 | コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car |
| KR101828558B1 (en) | 2017-06-22 | 2018-02-14 | 주식회사 디아이랩 | vehicle velocity detector and method using stereo camera having auto calibration function |
| CN110053625A (en) * | 2018-01-19 | 2019-07-26 | 本田技研工业株式会社 | Apart from computing device and controller of vehicle |
| EP3382336A4 (en) * | 2015-11-25 | 2020-02-19 | Hitachi Automotive Systems, Ltd. | Stereo camera device |
| CN111693254A (en) * | 2019-03-12 | 2020-09-22 | 纬创资通股份有限公司 | Vehicle-mounted lens offset detection method and vehicle-mounted lens offset detection system |
| US10853958B2 (en) | 2016-06-27 | 2020-12-01 | Samsung Electronics Co., Ltd. | Method and device for acquiring depth information of object, and recording medium |
| JP2021060844A (en) * | 2019-10-08 | 2021-04-15 | 日立Astemo株式会社 | Object recognition apparatus |
| WO2023090170A1 (en) * | 2021-11-22 | 2023-05-25 | 日立Astemo株式会社 | Image processing device |
| WO2024075147A1 (en) * | 2022-10-03 | 2024-04-11 | 日立Astemo株式会社 | Camera system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03273315A (en) * | 1990-03-23 | 1991-12-04 | Mazda Motor Corp | Picture processor for moving vehicle |
| JPH09159442A (en) * | 1995-12-04 | 1997-06-20 | Honda Motor Co Ltd | Environment recognition device for vehicle |
| JP2004053278A (en) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | Front vehicle tracking system and front vehicle tracking method |
| JP2006054681A (en) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | Moving object periphery monitoring apparatus |
| JP2007232593A (en) * | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | Object detection device |
| JP2008092459A (en) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | Periphery monitoring apparatus |
-
2007
- 2007-09-28 JP JP2007252955A patent/JP5011049B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03273315A (en) * | 1990-03-23 | 1991-12-04 | Mazda Motor Corp | Picture processor for moving vehicle |
| JPH09159442A (en) * | 1995-12-04 | 1997-06-20 | Honda Motor Co Ltd | Environment recognition device for vehicle |
| JP2004053278A (en) * | 2002-07-16 | 2004-02-19 | Nissan Motor Co Ltd | Front vehicle tracking system and front vehicle tracking method |
| JP2006054681A (en) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | Moving object periphery monitoring apparatus |
| JP2007232593A (en) * | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | Object detection device |
| JP2008092459A (en) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | Periphery monitoring apparatus |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011221734A (en) * | 2010-04-08 | 2011-11-04 | Toshiba Corp | Vehicle periphery monitoring device and vehicle periphery monitoring method |
| CN102834853A (en) * | 2010-04-08 | 2012-12-19 | 株式会社东芝 | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device |
| EP2557550A1 (en) * | 2010-04-08 | 2013-02-13 | Kabushiki Kaisha Toshiba | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device |
| EP2557550A4 (en) * | 2010-04-08 | 2014-08-20 | Toshiba Kk | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device |
| WO2011125270A1 (en) * | 2010-04-08 | 2011-10-13 | 株式会社 東芝 | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device |
| WO2014203658A1 (en) * | 2013-06-21 | 2014-12-24 | コニカミノルタ株式会社 | Distance measurement device and distance measurement method |
| KR101428403B1 (en) | 2013-07-17 | 2014-08-07 | 현대자동차주식회사 | Apparatus and method for detecting obstacle in front |
| JP2016005190A (en) * | 2014-06-18 | 2016-01-12 | 日本放送協会 | Image correction device, optical correction device and program for image correction |
| JP2017529517A (en) * | 2014-06-27 | 2017-10-05 | コノート、エレクトロニクス、リミテッドＣｏｎｎａｕｇｈｔ Ｅｌｅｃｔｒｏｎｉｃｓ Ｌｔｄ． | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car |
| US10455151B2 (en) | 2014-09-24 | 2019-10-22 | Sony Semiconductor Solutions Corporation | Signal processing circuit and imaging apparatus |
| WO2016047473A1 (en) * | 2014-09-24 | 2016-03-31 | ソニー株式会社 | Signal processing circuit and imaging device |
| EP3382336A4 (en) * | 2015-11-25 | 2020-02-19 | Hitachi Automotive Systems, Ltd. | Stereo camera device |
| US10853958B2 (en) | 2016-06-27 | 2020-12-01 | Samsung Electronics Co., Ltd. | Method and device for acquiring depth information of object, and recording medium |
| KR101828558B1 (en) | 2017-06-22 | 2018-02-14 | 주식회사 디아이랩 | vehicle velocity detector and method using stereo camera having auto calibration function |
| CN110053625A (en) * | 2018-01-19 | 2019-07-26 | 本田技研工业株式会社 | Apart from computing device and controller of vehicle |
| CN110053625B (en) * | 2018-01-19 | 2022-03-11 | 本田技研工业株式会社 | Distance calculation device and vehicle control device |
| CN111693254A (en) * | 2019-03-12 | 2020-09-22 | 纬创资通股份有限公司 | Vehicle-mounted lens offset detection method and vehicle-mounted lens offset detection system |
| CN111693254B (en) * | 2019-03-12 | 2022-09-20 | 纬创资通股份有限公司 | Vehicle-mounted lens offset detection method and vehicle-mounted lens offset detection system |
| JP2021060844A (en) * | 2019-10-08 | 2021-04-15 | 日立Astemo株式会社 | Object recognition apparatus |
| WO2021070537A1 (en) * | 2019-10-08 | 2021-04-15 | 日立Astemo株式会社 | Object recognition device |
| WO2023090170A1 (en) * | 2021-11-22 | 2023-05-25 | 日立Astemo株式会社 | Image processing device |
| WO2024075147A1 (en) * | 2022-10-03 | 2024-04-11 | 日立Astemo株式会社 | Camera system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5011049B2 (en) | 2012-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5011049B2 (en) | Image processing system | |
| KR102022388B1 (en) | Calibration system and method using real-world object information | |
| US11216673B2 (en) | Direct vehicle detection as 3D bounding boxes using neural network image processing | |
| JP6019646B2 (en) | Misalignment detection apparatus, vehicle, and misalignment detection method | |
| US11263758B2 (en) | Image processing method and apparatus | |
| US9463743B2 (en) | Vehicle information display device and vehicle information display method | |
| JP6471522B2 (en) | Camera parameter adjustment device | |
| US10099617B2 (en) | Driving assistance device and driving assistance method | |
| JP2008230296A (en) | Vehicle drive supporting system | |
| KR101573576B1 (en) | Image processing method of around view monitoring system | |
| US9902341B2 (en) | Image processing apparatus and image processing method including area setting and perspective conversion | |
| CN107004250B (en) | Image generation device and image generation method | |
| JP2010165142A (en) | Device and method for recognizing road sign for vehicle | |
| US11273763B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN114063295A (en) | Dynamic adjustment of augmented reality images | |
| CN110053625B (en) | Distance calculation device and vehicle control device | |
| KR101697229B1 (en) | Automatic calibration apparatus based on lane information for the vehicle image registration and the method thereof | |
| JP2018136739A (en) | Calibration device | |
| JP6855254B2 (en) | Image processing device, image processing system, and image processing method | |
| JP4404047B2 (en) | Obstacle collision determination system, determination apparatus, obstacle collision determination method, and computer program | |
| US20210400190A1 (en) | Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method | |
| JP2019213108A (en) | Calibration apparatus and electronic mirror system | |
| US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
| EP3896387B1 (en) | Image processing device | |
| JP2018073049A (en) | Image recognition device, image recognition system, and image recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090327 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20091224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5011049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |