JP2009081496A - In-vehicle camera - Google Patents
In-vehicle camera Download PDFInfo
- Publication number
- JP2009081496A JP2009081496A JP2007247202A JP2007247202A JP2009081496A JP 2009081496 A JP2009081496 A JP 2009081496A JP 2007247202 A JP2007247202 A JP 2007247202A JP 2007247202 A JP2007247202 A JP 2007247202A JP 2009081496 A JP2009081496 A JP 2009081496A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera
- image
- area
- virtual camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 claims abstract description 65
- 238000003384 imaging method Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 29
- 238000003709 image segmentation Methods 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000010445 mica Substances 0.000 description 1
- 229910052618 mica group Inorganic materials 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、自動車等の移動体に搭載される車載カメラに係り、特に、広角レンズを用いて、移動体の周囲の状況を認識するのに用いるに好適な車載カメラに関する。 The present invention relates to an on-vehicle camera mounted on a moving body such as an automobile, and more particularly to an on-vehicle camera suitable for use in recognizing a situation around the moving body using a wide-angle lens.
従来、魚眼レンズ等の超広角レンズを用いた車載カメラでは、一般に、歪んだ画像全体を撮像し、この撮像された画像全体に対して歪補正処理を施し、補正して得られた正画像から注目領域を切り出している。 Conventionally, in an in-vehicle camera using a super-wide-angle lens such as a fisheye lens, generally, an entire distorted image is captured, distortion correction processing is performed on the entire captured image, and attention is paid from a positive image obtained by correction. The area is cut out.
それに対して、撮像された画像全体の内、特定領域を切り出した上で、歪補正処理を施すことで、補正処理の負荷を低減するものが知られている（例えば、特許文献１，２参照）。
On the other hand, it is known to reduce the load of correction processing by cutting out a specific area from the entire captured image and performing distortion correction processing (see, for example,
ここで、一般的な画角のレンズと組み合わせて使われるのは、イメージセンサが３５万画素程度の低解像度のカメラである。このような低解像度のカメラと超広角レンズを組み合わせると、視野は広くなるが解像度がさらに低下すると言う問題がある。そこで、超広角レンズと、１００万画素以上の高解像度カメラと組み合わせる方式が検討されている。しかしながら、画素数の大きな高解像度カメラを用いると、歪補正処理の負担が増大することになる。 Here, what is used in combination with a lens having a general angle of view is a low-resolution camera having an image sensor of about 350,000 pixels. Combining such a low-resolution camera and an ultra-wide-angle lens has a problem that the field of view becomes wider but the resolution further decreases. Therefore, a method of combining an ultra-wide-angle lens with a high-resolution camera having 1 million pixels or more is being studied. However, if a high-resolution camera having a large number of pixels is used, the burden of distortion correction processing increases.
また、車載カメラを、移動体の周囲の状況を認識するための認識装置として用いる場合、認識対象の道路標識や歩行者や他車両等は、自車両の移動に応じてその位置を変えるため、全領域から特定領域を切り出す方式の場合、対象物が存在する注目領域が特定領域から外れ、対象物を認識できなくなるという問題があった。 In addition, when using the in-vehicle camera as a recognition device for recognizing the situation around the moving body, the road signs, pedestrians and other vehicles to be recognized change their positions in accordance with the movement of the own vehicle. In the case of the method of cutting out the specific area from the entire area, there is a problem that the attention area where the object exists is out of the specific area and the object cannot be recognized.
本発明の目的は、歪補正処理の負担を軽減でき、かつ、注目領域の管理を容易に行える車載カメラを提供することにある。 An object of the present invention is to provide an in-vehicle camera that can reduce the burden of distortion correction processing and can easily manage a region of interest.
（１）上記目的を達成するために、本発明は、レンズと、イメージセンサとを有し、注目領域の正画像を生成する車載カメラであって、前記イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出す画像切り出し手段と、この画像切り出し手段によって切り出された歪画像の注目領域に相当する部分の画像を正画像に補正する歪補正手段と、前記画像切り出し手段による切り出し領域の情報と、前記歪補正手段の歪補正パラメータを、前記注目領域毎に管理する仮想カメラ管理手段とを備えるようにしたものである。
かかる構成により、歪補正処理の負担を軽減でき、かつ、注目領域の管理を容易に行い得るものとなる。
(1) In order to achieve the above object, the present invention is an in-vehicle camera that has a lens and an image sensor and generates a positive image of a region of interest, and among distortion images captured by the image sensor, Image cutout means for cutting out a portion corresponding to the attention area, distortion correction means for correcting a portion of the image corresponding to the attention area of the distortion image cut out by the image cutout means to a normal image, and a cutout area by the image cutout means And virtual camera management means for managing the distortion correction parameters of the distortion correction means for each region of interest.
With such a configuration, it is possible to reduce the burden of distortion correction processing and to easily manage the attention area.
（２）上記（１）において、好ましくは、前記仮想カメラ管理手段は、前記注目領域内の対象物の移動に応じて、前記注目領域を移動するとともに、移動後の注目領域に対する切り出し領域と、歪補正パラメータを管理するようにしたものである。 (2) In the above (1), preferably, the virtual camera management means moves the attention area according to the movement of the object in the attention area, and a cutout area for the attention area after the movement; The distortion correction parameters are managed.
（３）上記（２）において、好ましくは、前記仮想カメラ管理手段は、前記イメージセンサの撮像周期と同期して、同一シャッタタイミングに撮像された複数の仮想カメラ画像を生成するようにしたものである。 (3) In the above (2), preferably, the virtual camera management means generates a plurality of virtual camera images picked up at the same shutter timing in synchronization with an image pickup period of the image sensor. is there.
（４）上記（２）において、好ましくは、前記仮想カメラ管理手段は、前記イメージセンサの撮像周期に対して、任意のタイミングで仮想カメラ画像を生成するようにしたものである。 (4) In the above (2), preferably, the virtual camera management means generates a virtual camera image at an arbitrary timing with respect to an imaging cycle of the image sensor.
（５）上記（２）において、好ましくは、前記仮想カメラ管理手段は、仮想カメラのパラメータを変更することで任意方向への注目領域の移動および拡大縮小を可能としたものである。 (5) In the above (2), preferably, the virtual camera management means is capable of moving and enlarging / reducing the region of interest in an arbitrary direction by changing the parameters of the virtual camera.
（６）上記（２）において、好ましくは、複数の車載カメラを接続し、注目領域が複数の車載カメラの撮像領域を跨ぐ場合に、跨いだ注目領域に相当する仮想カメラを、前記仮想カメラ管理手段が生成するようにしたものである。 (6) In the above (2), preferably, when a plurality of vehicle-mounted cameras are connected and the region of interest straddles the imaging regions of the plurality of vehicle-mounted cameras, a virtual camera corresponding to the straddled region of interest is managed by the virtual camera management. Means are generated.
（７）上記（６）において、好ましくは、所定の対象物を認識する認識手段と、この認識手段が認識した結果をトラッキングするトラッキング手段と、前記認識手段による認識結果と、前記トラッキング手段によるトラッキング結果を元に警報情報を生成する警報生成手段とを備えるようにしたものである。 (7) In the above (6), preferably, a recognition means for recognizing a predetermined object, a tracking means for tracking a result recognized by the recognition means, a recognition result by the recognition means, and a tracking by the tracking means An alarm generation means for generating alarm information based on the result is provided.
（８）上記（２）において、好ましくは、複数の車載カメラをネットワークで接続し、これらの車載カメラの撮像領域が重複する場合において、各々の車載カメラは重複する撮像領域を仮想カメラとして管理し、重複している注目領域の特徴点を抽出する特徴点抽出手段と、それぞれの特徴点抽出手段によって抽出されたそれぞれの特徴点に基づいて、複数の車載カメラの相対位置を微調整する微調整パラメータを生成する微調整パラメータ生成手段を備えるようにしたものである。 (8) In the above (2), preferably, when a plurality of in-vehicle cameras are connected via a network and the imaging areas of these in-vehicle cameras overlap, each in-vehicle camera manages the overlapping imaging area as a virtual camera. , Feature point extracting means for extracting feature points of overlapping attention areas, and fine adjustment for finely adjusting the relative positions of a plurality of in-vehicle cameras based on each feature point extracted by each feature point extracting means Fine adjustment parameter generation means for generating parameters is provided.
本発明によれば、歪補正処理の負担を軽減でき、かつ、注目領域の管理を容易に行えるものとなる。 According to the present invention, it is possible to reduce the burden of distortion correction processing and to easily manage the attention area.
以下、図１〜図８を用いて、本発明の第１の実施形態による車載カメラの構成及び動作について説明する。
最初に、図１を用いて、本実施形態による車載カメラの全体構成について説明する。
図１は、本発明の第１の実施形態による車載カメラの全体構成を示すブロック図である。
Hereinafter, the configuration and operation of the in-vehicle camera according to the first embodiment of the present invention will be described with reference to FIGS.
Initially, the whole structure of the vehicle-mounted camera by this embodiment is demonstrated using FIG.
FIG. 1 is a block diagram showing the overall configuration of the in-vehicle camera according to the first embodiment of the present invention.
車載カメラ１００は、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０より構成される。
The in-
レンズ５は、視野角１８０度の魚眼レンズのような超広角レンズである。なお、超広角レンズの一つとして、アナモルフィックレンズを用いることもできる。アナモルフィックレンズは、魚眼レンズのように１８０度の視野角を有するが、魚眼レンズのように全域を均等に撮像するものとは異なり、例えば、視野の左右の領域の解像度を上げるような特性を有するレンズである。例えば、自車両の前方の対象物の認識をする場合、自車両の前方の存在する他車両は、視野の中央で認識できるため、魚眼レンズでも十分である。しかし、前方の左右方向に位置する歩行者や標識を認識するには、前方の視野の内、左右の領域も高い解像度で撮像できることが好ましく、このような場合、アナモルフィックレンズが用いられる。アナモルフィックレンズは、魚眼レンズに比べて、歪分布が非常に複雑であるため、歪補正処理が、魚眼レンズのような均一な歪を有するものよりも、負荷が増大する。なお、以下の説明では、レンズ５として、視野角１８０度の魚眼レンズを例にして説明する。
The
イメージセンサ１０は、レンズ５によって結像された車両の周囲の画像を電気信号に変換する。イメージセンサ１０としては、従来は３０万画素程度の低解像度のものが用いられているが、ここでは、１００万画素以上の高解像度のものを用いている。例えば、２７０万画素のイメージセンサは、３０万画素のイメージセンサに対して縦横（垂直方向と水平方向）の画素数が、３倍となっている。したがって、２７０万画素のイメージセンサの出力を１／３に間引くことで、３０万画素相当の全領域の画像を得ることができる。一方、全領域の内、例えば、７．５万画素の４つの領域を注目領域として選択すれば、３０万画素分で画像データでありながら、特定の狭い視野角の画像を高解像度で得ることができる。１２０万画素のイメージセンサの場合には、３０万画素のイメージセンサに対して縦横（垂直方向と水平方向）の画素数が２倍となり、１２０万画素のイメージセンサの出力を１／２に間引くことで、３０万画素相当の全領域の画像を得ることができる。
The
画像切出し手段２０は、仮想カメラ管理手段４０によって制御され、イメージセンサ１０によって撮像された画像の内、特定の領域を注目領域として切り出す。
The image cutout means 20 is controlled by the virtual camera management means 40, and cuts out a specific area as an attention area from among images picked up by the
歪補正手段３０は、仮想カメラ管理手段４０によって制御され、画像切り出し手段２０によって切り出された画像データに歪補正処理を施して、歪の補正された正画像を得る。画像切出し手段２０は、イメージセンサ１０による撮像領域の内、特定の注目領域を切り出すため、歪補正手段３０は、歪画像全体を処理する必要がなくなるため、歪補正手段３０で必要となるメモリ容量や処理負荷を削減することができる。
The
仮想カメラ管理手段４０は、複数の注目領域に関連する歪画像と正画像の組とそれに付随する歪補正パラメータの情報群である仮想カメラＶＣを複数管理する。 The virtual camera management means 40 manages a plurality of virtual cameras VC which are information groups of a set of distortion images and positive images related to a plurality of attention areas and a distortion correction parameter associated therewith.
仮想カメラ管理手段４０は、少なくともカメラパラメータＶＣ１と、切り出し領域ＶＣ２と、歪画像パラメータＶＣ３と、歪補正処理パラメータＶＣ４と、バッファＶＣ５を管理する。 The virtual camera management means 40 manages at least the camera parameter VC1, the cutout region VC2, the distorted image parameter VC3, the distortion correction processing parameter VC4, and the buffer VC5.
ここで、図２〜図５を用いて、本実施形態による車載カメラの動作について説明する。
図２は、本発明の第１の実施形態による車載カメラの撮像領域の説明図である。図３は、本発明の第１の実施形態による車載カメラにおけるカメラパラメータと切り出し領域の説明図である。図４は、本発明の第１の実施形態による車載カメラによって得られる正画像の説明図である。図５は、本発明の第１の実施形態による車載カメラの撮像タイミングを示すタイミングチャートである。
Here, the operation of the in-vehicle camera according to the present embodiment will be described with reference to FIGS.
FIG. 2 is an explanatory diagram of an imaging region of the in-vehicle camera according to the first embodiment of the present invention. FIG. 3 is an explanatory diagram of camera parameters and cutout regions in the in-vehicle camera according to the first embodiment of the present invention. FIG. 4 is an explanatory diagram of a normal image obtained by the vehicle-mounted camera according to the first embodiment of the present invention. FIG. 5 is a timing chart showing the imaging timing of the in-vehicle camera according to the first embodiment of the present invention.
図２は、イメージセンサ１０による撮像領域ＩＡを示している。イメージセンサ１０は、矩形状であるが、１８０度の視野角の魚眼レンズの視野は、円形となる。したがって、イメージセンサ１０の撮像面においては、中央に円形の画像が結像し、４隅の方向にはケラレが生じる。ここで、撮像領域ＩＡとは、魚眼レンズによって得られた視野内の画像領域を示している。
FIG. 2 shows an imaging area IA by the
撮像領域ＩＡの、例えば、画面の左上部には、標識が第１の対象物ＯＢ１として結像している。また、画面の右上部には、歩行者が第２の対象物ＯＢ２として結像している。また、画面の左下部には、バンパーの下に潜り込んだ人が第３の対象物ＯＢ３として結像している。さらに、画面の右下部には、バンパーの下に転がり込んだボールが第４の対象物として結像している。 In the imaging area IA, for example, a sign is imaged as the first object OB1 in the upper left portion of the screen. A pedestrian is imaged as the second object OB2 in the upper right part of the screen. In the lower left part of the screen, a person who has entered under the bumper forms an image as the third object OB3. Furthermore, a ball rolled under the bumper is imaged as a fourth object in the lower right part of the screen.
前述のように、２７０万画素のイメージセンサ１０を用いる場合、イメージセンサの出力から縦横方向にそれぞれ１／３間引くことで、撮像領域ＩＡの全体を３０万画素相当の画質で得ることができる。
As described above, when the
仮想カメラ管理手段４０は、撮像領域ＩＡの全体（視野の全域）の中から、認識すべき対象物が存在する領域を注目領域として選択する。例えば、第１の対象物ＯＢ１を含む領域を第１の注目領域ＲＡ１として選択する。同様にして、第２の対象物ＯＢ２を含む領域を第２の注目領域ＲＡ２として選択し、第３の対象物ＯＢ３を含む領域を第３の注目領域ＲＡ３として選択し、第４の対象物ＯＢ４を含む領域を第４の注目領域ＲＡ４として選択する。 The virtual camera management means 40 selects an area where an object to be recognized exists as an attention area from the entire imaging area IA (entire field of view). For example, an area including the first object OB1 is selected as the first attention area RA1. Similarly, the area including the second object OB2 is selected as the second attention area RA2, the area including the third object OB3 is selected as the third attention area RA3, and the fourth object OB4 is selected. Is selected as the fourth region of interest RA4.
図２に示す第１の対象物ＯＢ１の場合、自車両が前方に走行していると、次第に、その位置は、視野の左方向に移動する。このように、対象物の位置が移動した場合、それに応じて、第１の注目領域ＲＡ１を移動する。これは、後述するように、歪画像から正画像を得た後、正画像の中における対象物の位置の変化から、対象物の移動方向を知ることができるので、この移動方向に応じて、注目領域を移動することができる。 In the case of the first object OB1 shown in FIG. 2, when the host vehicle is traveling forward, the position gradually moves in the left direction of the field of view. As described above, when the position of the object moves, the first attention area RA1 is moved accordingly. As will be described later, after obtaining a positive image from a distorted image, it is possible to know the moving direction of the object from the change in the position of the object in the positive image. The attention area can be moved.
また、第１の注目領域ＲＡ１は、図示するように、四角形ではないため、第１の注目領域ＲＡ１を含む矩形の領域を、切り出し領域ＣＡ１として設定する。同様に、第２の注目領域ＲＡ２を含む矩形の領域を、切り出し領域ＣＡ２として設定し、第３の注目領域ＲＡ３を含む矩形の領域を、切り出し領域ＣＡ３として設定し、第４の注目領域ＲＡ４を含む矩形の領域を、切り出し領域ＣＡ４として設定する。 Further, since the first attention area RA1 is not a quadrilateral as illustrated, a rectangular area including the first attention area RA1 is set as the cutout area CA1. Similarly, a rectangular area including the second attention area RA2 is set as the cutout area CA2, a rectangular area including the third attention area RA3 is set as the cutout area CA3, and the fourth attention area RA4 is set. The rectangular area to be included is set as the cutout area CA4.
ここで、図３を用いて、第１の注目領域ＲＡ１及び第１の切り出し領域ＣＡ１について説明する。 Here, the first attention area RA1 and the first cutout area CA1 will be described with reference to FIG.
第１の注目領域ＲＡ１は、第１の対象物ＯＢ１を含む領域である。第１の注目領域ＲＡ１は、高さｈ’で、幅ｗ’の領域である。歪画像パラメータＶＣ３は、所定の画角を取得するために必要な歪画像の領域情報であり、この場合、（ｗ’、ｈ’）となる。この歪画像パラメータは、仮想カメラＶＣのＮｏ．１の歪画像パラメータＶＣ３として記憶される。 The first attention area RA1 is an area including the first object OB1. The first region of interest RA1 is a region having a height h 'and a width w'. The distorted image parameter VC3 is distorted image area information necessary for obtaining a predetermined angle of view, and in this case, is (w ′, h ′). This distorted image parameter indicates the virtual camera VC No. 1 as a distorted image parameter VC3.
また、第１の切り出し領域ＣＡ１は、第１の注目領域ＲＡ１を含む矩形の領域である。第１の切り出し領域ＣＡ１は、位置（ｘ１，ｙ１）を基準位置として、横方向がＨで、縦方向がＶの領域である。切り出し領域ＶＣ２は、注目領域を含む矩形の切り出し領域の情報であり、この場合、（（ｘ１，ｙ１），Ｈ，Ｖ）となる。この切り出し領域のパラメータは、仮想カメラＶＣのＮｏ．１の切り出し領域ＶＣ２として記憶される。図１の画像切り出し手段２０は、切り出し領域ＶＣ２の情報に基づいて、この領域の画像を切り出し処理する。
The first cutout area CA1 is a rectangular area including the first attention area RA1. The first cutout area CA1 is an area in which the horizontal direction is H and the vertical direction is V with the position (x1, y1) as a reference position. The cutout area VC2 is information of a rectangular cutout area including the attention area, and in this case, ((x1, y1), H, V). The parameters of this cut-out area are the virtual camera VC No. One cut-out area VC2 is stored. The
図３に示す第１の切り出し領域ＣＡ１の画像は、レンズの歪を含んだ歪画像である。歪画像を正画像に変換するには、歪補正手段３０は、仮想カメラＶＣのＮｏ．１の歪補正処理パラメータＶＣ４を用いる。
The image of the first cutout area CA1 illustrated in FIG. 3 is a distorted image including lens distortion. In order to convert a distorted image into a positive image, the
歪補正処理パラメータＶＣ４は、歪画像パラメータに対応する歪画像の一部分の歪補正処理の実行に必要なパラメータを記憶する。歪補正手段４０が、歪画像のピクセルと正画像のピクセルの対応をマッピングして補正するものであり、その場合、歪補正処理パラメータＶＣ４は、歪画像と正画像の対応テーブルを備えている。なお、テーブルを用いる場合の他に、歪補正手段４０が、高次方程式による方法の場合には、歪補正パラメータＶＣ４は、この高次方程式の係数群を備えている。また、歪補正手段４０が、インタプリタである場合には、歪補正パラメータＶＣ４は、補正方程式に相当する情報を備えている。
The distortion correction processing parameter VC4 stores parameters necessary for executing distortion correction processing of a part of the distorted image corresponding to the distorted image parameter. The distortion correction means 40 performs correction by mapping the correspondence between the pixels of the distortion image and the pixels of the positive image. In this case, the distortion correction processing parameter VC4 includes a correspondence table between the distortion image and the positive image. In addition to the case where the table is used, when the distortion correction means 40 is a method using a higher order equation, the distortion correction parameter VC4 includes a coefficient group of this higher order equation. When the
図４は、歪補正手段４０によって歪補正処理が施されて得られた正画像を示している。正画像は、位置（ｘ１’，ｙ１）を基準位置として、横方向がｗで、縦方向がｈの領域である。 FIG. 4 shows a normal image obtained by performing the distortion correction processing by the distortion correction means 40. The normal image is an area in which the horizontal direction is w and the vertical direction is h with the position (x1 ′, y1) as a reference position.
カメラパラメータＶＣ１は、仮想カメラの所望の画角を示す情報を記憶するものであり、例えば、（（ｘ１’，ｙ１），ｗ，ｈ）が記憶される。 The camera parameter VC1 stores information indicating a desired angle of view of the virtual camera. For example, ((x1 ′, y1), w, h) is stored.
バッファＶＣ５は、注目領域に対応する画像データ，すなわち、図４に示す横ｗで縦ｈの範囲の画像データが記憶される。 The buffer VC5 stores image data corresponding to the region of interest, that is, image data in a range of horizontal w and vertical h shown in FIG.
次に、図２及び図５を用いて、本発明の第１の実施形態による車載カメラの撮像タイミングについて説明する。 Next, the imaging timing of the vehicle-mounted camera according to the first embodiment of the present invention will be described with reference to FIGS.
時刻ｔ１において、画像切り出し手段２０は、仮想カメラＶＣのＮｏ．１の切り出し領域ＶＣ２の情報に基づいて、（（ｘ１，ｙ１），Ｈ，Ｖ）の範囲のデータを切り出す。そして、歪補正手段３０は、仮想カメラＶＣのＮｏ．１の歪補正処理パラメータＶＣ４を用いて、画像切り出し手段２０が切り出した画像の歪を補正して、正画像を得ることができる。正画像は、仮想カメラＶＣのＮｏ．１のバッファＶＣ５に記憶される。
At time t1, the
次に、時刻ｔ２において、画像切り出し手段２０は、仮想カメラＶＣのＮｏ．２の切り出し領域ＶＣ２の情報に基づいて、図２の切り出し領ＣＡ２の範囲のデータを切り出す。そして、歪補正手段３０は、仮想カメラＶＣのＮｏ．２の歪補正処理パラメータＶＣ４を用いて、画像切り出し手段２０が切り出した画像の歪を補正して、正画像を得ることができる。正画像は、仮想カメラＶＣのＮｏ．２のバッファＶＣ５に記憶される。
Next, at time t2, the
以上のように、所定のタイミングで、順次、複数の切り出し領域の画像を切り出した上で、歪補正して、正画像を得るようにしている。 As described above, images of a plurality of cutout regions are cut out sequentially at a predetermined timing, and distortion correction is performed to obtain a normal image.
このように、任意のシャッタタイミングで、任意の仮想カメラ一つに相当する画像を撮像することで、撮像のためのバッファメモリを軽減することができる。また、複数の仮想カメラが、それぞれ異なる任意のシャッタタイミングで撮像された正画像を得ることができる。これにより、任意の仮想カメラのみを任意のシャッタタイミングでの画像を取得することができる。任意のシャッタタイミングは、シリアルケーブルで直接設定される場合や、ＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）のようなネットワークに対応したカメラであれば、このネットワーク経由で設定される。 In this way, by capturing an image corresponding to one arbitrary virtual camera at an arbitrary shutter timing, it is possible to reduce the buffer memory for imaging. In addition, a plurality of virtual cameras can obtain normal images captured at arbitrary different shutter timings. Thereby, only an arbitrary virtual camera can acquire an image at an arbitrary shutter timing. Arbitrary shutter timings are set via a network when the camera is compatible with a network such as IEEE 1394 or Ethernet (registered trademark) when set directly with a serial cable.
以上のような構成にすることで、複数の注目領域を提供することができる。そして注目領域だけに対して撮像および歪補正処理を限定することができるので、メモリ容量及び処理負荷も軽減することができる。 With the above configuration, a plurality of attention areas can be provided. Since the imaging and distortion correction processing can be limited only for the region of interest, the memory capacity and processing load can be reduced.
なお、イメージセンサ１０の種類によっては、CMOSイメージセンサのように画像切出し手段２０に相当処理が可能なイメージセンサも存在する。
Depending on the type of the
次に、図６及び図７を用いて、本実施形態による車載カメラの第２の動作について説明する。
図６は、本発明の第１の実施形態による車載カメラの第２の切り出し領域の説明図である。図７は、本発明の第１の実施形態による車載カメラの第２の撮像タイミングを示すタイミングチャートである。
Next, the second operation of the in-vehicle camera according to the present embodiment will be described with reference to FIGS.
FIG. 6 is an explanatory diagram of a second cutout area of the vehicle-mounted camera according to the first embodiment of the present invention. FIG. 7 is a timing chart showing the second imaging timing of the vehicle-mounted camera according to the first embodiment of the present invention.
図６に示すように、撮像領域ＩＡに対して、複数の注目領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４が接待されている場合、これらの複数の注目領域を同時に含む矩形の領域を、切り出し領域ＣＡとして設定する。 As shown in FIG. 6, when a plurality of attention areas RA1, RA2, RA3, and RA4 are entertained with respect to the imaging area IA, a rectangular area that simultaneously includes the plurality of attention areas is defined as a cutout area CA. Set.
そして、図７に示すように、時刻ｔ１において、画像切り出し手段２０は、切り出し領域ＣＡの範囲のデータを切り出す。そして、歪補正手段３０は、仮想カメラＶＣの歪画像領域ＶＣ３の情報に基づいて、必要な歪補正範囲を設定し、歪補正処理パラメータＶＣ４を用いて、歪画像領域の画像の歪を補正して、正画像を得ることができる。
Then, as shown in FIG. 7, at time t1, the
この例では、複数の仮想カメラが同一シャッタタイミングで撮像した画像を取得することができる。 In this example, it is possible to acquire images captured by a plurality of virtual cameras at the same shutter timing.
なお、例えば、歪画像領域ＲＡ１，ＲＡ２を含む領域に第１の切り出し領域を設定し、また、歪画像領域ＲＡ３，ＲＡ４を含む領域に第２の切り出し領域を設定するようにしてもよいものである。 For example, the first cutout area may be set in the area including the distorted image areas RA1 and RA2, and the second cutout area may be set in the area including the distorted image areas RA3 and RA4. is there.
次に、図８を用いて、本実施形態による車載カメラの全体の動作について説明する。
図８は、本発明の第１の実施形態による車載カメラの全体動作を示すフローチャートである。
Next, the overall operation of the in-vehicle camera according to the present embodiment will be described with reference to FIG.
FIG. 8 is a flowchart showing the overall operation of the in-vehicle camera according to the first embodiment of the present invention.
本例では、複数の仮想カメラに対する正画像を取得するものであり、撮像期間中の任意の仮想カメラへの画像取得のリクエストをリクエスト・キューで管理している。 In this example, normal images for a plurality of virtual cameras are acquired, and image acquisition requests to arbitrary virtual cameras during the imaging period are managed in the request queue.
ステップＳ１０〜Ｓ９０は、車載カメラ１００の動作である。ステップＳ１００〜Ｓ１３０は、車載カメラ１００を利用する側，例えば、衝突防止制御を実行する車両制御装置の動作である。
Steps S <b> 10 to S <b> 90 are operations of the in-
最初に、撮像周期か否かを判定する（ステップＳ１０）。撮像周期であれば、撮像を実行する（ステップＳ２０）。次に、仮想カメラ管理手段４０は、歪画像パラメータＶＣ４を呼び出す（ステップＳ３０）。また、仮想カメラ管理手段４０は、歪画像パラメータＶＣ４に相当する歪画像領域ＶＣ３を読み出し、この領域を切り出す（ステップＳ４０）。次に、歪補正手段３０は、切り出した歪画像を歪補正処理パラメータＶＣに応じて歪補正処理を実施する（ステップＳ５０）。そして、歪補正処理して得られた正画像を仮想カメラＶＣのバッファＶＣ５に登録して管理する（ステップＳ６０）。
First, it is determined whether or not it is an imaging cycle (step S10). If it is an imaging cycle, imaging is executed (step S20). Next, the virtual camera management means 40 calls the distorted image parameter VC4 (step S30). Further, the virtual camera management means 40 reads out the distorted image area VC3 corresponding to the distorted image parameter VC4 and cuts out this area (step S40). Next, the
次に、任意の仮想カメラに対する、仮想カメラを利用する側からのリクエスト・キューをチェックする（ステップＳ７０）。そして、リクエスト・キューにリクエストがあれば相当する仮想カメラを抽出し（ステップＳ８０）、該当する仮想カメラの正画像を仮想カメラを利用する側に提供する（ステップＳ９０）。 Next, the request queue from the side using the virtual camera for an arbitrary virtual camera is checked (step S70). If there is a request in the request queue, the corresponding virtual camera is extracted (step S80), and a normal image of the corresponding virtual camera is provided to the side using the virtual camera (step S90).
一方、仮想カメラを利用する側では、任意の仮想カメラに対するリクエストを生成する（ステップＳ１００）。そして、このリクエストをリクエスト・キューに登録する（ステップＳ１１０）。その後、このリクエストに対応する仮想カメラの正画像のリプライを待つ（ステップＳ１２０）。そして、仮想カメラの正画像を取得する（ステップＳ１３０）。 On the other hand, the side using the virtual camera generates a request for an arbitrary virtual camera (step S100). Then, this request is registered in the request queue (step S110). After that, it waits for a reply of the normal image of the virtual camera corresponding to this request (step S120). And the normal image of a virtual camera is acquired (step S130).
以上説明したように、本実施形態によれば、撮像領域の全領域から任意の領域を切り出して、歪補正するため、歪補正処理の負担を軽減でき、かつ、仮想カメラによって注目領域を管理するため、注目領域の管理が容易となる。 As described above, according to the present embodiment, an arbitrary area is cut out from the entire area of the imaging area, and distortion correction is performed. Therefore, the burden of distortion correction processing can be reduced, and the attention area is managed by the virtual camera. Therefore, the attention area can be easily managed.
また、認識対象の道路標識や歩行者や他車両等の位置が変化しても、仮想カメラにおける注目領域を変更することで、対象物を認識できなくなるという事態を回避することができる。 Further, even if the position of a recognition target road sign, a pedestrian, another vehicle, or the like changes, it is possible to avoid a situation in which the object cannot be recognized by changing the attention area in the virtual camera.
次に、図９〜図１１を用いて、本発明の第２の実施形態による車載カメラの構成及び動作について説明する。
最初に、図９を用いて、本実施形態による車載カメラの全体構成について説明する。
図９は、本発明の第２の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。
Next, the configuration and operation of the in-vehicle camera according to the second embodiment of the present invention will be described with reference to FIGS.
Initially, the whole structure of the vehicle-mounted camera by this embodiment is demonstrated using FIG.
FIG. 9 is a block diagram showing the overall configuration of the in-vehicle camera according to the second embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same parts.
本実施形態は、仮想カメラのパン・チルト・ズーム等のカメラ操作を実現するものである。車載カメラ１００Ａは、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０とに加えて、カメラ操作変換手段５０を備えている。
This embodiment implements camera operations such as panning, tilting, and zooming of a virtual camera. The in-
カメラ操作変換手段５０は、パン・チルト角やズーム倍率等のカメラ操作指示ＣＯＣ１をカメラパラメータＶＣ１に変換する。例えばパン・チルト角に応じてカメラパラメータＶＣ１の画角情報を更新する。更新に同期して撮像すれば一般のカメラと同様にパン・チルト処理を実現できる。このような変換手段５０を有することで可動機構を導入することなくパン・チルト・ズーム等のカメラ操作を実現することができる。カメラ操作指示ＣＯＣ１は、一般のパン・チルト・ズーム対応のリモート雲母台のように直接シリアルケーブルで送られたり、あるいはＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）のようなネットワークを経由して指示することで実現できる。 The camera operation conversion means 50 converts a camera operation instruction COC1 such as a pan / tilt angle and a zoom magnification into a camera parameter VC1. For example, the view angle information of the camera parameter VC1 is updated according to the pan / tilt angle. Panning / tilting processing can be realized in the same way as a general camera if imaging is performed in synchronization with the update. By having such a conversion means 50, camera operations such as panning, tilting, and zooming can be realized without introducing a movable mechanism. The camera operation instruction COC1 is realized by sending it directly via a serial cable like a general pan / tilt / zoom-compatible remote mica stand, or by instructing via a network such as IEEE 1394 or Ethernet (registered trademark). it can.
ここで、図１０を用いて、本実施形態による車載カメラにおけるカメラ操作の内容について説明する。
図１０は、本発明の第２の実施形態による車載カメラにおけるカメラ操作の内容の説明図である。
Here, the contents of the camera operation in the vehicle-mounted camera according to the present embodiment will be described with reference to FIG.
FIG. 10 is an explanatory diagram of the contents of the camera operation in the in-vehicle camera according to the second embodiment of the present invention.
元の正画像を、中心座標が（ｘ２，ｙ２）で、幅ｗで高さｈの画像とする。ここで、図の横方向（視野の水平方向）をｘ方向とし、図の縦方向（視野の垂直方向）をｙ方向とする。 The original positive image is an image having a center coordinate of (x2, y2), a width w, and a height h. Here, the horizontal direction (horizontal direction of the visual field) of the figure is the x direction, and the vertical direction (vertical direction of the visual field) of the figure is the y direction.
パン操作の場合、視野を水平方向に移動するため、例えば、パン操作により水平方向に移動した後の正画像は、例えば、座標はｘ座標のみが変わった中心座標が（ｘ３，ｙ２）で、幅ｗで高さｈの画像となる。 In the case of pan operation, since the field of view is moved in the horizontal direction, for example, the positive image after moving in the horizontal direction by pan operation is, for example, the center coordinates (x3, y2) where only the x coordinate is changed, An image having a width w and a height h is obtained.
車載カメラ１００を利用する側，例えば、衝突防止制御を実行する車両制御装置から、水平座標ｘ２からｘ３へのパン操作の指示があると、仮想カメラ管理手段４０は、中心座標が（ｘ３，ｙ２）で、幅ｗで高さｈの画像がカメラパラメータＶＣ１として記憶する。このカメラパラメータＶＣ１に応じて、歪画像領域ＶＣ３が設定され、歪画像領域ＶＣ３を含むように切り出し領域ＶＣ２が設定される。また、歪画像領域ＶＣ３に対する歪補正パラメータＶＣ４が設定される。これによって、仮想カメラ管理手段４０は、これらのパラメータを用いて、切り出した領域の歪補正をすることで、パン操作後の正画像を得ることができる。
When an instruction of pan operation from the horizontal coordinates x2 to x3 is given from the side using the in-
また、チルト操作の場合、視野を垂直方向に移動するため、例えば、パン操作により垂直方向に移動した後の正画像は、例えば、座標はｙ座標のみが変わった中心座標が（ｘ２，ｙ３）で、幅ｗで高さｈの画像となる。 In the case of a tilt operation, since the field of view is moved in the vertical direction, for example, a positive image after moving in the vertical direction by a pan operation has, for example, center coordinates (x2, y3) in which only the y coordinate is changed. Thus, an image having a width w and a height h is obtained.
さらに、ズーム操作の場合、視野の中心位置は変わらず、縦横のサイズが変わるため、例えば、中心座標は（ｘ２，ｙ２）で、幅ｗ１で高さｈ１の拡大画像や、幅ｗ２で高さｈ２の縮小画像となる。 Further, in the case of a zoom operation, the center position of the visual field does not change, and the vertical and horizontal sizes change. For example, the center coordinates are (x2, y2), an enlarged image having a width w1 and a height h1, or a height w2 It becomes a reduced image of h2.
次に、図１１を用いて、本実施形態による車載カメラにおけるカメラ操作時の制御内容について説明する。
図１１は、本発明の第２の実施形態による車載カメラにおけるカメラ操作時の制御内容を示すフローチャートである。
Next, the control contents at the time of camera operation in the vehicle-mounted camera according to the present embodiment will be described with reference to FIG.
FIG. 11 is a flowchart showing the control contents during camera operation in the vehicle-mounted camera according to the second embodiment of the present invention.
車載カメラ１００は、カメラ操作指示ＣＯＣ１を受信する（ステップＳ２００）。カメラ操作変換手段９０は、カメラ操作指示ＣＯＣ１に応じて、仮想カメラのカメラパラメータＶＣ１と、切り出し領域ＶＣ２と、歪画像パラメータＶＣ３と、歪補正処理パラメータＶＣ４に変換する（ステップＳ２１０）。次に、これらのパラメータ群に従って仮想カメラのパラメータ群を更新する（ステップＳ２２０）。仮想カメラ管理手段４０は、仮想カメラのパラメータに応じて撮像する（ステップＳ２３０）。
The in-
以上のように、本実施形態によれば、通常カメラで利用されているパン・チルト・ズームなどの操作を実現できる。なお、従来のように、注目領域を固定した場合には、これらのカメラ操作を実現できないものである。 As described above, according to the present embodiment, operations such as pan / tilt / zoom that are normally used in a camera can be realized. It should be noted that these camera operations cannot be realized when the attention area is fixed as in the prior art.
次に、図１２〜図１５を用いて、本発明の第３の実施形態による車載カメラの構成及び動作について説明する。
最初に、図１２を用いて、本実施形態による車載カメラの全体構成について説明する。
図１２は、本発明の第３の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。
Next, the configuration and operation of the vehicle-mounted camera according to the third embodiment of the present invention will be described with reference to FIGS.
Initially, the whole structure of the vehicle-mounted camera by this embodiment is demonstrated using FIG.
FIG. 12 is a block diagram showing the overall configuration of an in-vehicle camera according to the third embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same parts.
本実施形態は、複数の車載カメラ１００Ｃ−１，１００Ｃ−２をネットワークＮＷで接続し、注目領域が複数の車載カメラ１００Ｃ−１，１００Ｃ−２の間を移動する場合に、注目領域が移動することにより、この注目領域が撮像範囲に入る車載カメラが、撮像範囲に入り込んだ注目領域に相当する仮想カメラを自動生成するものである。 In the present embodiment, when a plurality of in-vehicle cameras 100C-1 and 100C-2 are connected by a network NW and the attention area moves between the plurality of in-vehicle cameras 100C-1 and 100C-2, the attention area moves. Thus, the vehicle-mounted camera in which the region of interest enters the imaging range automatically generates a virtual camera corresponding to the region of interest that has entered the imaging range.
車載カメラ１００Ｃ−１は、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０と、ネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−１と、を有する。
The in-vehicle camera 100C-1 includes a
車載カメラ１００Ｃ−２も同様に、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０とネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−２と、を有する。本実施例では車載カメラを二台としているが、三台以上でもよいものである。
Similarly, the in-vehicle camera 100C-2 also includes the
ここで、図１３を用いて、本実施形態による複数の車載カメラの相互の関係について説明する。
図１３は、本発明の第３の実施形態による複数の車載カメラの相互の関係の説明図である。
Here, the mutual relationship of the plurality of in-vehicle cameras according to the present embodiment will be described with reference to FIG.
FIG. 13 is an explanatory diagram of the mutual relationship among a plurality of in-vehicle cameras according to the third embodiment of the present invention.
車両の後方に、第１の車載カメラ１００Ｃ−１が設置され、右側面に第２の車載カメラ１００Ｃ−２が設置され、前方に第３の車載カメラ１００Ｃ−３が設置され、左側面に第４の車載カメラが設置されている。それぞれの車載カメラは、視野角１８０度の魚眼レンズを用いているものとする。 The first in-vehicle camera 100C-1 is installed behind the vehicle, the second in-vehicle camera 100C-2 is installed on the right side, the third in-vehicle camera 100C-3 is installed on the front side, and the first in-vehicle camera 100C-2 is installed on the left side. Four in-vehicle cameras are installed. Each in-vehicle camera uses a fisheye lens with a viewing angle of 180 degrees.
自カメラ情報ＣＩ−１，ＣＩ−２で用いる絶対座標系は、例えば任意の車載カメラの三次元座標と画角を基準とし、この車載カメラとのズレによって表現できる。また、車載カメラが搭載されている移動体の任意点を基準とし、そのズレによっても表現できる。 The absolute coordinate system used in the own camera information CI-1 and CI-2 can be expressed by a deviation from the in-vehicle camera, for example, based on the three-dimensional coordinates and the angle of view of an arbitrary in-vehicle camera. In addition, it can be expressed by a deviation from an arbitrary point of a moving body on which an in-vehicle camera is mounted.
例えば、第１の車載カメラ１００Ｃ−１を基準とすると、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）とする。画角は、車両の後方を０度とすると、−９０〜＋９０度となる。これは、２７０〜９０度の範囲でもある。 For example, when the first vehicle-mounted camera 100C-1 is used as a reference, the three-dimensional coordinates of the first vehicle-mounted camera 100C-1 are (0, 0, 0). The angle of view is -90 to +90 degrees when the rear of the vehicle is 0 degrees. This is also in the range of 270-90 degrees.
それに対して、第２の車載カメラ１００Ｃ−２の三次元座標は、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）を基準として、（ｘ２，ｙ２，ｚ２）として表される。第１の車載カメラ１００Ｃ−１と、第２の車載カメラ１００Ｃ−２の高さ方向の設置位置が同じであれば、ｚ２＝０となる。また、画角は、０〜１８０度となる。 On the other hand, the three-dimensional coordinates of the second in-vehicle camera 100C-2 are (x2, y2, z2) with the three-dimensional coordinates of the first in-vehicle camera 100C-1 as a reference (0, 0, 0). expressed. If the installation positions in the height direction of the first in-vehicle camera 100C-1 and the second in-vehicle camera 100C-2 are the same, z2 = 0. The angle of view is 0 to 180 degrees.
同様にして、第３の車載カメラ１００Ｃ−３の三次元座標は、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）を基準として、（ｘ３，ｙ３，ｚ３）として表される。また、画角は、９０〜２７０度となる。 Similarly, the three-dimensional coordinates of the third in-vehicle camera 100C-3 are (x3, y3, z3) with the three-dimensional coordinates of the first in-vehicle camera 100C-1 as a reference (0, 0, 0). expressed. The angle of view is 90 to 270 degrees.
第４の車載カメラ１００Ｃ−４の三次元座標は、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）を基準として、（ｘ４，ｙ４，ｚ４）として表される。また、画角は、１８０〜３６０度となる。 The three-dimensional coordinates of the fourth in-vehicle camera 100C-4 are expressed as (x4, y4, z4) with the three-dimensional coordinates of the first in-vehicle camera 100C-1 as a reference (0, 0, 0). The angle of view is 180 to 360 degrees.
ここで、ハッチングを施した領域ＤＡ１，ＤＡ２，ＤＡ３，ＤＡ４では、２つの車載カメラの撮像可能範囲が重複している。例えば、領域ＤＡ１では、第１の車載カメラ１００Ｃ−１と、第２の車載カメラ１００Ｃ−２によって撮像可能である。 Here, in the hatched areas DA1, DA2, DA3, and DA4, the imageable ranges of the two in-vehicle cameras overlap. For example, in the area DA1, imaging can be performed by the first in-vehicle camera 100C-1 and the second in-vehicle camera 100C-2.
次に、図１４及び図１５を用いて、本実施形態による車載カメラの動作について説明する。
図１４は、本発明の第３の実施形態による車載カメラの動作を示すフローチャートである。図１５は、本発明の第３の実施形態による車載カメラの動作の説明図である。
Next, the operation of the in-vehicle camera according to the present embodiment will be described with reference to FIGS. 14 and 15.
FIG. 14 is a flowchart showing the operation of the in-vehicle camera according to the third embodiment of the present invention. FIG. 15 is an explanatory diagram of the operation of the in-vehicle camera according to the third embodiment of the present invention.
図１４は、複数の車載カメラをネットワークで接続し、注目領域が複数の載カメラ間を移動する場合に、注目領域が移動してきた車載カメラが移動に相当する仮想カメラを自動生成する例のフローである。本実施例では車載カメラ１００Ｃ−１から車載カメラ１００Ｃ−２に、注目領域が移動した例である。 FIG. 14 is a flowchart of an example in which when a plurality of in-vehicle cameras are connected via a network and the attention area moves between a plurality of mounted cameras, the in-vehicle camera in which the attention area has moved automatically generates a virtual camera corresponding to the movement. It is. In this embodiment, the attention area is moved from the in-vehicle camera 100C-1 to the in-vehicle camera 100C-2.
車載カメラ１００Ｃ−１の仮想カメラ領域判定手段７０は、現注目領域が自車載カメラの撮像可能範囲か否かを判定する（ステップＳ３００）。撮像可能範囲でない領域がある場合には、この注目領域の絶対座標系仮想カメラ情報を生成する（ステップＳ３１０）。車載カメラ１００Ｃ−１は、ネットワーク通信手段６０を経由して、絶対座標系仮想カメラ情報を他の車載カメラ１００Ｃ−２に送信する（ステップＳ３２０）。
The virtual camera
車載カメラ１００Ｃ−２は、ネットワーク通信手段６０を経由して、絶対座標系仮想カメラ情報を受信する（ステップＳ３３０）。仮想カメラ領域判定手段７０は、受信した仮想カメラ情報が撮像範囲か否かを判定する（ステップＳ３４０）。撮像可能範囲である領域がある場合には、この仮想カメラ情報に基づいて仮想カメラ生成手段８０が仮想カメラ情報を生成する（ステップＳ３５０）。仮想カメラ管理手段４０に概仮想カメラ情報を登録する（ステップＳ３６０）。 The in-vehicle camera 100C-2 receives the absolute coordinate system virtual camera information via the network communication unit 60 (step S330). The virtual camera area determination means 70 determines whether or not the received virtual camera information is within the imaging range (step S340). If there is an area that is an imageable range, the virtual camera generation means 80 generates virtual camera information based on the virtual camera information (step S350). The virtual camera information is registered in the virtual camera management means 40 (step S360).
ここで、図１５を用いて、例えば、片側二車線の道路の走行車線を自車両が走行し、他車両が追い越し車線を、後方から追い越して行く場合について説明する。図１５（Ａ）は、自車両の斜め後方を他車両が走行しているとき、車載カメラ１００Ｃ−１が他車両に対して設定した注目領域ＲＡ−１４を示している。他車両が後方から追い越して行くにしたがって、注目領域ＲＡ−１４は、矢印方向に移動し、ついには、撮像可能範囲から外れることになる。 Here, with reference to FIG. 15, for example, a case where the host vehicle travels on the traveling lane of a two-lane road and the other vehicle passes the passing lane from behind will be described. FIG. 15A shows a region of interest RA-14 that the in-vehicle camera 100C-1 sets for the other vehicle when the other vehicle is traveling obliquely behind the host vehicle. As the other vehicle passes from behind, the attention area RA-14 moves in the direction of the arrow, and finally deviates from the imageable range.
このとき、車載カメラ１００Ｃ−１の仮想カメラ領域判定手段７０は、現注目領域が自車載カメラの撮像可能範囲外として、注目領域の絶対座標系仮想カメラ情報を生成し、車載カメラ１００Ｃ−２に送信する。 At this time, the virtual camera area determination means 70 of the in-vehicle camera 100C-1 generates absolute coordinate system virtual camera information of the attention area, assuming that the current attention area is outside the imageable range of the own in-vehicle camera, and sends it to the in-vehicle camera 100C-2. Send.
一方、車載カメラ１００Ｃ−２は、絶対座標系仮想カメラ情報を受信して、仮想カメラ生成手段８０が仮想カメラ情報を生成する。これによって、図１５（Ｂ）に示すように、車載カメラ１００Ｃ−２が注目領域ＲＡ−１５を生成することで、同一対象物である他車両を継続して、監視することができる。
On the other hand, the in-vehicle camera 100C-2 receives the absolute coordinate system virtual camera information, and the virtual
以上のように、本実施形態によれば、注目領域が複数の車載カメラの間を移動する場合に自動的に各々の車載カメラで仮想カメラを自動生成することが可能となる。また、複数の車載カメラの繋ぎを意識しないで注目領域を自由に設定することが可能となり、シームレスなカメラ操作が可能となる。 As described above, according to the present embodiment, a virtual camera can be automatically generated by each in-vehicle camera when the attention area moves between a plurality of in-vehicle cameras. In addition, the attention area can be freely set without being aware of the connection of a plurality of in-vehicle cameras, and seamless camera operation is possible.
次に、図１６を用いて、本発明の第４の実施形態による車載カメラの構成及び動作について説明する。
図１６は、本発明の第４の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。
Next, the configuration and operation of the in-vehicle camera according to the fourth embodiment of the present invention will be described with reference to FIG.
FIG. 16 is a block diagram showing an overall configuration of an in-vehicle camera according to the fourth embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same parts.
本実施形態は、複数台の車載カメラをネットワークＮＷで接続し、認識手段９０で認識した結果を、トラッキング手段１２０でトラッキングし、トラッキング結果を警報発生手段１３０で警報発生に相当するか否かを判断して警報情報を生成するものである。 In the present embodiment, a plurality of in-vehicle cameras are connected via a network NW, the result recognized by the recognition means 90 is tracked by the tracking means 120, and whether or not the tracking result corresponds to an alarm generation by the alarm generation means 130 is determined. It judges and produces | generates alarm information.
車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４は、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０と、ネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−１と、認識手段９０と、を有する。ネットワークＮＷには、トラッキング手段１２０と、警報生成手段１３０と、が接続されている。
The in-
本例では、図１３にて説明したのと同様に、車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４は、視野角が１８０°以上のレンズを搭載し、それぞれ前、後、左、右に対応するように設置することとしている。これにより全周囲を撮像することが可能となる。
In this example, as described with reference to FIG. 13, the in-
認識手段９０は、例えば、白線、ボッツドット、車両、人、二輪車自転車、その他障害物等の所定の対象物を認識する機能を有する。
The
トラッキング手段１２０は、認識手段９０の認識結果の状態推移、例えば移動方向や移動速度等を観測追従する機能を有する。
The
警報生成手段１３０は、認識手段９０の認識結果、トラッキング手段７０の結果を用いて警報情報を生成する。例えば、白線、ボッツドットの認識結果とトラッキング結果を用いて、車線逸脱防止の警報情報の生成が可能である。また、車両、人、二輪車、自転車等の認識結果とトラッキング結果を用いて、側方危険回避の警報情報の生成が可能である。さらに、白線、車両、人、その他障害物の認識結果とトラッキング結果を用いて、パーキングアシストの警報情報の生成が可能である。このような警報情報は、文字通りブザーやランプ等を用いて直接的な警報として利用することも可能である。さらに、例えば、ブレーキのアクチュエータや、パワーステアリングのアクチュエータや、エンジンを制御するコントローラが、ネットワークＮＷに接続されていて警報情報の送受信が可能な場合には、ブレーキやステアリングやエンジンを操作する安全制御にも該警報情報を利用することが可能である。
The alarm generation unit 130 generates alarm information using the recognition result of the
なお、警報および安全制御におけるトラッキングおよび警報生成方法については本発明で限定されるものではない。 The tracking and alarm generation method in alarm and safety control is not limited by the present invention.
以上のように、本実施形態によれば、複数台の車載カメラの認識手段９０から得られた結果を、ネットワーク経由でトラッキング手段７０と、警報生成手段１３０で、集中的に処理することが可能となる。 As described above, according to the present embodiment, the results obtained from the recognition means 90 of a plurality of in-vehicle cameras can be intensively processed by the tracking means 70 and the alarm generation means 130 via the network. It becomes.
なお、トラッキング手段１２０と、警報生成手段１３０とは、車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４の外部の設けられ、ネットワークで接続されているが、車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４の内部に設けるようにしてもよいものである。
The
このように構成することで、複数台の車載カメラがそれぞれで警報情報を発生することが可能となるため、複数台の車載カメラが自立的に処理することが可能となると共に、トラッキング処理や警報情報の生成を集中して処理する必要がなくなる。 By configuring in this way, it becomes possible for a plurality of in-vehicle cameras to generate alarm information, so that a plurality of in-vehicle cameras can process independently, as well as tracking processing and alarms. Eliminates the need for centralized information generation.
次に、図１７〜図１９を用いて、本発明の第５の実施形態による車載カメラの構成及び動作について説明する。
図１７は、本発明の第５の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。図１８は、本発明の第５の実施形態による車載カメラの制御内容を示すフローチャートである。図１９は、本発明の第５の実施形態による車載カメラの動作説明図である。
Next, the configuration and operation of the in-vehicle camera according to the fifth embodiment of the present invention will be described with reference to FIGS.
FIG. 17 is a block diagram showing the overall configuration of an in-vehicle camera according to the fifth embodiment of the present invention. The same reference numerals as those in FIG. 1 denote the same parts. FIG. 18 is a flowchart showing the control contents of the in-vehicle camera according to the fifth embodiment of the present invention. FIG. 19 is an explanatory diagram of the operation of the in-vehicle camera according to the fifth embodiment of the present invention.
図１７に示すように、本実施形態では、複数の車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４をネットワークＮＷで接続し、該車載カメラの撮像領域が重複する時に、重複領域にそれぞれの車載カメラが仮想カメラを生成してキャリブレーションするものである。
As shown in FIG. 17, in this embodiment, when a plurality of in-
車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０と、ネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−１と、認識手段９０と、特徴点抽出手段８５と、座標変換手段９５を有する。
The in-
特徴点抽出手段８５は、認識手段９０の認識結果からキャリブレーションに適切なオブジェクトを画像から抽出する。座標変換手段９５は、抽出されたオブジェクトの座標を概車載カメラ内部の相対的な座標から、絶対座標系に変換する。
The feature
微調整パラメータ生成手段１５０は、ネットワークＮＷに接続し、車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４で抽出されたオブジェクトの絶対座標を比較し、微調整のパラメータを生成する。
The fine adjustment parameter generation unit 150 is connected to the network NW, compares the absolute coordinates of the objects extracted by the in-
次に、図１８を用いて、本実施形態の動作について説明する。この例では、複数の車載カメラをネットワークで接続し、車載カメラの撮像領域が重複する時のキャリブレーションフローである。 Next, the operation of this embodiment will be described with reference to FIG. This example is a calibration flow when a plurality of in-vehicle cameras are connected via a network and the imaging areas of the in-vehicle cameras overlap.
それぞれの車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、撮像領域の重複する部分に仮想カメラを生成する（ステップＳ１０００）。そして、特徴点抽出手段８５は、仮想カメラの注目領域で特徴点を抽出する（ステップＳ１０１０）。次に、座標変換手段９５は、この特徴点を絶対座標系に変換する（ステップＳ１０２０）。そして、複数台のカメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、それぞれが抽出した特徴点の絶対座標系の情報を微調整パラメータ生成手段１５０に送信する（ステップＳ１０３０）。
Each of the in-
一方、微調整パラメータ生成手段１５０は、撮像領域が重複する複数台の車載カメラから特徴点の絶対座標を受信する（ステップＳ１０４０）。微調整パラメータ生成手段１５０は、複数の特徴点の絶対座標からキャリブレーションのための微調整パラメータを生成する（ステップＳ１０５０）。微調整パラメータの生成は例えば、任意の車載カメラを基準とし、基準とした車載カメラが生成した特徴点の絶対座標を基準として、他の車載カメラが生成した特徴点の絶対座標との差を微調整パラメータとする簡易な方法もある。微調整パラメータ生成手段１５０は、生成した微調整パラメータをそれぞれの車載カメラに送信する（ステップＳ１０６０）。 On the other hand, the fine adjustment parameter generation means 150 receives the absolute coordinates of the feature points from a plurality of in-vehicle cameras having overlapping imaging areas (step S1040). The fine adjustment parameter generation unit 150 generates fine adjustment parameters for calibration from the absolute coordinates of the plurality of feature points (step S1050). The fine adjustment parameters are generated, for example, using an arbitrary in-vehicle camera as a reference, and using the absolute coordinates of the feature points generated by the reference in-vehicle camera as a reference, the difference between the absolute coordinates of the feature points generated by other in-vehicle cameras is fine. There is also a simple method for adjusting parameters. The fine adjustment parameter generation unit 150 transmits the generated fine adjustment parameter to each in-vehicle camera (step S1060).
それぞれの車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、微調整パラメータを受信する（ステップＳ１０７０）。そして、微調整パラメータを受信した車載カメラは自カメラ情報ＣＩ−１を更新する（ステップＳ１０８０）。
Each of the in-
ここで、図１９を用いて、微調整方法の具体例について説明する。車載カメラは、図１３にて説明したように、車両の後方、前方、右方向、左方向の４方向にある。車載カメラ１００Ｅ−１は、図１３の車載カメラ１００Ｃ−１のように、車両後方の視野を有する。車載カメラ１００Ｅ−２は、図１３の車載カメラ１００Ｃ−２のように、車両右方向の視野を有する。
Here, a specific example of the fine adjustment method will be described with reference to FIG. As described with reference to FIG. 13, the in-vehicle camera is in the four directions of the rear, front, right, and left directions of the vehicle. The in-
図１９（Ａ）は、車載カメラ１００Ｅ−１が撮像した画像とし、図１９（Ｂ）は、車載カメラ１００Ｅ−２が撮像した画像とする。図１９（Ａ），（Ｂ）は、例えば、車庫のコーナーＣＮを撮像したものとする。コーナーＣＮを注目領域の特徴点として抽出することができる。そして、例えば、図１９（Ａ）におけるコーナーＣＮの絶対座標を基準として、図１９（Ｂ）におけるコーナーＣＮ’の絶対座標のずれを求めると、微調整パラメータΔＬを求めることができる。なお、図１９に示す例では、垂直方向の位置ずれはないものであるが、垂直方向の位置ずれについても、同様に、微調整することができる。
19A is an image captured by the in-
以上のように、本実施形態によれあ、撮像領域が重複する複数台の車載カメラを容易にキャリブレーションすることが可能となる。 As described above, according to the present embodiment, it is possible to easily calibrate a plurality of in-vehicle cameras having overlapping imaging areas.
以上のように、本発明は、複数の超広角レンズもしくはアナモルフィックレンズによる広視野を仮想的に複数のカメラで撮像できるとともに、複数のカメラでの注目領域の連携を容易に実現できるので、移動体だけでなく、カメラを静的に設置する監視システム、防犯システム等の広視野を利用するアプリケーションで利用することができる。
As described above, the present invention can virtually capture a wide field of view with a plurality of super-wide-angle lenses or anamorphic lenses with a plurality of cameras, and can easily realize the cooperation of attention areas with a plurality of cameras. It can be used not only for moving objects but also for applications that use a wide field of view, such as surveillance systems that install cameras statically and security systems.
５…レンズ
１０…イメージセンサ
２０…画像切出し手段
３０…歪補正手段
４０…仮想カメラ管理手段
５０…カメラ操作変換手段
６０…ネットワーク通信手段
７０…仮想カメラ領域判定手段
８０…仮想カメラ生成手段
８５…特徴点抽出手段
９０…認識手段
９５…座標変換手段
１００…車載カメラ
１２０…トラッキング手段
１３０…警報生成手段
１５０…微調整パラメータ生成手段
ＣＡ…切り出し領域
ＣＩ…絶対座標系における自カメラ情報
ＩＡ…撮像領域
ＲＡ…注目領域
ＶＣ…仮想カメラ
ＶＣ１…カメラパラメータ
ＶＣ３…歪画像パラメータ
ＶＣ４…歪補正処理パラメータ
ＶＣ５…画像バッファ
DESCRIPTION OF
Claims (8)
前記イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出す画像切り出し手段と、
この画像切り出し手段によって切り出された歪画像の注目領域に相当する部分の画像を正画像に補正する歪補正手段と、
前記画像切り出し手段による切り出し領域の情報と、前記歪補正手段の歪補正パラメータを、前記注目領域毎に管理する仮想カメラ管理手段とを備えることをことを特徴とする車載カメラ。 An in-vehicle camera that has a lens and an image sensor and generates a positive image of a region of interest,
Image cutout means for cutting out a portion corresponding to a region of interest in the distortion image captured by the image sensor;
A distortion correction unit that corrects an image of a portion corresponding to a region of interest of the distortion image cut out by the image cutout unit into a positive image;
An in-vehicle camera, comprising: a virtual camera management unit that manages information on a cutout region by the image cutout unit and a distortion correction parameter of the distortion correction unit for each region of interest.
前記仮想カメラ管理手段は、前記注目領域内の対象物の移動に応じて、前記注目領域を移動するとともに、移動後の注目領域に対する切り出し領域と、歪補正パラメータを管理することを特徴とする車載カメラ。 The in-vehicle camera according to claim 1,
The virtual camera management means moves the attention area according to the movement of an object in the attention area, and manages a cutout area for the attention area after the movement and a distortion correction parameter. camera.
前記仮想カメラ管理手段は、前記イメージセンサの撮像周期と同期して、同一シャッタタイミングに撮像された複数の仮想カメラ画像を生成することを特徴とする車載カメラ。 The in-vehicle camera according to claim 2,
The in-vehicle camera, wherein the virtual camera management unit generates a plurality of virtual camera images captured at the same shutter timing in synchronization with an imaging cycle of the image sensor.
前記仮想カメラ管理手段は、前記イメージセンサの撮像周期に対して、任意のタイミングで仮想カメラ画像を生成することを特徴とする車載カメラ。 The in-vehicle camera according to claim 2,
The on-vehicle camera, wherein the virtual camera management unit generates a virtual camera image at an arbitrary timing with respect to an imaging cycle of the image sensor.
前記仮想カメラ管理手段は、仮想カメラのパラメータを変更することで任意方向への注目領域の移動および拡大縮小を可能とすることを特徴とする車載カメラ。 The in-vehicle camera according to claim 2,
The on-vehicle camera characterized in that the virtual camera management means enables movement and enlargement / reduction of a region of interest in an arbitrary direction by changing parameters of the virtual camera.
複数の車載カメラを接続し、注目領域が複数の車載カメラの撮像領域を跨ぐ場合に、跨いだ注目領域に相当する仮想カメラを、前記仮想カメラ管理手段が生成することを特徴とする車載カメラ。 The in-vehicle camera according to claim 2,
An in-vehicle camera, wherein a plurality of in-vehicle cameras are connected and the virtual camera management means generates a virtual camera corresponding to the straddled region of interest when the region of interest straddles an imaging region of the plurality of in-vehicle cameras.
所定の対象物を認識する認識手段と、
この認識手段が認識した結果をトラッキングするトラッキング手段と、
前記認識手段による認識結果と、前記トラッキング手段によるトラッキング結果を元に警報情報を生成する警報生成手段と、
を備えることを特徴とする車載カメラ。 The in-vehicle camera according to claim 6,
Recognition means for recognizing a predetermined object;
Tracking means for tracking the result recognized by the recognition means;
Alarm generation means for generating alarm information based on the recognition result by the recognition means and the tracking result by the tracking means;
A vehicle-mounted camera comprising:
複数の車載カメラをネットワークで接続し、これらの車載カメラの撮像領域が重複する場合において、各々の車載カメラは重複する撮像領域を仮想カメラとして管理し、重複している注目領域の特徴点を抽出する特徴点抽出手段と、
それぞれの特徴点抽出手段によって抽出されたそれぞれの特徴点に基づいて、複数の車載カメラの相対位置を微調整する微調整パラメータを生成する微調整パラメータ生成手段を備えることを特徴とする車載カメラ。 The in-vehicle camera according to claim 2,
When multiple in-vehicle cameras are connected via a network and the imaging areas of these in-vehicle cameras overlap, each in-vehicle camera manages the overlapping imaging area as a virtual camera and extracts the feature points of the overlapping attention area A feature point extracting means,
An in-vehicle camera comprising fine adjustment parameter generation means for generating fine adjustment parameters for fine adjustment of the relative positions of a plurality of in-vehicle cameras based on the respective feature points extracted by the respective feature point extraction means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007247202A JP2009081496A (en) | 2007-09-25 | 2007-09-25 | In-vehicle camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007247202A JP2009081496A (en) | 2007-09-25 | 2007-09-25 | In-vehicle camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009081496A true JP2009081496A (en) | 2009-04-16 |
Family
ID=40655956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007247202A Pending JP2009081496A (en) | 2007-09-25 | 2007-09-25 | In-vehicle camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009081496A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013114848A1 (en) * | 2012-01-31 | 2013-08-08 | パナソニック株式会社 | Image processing device and image processing method |
| CN104103067A (en) * | 2013-04-04 | 2014-10-15 | 索尼公司 | Method and apparatus for generating an image cut-out |
| JP2015061200A (en) * | 2013-09-18 | 2015-03-30 | コニカミノルタ株式会社 | Image display device, image display method, and image display program |
| JP2015136106A (en) * | 2015-01-06 | 2015-07-27 | ルネサスエレクトロニクス株式会社 | Semiconductor integrated circuit |
| US9367315B2 (en) | 2009-11-04 | 2016-06-14 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| WO2018020424A1 (en) * | 2016-07-29 | 2018-02-01 | Politechnika Lodzka | A method for image recording and an optical device for image registration |
| WO2018221209A1 (en) | 2017-05-30 | 2018-12-06 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, image processing method, and program |
| EP4303833A1 (en) * | 2022-07-04 | 2024-01-10 | Harman Becker Automotive Systems GmbH | Driver assistance system |
| US11898332B1 (en) | 2022-08-22 | 2024-02-13 | Caterpillar Inc. | Adjusting camera bandwidth based on machine operation |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312898A (en) * | 2001-04-10 | 2002-10-25 | Honda Motor Co Ltd | Infrared picture processor |
| JP2003204547A (en) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | Vehicle surrounding monitoring system and method for adjusting the same |
| JP2005086279A (en) * | 2003-09-04 | 2005-03-31 | Equos Research Co Ltd | Imaging apparatus and vehicle provided with imaging apparatus |
| JP2006054662A (en) * | 2004-08-11 | 2006-02-23 | Mitsubishi Electric Corp | Drive support device |
| JP2006240383A (en) * | 2005-03-01 | 2006-09-14 | National Univ Corp Shizuoka Univ | Cruising assist on-vehicle information system |
| JP2007158680A (en) * | 2005-12-05 | 2007-06-21 | Victor Co Of Japan Ltd | Tracking imaging apparatus and tracking imaging system utilizing it |
| JP2007221199A (en) * | 2006-02-14 | 2007-08-30 | Auto Network Gijutsu Kenkyusho:Kk | On-vehicle camera display device and image processing unit |
-
2007
- 2007-09-25 JP JP2007247202A patent/JP2009081496A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312898A (en) * | 2001-04-10 | 2002-10-25 | Honda Motor Co Ltd | Infrared picture processor |
| JP2003204547A (en) * | 2001-10-15 | 2003-07-18 | Matsushita Electric Ind Co Ltd | Vehicle surrounding monitoring system and method for adjusting the same |
| JP2005086279A (en) * | 2003-09-04 | 2005-03-31 | Equos Research Co Ltd | Imaging apparatus and vehicle provided with imaging apparatus |
| JP2006054662A (en) * | 2004-08-11 | 2006-02-23 | Mitsubishi Electric Corp | Drive support device |
| JP2006240383A (en) * | 2005-03-01 | 2006-09-14 | National Univ Corp Shizuoka Univ | Cruising assist on-vehicle information system |
| JP2007158680A (en) * | 2005-12-05 | 2007-06-21 | Victor Co Of Japan Ltd | Tracking imaging apparatus and tracking imaging system utilizing it |
| JP2007221199A (en) * | 2006-02-14 | 2007-08-30 | Auto Network Gijutsu Kenkyusho:Kk | On-vehicle camera display device and image processing unit |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9367315B2 (en) | 2009-11-04 | 2016-06-14 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| US10037169B2 (en) | 2009-11-04 | 2018-07-31 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| US9836247B2 (en) | 2009-11-04 | 2017-12-05 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| US9396529B2 (en) | 2012-01-31 | 2016-07-19 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| GB2514495A (en) * | 2012-01-31 | 2014-11-26 | Panasonic Corp | Image processing device and image processing method |
| JPWO2013114848A1 (en) * | 2012-01-31 | 2015-05-11 | パナソニックＩｐマネジメント株式会社 | Image processing apparatus and image processing method |
| US10366477B2 (en) | 2012-01-31 | 2019-07-30 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| GB2514495B (en) * | 2012-01-31 | 2015-04-22 | Panasonic Ip Man Co Ltd | Image processing device and image processing method |
| WO2013114848A1 (en) * | 2012-01-31 | 2013-08-08 | パナソニック株式会社 | Image processing device and image processing method |
| US9836829B2 (en) | 2012-01-31 | 2017-12-05 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
| CN104103067A (en) * | 2013-04-04 | 2014-10-15 | 索尼公司 | Method and apparatus for generating an image cut-out |
| CN104103067B (en) * | 2013-04-04 | 2018-07-13 | 索尼公司 | Method and apparatus for generating image sectional drawing |
| JP2015061200A (en) * | 2013-09-18 | 2015-03-30 | コニカミノルタ株式会社 | Image display device, image display method, and image display program |
| JP2015136106A (en) * | 2015-01-06 | 2015-07-27 | ルネサスエレクトロニクス株式会社 | Semiconductor integrated circuit |
| WO2018020424A1 (en) * | 2016-07-29 | 2018-02-01 | Politechnika Lodzka | A method for image recording and an optical device for image registration |
| WO2018221209A1 (en) | 2017-05-30 | 2018-12-06 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, image processing method, and program |
| US11521395B2 (en) | 2017-05-30 | 2022-12-06 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and program |
| EP4303833A1 (en) * | 2022-07-04 | 2024-01-10 | Harman Becker Automotive Systems GmbH | Driver assistance system |
| US11898332B1 (en) | 2022-08-22 | 2024-02-13 | Caterpillar Inc. | Adjusting camera bandwidth based on machine operation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009081496A (en) | In-vehicle camera | |
| CN109360245B (en) | External parameter calibration method for multi-camera system of unmanned vehicle | |
| JP5444338B2 (en) | Vehicle perimeter monitoring device | |
| JP5682788B2 (en) | Vehicle periphery monitoring device | |
| CN105763854B (en) | A kind of omnidirectional imaging system and its imaging method based on monocular cam | |
| WO2019192359A1 (en) | Vehicle panoramic video display system and method, and vehicle controller | |
| JP5321711B2 (en) | Vehicle periphery monitoring device and video display method | |
| JP4892965B2 (en) | Moving object determination system, moving object determination method, and computer program | |
| JP4643860B2 (en) | VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE | |
| JP2010246088A (en) | Device and method for adjusting image captured by on-board camera device, and on-board camera device | |
| WO2010070920A1 (en) | Device for generating image of surroundings of vehicle | |
| JP5915923B2 (en) | Image processing apparatus and driving support system | |
| CN110651295B (en) | Image processing apparatus, image processing method, and program | |
| JP2012138660A (en) | Vehicular display device | |
| KR101977635B1 (en) | Multi-camera based aerial-view 360-degree video stitching and object detection method and device | |
| JP6065629B2 (en) | Object detection device | |
| JP6022930B2 (en) | Camera system, camera module, and camera control method | |
| JP2021013072A (en) | Image processing device and image processing method | |
| JP5305750B2 (en) | Vehicle periphery display device and display method thereof | |
| JP2014130429A (en) | Photographing device and three-dimensional object area detection program | |
| JP2005182305A (en) | Vehicle travel support device | |
| JP7467402B2 (en) | IMAGE PROCESSING SYSTEM, MOBILE DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM | |
| CN216331763U (en) | Intelligent automobile electronic rearview mirror equipment of integrated panorama function and BSD function | |
| JP2010016746A (en) | Periphery monitoring apparatus | |
| JP2011077806A (en) | Vehicle surroundings monitoring device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090402 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110214 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111025 |