JP2020064526A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2020064526A JP2020064526A JP2018196966A JP2018196966A JP2020064526A JP 2020064526 A JP2020064526 A JP 2020064526A JP 2018196966 A JP2018196966 A JP 2018196966A JP 2018196966 A JP2018196966 A JP 2018196966A JP 2020064526 A JP2020064526 A JP 2020064526A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- pair
- region
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing device.
従来、同一対象に向けられた一対のカメラを備え、これらのカメラにより同一対象を撮影することで当該カメラから当該同一対象までの距離を算出できる画像処理装置として、例えば特許文献１に記載のものが知られている。この画像処理装置は、一対のカメラにより同一対象を撮影して２枚の画像（一対の画像）を生成し、これらの画像中の同一対象を一致させた後、その対象の位置の違い（視差）から三角測量の原理に基づき、カメラから撮影した対象までの距離を算出できる。 BACKGROUND ART Conventionally, as an image processing apparatus that includes a pair of cameras directed to the same target and can calculate the distance from the camera to the same target by shooting the same target with these cameras, for example, the one described in Patent Document 1 It has been known. This image processing apparatus captures the same target with a pair of cameras to generate two images (a pair of images), and after matching the same target in these images, the difference in the position of the target (parallax). Based on the principle of triangulation, the distance from the camera to the photographed object can be calculated.
ところで、この種の画像処理装置は、生成された画像を構成する画素ごとに、カメラからの距離（以下「認識距離」という）の情報を上記の原理により取得し、これらの画素ごとの認識距離の違いを色の違いとして示した距離画像を生成することができる。そして、この種の画像処理装置で生成される距離画像における解像度や画角は、撮影に用いられる一対のカメラの解像度や画角に依存する。 By the way, this type of image processing apparatus acquires information on the distance from the camera (hereinafter, referred to as “recognition distance”) for each pixel constituting the generated image according to the above principle, and the recognition distance for each pixel is acquired. It is possible to generate a range image in which the difference between the colors is indicated as the color difference. The resolution and angle of view in the range image generated by this type of image processing device depend on the resolution and angle of view of a pair of cameras used for shooting.
例えば、画像処理装置の近傍を広角の一対のカメラで撮影して得られる２枚の画像を用いる場合には、広い画角で近距離の情報を精度良く取得できる広角の距離画像を生成できる。また、画像処理装置の遠方を狭角かつ高解像度の一対のカメラで撮影して得られる２枚の画像を用いる場合には、狭い画角ながら、遠距離の情報を精度良く取得できる狭角かつ高解像度の距離画像を生成できる。 For example, when using two images obtained by photographing the vicinity of the image processing apparatus with a pair of wide-angle cameras, it is possible to generate a wide-angle range image in which short-distance information can be acquired accurately with a wide angle of view. Further, when using two images obtained by photographing a distant part of the image processing device with a pair of cameras having a narrow angle and high resolution, it is possible to obtain the information of the long distance with a narrow angle of view with a high accuracy. A high resolution range image can be generated.
ここで、広角かつ低解像度の距離画像と狭角かつ高解像度の距離画像とを生成するためには、広角かつ低解像度の一対の画像と狭角かつ高解像度の一対の画像が必要となる。言い換えると、画角および解像度の異なる２枚の距離画像を得るためには、画角および解像度の異なる二対の画像（合計４枚の画像）が必要となる。このような画角および解像度の異なる二対の画像を生成するために、画角および解像度の異なる二対のカメラ、すなわち合計４つのカメラを備えた画像処理装置とすることが考えられる。 Here, in order to generate a wide-angle low-resolution range image and a narrow-angle high-resolution range image, a pair of wide-angle and low-resolution images and a pair of narrow-angle and high-resolution images are required. In other words, in order to obtain two distance images with different angles of view and resolutions, two pairs of images with different angles of view and resolutions (four images in total) are required. In order to generate such two pairs of images having different angles of view and resolutions, it is conceivable to use an image processing device having two pairs of cameras having different angles of view and resolutions, that is, a total of four cameras.
しかしながら、この場合、例えば、広角かつ低解像度の画像を生成する一対のカメラと狭角かつ高解像度の画像を生成する一対のカメラとを要する構成となり、画像処理装置の大型化やコスト増加の原因となるため、好ましくない。また、二対のカメラを有する構成とした場合、二対のカメラが異なる位置に配置されるため、遮蔽物や見え方の違いによっては、２枚の画像に含まれる同一の地点を一致させる処理（ステレオマッチング）の不具合や認識距離の精度低下が懸念される。 However, in this case, for example, a configuration that requires a pair of cameras that generate a wide-angle and low-resolution image and a pair of cameras that generate a narrow-angle and high-resolution image results in an increase in the size and cost of the image processing apparatus. Therefore, it is not preferable. Further, when the configuration has two pairs of cameras, since the two pairs of cameras are arranged at different positions, processing for matching the same points included in the two images depending on the obstruction and the difference in appearance. There is a concern that (stereo matching) will be inconvenient and that the recognition distance will be less accurate.
本発明は、上記の点に鑑みてなされたものであり、一対のカメラでの撮影により得られる一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成できる画像処理装置を提供することを目的とする。また、一対のカメラにより得られる一対の画像に基づき、従来よりも近傍および遠方の距離を精度良く取得できる車載用の画像処理装置を提供することを目的とする。 The present invention has been made in view of the above points, and provides an image processing apparatus capable of generating a plurality of range images having different angles of view and different resolutions based on a pair of images obtained by shooting with a pair of cameras. The purpose is to do. Another object of the present invention is to provide an in-vehicle image processing device that can accurately acquire near and far distances based on a pair of images obtained by a pair of cameras.
上記目的を達成するため、請求項１に記載の画像処理装置は、同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、一対のカメラでの撮影により得られる同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、を備える。そして、一対の画像は、第１領域と第１領域に隣接する第２領域とを有し、第１領域が第２領域よりも狭角かつ高解像度とされた解像度非一様画像である。 In order to achieve the above object, the image processing device according to claim 1 is an image pickup unit (1) having a pair of cameras (11, 12) directed to the same target, and an image captured by the pair of cameras. A stereo matching unit (7) that performs stereo matching on a pair of images obtained by capturing the same object obtained by the above, and a distance image generation unit (8) that generates a plurality of distance images having different resolutions and angles of view based on the pair of images. ), And. The pair of images is a non-uniform resolution image having a first region and a second region adjacent to the first region, and the first region has a narrower angle and higher resolution than the second region.
かかる構成によれば、一対のカメラでの撮影により高解像度の領域と低解像度の領域とを有する、一対の解像度非一様画像を得ると共に、この解像度非一様画像に基づいて距離画像を生成できる画像処理装置となる。具体的には、解像度非一様画像のうち狭角かつ高解像度の領域のデータを用いた場合には、狭角かつ高解像度の距離画像を生成でき、広角かつ低解像度の領域を含む領域のデータを用いた場合には、広角かつ低解像度の距離画像を生成できる。つまり、画角および解像度の異なる二対以上のカメラを用いることなく、画角および解像度の異なる複数の距離画像を生成できる画像処理装置となる。 With this configuration, a pair of resolution non-uniform images having a high resolution region and a low resolution region are obtained by photographing with a pair of cameras, and a range image is generated based on the resolution non-uniform images. It becomes an image processing device that can. Specifically, when data of a narrow-angle and high-resolution area in a non-uniform resolution image is used, a narrow-angle and high-resolution area image can be generated, and an area including a wide-angle and low-resolution area can be generated. When data is used, a wide-angle and low-resolution range image can be generated. That is, the image processing apparatus can generate a plurality of range images having different angles of view and resolutions without using two or more pairs of cameras having different angles of view and resolutions.
請求項２に記載の画像処理装置は、車両（ＶＭ１）に搭載され、車両の周囲を撮影する車載用の画像処理装置であって、同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、一対のカメラでの撮影により得られる同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、を備える。このような構成において、一対の画像は、第１領域と第１領域に隣接する第２領域とを有し、第１領域が第２領域よりも狭い視野角かつ高解像度とされた解像度非一様画像であり、距離画像生成部は、一対の画像のうち第１領域のデータに基づいて車両の遠方かつ狭い視野角の領域を高解像度で写した狭角距離画像と、第２領域のデータに基づいて車両の近傍かつ広い視野角の領域を低解像度で写した広角距離画像と、を生成する。 The image processing device according to claim 2 is a vehicle-mounted image processing device that is mounted on a vehicle (VM1) and captures an image of the surroundings of the vehicle, and includes a pair of cameras (11, 12) directed to the same target. An image pickup section (1) provided, a stereo matching section (7) for performing stereo matching on a pair of images showing the same object obtained by photographing with a pair of cameras, and a resolution and a resolution based on the pair of images. A distance image generation unit (8) that generates a plurality of distance images having different angles of view. In such a configuration, the pair of images has the first region and the second region adjacent to the first region, and the first region has a narrower viewing angle than the second region and a high resolution. The distance image generation unit includes a narrow-angle distance image in which a region far away and a narrow viewing angle of the vehicle is captured at high resolution based on the data in the first region in the pair of images, and the data in the second region. And a wide-angle range image in which a region near the vehicle and having a wide viewing angle is photographed at a low resolution.
本構成によれば、請求項１に記載の画像処理装置と同様の効果が得られると共に、解像度非一様画像のうち狭角かつ高解像度の領域のデータにより、車両から遠方の距離を取得でき、広角かつ低解像度の領域のデータにより車両の近傍の距離を取得できる。 According to this configuration, the same effect as that of the image processing apparatus according to claim 1 can be obtained, and the distance from the vehicle can be acquired from the data of the narrow-angle and high-resolution area in the non-uniform resolution image. , The distance in the vicinity of the vehicle can be acquired from the data of the wide-angle and low-resolution area.
請求項３に記載の画像処理装置は、同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、一対のカメラでの撮影により得られる同一対象を写した一対の画像のうち所定の画角の領域を切り取り、当該所定の画角の領域を写した画像である特定画角画像を生成する画角画像処理部（５、６）と、一対の特定画角画像についてステレオマッチングを行うステレオマッチング部（７）と、一対の特定画角画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、を備える。そして、一対の画像は、第１領域と第１領域に隣接する第２領域とを有し、第１領域が第２領域よりも高解像度とされた解像度非一様画像である。 An image processing apparatus according to claim 3, wherein the image capturing unit (1) having a pair of cameras (11, 12) directed to the same target, and the same target obtained by shooting with the pair of cameras. A field of view image processing unit (5, 6) that cuts out a region of a predetermined field of view from the pair of images and generates a specific field of view image that is an image of the region of the predetermined field of view, and a pair of identification A stereo matching unit (7) that performs stereo matching on the view angle image, and a distance image generation unit (8) that generates a plurality of range images having different resolutions and view angles based on the pair of specific view angle images. . Then, the pair of images are non-uniform resolution images in which the first region and the second region adjacent to the first region are provided, and the first region has a higher resolution than the second region.
これにより、請求項１に記載の画像処理装置と同様の効果が得られると共に、画角画像処理部により解像度非一様画像のうち任意の画角の領域のデータに基づく特定画角画像を生成し、これに基づいて距離画像を生成できる画像処理装置となる。そのため、状況に応じて適切な画角および解像度の距離画像を生成できるとの効果も得られる。 As a result, the same effect as that of the image processing apparatus according to claim 1 is obtained, and the angle-of-view image processing unit generates the specific angle-of-view image based on the data of the area of an arbitrary angle of view in the non-uniform-resolution image. Then, the image processing apparatus can generate a distance image based on this. Therefore, it is possible to obtain the effect that a distance image having an appropriate angle of view and resolution can be generated according to the situation.
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。 The reference numerals in parentheses attached to the respective constituent elements and the like indicate an example of a correspondence relationship between the constituent elements and the like and specific constituent elements and the like described in the embodiments described later.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each of the following embodiments, the same or equivalent portions will be denoted by the same reference numerals for description.
（第１実施形態）
第１実施形態の画像処理装置について、図１〜図７を参照して述べる。本実施形態の画像処理装置は、例えば自動車などの車両に搭載される車載用ステレオカメラなどに適用されると好適であるが、車両と異なる移動体に搭載されるステレオカメラなどの他の用途にも適用され得る。
(First embodiment)
The image processing apparatus according to the first embodiment will be described with reference to FIGS. The image processing apparatus of the present embodiment is suitable for being applied to, for example, a vehicle-mounted stereo camera mounted on a vehicle such as an automobile, but is also suitable for other applications such as a stereo camera mounted on a moving body different from the vehicle. Can also be applied.
〔構成〕
まず、本実施形態の画像処理装置（以下「本画像処理装置」という）の構成について説明する。
〔Constitution〕
First, the configuration of the image processing apparatus of the present embodiment (hereinafter referred to as the “present image processing apparatus”) will be described.
本画像処理装置は、図１に示すように、撮像部１と、画像処理部２とを備え、撮像部１での撮影により得られる一対の画像を画像処理部２で処理することで、近傍領域および遠方領域それぞれに対応する距離画像を生成する構成とされている。本実施形態の画像処理装置は、例えば、撮影により得られる画像や当該画像に基づいて生成した距離画像などを表示する、図示しない外部の表示装置などに接続される。 As shown in FIG. 1, the image processing apparatus includes an image capturing unit 1 and an image processing unit 2, and the image processing unit 2 processes a pair of images obtained by image capturing by the image capturing unit 1 so that the vicinity The distance image corresponding to each of the area and the distant area is generated. The image processing apparatus according to the present embodiment is connected to, for example, an external display device (not shown) that displays an image obtained by shooting, a distance image generated based on the image, and the like.
撮像部１は、本画像処理装置が設置される場所の周囲を撮影し、画像信号を出力するものである。撮像部１は、例えば図１に示すように、第１カメラ１１と、第２カメラ１２と、これらを連結して支持する図示しないステーとを有してなる。つまり、撮像部１は、第１カメラ１１と第２カメラ１２とによりなる一対のカメラを有する構成とされている。 The image pickup unit 1 picks up an image of the vicinity of the place where the image processing apparatus is installed and outputs an image signal. The imaging unit 1 includes, for example, as shown in FIG. 1, a first camera 11, a second camera 12, and a stay (not shown) that connects and supports these. That is, the imaging unit 1 is configured to have a pair of cameras including the first camera 11 and the second camera 12.
カメラ１１、１２は、例えば、同一の構成のデジタルカメラとされ、図示しないレンズおよび撮像素子を備える。カメラ１１、１２は、例えば、図２に示すように、互いの光軸が平行、かつ互いの撮影面が同一の平面を構成すると共に、異なる位置から同一対象物を撮影する配置とされている。カメラ１１、１２は、第１の領域とこれに隣接する第２の領域とを有し、第１の領域が高解像度とされ、第２の領域に向かうほど低解像度とされた、解像度が非一様な画像（以下「解像度非一様画像」という）を生成するための画像信号を出力する。解像度非一様画像を生成するための画像信号を出力するカメラ１１、１２は、例えば、次のような構成とされる。 The cameras 11 and 12 are, for example, digital cameras having the same configuration, and include a lens and an image pickup element (not shown). For example, as shown in FIG. 2, the cameras 11 and 12 are arranged such that their optical axes are parallel to each other and their photographing surfaces are the same plane, and the same object is photographed from different positions. . The cameras 11 and 12 have a first region and a second region adjacent to the first region, and the first region has a high resolution, and the resolution decreases toward the second region. An image signal for generating a uniform image (hereinafter referred to as “resolution non-uniform image”) is output. The cameras 11 and 12 that output an image signal for generating a non-uniform resolution image have, for example, the following configurations.
カメラ１１、１２を構成するレンズは、例えば、広角中心窩レンズとされる。「広角中心窩レンズ」とは、人間の眼球の特性、すなわち網膜のうち視野の中心に対応する中心窩と呼ばれる範囲で視力が最も高く、この中心窩から離れるほど視力が急激に減少する特性を模したレンズである。カメラ１１、１２では、広角中心窩レンズは、例えば、上下左右で片側４５度以上、両側９０度以上の広角の視野の像を撮像素子の撮像領域に結像する役割を果たす。 The lenses forming the cameras 11 and 12 are, for example, wide-angle fovea lenses. A "wide-angle fovea lens" is a characteristic of the human eyeball, that is, it has the highest visual acuity in the range called the fovea of the retina corresponding to the center of the visual field, and the characteristic that the visual acuity decreases sharply as the distance from the fovea increases. It is a modeled lens. In the cameras 11 and 12, the wide-angle fovea lens plays a role of forming an image with a wide-angle field of view of 45 degrees or more on one side and 90 degrees or more on both sides in the imaging area of the imaging element, for example.
カメラ１１、１２を構成する撮像素子は、例えば、ＣＣＤ（Charge Coupled Deviceの略）やＣＭＯＳ（相補型ＭＯＳ）などのイメージセンサとされ、レンズを介して入射する光に対応した画像信号を出力する複数の画素を有してなる。撮像素子は、例えば、レンズが広角中心窩レンズである場合には、複数の画素が均一な分布および密度になるように配置された構成とされる。均一な分布および密度になる複数の画素の配置としては、例えば、複数の画素が格子状に一様に並べられる例などが挙げられる。なお、カメラ１１、１２は、レンズと撮像素子とが解像度非一様画像の元となる画像信号を出力する組み合わせとされていればよく、他の構成要素については任意とされる。 The image pickup device forming the cameras 11 and 12 is, for example, an image sensor such as a CCD (abbreviation of Charge Coupled Device) or CMOS (complementary MOS), and outputs an image signal corresponding to light incident through the lens. It has a plurality of pixels. For example, when the lens is a wide-angle fovea lens, the image pickup element has a configuration in which a plurality of pixels are arranged so as to have a uniform distribution and density. Examples of the arrangement of the plurality of pixels having a uniform distribution and density include an example in which the plurality of pixels are uniformly arranged in a grid pattern. It should be noted that the cameras 11 and 12 only need to be a combination of the lens and the image sensor to output an image signal that is a source of a non-uniform resolution image, and other components are arbitrary.
このような構成とされたカメラ１１、１２は、図１に示すように、画像処理部２に接続され、狭い視野角かつ高解像度の領域および広い視野角かつ低解像度の領域それぞれに対応する画像信号を画像処理部２に出力する。 As shown in FIG. 1, the cameras 11 and 12 configured as described above are connected to the image processing unit 2 and images corresponding to a narrow viewing angle and high resolution region and a wide viewing angle and low resolution region, respectively. The signal is output to the image processing unit 2.
なお、以下、解像度非一様画像として、図３（ａ）に示すように、中心部に近い第１の領域ほど高解像度とされ、中心部に隣接する第２の領域である周辺部に向かうほど低解像度とされた画像を例に説明する。解像度非一様画像は、広角中心窩レンズによる急激な像倍率変化により、高解像度とされた第１の領域が、低解像度とされた第２の領域よりも高倍率（限定するものではないが、例えば１０倍以上）とされる。 Note that, hereinafter, as a non-uniform-resolution image, as shown in FIG. 3A, the first region closer to the central portion has a higher resolution, and goes toward the peripheral portion which is the second region adjacent to the central portion. An image having a low resolution will be described as an example. In a non-uniform resolution image, the first area having a high resolution has a higher magnification than the second area having a low resolution due to a rapid change in image magnification by the wide-angle fovea lens (though not limited thereto. , For example, 10 times or more).
画像処理部２は、図１に示すように、第１画像生成部３、第２画像生成部４、第１画角画像処理部５、第２画角画像処理部６、ステレオマッチング部７および距離画像生成部８を有してなる。画像処理部２は、撮像部１から取得した画像信号に基づいて、任意の解像度および画角の距離画像を生成し、図示しない外部の電子機器などに距離画像データを伝送する構成とされる。画像処理部２は、例えば、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩとされる。 As shown in FIG. 1, the image processing unit 2 includes a first image generating unit 3, a second image generating unit 4, a first angle of view image processing unit 5, a second angle of view image processing unit 6, a stereo matching unit 7, and A distance image generation unit 8 is included. The image processing unit 2 is configured to generate a distance image having an arbitrary resolution and angle of view based on the image signal acquired from the image pickup unit 1 and transmit the distance image data to an external electronic device (not shown) or the like. The image processing unit 2 is, for example, an LSI including a DSP, a CPU, a ROM, a RAM, and the like.
第１画像生成部３は、図１に示すように、第１カメラ１１から画像信号を取得し、当該画像信号に基づいて第１の解像度非一様画像を生成する。第２画像生成部４は、図１に示すように、第２カメラ１２から画像信号を取得し、当該画像信号に基づき、第１の解像度非一様画像と対をなす第２の解像度非一様画像を生成する。つまり、画像生成部３、４は、一対のカメラ１１、１２から画像信号を取得し、当該画像信号に基づいて、一対の解像度非一様画像を生成する。第１の解像度非一様画像のデータは、図１に示すように、第１画角画像処理部５に伝送される。第２の解像度非一様画像のデータは、第２画角画像処理部６に伝送される。 As shown in FIG. 1, the first image generation unit 3 acquires an image signal from the first camera 11 and generates a first resolution non-uniform image based on the image signal. As shown in FIG. 1, the second image generation unit 4 acquires an image signal from the second camera 12, and based on the image signal, a second resolution non-uniform paired with the first resolution non-uniform image. Image is generated. That is, the image generation units 3 and 4 acquire image signals from the pair of cameras 11 and 12, and generate a pair of non-uniform resolution images based on the image signals. The data of the first non-uniform resolution image is transmitted to the first angle-of-view image processing unit 5, as shown in FIG. The data of the second resolution non-uniform image is transmitted to the second view angle image processing unit 6.
第１画角画像処理部５は、図１に示すように、第１画像生成部３が生成した第１の解像度非一様画像から任意の画角で一部または全部の領域を選択（切り出し）した後、当該領域の画像データについて輝度や歪みの補正および幾何学的な変換などを行う。第２画角画像処理部６は、第２の解像度非一様画像から任意の画角で一部または全部の領域を選択した後、その領域の画像データについて輝度や歪みの補正および幾何学的な変換などを行う。 As shown in FIG. 1, the first angle-of-view image processing unit 5 selects (cuts out) a part or the entire region at an arbitrary angle of view from the first resolution non-uniform image generated by the first image generation unit 3. After that, the brightness and distortion of the image data in the area is corrected and geometrical conversion is performed. The second angle-of-view image processing unit 6 selects a part or all of the area from the second non-uniform-resolution image at an arbitrary angle of view and then corrects the brightness and distortion of the image data in the area and performs geometrical correction. Performs various conversions.
つまり、画角画像処理部５、６は、解像度非一様画像のデータについて各種の補正および当該画像の幾何学的な変換を行うことで、任意の画角の領域かつ解像度が一様の画像（以下「特定画角画像」という）を生成する。この特定画角画像のデータは、ステレオマッチング部７に伝送される。また、特定画角画像は、図３（ｂ）に示すピンホールレンズを有するカメラでの撮影により得られる画像と同様に、解像度が一様の画像とされるため、「解像度一様画像」とも称し得る。 In other words, the angle-of-view image processing units 5 and 6 perform various corrections on the data of the non-uniform resolution image and perform geometrical conversion of the image to obtain an image with a uniform field of view and a uniform resolution. (Hereinafter, referred to as “specific angle-of-view image”) is generated. The data of the specific view angle image is transmitted to the stereo matching unit 7. Further, the specific angle-of-view image is an image having a uniform resolution, like the image obtained by shooting with a camera having a pinhole lens shown in FIG. Can be called.
なお、本実施形態では、２つの画像生成部３、４により一対の解像度非一様画像を生成し、２つの画角画像処理部５、６によりステレオマッチングが行われる一対の特定画角画像を生成する例について説明しているが、これに限定されるものではない。例えば、１つの画像生成部が一対のカメラ１１、１２それぞれから画像信号を取得し、これらの画像信号に基づいて一対の解像度非一様画像を生成する構成であってもよい。また、１つの画角画像処理部が一対の解像度非一様画像のデータを取得し、これらのデータに基づき、一対の特定画角画像を生成する構成であってもよい。 In the present embodiment, the two image generation units 3 and 4 generate a pair of non-uniform resolution images, and the two angle-of-view image processing units 5 and 6 generate a pair of specific angle-of-view images on which stereo matching is performed. Although the example of generation is described, the present invention is not limited to this. For example, one image generation unit may acquire image signals from each of the pair of cameras 11 and 12 and generate a pair of non-uniform resolution images based on these image signals. In addition, one view angle image processing unit may acquire data of a pair of non-uniform resolution images and generate a pair of specific view angle images based on these data.
ステレオマッチング部７は、画角画像処理部５、６から取得した一対の特定画角画像のデータに基づき、当該一対の特定画角画像に写されている同一対象の各部についてマッチングを行う。これにより、図２に示すように、画像に写された同一対象の当該一対の画像上での位置ずれＺ（視差Ｚ）を求めることができる。この視差Ｚのデータは、距離画像生成部８に伝送される。 The stereo matching unit 7 performs matching for each unit of the same target imaged in the pair of specific angle-of-view images based on the data of the pair of specific angle-of-view images acquired from the angle-of-view image processing units 5 and 6. As a result, as shown in FIG. 2, it is possible to obtain the positional deviation Z (parallax Z) on the pair of images of the same target imaged in the image. The data of the parallax Z is transmitted to the distance image generation unit 8.
距離画像生成部８は、ステレオマッチング処理により得られた視差Ｚのデータから三角測量の原理に基づいて、図２に示すように、一対のカメラ１１、１２から撮影した対象物までの距離Ｄを算出する。 Based on the principle of triangulation from the data of the parallax Z obtained by the stereo matching processing, the distance image generation unit 8 calculates the distance D from the pair of cameras 11 and 12 to the object photographed as shown in FIG. calculate.
具体的には、図２に示すように、光軸が平行かつ撮影面が同一平面を構成する配置とされた第１カメラ１１と第２カメラ１２とにより、対象物Ｘ０を撮影したとする。また、カメラ１１、１２間の距離をＢとし、対象物Ｘ０とカメラ１１、１２との距離をＤとし、カメラ１１、１２の焦点距離ｆとし、対象物Ｘ０の第１カメラ１１の撮影面における位置をＸ１とし、対象物Ｘの第２カメラ１２の撮影面における位置をＸ２とする。さらに、第１カメラ１１の撮影面の中心Ｏ１を通り、当該撮影面に対して垂直な光軸と直線Ｘ０Ｘ１との交点をＡとし、第２カメラ１２の撮影面の中心Ｏ２を通り、当該撮影面に対して垂直な光軸と直線Ｘ０Ｘ２との交点をＣとする。 Specifically, as shown in FIG. 2, it is assumed that the object X0 is photographed by the first camera 11 and the second camera 12, which are arranged such that the optical axes thereof are parallel to each other and the photographing surfaces form the same plane. Further, the distance between the cameras 11 and 12 is B, the distance between the object X0 and the cameras 11 and 12 is D, and the focal length f of the cameras 11 and 12 is the object X0 on the photographing surface of the first camera 11. The position is X1, and the position of the object X on the imaging surface of the second camera 12 is X2. Further, passing through the center O1 of the photographing surface of the first camera 11 and the intersection point of the optical axis perpendicular to the photographing surface and the straight line X0X1 is A, and passing through the center O2 of the photographing surface of the second camera 12, the photographing is performed. Let C be the intersection of the optical axis perpendicular to the plane and the straight line X0X2.
このとき、第２カメラ１２の撮影面のうち第１カメラ１１の撮影面におけるＸ１に相当する位置をＸ３とすると、Ｘ２とＸ３との間には、図２に示すように視差Ｚが生じる。そして、図２における三角形Ｘ０ＡＣと三角形ＣＸ３Ｘ２とが相似関係となることから、距離Ｂと距離Ｄとの比が、焦点距離ｆと視差Ｚとの比と等しくなり、以下の（１）式が成立する。 At this time, if a position corresponding to X1 on the shooting surface of the first camera 11 of the shooting surface of the second camera 12 is X3, a parallax Z is generated between X2 and X3 as shown in FIG. Since the triangle X0AC and the triangle CX3X2 in FIG. 2 have a similar relationship, the ratio between the distance B and the distance D becomes equal to the ratio between the focal length f and the parallax Z, and the following formula (1) is established. To do.
Ｄ＝Ｂ×ｆ／Ｚ・・・（１）
よって、カメラ１１、１２間の距離Ｂ、カメラ１１、１２の焦点距離ｆおよび視差Ｚにより、カメラ１１、１２と対象物Ｘ０までの距離Ｄを算出することができる。このような原理により、距離画像生成部８は、特定画角画像を構成する各画素の距離Ｄを算出すると共に、各画素の距離Ｄの違いを色の違いとして示した距離画像を生成する。
D = B × f / Z (1)
Therefore, the distance D between the cameras 11 and 12 and the object X0 can be calculated from the distance B between the cameras 11 and 12, the focal length f of the cameras 11 and 12, and the parallax Z. Based on such a principle, the distance image generation unit 8 calculates the distance D of each pixel forming the specific angle-of-view image and also generates the distance image showing the difference in the distance D of each pixel as a difference in color.
ここで、距離画像の画角および解像度は、特定画角画像の画角および解像度に依存する。つまり、距離画像生成部８は、狭角かつ高解像度の特定画角画像を用いた場合には、狭角かつ高解像度の距離画像を生成し、広角かつ低解像度の特定画角画像を用いた場合には、広角かつ低解像度の距離解像度を生成する。そして、特定画角画像は、一対の解像度非一様画像のうち所定の画角および解像度の領域を選択することで、その画角および解像度が調整されることができる。そのため、距離画像生成部８は、一対のカメラ１１、１２により得られる一対の解像度非一様画像に基づき、画角および解像度の異なる複数の距離画像を生成することができる。 Here, the view angle and resolution of the distance image depend on the view angle and resolution of the specific view angle image. In other words, the distance image generation unit 8 generates a narrow-angle and high-resolution distance image when using the narrow-angle and high-resolution specific angle-of-view image, and uses the wide-angle and low-resolution specific angle-of-view image. In this case, a wide-angle and low-resolution distance resolution is generated. The specific view angle image can be adjusted in view angle and resolution by selecting a region having a predetermined view angle and resolution from the pair of resolution non-uniform images. Therefore, the range image generation unit 8 can generate a plurality of range images having different angles of view and different resolutions based on the pair of resolution non-uniform images obtained by the pair of cameras 11 and 12.
以上が本画像処理装置の基本的な構成である。 The above is the basic configuration of the image processing apparatus.
〔動作例〕
次に、本画像処理装置の動作例について、図４〜図６を参照して説明する。
[Operation example]
Next, an operation example of the image processing apparatus will be described with reference to FIGS.
まず、画角が広い距離画像（以下「広角距離画像」という）を生成する場合の動作例について、図４を参照して説明する。 First, an operation example in the case of generating a range image having a wide angle of view (hereinafter referred to as “wide angle range image”) will be described with reference to FIG.
ステップＳ１０１にて、一対のカメラ１１、１２は、同一対象を異なる位置から撮影し、画像信号を画像生成部３、４へ出力する。そして、画像生成部３、４は、当該画像信号に基づいて一対の解像度非一様画像を生成する。 In step S101, the pair of cameras 11 and 12 shoot the same target from different positions and output image signals to the image generators 3 and 4. Then, the image generation units 3 and 4 generate a pair of resolution non-uniform images based on the image signal.
続いて、ステップＳ１０２にて、画角画像処理部５、６は、画像生成部３、４が生成した一対の解像度非一様画像のデータについて歪み補正を行う。例えば、画角画像処理部５、６は、図３（ａ）に示すような中心部が高倍率とされ、その中心部から離れるほど低倍率とされ、歪みが大きい解像度非一様画像のデータについて歪み補正や幾何学的な変換を行う。これにより、図３（ｂ）に示すような中心部から周辺部までの倍率が等しい画像が生成される。 Subsequently, in step S102, the view angle image processing units 5 and 6 perform distortion correction on the data of the pair of resolution non-uniform images generated by the image generation units 3 and 4. For example, the angle-of-view image processing units 5 and 6 have high-magnification in the central portion as shown in FIG. 3A, and have lower magnification as the distance from the central portion increases. About distortion correction and geometric conversion. As a result, an image having the same magnification from the central portion to the peripheral portion as shown in FIG. 3B is generated.
その後、ステップＳ１０３にて、画角画像処理部５、６は、図３（ｂ）に示す画像のような歪み補正後の画像のうち画角が広い領域（例えば、画像の全域）を選択し、一対の広角画像のデータを用意する。なお、一対のカメラ１１、１２での撮影にて得られる一対の画像がその中心部が高解像度とされ、中心部から離れるほど低解像度とされた画像であるため、当該一対の画像の全域を選択（切り出し）して得られる広角画像は、広角かつ低解像度の画像となる。 Then, in step S103, the view angle image processing units 5 and 6 select a region with a wide view angle (for example, the entire image) in the image after distortion correction such as the image shown in FIG. , Prepare a pair of wide-angle image data. It should be noted that the pair of images obtained by the pair of cameras 11 and 12 have high resolution in the central portion and lower resolution as they are farther from the central portion, so that the entire area of the pair of images is The wide-angle image obtained by selecting (cutting out) becomes a wide-angle and low-resolution image.
次いで、ステップＳ１０４にて、ステレオマッチング部７は、画角画像処理部５、６により得られた一対の広角画像についてステレオマッチング処理を行う。その後、図示しないＣＰＵは、処理をステップＳ１０５に進める。 Next, in step S104, the stereo matching unit 7 performs stereo matching processing on the pair of wide-angle images obtained by the view angle image processing units 5 and 6. After that, the CPU (not shown) advances the process to step S105.
ステップＳ１０５にて、距離画像生成部８は、ステレオマッチング処理がなされた一対の広角画像に写された同一対象の各部位についての視差Ｚを計算する。 In step S105, the distance image generation unit 8 calculates the parallax Z for each part of the same target captured in the pair of wide-angle images subjected to the stereo matching process.
続いて、ステップＳ１０６にて、距離画像生成部８は、上述した三角測量の原理により、視差Ｚ、カメラ１１、１２間の距離Ｂおよび焦点距離ｆに基づいて、撮影された対象とカメラ１１、１２との距離Ｄを算出する。この距離Ｄの計算は、一対の広角画像を構成する画素ごとに行われる。 Subsequently, in step S106, the distance image generation unit 8 uses the triangulation principle described above, based on the parallax Z, the distance B between the cameras 11 and 12, and the focal length f, the captured object and the camera 11, The distance D from 12 is calculated. The calculation of the distance D is performed for each pixel forming a pair of wide-angle images.
最後に、ステップＳ１０７にて、距離画像生成部８は、ステップＳ１０６での算出により得られた各画素の距離情報に基づいて、広角の距離画像を生成する。その後、図示しないＣＰＵは、距離画像の生成の処理を終了する。 Finally, in step S107, the distance image generation unit 8 generates a wide-angle distance image based on the distance information of each pixel obtained by the calculation in step S106. After that, the CPU (not shown) ends the process of generating the distance image.
次に、画角が狭い距離画像（以下「狭角距離画像」という）を生成する場合の動作例について、図５、図６を参照して説明する。なお、狭角距離画像の生成については、図５に示すように、歪み補正後の画像の切り出し（ステップＳ１０８）および狭角距離画像の生成（ステップＳ１０９）以外の処理が広角距離画像を生成する場合と共通するため、以下、これらの相違点について主に述べる。 Next, an operation example in the case of generating a distance image having a narrow angle of view (hereinafter referred to as “narrow angle distance image”) will be described with reference to FIGS. 5 and 6. Regarding the generation of the narrow-angle distance image, as shown in FIG. 5, the processes other than the clipping of the image after distortion correction (step S108) and the generation of the narrow-angle distance image (step S109) generate the wide-angle distance image. Since this is common to the cases, these differences will be mainly described below.
ステップＳ１０８にて、画角画像処理部５、６は、ステップＳ１０２にて歪み補正がなされた一対の画像のデータのうち画角が狭く、かつ高解像度の領域を切り出し領域として選択（切り出し）し、狭角画像を生成する。例えば、ステップＳ１０８においては、画角画像処理部５、６は、図６（ａ）の破線で示す狭角かつ高解像度の切り出し領域のデータに基づいて、図６（ｂ）に示すような狭角かつ高解像度の画像を生成する。この切り出し領域の範囲、すなわち切り出す画角の領域については、適宜設定される。 In step S108, the angle-of-view image processing units 5 and 6 select (cut out) a region having a narrow angle of view and high resolution as the cutout region from the data of the pair of images whose distortion has been corrected in step S102. , Generate a narrow-angle image. For example, in step S108, the angle-of-view image processing units 5 and 6 perform narrowing as shown in FIG. 6B based on the narrow-angle and high-resolution clipped region data indicated by the broken line in FIG. 6A. Generates high-resolution images with corners. The range of the cutout area, that is, the area of the view angle to be cut out is appropriately set.
狭角画像を生成した後、ステップＳ１０４、Ｓ１０５、Ｓ１０６にて、広角距離画像の生成の場合と同様に、一対の狭角画像についてステレオマッチング処理を行って、視差Ｚを計算し、各画素の対象物までの距離Ｄを算出する。 After the narrow-angle image is generated, in steps S104, S105, and S106, as in the case of generating the wide-angle distance image, stereo matching processing is performed on the pair of narrow-angle images to calculate the parallax Z, and the parallax Z is calculated. The distance D to the object is calculated.
そして、ステップＳ１０９にて、距離画像生成部８は、ステップＳ１０６にて算出した各画素の距離Ｄの情報に基づいて、狭角距離画像を生成する。その後、図示しないＣＰＵは、距離画像の生成の処理を終了する。 Then, in step S109, the distance image generation unit 8 generates a narrow-angle distance image based on the information on the distance D of each pixel calculated in step S106. After that, the CPU (not shown) ends the process of generating the distance image.
なお、動作例の理解を助ける目的で便宜的に、広角距離画像の生成と狭角距離画像の生成とを分けて説明したが、本画像処理装置では、これらの処理の一方が個別に実行されるだけでなく、これらの処理が並行して実行されてもよい。また、図４、図５に示す処理は、本画像処理装置がＯＮの状態からＯＦＦの状態とされるまで、所定の間隔で繰り返されてもよい。 For the sake of convenience in understanding the operation example, the generation of the wide-angle range image and the generation of the narrow-angle range image have been described separately, but in the image processing device, one of these processes is executed individually. In addition to the above, these processes may be executed in parallel. The processing shown in FIGS. 4 and 5 may be repeated at predetermined intervals until the image processing apparatus is switched from the ON state to the OFF state.
〔適用例〕
次に、本画像処理装置が車載用途に適用された例について、図７を参照して説明する。
[Application example]
Next, an example in which the image processing apparatus is applied to an in-vehicle application will be described with reference to FIG. 7.
図７では、本実施形態の画像処理装置が搭載された自動車などの車両ＶＭ１が道路を走行しつつ、当該画像処理装置が車両ＶＭ１の近傍領域Ｒ１および遠方領域Ｒ２を撮影する様子を示している。 FIG. 7 shows a state in which a vehicle VM1 such as an automobile equipped with the image processing apparatus of the present embodiment travels on a road while the image processing apparatus captures an image of a near area R1 and a far area R2 of the vehicle VM1. .
以下の説明において、後退以外の走行用シフトポジションでの自走による車両ＶＭ１の進行可能方向を「進行方向」と称し、進行方向を向いた状態における左右の方向をそれぞれ「左」、「右」と称する。また、進行方向を向いた状態における鉛直方向を「下」と称し、その反対側を「上」と称する。 In the following description, a direction in which the vehicle VM1 is allowed to travel by a self-propelled vehicle at a traveling shift position other than reverse is referred to as a "traveling direction", and left and right directions in a state of facing the traveling direction are "left" and "right", respectively. Called. Further, the vertical direction in the state of facing the traveling direction is referred to as “down”, and the opposite side is referred to as “upper”.
本画像処理装置は、例えば、車両ＶＭ１の車室のうち進行方向側に配置され、車両ＶＭ１のイグニッションがＯＮの状態になると起動し、イグニッションがＯＦＦの状態になると動作を終了する構成とされる。本画像処理装置は、例えば図７に示すように、車両ＶＭ１の進行方向における近傍領域Ｒ１および遠方領域Ｒ２を撮影し、これらの領域Ｒ１、Ｒ２それぞれの距離画像を生成する。このとき、一対のカメラ１１、１２での撮影により、遠方領域Ｒ２を第１領域（狭角かつ高解像度）とし、近傍領域Ｒ１を第２領域（広角かつ低解像度）とする解像度非一様画像が生成される。 The image processing apparatus is arranged, for example, on the traveling direction side of the passenger compartment of the vehicle VM1, is activated when the ignition of the vehicle VM1 is in the ON state, and ends the operation when the ignition is in the OFF state. . For example, as shown in FIG. 7, the image processing apparatus captures an image of the near area R1 and the far area R2 in the traveling direction of the vehicle VM1 and generates a distance image of each of the areas R1 and R2. At this time, a non-uniform-resolution image in which the distant region R2 is the first region (narrow angle and high resolution) and the neighboring region R1 is the second region (wide angle and low resolution) by photographing with the pair of cameras 11 and 12 Is generated.
ここで、近傍領域Ｒ１とは、例えば、車両ＶＭ１から１０ｍ以内の領域であって、上下左右で片側２５度以上、両側５０度以上の広角の視野領域をいう。また、遠方領域Ｒ２とは、例えば、車両ＶＭ１から５０ｍ以上離れた領域であって、上下左右で片側２５度以下、両側５０度以下の狭角の視野領域をいう。 Here, the neighboring region R1 is, for example, a region within 10 m from the vehicle VM1, and refers to a wide-angle visual field region of 25 degrees or more on one side and 50 degrees or more on both sides in the vertical and horizontal directions. Further, the distant region R2 is, for example, a region distant from the vehicle VM1 by 50 m or more, and is a narrow angle visual field region of 25 degrees or less on one side and 50 degrees or less on both sides in the vertical and horizontal directions.
本画像処理装置は、近傍領域Ｒ１および遠方領域Ｒ２それぞれの画角の範囲内にある対象物を撮影し、車両ＶＭ１からその対象物までの距離を算出した上で、近傍領域Ｒ１に対応する広角距離画像と遠方領域Ｒ２に対応する狭角距離画像とを生成する。 The image processing apparatus captures an object within the range of the angle of view of each of the near area R1 and the far area R2, calculates the distance from the vehicle VM1 to the object, and then calculates the wide angle corresponding to the near area R1. A range image and a narrow-angle range image corresponding to the far region R2 are generated.
なお、対象物とは、例えば、他の自動車や自転車などの車両、車両が有する光源（ヘッドライト、テールランプなど）、走行車線、標識、信号、歩行者、動物、壁、電柱、樹木や道路上の落下物（タイヤなど）などが挙げられるが、これらに限定されない。 Note that the object is, for example, another vehicle such as an automobile or a bicycle, a light source (a headlight, a tail lamp, or the like) included in the vehicle, a driving lane, a sign, a signal, a pedestrian, an animal, a wall, an electric pole, a tree or a road. However, the present invention is not limited to these.
例えば、近傍領域Ｒ１には、例えば図７に示すように、斜め４５度の方向に存在する歩行者や仰角４５度にある信号機などがその視野に含まれる。このような車両ＶＭ１に近い位置にある信号、周囲の歩行者や車両などの車両ＶＭ１の進行方向に交差する方向から接近する移動体を認識するため、画角９０度以上の近傍領域Ｒ１が撮影される。近傍領域Ｒ１に存在する対象物は、撮影により得られる画像中では遠方領域Ｒ１に存在する対象物よりも大きく写り、その視差も大きい。そのため、近傍領域Ｒ１については、広角かつ低解像度で撮影すれば十分な距離精度の距離画像が生成される。 For example, as shown in FIG. 7, the vicinity region R1 includes, for example, a pedestrian existing in an oblique direction of 45 degrees and a traffic signal having an elevation angle of 45 degrees in its visual field. In order to recognize a moving object approaching in the direction crossing the traveling direction of the vehicle VM1 such as a pedestrian or a vehicle in the vicinity, a signal at a position close to the vehicle VM1, and a near region R1 having an angle of view of 90 degrees or more is photographed. To be done. The object existing in the near region R1 appears larger than the object existing in the distant region R1 in the image obtained by photographing, and the parallax thereof is also large. Therefore, for the near area R1, a distance image with sufficient distance accuracy can be generated by shooting with a wide angle and low resolution.
一方、遠方領域Ｒ２には、例えば図７に示すように、車両ＶＭ１から５０ｍ程度前方の道路上に存在する障害物や１００ｍ程度前方に存在する先行車両ＶＭ２、走行車線などがその視野に含まれる。遠方領域Ｒ２は、車両ＶＭ１の走行速度にもよるが、例えば車両ＶＭ１から５０ｍ〜１００ｍ程度の前方の領域とされる。遠方領域Ｒ２に存在する対象物は、撮影により得られる画像中では近傍領域Ｒ１に存在する対象物よりも小さく写り、その視差も小さい。そのため、遠方領域Ｒ２については、十分な距離精度の距離画像を生成するためには、狭角かつ高解像度で撮影する必要がある。 On the other hand, in the distant region R2, as shown in FIG. 7, for example, an obstacle existing on the road about 50 m ahead of the vehicle VM1, a preceding vehicle VM2 about 100 m ahead, the traveling lane, etc. are included in the field of view. . The distant region R2 is, for example, a region in front of the vehicle VM1 which is about 50 m to 100 m, although it depends on the traveling speed of the vehicle VM1. The object existing in the distant area R2 appears smaller than the object existing in the near area R1 in the image obtained by photographing, and the parallax thereof is also small. Therefore, in order to generate a distance image with sufficient distance accuracy, it is necessary to photograph the distant region R2 with a narrow angle and high resolution.
本画像処理装置は、一対のカメラ１１、１２により、近傍領域Ｒ１を広角かつ低解像度で、遠方領域Ｒ２を狭角かつ高解像度で撮影することで、一対の解像度非一様画像を生成する。そして、本画像処理装置は、この一対の解像度非一様画像のうち狭角かつ高解像度の領域のデータを用いて、狭角距離画像を生成し、広角かつ低解像度の領域を含む領域のデータを用いて広角距離画像を生成する。そのため、本画像処理装置は、車載用途に適用された場合には、一対のカメラ１１、１２のみを有する撮像部１を備える構成とされつつも、近傍領域Ｒ１および遠方領域Ｒ２それぞれに対応する複数の距離画像を同時に生成することができる。 The image processing apparatus generates a pair of resolution non-uniform images by photographing the near region R1 with a wide angle and low resolution and the distant region R2 with a narrow angle and high resolution by the pair of cameras 11 and 12. Then, the image processing apparatus generates a narrow-angle distance image by using the data of the narrow-angle and high-resolution areas of the pair of resolution non-uniform images, and outputs the data of the area including the wide-angle and low-resolution areas. To generate a wide-angle range image. Therefore, when the image processing apparatus is applied to an in-vehicle application, the image processing apparatus is configured to include the image pickup unit 1 having only the pair of cameras 11 and 12, but is not limited to the plurality of areas corresponding to the near area R1 and the far area R2. It is possible to simultaneously generate the distance image of.
本実施形態によれば、一対のカメラ１１、１２での撮影により得られる解像度非一様画像に基づいて、狭角かつ高解像度の距離画像と広角かつ低解像度の距離画像とを生成することができる画像処理装置となる。つまり、二対以上のカメラを用いることなく、画角および解像度の異なる複数の距離画像を生成することができ、大型化やコスト増加が抑制される構成の画像処理装置となる。 According to the present embodiment, a narrow-angle and high-resolution distance image and a wide-angle and low-resolution distance image can be generated based on the resolution non-uniformity images obtained by the pair of cameras 11 and 12. It becomes an image processing device that can. That is, a plurality of range images having different angles of view and different resolutions can be generated without using two or more pairs of cameras, and the image processing apparatus has a configuration in which increase in size and cost increase are suppressed.
（第２実施形態）
次に、第２実施形態の画像処理装置について、図８を参照して述べる。
(Second embodiment)
Next, the image processing apparatus of the second embodiment will be described with reference to FIG.
本実施形態の画像処理装置は、図示しない任意の物体検知装置と連動しており、その物体検知の結果に基づいて解像度非一様画像から切り出す画角を決定する構成とされている点で上記第１実施形態と相違する。本実施形態では、図８に示すように、物体検知の判定（ステップＳ１１０）および任意画像の切り出し（ステップＳ１１１）を除き、基本的な処理は上記第１実施形態と共通するため、これらの相違点について主に説明する。 The image processing apparatus according to the present embodiment is linked with an arbitrary object detection apparatus (not shown), and is configured to determine the angle of view to be cut out from the non-uniform resolution image based on the result of the object detection. This is different from the first embodiment. In the present embodiment, as shown in FIG. 8, the basic processing is the same as that of the first embodiment except for the determination of object detection (step S110) and the cutout of an arbitrary image (step S111). The points will be mainly described.
第２実施形態の画像処理装置は、例えば車載用途に適用されると共に、車両に搭載された図示しない任意の物体検知装置と連動して、検知された物体までの距離に対応した任意の画角の距離画像を生成する構成とされる。 The image processing device according to the second embodiment is applied to, for example, an in-vehicle application, and works in conjunction with an arbitrary object detection device (not shown) mounted on a vehicle to operate at an arbitrary angle of view corresponding to the distance to the detected object. Is configured to generate a distance image of.
なお、任意の物体検知装置としては、例えば、ミリ波レーダー、ライダーセンサ、超音波センサなどが挙げられるが、これに限られず、他のセンサなどであってもよい。 The arbitrary object detection device may be, for example, a millimeter wave radar, a lidar sensor, an ultrasonic sensor, or the like, but is not limited to this and may be another sensor or the like.
画角画像処理部５、６は、本実施形態では、画像生成部３、４が生成した一対の解像度非一様画像のうち任意の画角の領域を選択するに際して、任意の物体検知装置による検知結果に応じて任意の画角を適宜選択する。 In the present embodiment, the angle-of-view image processing units 5 and 6 use an arbitrary object detection device when selecting an area with an arbitrary angle of view from the pair of non-uniform resolution images generated by the image generation units 3 and 4. An arbitrary angle of view is appropriately selected according to the detection result.
具体的には、図８に示すように、画角画像処理部５、６は、ステップＳ１０２での歪み補正の後、ステップＳ１１０での物体検知の判定結果に対応して、その後の切り出し処理における画角を決定する。 Specifically, as shown in FIG. 8, after the distortion correction in step S102, the view angle image processing units 5 and 6 correspond to the determination result of the object detection in step S110 in the subsequent clipping processing. Determine the angle of view.
ステップＳ１１０では、外部の物体検知装置は、本実施形態の画像処理装置が搭載された車両などの周囲に存在する物体の検出結果のデータを例えば画像処理部２に伝送する。ステップＳ１１０にて、物体が検知されたと判定された場合、すなわちステップＳ１１０でＹＥＳの場合には、図示しないＣＰＵは、処理をステップＳ１１１に進める。 In step S110, the external object detection device transmits, to the image processing unit 2, for example, data of the detection result of the object existing around the vehicle or the like in which the image processing device of the present embodiment is mounted. If it is determined in step S110 that an object has been detected, that is, if YES in step S110, the CPU (not shown) advances the process to step S111.
ステップＳ１１１では、画角画像処理部５、６は、歪み補正後の一対の画像のうち検知された物体が存在する位置を特定し、その位置を端部とする切り出し領域となるように画角を設定し、当該画角の一対の画像を生成する。例えば、歪み補正がなされた広角画像や任意の物体検知装置などから、検知された物体の映された角度の情報を予め取得しておき、この角度で映し出される領域を外縁（端部）とする切り出し領域とし、切り出しの画角を設定する。その後、ステップＳ１０４にて、ステレオマッチング部７は、ステップＳ１１１で生成された任意の画角の一対の画像についてステレオマッチング処理を行う。そして、図示しないＣＰＵは、図８に示すように、ステップＳ１０５以降の処理に進める。最終的に、ステップＳ１１２では、検知された物体の映された角度に対応した任意の画角で切り出された距離画像が生成される。 In step S111, the angle-of-view image processing units 5 and 6 specify the position where the detected object is present in the pair of images after distortion correction, and set the angle of view so that the position is a cutout region with the end portion. Is set, and a pair of images having the angle of view is generated. For example, information on the angle at which the detected object is projected is acquired in advance from a wide-angle image that has been subjected to distortion correction or an arbitrary object detection device, and the area projected at this angle is taken as the outer edge (edge). Set the angle of view for the cutout area. After that, in step S104, the stereo matching unit 7 performs the stereo matching process on the pair of images having the arbitrary angles of view generated in step S111. Then, the CPU (not shown) proceeds to the processing after step S105 as shown in FIG. Finally, in step S112, a distance image cut out at an arbitrary angle of view corresponding to the reflected angle of the detected object is generated.
なお、ここでいう「検知された物体の映された角度」とは、カメラ１１または１２の焦点と検知された物体の外郭とを直線で結んだ場合に、当該直線とカメラ１１または１２の光軸とのなす角度を意味する。例えば、図２を参照して説明すると、検知された物体をＸ０として、Ｘ０の外郭とカメラ１１の焦点Ａとを直線で結んだ場合、当該直線と撮影面の中心Ｏ１とを通る光軸（直線Ａ−Ｏ１）とのなす角度が、「検知された物体の映された角度」に該当する。カメラ１２の場合、焦点Ｂと物体Ｘ０の外郭とを結ぶ直線と、カメラ１２の撮影面の中心Ｏ２を通る光軸とのなす角度が、「検知された物体の映された角度」に該当する。 It should be noted that the term “angle of the detected object reflected” as used herein means that when the focus of the camera 11 or 12 and the outline of the detected object are connected by a straight line, the straight line and the light of the camera 11 or 12 are reflected. It means the angle with the axis. For example, referring to FIG. 2, when the detected object is X0 and the outline of X0 and the focal point A of the camera 11 are connected by a straight line, an optical axis (that passes through the straight line and the center O1 of the photographing surface) ( The angle formed by the straight line A-O1) corresponds to the “angle at which the detected object is reflected”. In the case of the camera 12, the angle formed by the straight line connecting the focal point B and the outline of the object X0 and the optical axis passing through the center O2 of the photographing surface of the camera 12 corresponds to the “angle of the detected object reflected”. .
一方、ステップＳ１１０にて物体が検知されなかった場合、すなわちステップＳ１１０でＮＯの場合には、図示しないＣＰＵは、図８に示すように、ステップＳ１０４以降の処理をスキップし、動作を終了する。 On the other hand, if an object is not detected in step S110, that is, if NO in step S110, the CPU (not shown) skips the processing of step S104 and subsequent steps and ends the operation, as shown in FIG.
本実施形態によれば、上記第１実施形態での効果が得られると共に、物体が検知された場合にその状況に応じて解像度非一様画像のうち切り出し領域の画角を適宜調整することで、必要な画角および解像度の距離画像を生成することができる画像処理装置となる。 According to the present embodiment, the effect of the first embodiment can be obtained, and when an object is detected, the angle of view of the cutout region in the non-uniform resolution image is appropriately adjusted according to the situation. The image processing apparatus can generate a distance image having a required angle of view and resolution.
（第３実施形態）
第３実施形態の画像処理装置について、図９、図１０を参照して述べる。
(Third Embodiment)
An image processing apparatus according to the third embodiment will be described with reference to FIGS. 9 and 10.
本実施形態の画像処理装置は、図９に示すように、任意の物体検知装置と連動すると共に、物体が検知された場合に検知された物体との距離算出の処理を行う対象物距離算出部９を備える構成とされている点で上記第１実施形態と相違する。本実施形態では、この相違点について主に説明する。 As shown in FIG. 9, the image processing apparatus according to the present embodiment operates in conjunction with an arbitrary object detection apparatus and, when an object is detected, an object distance calculation unit that performs a process of calculating a distance to the detected object. 9 is different from the first embodiment in that it is configured to include 9. In the present embodiment, this difference will be mainly described.
対象物距離算出部９は、例えば、図９に示すように、外部の物体検知装置に接続され、当該物体検知装置から物体の検知情報を取得すると共に、検知された物体のうち特定の対象物との距離を算出する。対象物距離算出部９は、対象物の距離算出の処理における負荷を低減するため、低解像度の広角画像から高解像度の狭角画像の順に、特定の対象物までの距離算出を行う。 For example, as shown in FIG. 9, the object distance calculation unit 9 is connected to an external object detection device, acquires detection information of the object from the object detection device, and detects a specific object of the detected objects. Calculate the distance to. The object distance calculation unit 9 calculates the distance to a specific object in order from the low-resolution wide-angle image to the high-resolution narrow-angle image in order to reduce the load in the process of calculating the distance to the object.
なお、「特定の対象物」とは、物体検知装置により検出され得る物体であって、本画像処理装置が搭載された車両と衝突するおそれのある物体（例えば、先行車両や歩行者など）を意味する。例えば、先行車両や歩行者など撮像部１による撮影で得られる画像内の視差がゼロもしくはこれに近い背景や遠方に向かうほど視差が小さくなる走行車線などについては、ここでいう特定の対象物には含まれない。 The "specific object" is an object that can be detected by the object detection device, and is an object that may collide with a vehicle equipped with the image processing device (for example, a preceding vehicle or a pedestrian). means. For example, in the case of a preceding vehicle or a pedestrian, a parallax in the image obtained by the imaging unit 1 is zero or close to this, or a driving lane in which the parallax becomes smaller as the distance goes far, Is not included.
〔動作例〕
次に、対象物距離算出部９の具体的な動作例について、図１０を参照して説明する。
[Operation example]
Next, a specific operation example of the object distance calculation unit 9 will be described with reference to FIG.
まず、ステップＳ２０１では、本実施形態の画像処理装置は、上記第１実施形態の図４、図５で示した動作例と同様の処理を行い、低解像度の広角距離画像と高解像度の狭角距離画像を生成する。 First, in step S201, the image processing apparatus according to the present exemplary embodiment performs the same processing as the operation example illustrated in FIGS. 4 and 5 of the first exemplary embodiment, and performs the low-resolution wide-angle range image and the high-resolution narrow-angle image. Generate a range image.
続いて、ステップＳ２０２にて、対象物距離算出部９は、低解像度の広角距離画像の視差をグルーピングする。具体的には、対象物距離算出部９は、広角距離画像をその視差が近い値を持つ領域ごとに分類する。これにより、広角距離画像は、当該距離画像に写された対象の距離ごとに複数の領域に分割される。なお、同じ領域にグループングする視差の値（範囲）については、適宜設定される。その後、図示しないＣＰＵは、処理をステップＳ２０３に進める。 Subsequently, in step S202, the object distance calculation unit 9 groups the parallaxes of the low-resolution wide-angle distance images. Specifically, the object distance calculation unit 9 classifies the wide-angle distance image into each area having a value having a close parallax. As a result, the wide-angle range image is divided into a plurality of regions for each target distance captured in the range image. Note that the parallax value (range) for grouping in the same area is set appropriately. After that, the CPU (not shown) advances the process to step S203.
ステップＳ２０３では、外部の物体検知装置は、本実施形態の画像処理装置が搭載された車両などの周囲に存在する物体の検出結果のデータを例えば対象物距離算出部９に伝送する。そして、図示しないＣＰＵは、ステップＳ２０３にて、特定の対象物がないと判定された場合、すなわちステップＳ２０３でＮＯの場合には、処理を終了する。一方、ステップＳ２０３にて、特定の対象物があると判定された場合、すなわちステップＳ２０３でＹＥＳの場合には、図示しないＣＰＵは、処理をステップＳ２０４に進める。 In step S203, the external object detection device transmits the data of the detection result of the object existing around the vehicle such as the vehicle equipped with the image processing device of the present embodiment to the object distance calculation unit 9, for example. Then, the CPU (not shown) ends the process when it is determined in step S203 that there is no specific object, that is, when the determination in step S203 is NO. On the other hand, if it is determined in step S203 that there is a specific object, that is, if YES in step S203, the CPU (not shown) advances the process to step S204.
ステップＳ２０４では、対象物距離算出部９は、検出された特定の対象物が狭角距離画像内にあるか否かについて判定を行う。ステップＳ２０４にて、検出された特定の対象物が狭角距離画像内にないと判定された場合、すなわちステップＳ２０４でＮＯの場合には、図示しないＣＰＵは、処理をステップＳ２０５に進める。 In step S204, the object distance calculation unit 9 determines whether or not the detected specific object is within the narrow-angle distance image. If it is determined in step S204 that the detected specific object is not within the narrow-angle distance image, that is, if NO in step S204, the CPU (not shown) advances the process to step S205.
ステップＳ２０５では、対象物距離算出部９は、広角距離画像に写されている特定の対象物を検索し、ステップＳ２０２にてグルーピングした領域のうち特定の対象物を写している領域の視差情報に基づいて、当該対象物の距離を算出する。このとき、グルーピングした領域を構成する複数の画素の視差を平均したものを用いることで、より高精度で特定の対象物までの距離を算出することができる。ステップＳ２０５の処理後、図示しないＣＰＵは、処理を終了する。 In step S205, the object distance calculation unit 9 searches for the specific object captured in the wide-angle distance image, and uses the parallax information of the region in which the specific object is captured in the regions grouped in step S202. Based on this, the distance of the object is calculated. At this time, by using an average of parallaxes of a plurality of pixels forming the grouped area, it is possible to calculate the distance to the specific target object with higher accuracy. After the processing of step S205, the CPU (not shown) ends the processing.
一方、ステップＳ２０４にて、検出された特定の対象物が狭角距離画像内にあると判定された場合、すなわちステップＳ２０４でＹＥＳの場合には、図示しないＣＰＵは、処理をステップＳ２０６に進める。 On the other hand, if it is determined in step S204 that the detected specific object is within the narrow-angle distance image, that is, if YES in step S204, the CPU (not shown) advances the process to step S206.
ステップＳ２０６では、対象物距離算出部９は、ステップＳ２０２と同様に、ステップＳ２０１で生成した高解像度の狭角距離画像の視差をグルーピングする。これにより、狭角距離画像は、当該距離画像に写された対象の距離ごとに複数の領域に分割される。その後、図示しないＣＰＵは、処理をステップＳ２０７に進める。 In step S206, the object distance calculation unit 9 groups the parallaxes of the high-resolution narrow-angle distance images generated in step S201, as in step S202. As a result, the narrow-angle range image is divided into a plurality of regions for each target distance shown in the range image. After that, the CPU (not shown) advances the process to step S207.
ステップＳ２０７では、対象物距離算出部９は、狭角距離画像に写されている特定の対象物を検索し、ステップＳ２０６にてグルーピングした領域のうち特定の対象物を写している領域の視差情報に基づいて、当該対象物の距離を算出する。ステップＳ２０７の処理後、図示しないＣＰＵは、処理を終了する。 In step S207, the object distance calculation unit 9 searches for a specific object imaged in the narrow-angle distance image, and disparity information of a region in which the specific object object is captured among the regions grouped in step S206. Based on, the distance of the target object is calculated. After the processing of step S207, the CPU (not shown) ends the processing.
以上が、対象物距離算出部９の動作例である。つまり、対象物距離算出部９は、検知された特定の対象物との距離を算出するに際して、広角距離画像について視差が近い値を持つ領域ごとにグルーピングをすると共に、必要に応じて狭角距離画像についても同様の処理を実行する。言い換えると、対象物距離算出部９は、低解像度の広角距離画像から優先的にグルーピングし、高解像度の狭角距離画像でのグルーピングやこれに基づく距離算出を省略し得る。そのため、特定の対象物が検知された場合に、距離算出の処理における負荷を低減することができる画像処理装置となる。 The above is an example of the operation of the object distance calculation unit 9. That is, when calculating the distance to the detected specific object, the object distance calculation unit 9 performs grouping for each area having a close parallax value with respect to the wide-angle distance image and, if necessary, the narrow-angle distance. Similar processing is executed for the image. In other words, the object distance calculation unit 9 may preferentially group the low-resolution wide-angle distance images and omit the grouping in the high-resolution narrow-angle distance images and the distance calculation based on the grouping. Therefore, when a specific object is detected, the image processing apparatus can reduce the load in the distance calculation process.
本実施形態によれば、上記第１実施形態での効果に加えて、特定の対象物が検知された場合に当該対象物の距離算出の負荷が低減される画像処理装置となる。 According to the present embodiment, in addition to the effects of the first embodiment, the image processing apparatus can reduce the load of distance calculation of a specific object when the specific object is detected.
（他の実施形態）
なお、上記した各実施形態に示した画像処理装置は、本発明の画像処理装置の一例を示したものであり、上記の各実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。
(Other embodiments)
The image processing apparatus shown in each of the above-described embodiments is an example of the image processing apparatus of the present invention, and is not limited to each of the above-described embodiments, but is described in the claims. It can be changed appropriately within the range.
（１）例えば、上記第１実施形態では、カメラ１１、１２を構成するレンズおよび撮像素子の一例として、広角中心窩レンズと通常の撮像素子との組み合わせについて説明した。しかしながら、カメラ１１、１２は、解像度非一様画像を生成するための画像信号を出力する構成とされていればよく、レンズおよび撮像素子が他の組み合わせであってもよい。 (1) For example, in the above-described first embodiment, a combination of a wide-angle fovea lens and a normal image pickup element has been described as an example of the lenses and the image pickup elements forming the cameras 11 and 12. However, it suffices that the cameras 11 and 12 be configured to output an image signal for generating a non-uniform resolution image, and the lens and the image pickup element may be another combination.
具体的には、レンズが通常の広角レンズとされた場合、撮像素子は、一部の領域が高解像度、かつ当該一部の領域の周囲が低解像度となる特殊な構成の撮像素子とされればよい。また、レンズが通常の広角レンズとされた場合、撮像素子をその全域が高解像度となる構成（高画素撮像素子）とし、かつ撮像素子のうち中心窩に相当する領域と異なる領域からの画像信号を減らすダウンサンプリングを施してもよい。これらの組み合わせであっても、解像度非一様画像を生成することができ、一対のカメラ１１、１２により得られる一対の画像から解像度および画角の異なる複数の距離画像を生成できる画像処理装置となる。 Specifically, when the lens is a normal wide-angle lens, the image sensor is a special configuration image sensor in which a part of the region has high resolution and the periphery of the part has low resolution. Good. Further, when the lens is a normal wide-angle lens, the image sensor is configured to have high resolution over the entire area (high-pixel image sensor), and an image signal from an area different from the area corresponding to the fovea of the image sensor. May be down-sampled. An image processing apparatus capable of generating a non-uniform resolution image even with these combinations and capable of generating a plurality of range images having different resolutions and angles of view from a pair of images obtained by the pair of cameras 11 and 12. Become.
なお、広角レンズと高画素撮像素子とにより得られた画像からダウンサンプリングする場合には、解像度非一様画像は、上記第１実施形態での例に限られず、中心部と異なる部分に近い領域ほど高解像度とされ、当該領域から離れるほど低解像度とされた画像であってもよい。 When down-sampling from an image obtained by the wide-angle lens and the high-pixel image sensor, the non-uniform resolution image is not limited to the example of the first embodiment, and a region close to a portion different from the central portion. The image may have a higher resolution and a lower resolution as the distance from the area increases.
（２）上記各実施形態では、一対のカメラ１１、１２での撮影により得られた一対の画像から複数の距離画像を生成する例について説明したが、当該一対の画像は、単独（１つ）のカメラ１１での撮影により得られたものであってもよい。具体的には、１つのカメラ１１を移動させて、同一対象を異なる位置から撮影することで一対の画像を生成し、この一対の画像に基づいて複数の距離画像を生成してもよい。言い換えると、「一対のカメラ１１、１２」とは、物理的に２つのカメラで構成されたステレオカメラであってもよいし、物理的に１つのカメラによりなるモーションカメラであってもよい。 (2) In each of the above embodiments, an example in which a plurality of distance images are generated from a pair of images obtained by shooting with the pair of cameras 11 and 12 has been described, but the pair of images is independent (one). It may be obtained by photographing with the camera 11. Specifically, one camera 11 may be moved to capture the same target from different positions to generate a pair of images, and a plurality of distance images may be generated based on the pair of images. In other words, the "pair of cameras 11 and 12" may be a stereo camera physically composed of two cameras or a motion camera physically composed of one camera.
（３）上記各実施形態では、一対のカメラ１１、１２により同一タイミングでの撮影により得られた一対の画像に基づいて、複数の距離画像を生成する例について説明したが、これに限定されるものではない。 (3) In each of the above embodiments, an example in which a plurality of distance images are generated based on a pair of images obtained by the pair of cameras 11 and 12 at the same timing has been described, but the present invention is not limited to this. Not a thing.
具体的には、一対のカメラ１１、１２で異なるタイミングで撮影することにより得られた一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成してもよい。例えば、車両などの移動体に当該画像処理装置が搭載されている場合、当該移動体が移動している際に、一対のカメラ１１、１２により異なるタイミングで同一対象を撮影し、撮影タイミングの異なる一対の画像に基づき、複数の距離画像を生成することもできる。つまり、上記各実施形態では、物体の映された角度が時々刻々と変化する場合には、一対のカメラ１１、１２での撮影タイミングが異なる一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成してもよい。 Specifically, a plurality of distance images having different angles of view and different resolutions may be generated based on a pair of images obtained by shooting with a pair of cameras 11 and 12 at different timings. For example, when the image processing apparatus is mounted on a moving body such as a vehicle, the pair of cameras 11 and 12 shoot the same target at different timings when the moving body is moving, and the shooting timings are different. It is also possible to generate a plurality of range images based on the pair of images. That is, in each of the above-described embodiments, when the angle at which the object is reflected changes from moment to moment, a plurality of images having different angles of view and different resolutions are obtained based on the pair of images with different photographing timings by the pair of cameras 11 and 12. May be generated.
１ 撮像部
１１、１２ カメラ
２ 画像処理部
３、４ 画像生成部
５、６ 画角画像処理部
７ ステレオマッチング部
８ 距離画像生成部
1 Imaging Unit 11, 12 Camera 2 Image Processing Unit 3, 4 Image Generation Unit 5, 6 Angle of View Image Processing Unit 7 Stereo Matching Unit 8 Distance Image Generation Unit
Claims (7)
前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、
前記一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、を備え、
前記一対の画像は、第１領域と前記第１領域に隣接する第２領域とを有し、前記第１領域が前記第２領域よりも狭角かつ高解像度とされた解像度非一様画像である、画像処理装置。 An imaging unit (1) having a pair of cameras (11, 12) directed to the same target;
A stereo matching unit (7) for performing stereo matching on a pair of images showing the same object obtained by photographing with the pair of cameras;
A distance image generation unit (8) for generating a plurality of distance images having different resolutions and angles of view based on the pair of images;
The pair of images have a first region and a second region adjacent to the first region, and the first region is a non-uniform resolution image with a narrower angle and higher resolution than the second region. An image processing device.
同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、
前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、
前記一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、を備え、
前記一対の画像は、第１領域と前記第１領域に隣接する第２領域とを有し、前記第１領域が前記第２領域よりも狭い視野角かつ高解像度とされた解像度非一様画像であり、
前記距離画像生成部は、前記一対の画像のうち前記第１領域のデータに基づいて前記車両の遠方かつ狭い視野角の領域を高解像度で写した狭角距離画像と、前記第２領域のデータに基づいて前記車両の近傍かつ広い視野角の領域を低解像度で写した広角距離画像と、を生成する、画像処理装置。 An on-vehicle image processing device mounted on a vehicle (VM1) for photographing the surroundings of the vehicle,
An imaging unit (1) having a pair of cameras (11, 12) directed to the same target;
A stereo matching unit (7) for performing stereo matching on a pair of images showing the same object obtained by photographing with the pair of cameras;
A distance image generation unit (8) for generating a plurality of distance images having different resolutions and angles of view based on the pair of images;
The pair of images has a first region and a second region adjacent to the first region, and the first region has a narrower viewing angle than the second region and a high resolution non-uniform image. And
The distance image generation unit includes a narrow-angle distance image in which a region having a wide viewing angle and a narrow viewing angle of the vehicle is captured with high resolution based on the data of the first region in the pair of images, and the data of the second region. And a wide-angle range image in which a region near the vehicle and having a wide viewing angle is photographed at low resolution based on the above.
前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像のうち所定の画角の領域を切り出し、当該所定の画角の領域を写した画像である特定画角画像を生成する画角画像処理部（５、６）と、
一対の前記特定画角画像についてステレオマッチングを行うステレオマッチング部（７）と、
一対の前記特定画角画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、を備え、
前記一対の画像は、第１領域と前記第１領域に隣接する第２領域とを有し、前記第１領域が前記第２領域よりも高解像度とされた解像度非一様画像である、画像処理装置。 An imaging unit (1) having a pair of cameras (11, 12) directed to the same target;
A region with a predetermined angle of view is cut out from the pair of images obtained by photographing with the pair of cameras, and a specific angle-of-view image that is an image of the region with the predetermined angle of view is generated. Angle-of-view image processing unit (5, 6),
A stereo matching unit (7) for performing stereo matching on the pair of specific angle-of-view images;
A distance image generation unit (8) for generating a plurality of distance images having different resolutions and angles of view based on the pair of specific angle-of-view images;
The pair of images has a first region and a second region adjacent to the first region, and the first region is a non-uniform resolution image in which the resolution is higher than that of the second region. Processing equipment.
前記対象物距離算出部は、前記複数の距離画像のうち画角が広い前記距離画像から画角が狭い前記距離画像の順に前記特定の対象物を検索し、前記特定の対象物が写された前記距離画像を用いて、前記特定の対象物の距離を算出する、請求項１ないし６のいずれか１つに記載の画像処理装置。 An object distance calculation unit (9) for calculating a distance of the specific object from the camera when a specific object is detected within a range captured by the camera,
The target object distance calculation unit searches for the specific target object in the order of the range image having a narrow field angle from the range image having a wide field angle among the plurality of range images, and the specific target object is copied. The image processing apparatus according to claim 1, wherein the distance image is used to calculate the distance of the specific object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018196966A JP7253693B2 (en) | 2018-10-18 | 2018-10-18 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018196966A JP7253693B2 (en) | 2018-10-18 | 2018-10-18 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020064526A true JP2020064526A (en) | 2020-04-23 |
| JP7253693B2 JP7253693B2 (en) | 2023-04-07 |
Family
ID=70387334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018196966A Active JP7253693B2 (en) | 2018-10-18 | 2018-10-18 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7253693B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| JP2016207030A (en) * | 2015-04-24 | 2016-12-08 | 日立オートモティブシステムズ株式会社 | Picture processing apparatus |
| JP2017067535A (en) * | 2015-09-29 | 2017-04-06 | 日立オートモティブシステムズ株式会社 | Periphery recognition device |
-
2018
- 2018-10-18 JP JP2018196966A patent/JP7253693B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
| JP2016207030A (en) * | 2015-04-24 | 2016-12-08 | 日立オートモティブシステムズ株式会社 | Picture processing apparatus |
| JP2017067535A (en) * | 2015-09-29 | 2017-04-06 | 日立オートモティブシステムズ株式会社 | Periphery recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7253693B2 (en) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107615749B (en) | Signal processing apparatus and imaging apparatus | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP5953824B2 (en) | Vehicle rear view support apparatus and vehicle rear view support method | |
| WO2014073322A1 (en) | Object detection device and object detection method | |
| JP2018179911A (en) | Range-finding device, distance information acquisition method | |
| JP5760559B2 (en) | Stereo camera device and parallax image generation method | |
| KR20170014168A (en) | Camera device for vehicle | |
| JP2020501423A (en) | Camera means and method for performing context-dependent acquisition of a surrounding area of a vehicle | |
| CN107122770B (en) | Multi-camera system, intelligent driving system, automobile, method and storage medium | |
| US10992920B2 (en) | Stereo image processing device | |
| JP2017027279A (en) | Article detection apparatus and article detection method | |
| JP2008298533A (en) | Obstruction measurement method, device, and system | |
| JP2004258266A (en) | Stereoscopic adapter and distance image input device using the same | |
| US20140055572A1 (en) | Image processing apparatus for a vehicle | |
| JP5455033B2 (en) | Distance image input device and outside monitoring device | |
| JP2018526873A (en) | Vehicle-mounted camera means for photographing the periphery of the vehicle, and driver assistant device for object recognition provided with such vehicle-mounted camera means | |
| WO2020022021A1 (en) | Distance calculation device | |
| JP2006322795A (en) | Image processing device, image processing method and image processing program | |
| JP2013161190A (en) | Object recognition device | |
| JP2020194000A (en) | Imaging device | |
| JP2014130429A (en) | Photographing device and three-dimensional object area detection program | |
| TWM568376U (en) | Multiple camera module adapted to autonomous driving and multiple camera module adapted to an electronic device | |
| JP6983740B2 (en) | Stereo camera system and distance measurement method | |
| JP2018195951A (en) | Imaging system and mobile control system | |
| JP7180177B2 (en) | STEREO CAMERA SYSTEM, MOVING OBJECT AND METHOD OF FORMING STEREO CAMERA DEVICE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200312 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230301 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7253693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |