JP2020064526A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2020064526A JP2020064526A JP2018196966A JP2018196966A JP2020064526A JP 2020064526 A JP2020064526 A JP 2020064526A JP 2018196966 A JP2018196966 A JP 2018196966A JP 2018196966 A JP2018196966 A JP 2018196966A JP 2020064526 A JP2020064526 A JP 2020064526A
- Authority
- JP
- Japan
- Prior art keywords
- image
- angle
- pair
- region
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing device.
従来、同一対象に向けられた一対のカメラを備え、これらのカメラにより同一対象を撮影することで当該カメラから当該同一対象までの距離を算出できる画像処理装置として、例えば特許文献1に記載のものが知られている。この画像処理装置は、一対のカメラにより同一対象を撮影して2枚の画像(一対の画像)を生成し、これらの画像中の同一対象を一致させた後、その対象の位置の違い(視差)から三角測量の原理に基づき、カメラから撮影した対象までの距離を算出できる。 BACKGROUND ART Conventionally, as an image processing apparatus that includes a pair of cameras directed to the same target and can calculate the distance from the camera to the same target by shooting the same target with these cameras, for example, the one described in Patent Document 1 It has been known. This image processing apparatus captures the same target with a pair of cameras to generate two images (a pair of images), and after matching the same target in these images, the difference in the position of the target (parallax). Based on the principle of triangulation, the distance from the camera to the photographed object can be calculated.
ところで、この種の画像処理装置は、生成された画像を構成する画素ごとに、カメラからの距離(以下「認識距離」という)の情報を上記の原理により取得し、これらの画素ごとの認識距離の違いを色の違いとして示した距離画像を生成することができる。そして、この種の画像処理装置で生成される距離画像における解像度や画角は、撮影に用いられる一対のカメラの解像度や画角に依存する。 By the way, this type of image processing apparatus acquires information on the distance from the camera (hereinafter, referred to as “recognition distance”) for each pixel constituting the generated image according to the above principle, and the recognition distance for each pixel is acquired. It is possible to generate a range image in which the difference between the colors is indicated as the color difference. The resolution and angle of view in the range image generated by this type of image processing device depend on the resolution and angle of view of a pair of cameras used for shooting.
例えば、画像処理装置の近傍を広角の一対のカメラで撮影して得られる2枚の画像を用いる場合には、広い画角で近距離の情報を精度良く取得できる広角の距離画像を生成できる。また、画像処理装置の遠方を狭角かつ高解像度の一対のカメラで撮影して得られる2枚の画像を用いる場合には、狭い画角ながら、遠距離の情報を精度良く取得できる狭角かつ高解像度の距離画像を生成できる。 For example, when using two images obtained by photographing the vicinity of the image processing apparatus with a pair of wide-angle cameras, it is possible to generate a wide-angle range image in which short-distance information can be acquired accurately with a wide angle of view. Further, when using two images obtained by photographing a distant part of the image processing device with a pair of cameras having a narrow angle and high resolution, it is possible to obtain the information of the long distance with a narrow angle of view with a high accuracy. A high resolution range image can be generated.
ここで、広角かつ低解像度の距離画像と狭角かつ高解像度の距離画像とを生成するためには、広角かつ低解像度の一対の画像と狭角かつ高解像度の一対の画像が必要となる。言い換えると、画角および解像度の異なる2枚の距離画像を得るためには、画角および解像度の異なる二対の画像(合計4枚の画像)が必要となる。このような画角および解像度の異なる二対の画像を生成するために、画角および解像度の異なる二対のカメラ、すなわち合計4つのカメラを備えた画像処理装置とすることが考えられる。 Here, in order to generate a wide-angle low-resolution range image and a narrow-angle high-resolution range image, a pair of wide-angle and low-resolution images and a pair of narrow-angle and high-resolution images are required. In other words, in order to obtain two distance images with different angles of view and resolutions, two pairs of images with different angles of view and resolutions (four images in total) are required. In order to generate such two pairs of images having different angles of view and resolutions, it is conceivable to use an image processing device having two pairs of cameras having different angles of view and resolutions, that is, a total of four cameras.
しかしながら、この場合、例えば、広角かつ低解像度の画像を生成する一対のカメラと狭角かつ高解像度の画像を生成する一対のカメラとを要する構成となり、画像処理装置の大型化やコスト増加の原因となるため、好ましくない。また、二対のカメラを有する構成とした場合、二対のカメラが異なる位置に配置されるため、遮蔽物や見え方の違いによっては、2枚の画像に含まれる同一の地点を一致させる処理(ステレオマッチング)の不具合や認識距離の精度低下が懸念される。 However, in this case, for example, a configuration that requires a pair of cameras that generate a wide-angle and low-resolution image and a pair of cameras that generate a narrow-angle and high-resolution image results in an increase in the size and cost of the image processing apparatus. Therefore, it is not preferable. Further, when the configuration has two pairs of cameras, since the two pairs of cameras are arranged at different positions, processing for matching the same points included in the two images depending on the obstruction and the difference in appearance. There is a concern that (stereo matching) will be inconvenient and that the recognition distance will be less accurate.
本発明は、上記の点に鑑みてなされたものであり、一対のカメラでの撮影により得られる一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成できる画像処理装置を提供することを目的とする。また、一対のカメラにより得られる一対の画像に基づき、従来よりも近傍および遠方の距離を精度良く取得できる車載用の画像処理装置を提供することを目的とする。 The present invention has been made in view of the above points, and provides an image processing apparatus capable of generating a plurality of range images having different angles of view and different resolutions based on a pair of images obtained by shooting with a pair of cameras. The purpose is to do. Another object of the present invention is to provide an in-vehicle image processing device that can accurately acquire near and far distances based on a pair of images obtained by a pair of cameras.
上記目的を達成するため、請求項1に記載の画像処理装置は、同一対象に向けられた一対のカメラ(11、12)を有してなる撮像部(1)と、一対のカメラでの撮影により得られる同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部(7)と、一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部(8)と、を備える。そして、一対の画像は、第1領域と第1領域に隣接する第2領域とを有し、第1領域が第2領域よりも狭角かつ高解像度とされた解像度非一様画像である。 In order to achieve the above object, the image processing device according to claim 1 is an image pickup unit (1) having a pair of cameras (11, 12) directed to the same target, and an image captured by the pair of cameras. A stereo matching unit (7) that performs stereo matching on a pair of images obtained by capturing the same object obtained by the above, and a distance image generation unit (8) that generates a plurality of distance images having different resolutions and angles of view based on the pair of images. ), And. The pair of images is a non-uniform resolution image having a first region and a second region adjacent to the first region, and the first region has a narrower angle and higher resolution than the second region.
かかる構成によれば、一対のカメラでの撮影により高解像度の領域と低解像度の領域とを有する、一対の解像度非一様画像を得ると共に、この解像度非一様画像に基づいて距離画像を生成できる画像処理装置となる。具体的には、解像度非一様画像のうち狭角かつ高解像度の領域のデータを用いた場合には、狭角かつ高解像度の距離画像を生成でき、広角かつ低解像度の領域を含む領域のデータを用いた場合には、広角かつ低解像度の距離画像を生成できる。つまり、画角および解像度の異なる二対以上のカメラを用いることなく、画角および解像度の異なる複数の距離画像を生成できる画像処理装置となる。 With this configuration, a pair of resolution non-uniform images having a high resolution region and a low resolution region are obtained by photographing with a pair of cameras, and a range image is generated based on the resolution non-uniform images. It becomes an image processing device that can. Specifically, when data of a narrow-angle and high-resolution area in a non-uniform resolution image is used, a narrow-angle and high-resolution area image can be generated, and an area including a wide-angle and low-resolution area can be generated. When data is used, a wide-angle and low-resolution range image can be generated. That is, the image processing apparatus can generate a plurality of range images having different angles of view and resolutions without using two or more pairs of cameras having different angles of view and resolutions.
請求項2に記載の画像処理装置は、車両(VM1)に搭載され、車両の周囲を撮影する車載用の画像処理装置であって、同一対象に向けられた一対のカメラ(11、12)を有してなる撮像部(1)と、一対のカメラでの撮影により得られる同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部(7)と、一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部(8)と、を備える。このような構成において、一対の画像は、第1領域と第1領域に隣接する第2領域とを有し、第1領域が第2領域よりも狭い視野角かつ高解像度とされた解像度非一様画像であり、距離画像生成部は、一対の画像のうち第1領域のデータに基づいて車両の遠方かつ狭い視野角の領域を高解像度で写した狭角距離画像と、第2領域のデータに基づいて車両の近傍かつ広い視野角の領域を低解像度で写した広角距離画像と、を生成する。 The image processing device according to claim 2 is a vehicle-mounted image processing device that is mounted on a vehicle (VM1) and captures an image of the surroundings of the vehicle, and includes a pair of cameras (11, 12) directed to the same target. An image pickup section (1) provided, a stereo matching section (7) for performing stereo matching on a pair of images showing the same object obtained by photographing with a pair of cameras, and a resolution and a resolution based on the pair of images. A distance image generation unit (8) that generates a plurality of distance images having different angles of view. In such a configuration, the pair of images has the first region and the second region adjacent to the first region, and the first region has a narrower viewing angle than the second region and a high resolution. The distance image generation unit includes a narrow-angle distance image in which a region far away and a narrow viewing angle of the vehicle is captured at high resolution based on the data in the first region in the pair of images, and the data in the second region. And a wide-angle range image in which a region near the vehicle and having a wide viewing angle is photographed at a low resolution.
本構成によれば、請求項1に記載の画像処理装置と同様の効果が得られると共に、解像度非一様画像のうち狭角かつ高解像度の領域のデータにより、車両から遠方の距離を取得でき、広角かつ低解像度の領域のデータにより車両の近傍の距離を取得できる。 According to this configuration, the same effect as that of the image processing apparatus according to claim 1 can be obtained, and the distance from the vehicle can be acquired from the data of the narrow-angle and high-resolution area in the non-uniform resolution image. , The distance in the vicinity of the vehicle can be acquired from the data of the wide-angle and low-resolution area.
請求項3に記載の画像処理装置は、同一対象に向けられた一対のカメラ(11、12)を有してなる撮像部(1)と、一対のカメラでの撮影により得られる同一対象を写した一対の画像のうち所定の画角の領域を切り取り、当該所定の画角の領域を写した画像である特定画角画像を生成する画角画像処理部(5、6)と、一対の特定画角画像についてステレオマッチングを行うステレオマッチング部(7)と、一対の特定画角画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部(8)と、を備える。そして、一対の画像は、第1領域と第1領域に隣接する第2領域とを有し、第1領域が第2領域よりも高解像度とされた解像度非一様画像である。 An image processing apparatus according to claim 3, wherein the image capturing unit (1) having a pair of cameras (11, 12) directed to the same target, and the same target obtained by shooting with the pair of cameras. A field of view image processing unit (5, 6) that cuts out a region of a predetermined field of view from the pair of images and generates a specific field of view image that is an image of the region of the predetermined field of view, and a pair of identification A stereo matching unit (7) that performs stereo matching on the view angle image, and a distance image generation unit (8) that generates a plurality of range images having different resolutions and view angles based on the pair of specific view angle images. . Then, the pair of images are non-uniform resolution images in which the first region and the second region adjacent to the first region are provided, and the first region has a higher resolution than the second region.
これにより、請求項1に記載の画像処理装置と同様の効果が得られると共に、画角画像処理部により解像度非一様画像のうち任意の画角の領域のデータに基づく特定画角画像を生成し、これに基づいて距離画像を生成できる画像処理装置となる。そのため、状況に応じて適切な画角および解像度の距離画像を生成できるとの効果も得られる。 As a result, the same effect as that of the image processing apparatus according to claim 1 is obtained, and the angle-of-view image processing unit generates the specific angle-of-view image based on the data of the area of an arbitrary angle of view in the non-uniform-resolution image. Then, the image processing apparatus can generate a distance image based on this. Therefore, it is possible to obtain the effect that a distance image having an appropriate angle of view and resolution can be generated according to the situation.
なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。 The reference numerals in parentheses attached to the respective constituent elements and the like indicate an example of a correspondence relationship between the constituent elements and the like and specific constituent elements and the like described in the embodiments described later.
以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each of the following embodiments, the same or equivalent portions will be denoted by the same reference numerals for description.
(第1実施形態)
第1実施形態の画像処理装置について、図1〜図7を参照して述べる。本実施形態の画像処理装置は、例えば自動車などの車両に搭載される車載用ステレオカメラなどに適用されると好適であるが、車両と異なる移動体に搭載されるステレオカメラなどの他の用途にも適用され得る。
(First embodiment)
The image processing apparatus according to the first embodiment will be described with reference to FIGS. The image processing apparatus of the present embodiment is suitable for being applied to, for example, a vehicle-mounted stereo camera mounted on a vehicle such as an automobile, but is also suitable for other applications such as a stereo camera mounted on a moving body different from the vehicle. Can also be applied.
〔構成〕
まず、本実施形態の画像処理装置(以下「本画像処理装置」という)の構成について説明する。
〔Constitution〕
First, the configuration of the image processing apparatus of the present embodiment (hereinafter referred to as the “present image processing apparatus”) will be described.
本画像処理装置は、図1に示すように、撮像部1と、画像処理部2とを備え、撮像部1での撮影により得られる一対の画像を画像処理部2で処理することで、近傍領域および遠方領域それぞれに対応する距離画像を生成する構成とされている。本実施形態の画像処理装置は、例えば、撮影により得られる画像や当該画像に基づいて生成した距離画像などを表示する、図示しない外部の表示装置などに接続される。 As shown in FIG. 1, the image processing apparatus includes an image capturing unit 1 and an image processing unit 2, and the image processing unit 2 processes a pair of images obtained by image capturing by the image capturing unit 1 so that the vicinity The distance image corresponding to each of the area and the distant area is generated. The image processing apparatus according to the present embodiment is connected to, for example, an external display device (not shown) that displays an image obtained by shooting, a distance image generated based on the image, and the like.
撮像部1は、本画像処理装置が設置される場所の周囲を撮影し、画像信号を出力するものである。撮像部1は、例えば図1に示すように、第1カメラ11と、第2カメラ12と、これらを連結して支持する図示しないステーとを有してなる。つまり、撮像部1は、第1カメラ11と第2カメラ12とによりなる一対のカメラを有する構成とされている。 The image pickup unit 1 picks up an image of the vicinity of the place where the image processing apparatus is installed and outputs an image signal. The imaging unit 1 includes, for example, as shown in FIG. 1, a first camera 11, a second camera 12, and a stay (not shown) that connects and supports these. That is, the imaging unit 1 is configured to have a pair of cameras including the first camera 11 and the second camera 12.
カメラ11、12は、例えば、同一の構成のデジタルカメラとされ、図示しないレンズおよび撮像素子を備える。カメラ11、12は、例えば、図2に示すように、互いの光軸が平行、かつ互いの撮影面が同一の平面を構成すると共に、異なる位置から同一対象物を撮影する配置とされている。カメラ11、12は、第1の領域とこれに隣接する第2の領域とを有し、第1の領域が高解像度とされ、第2の領域に向かうほど低解像度とされた、解像度が非一様な画像(以下「解像度非一様画像」という)を生成するための画像信号を出力する。解像度非一様画像を生成するための画像信号を出力するカメラ11、12は、例えば、次のような構成とされる。 The cameras 11 and 12 are, for example, digital cameras having the same configuration, and include a lens and an image pickup element (not shown). For example, as shown in FIG. 2, the cameras 11 and 12 are arranged such that their optical axes are parallel to each other and their photographing surfaces are the same plane, and the same object is photographed from different positions. . The cameras 11 and 12 have a first region and a second region adjacent to the first region, and the first region has a high resolution, and the resolution decreases toward the second region. An image signal for generating a uniform image (hereinafter referred to as “resolution non-uniform image”) is output. The cameras 11 and 12 that output an image signal for generating a non-uniform resolution image have, for example, the following configurations.
カメラ11、12を構成するレンズは、例えば、広角中心窩レンズとされる。「広角中心窩レンズ」とは、人間の眼球の特性、すなわち網膜のうち視野の中心に対応する中心窩と呼ばれる範囲で視力が最も高く、この中心窩から離れるほど視力が急激に減少する特性を模したレンズである。カメラ11、12では、広角中心窩レンズは、例えば、上下左右で片側45度以上、両側90度以上の広角の視野の像を撮像素子の撮像領域に結像する役割を果たす。 The lenses forming the cameras 11 and 12 are, for example, wide-angle fovea lenses. A "wide-angle fovea lens" is a characteristic of the human eyeball, that is, it has the highest visual acuity in the range called the fovea of the retina corresponding to the center of the visual field, and the characteristic that the visual acuity decreases sharply as the distance from the fovea increases. It is a modeled lens. In the cameras 11 and 12, the wide-angle fovea lens plays a role of forming an image with a wide-angle field of view of 45 degrees or more on one side and 90 degrees or more on both sides in the imaging area of the imaging element, for example.
カメラ11、12を構成する撮像素子は、例えば、CCD(Charge Coupled Deviceの略)やCMOS(相補型MOS)などのイメージセンサとされ、レンズを介して入射する光に対応した画像信号を出力する複数の画素を有してなる。撮像素子は、例えば、レンズが広角中心窩レンズである場合には、複数の画素が均一な分布および密度になるように配置された構成とされる。均一な分布および密度になる複数の画素の配置としては、例えば、複数の画素が格子状に一様に並べられる例などが挙げられる。なお、カメラ11、12は、レンズと撮像素子とが解像度非一様画像の元となる画像信号を出力する組み合わせとされていればよく、他の構成要素については任意とされる。 The image pickup device forming the cameras 11 and 12 is, for example, an image sensor such as a CCD (abbreviation of Charge Coupled Device) or CMOS (complementary MOS), and outputs an image signal corresponding to light incident through the lens. It has a plurality of pixels. For example, when the lens is a wide-angle fovea lens, the image pickup element has a configuration in which a plurality of pixels are arranged so as to have a uniform distribution and density. Examples of the arrangement of the plurality of pixels having a uniform distribution and density include an example in which the plurality of pixels are uniformly arranged in a grid pattern. It should be noted that the cameras 11 and 12 only need to be a combination of the lens and the image sensor to output an image signal that is a source of a non-uniform resolution image, and other components are arbitrary.
このような構成とされたカメラ11、12は、図1に示すように、画像処理部2に接続され、狭い視野角かつ高解像度の領域および広い視野角かつ低解像度の領域それぞれに対応する画像信号を画像処理部2に出力する。 As shown in FIG. 1, the cameras 11 and 12 configured as described above are connected to the image processing unit 2 and images corresponding to a narrow viewing angle and high resolution region and a wide viewing angle and low resolution region, respectively. The signal is output to the image processing unit 2.
なお、以下、解像度非一様画像として、図3(a)に示すように、中心部に近い第1の領域ほど高解像度とされ、中心部に隣接する第2の領域である周辺部に向かうほど低解像度とされた画像を例に説明する。解像度非一様画像は、広角中心窩レンズによる急激な像倍率変化により、高解像度とされた第1の領域が、低解像度とされた第2の領域よりも高倍率(限定するものではないが、例えば10倍以上)とされる。 Note that, hereinafter, as a non-uniform-resolution image, as shown in FIG. 3A, the first region closer to the central portion has a higher resolution, and goes toward the peripheral portion which is the second region adjacent to the central portion. An image having a low resolution will be described as an example. In a non-uniform resolution image, the first area having a high resolution has a higher magnification than the second area having a low resolution due to a rapid change in image magnification by the wide-angle fovea lens (though not limited thereto. , For example, 10 times or more).
画像処理部2は、図1に示すように、第1画像生成部3、第2画像生成部4、第1画角画像処理部5、第2画角画像処理部6、ステレオマッチング部7および距離画像生成部8を有してなる。画像処理部2は、撮像部1から取得した画像信号に基づいて、任意の解像度および画角の距離画像を生成し、図示しない外部の電子機器などに距離画像データを伝送する構成とされる。画像処理部2は、例えば、DSP、CPU、ROM、RAMなどを備えたLSIとされる。 As shown in FIG. 1, the image processing unit 2 includes a first image generating unit 3, a second image generating unit 4, a first angle of view image processing unit 5, a second angle of view image processing unit 6, a stereo matching unit 7, and A distance image generation unit 8 is included. The image processing unit 2 is configured to generate a distance image having an arbitrary resolution and angle of view based on the image signal acquired from the image pickup unit 1 and transmit the distance image data to an external electronic device (not shown) or the like. The image processing unit 2 is, for example, an LSI including a DSP, a CPU, a ROM, a RAM, and the like.
第1画像生成部3は、図1に示すように、第1カメラ11から画像信号を取得し、当該画像信号に基づいて第1の解像度非一様画像を生成する。第2画像生成部4は、図1に示すように、第2カメラ12から画像信号を取得し、当該画像信号に基づき、第1の解像度非一様画像と対をなす第2の解像度非一様画像を生成する。つまり、画像生成部3、4は、一対のカメラ11、12から画像信号を取得し、当該画像信号に基づいて、一対の解像度非一様画像を生成する。第1の解像度非一様画像のデータは、図1に示すように、第1画角画像処理部5に伝送される。第2の解像度非一様画像のデータは、第2画角画像処理部6に伝送される。 As shown in FIG. 1, the first image generation unit 3 acquires an image signal from the first camera 11 and generates a first resolution non-uniform image based on the image signal. As shown in FIG. 1, the second image generation unit 4 acquires an image signal from the second camera 12, and based on the image signal, a second resolution non-uniform paired with the first resolution non-uniform image. Image is generated. That is, the image generation units 3 and 4 acquire image signals from the pair of cameras 11 and 12, and generate a pair of non-uniform resolution images based on the image signals. The data of the first non-uniform resolution image is transmitted to the first angle-of-view image processing unit 5, as shown in FIG. The data of the second resolution non-uniform image is transmitted to the second view angle image processing unit 6.
第1画角画像処理部5は、図1に示すように、第1画像生成部3が生成した第1の解像度非一様画像から任意の画角で一部または全部の領域を選択(切り出し)した後、当該領域の画像データについて輝度や歪みの補正および幾何学的な変換などを行う。第2画角画像処理部6は、第2の解像度非一様画像から任意の画角で一部または全部の領域を選択した後、その領域の画像データについて輝度や歪みの補正および幾何学的な変換などを行う。 As shown in FIG. 1, the first angle-of-view image processing unit 5 selects (cuts out) a part or the entire region at an arbitrary angle of view from the first resolution non-uniform image generated by the first image generation unit 3. After that, the brightness and distortion of the image data in the area is corrected and geometrical conversion is performed. The second angle-of-view image processing unit 6 selects a part or all of the area from the second non-uniform-resolution image at an arbitrary angle of view and then corrects the brightness and distortion of the image data in the area and performs geometrical correction. Performs various conversions.
つまり、画角画像処理部5、6は、解像度非一様画像のデータについて各種の補正および当該画像の幾何学的な変換を行うことで、任意の画角の領域かつ解像度が一様の画像(以下「特定画角画像」という)を生成する。この特定画角画像のデータは、ステレオマッチング部7に伝送される。また、特定画角画像は、図3(b)に示すピンホールレンズを有するカメラでの撮影により得られる画像と同様に、解像度が一様の画像とされるため、「解像度一様画像」とも称し得る。 In other words, the angle-of-view image processing units 5 and 6 perform various corrections on the data of the non-uniform resolution image and perform geometrical conversion of the image to obtain an image with a uniform field of view and a uniform resolution. (Hereinafter, referred to as “specific angle-of-view image”) is generated. The data of the specific view angle image is transmitted to the stereo matching unit 7. Further, the specific angle-of-view image is an image having a uniform resolution, like the image obtained by shooting with a camera having a pinhole lens shown in FIG. Can be called.
なお、本実施形態では、2つの画像生成部3、4により一対の解像度非一様画像を生成し、2つの画角画像処理部5、6によりステレオマッチングが行われる一対の特定画角画像を生成する例について説明しているが、これに限定されるものではない。例えば、1つの画像生成部が一対のカメラ11、12それぞれから画像信号を取得し、これらの画像信号に基づいて一対の解像度非一様画像を生成する構成であってもよい。また、1つの画角画像処理部が一対の解像度非一様画像のデータを取得し、これらのデータに基づき、一対の特定画角画像を生成する構成であってもよい。 In the present embodiment, the two image generation units 3 and 4 generate a pair of non-uniform resolution images, and the two angle-of-view image processing units 5 and 6 generate a pair of specific angle-of-view images on which stereo matching is performed. Although the example of generation is described, the present invention is not limited to this. For example, one image generation unit may acquire image signals from each of the pair of cameras 11 and 12 and generate a pair of non-uniform resolution images based on these image signals. In addition, one view angle image processing unit may acquire data of a pair of non-uniform resolution images and generate a pair of specific view angle images based on these data.
ステレオマッチング部7は、画角画像処理部5、6から取得した一対の特定画角画像のデータに基づき、当該一対の特定画角画像に写されている同一対象の各部についてマッチングを行う。これにより、図2に示すように、画像に写された同一対象の当該一対の画像上での位置ずれZ(視差Z)を求めることができる。この視差Zのデータは、距離画像生成部8に伝送される。 The stereo matching unit 7 performs matching for each unit of the same target imaged in the pair of specific angle-of-view images based on the data of the pair of specific angle-of-view images acquired from the angle-of-view image processing units 5 and 6. As a result, as shown in FIG. 2, it is possible to obtain the positional deviation Z (parallax Z) on the pair of images of the same target imaged in the image. The data of the parallax Z is transmitted to the distance image generation unit 8.
距離画像生成部8は、ステレオマッチング処理により得られた視差Zのデータから三角測量の原理に基づいて、図2に示すように、一対のカメラ11、12から撮影した対象物までの距離Dを算出する。 Based on the principle of triangulation from the data of the parallax Z obtained by the stereo matching processing, the distance image generation unit 8 calculates the distance D from the pair of cameras 11 and 12 to the object photographed as shown in FIG. calculate.
具体的には、図2に示すように、光軸が平行かつ撮影面が同一平面を構成する配置とされた第1カメラ11と第2カメラ12とにより、対象物X0を撮影したとする。また、カメラ11、12間の距離をBとし、対象物X0とカメラ11、12との距離をDとし、カメラ11、12の焦点距離fとし、対象物X0の第1カメラ11の撮影面における位置をX1とし、対象物Xの第2カメラ12の撮影面における位置をX2とする。さらに、第1カメラ11の撮影面の中心O1を通り、当該撮影面に対して垂直な光軸と直線X0X1との交点をAとし、第2カメラ12の撮影面の中心O2を通り、当該撮影面に対して垂直な光軸と直線X0X2との交点をCとする。 Specifically, as shown in FIG. 2, it is assumed that the object X0 is photographed by the first camera 11 and the second camera 12, which are arranged such that the optical axes thereof are parallel to each other and the photographing surfaces form the same plane. Further, the distance between the cameras 11 and 12 is B, the distance between the object X0 and the cameras 11 and 12 is D, and the focal length f of the cameras 11 and 12 is the object X0 on the photographing surface of the first camera 11. The position is X1, and the position of the object X on the imaging surface of the second camera 12 is X2. Further, passing through the center O1 of the photographing surface of the first camera 11 and the intersection point of the optical axis perpendicular to the photographing surface and the straight line X0X1 is A, and passing through the center O2 of the photographing surface of the second camera 12, the photographing is performed. Let C be the intersection of the optical axis perpendicular to the plane and the straight line X0X2.
このとき、第2カメラ12の撮影面のうち第1カメラ11の撮影面におけるX1に相当する位置をX3とすると、X2とX3との間には、図2に示すように視差Zが生じる。そして、図2における三角形X0ACと三角形CX3X2とが相似関係となることから、距離Bと距離Dとの比が、焦点距離fと視差Zとの比と等しくなり、以下の(1)式が成立する。 At this time, if a position corresponding to X1 on the shooting surface of the first camera 11 of the shooting surface of the second camera 12 is X3, a parallax Z is generated between X2 and X3 as shown in FIG. Since the triangle X0AC and the triangle CX3X2 in FIG. 2 have a similar relationship, the ratio between the distance B and the distance D becomes equal to the ratio between the focal length f and the parallax Z, and the following formula (1) is established. To do.
D=B×f/Z・・・(1)
よって、カメラ11、12間の距離B、カメラ11、12の焦点距離fおよび視差Zにより、カメラ11、12と対象物X0までの距離Dを算出することができる。このような原理により、距離画像生成部8は、特定画角画像を構成する各画素の距離Dを算出すると共に、各画素の距離Dの違いを色の違いとして示した距離画像を生成する。
D = B × f / Z (1)
Therefore, the distance D between the cameras 11 and 12 and the object X0 can be calculated from the distance B between the cameras 11 and 12, the focal length f of the cameras 11 and 12, and the parallax Z. Based on such a principle, the distance image generation unit 8 calculates the distance D of each pixel forming the specific angle-of-view image and also generates the distance image showing the difference in the distance D of each pixel as a difference in color.
ここで、距離画像の画角および解像度は、特定画角画像の画角および解像度に依存する。つまり、距離画像生成部8は、狭角かつ高解像度の特定画角画像を用いた場合には、狭角かつ高解像度の距離画像を生成し、広角かつ低解像度の特定画角画像を用いた場合には、広角かつ低解像度の距離解像度を生成する。そして、特定画角画像は、一対の解像度非一様画像のうち所定の画角および解像度の領域を選択することで、その画角および解像度が調整されることができる。そのため、距離画像生成部8は、一対のカメラ11、12により得られる一対の解像度非一様画像に基づき、画角および解像度の異なる複数の距離画像を生成することができる。 Here, the view angle and resolution of the distance image depend on the view angle and resolution of the specific view angle image. In other words, the distance image generation unit 8 generates a narrow-angle and high-resolution distance image when using the narrow-angle and high-resolution specific angle-of-view image, and uses the wide-angle and low-resolution specific angle-of-view image. In this case, a wide-angle and low-resolution distance resolution is generated. The specific view angle image can be adjusted in view angle and resolution by selecting a region having a predetermined view angle and resolution from the pair of resolution non-uniform images. Therefore, the range image generation unit 8 can generate a plurality of range images having different angles of view and different resolutions based on the pair of resolution non-uniform images obtained by the pair of cameras 11 and 12.
以上が本画像処理装置の基本的な構成である。 The above is the basic configuration of the image processing apparatus.
〔動作例〕
次に、本画像処理装置の動作例について、図4〜図6を参照して説明する。
[Operation example]
Next, an operation example of the image processing apparatus will be described with reference to FIGS.
まず、画角が広い距離画像(以下「広角距離画像」という)を生成する場合の動作例について、図4を参照して説明する。 First, an operation example in the case of generating a range image having a wide angle of view (hereinafter referred to as “wide angle range image”) will be described with reference to FIG.
ステップS101にて、一対のカメラ11、12は、同一対象を異なる位置から撮影し、画像信号を画像生成部3、4へ出力する。そして、画像生成部3、4は、当該画像信号に基づいて一対の解像度非一様画像を生成する。 In step S101, the pair of cameras 11 and 12 shoot the same target from different positions and output image signals to the image generators 3 and 4. Then, the image generation units 3 and 4 generate a pair of resolution non-uniform images based on the image signal.
続いて、ステップS102にて、画角画像処理部5、6は、画像生成部3、4が生成した一対の解像度非一様画像のデータについて歪み補正を行う。例えば、画角画像処理部5、6は、図3(a)に示すような中心部が高倍率とされ、その中心部から離れるほど低倍率とされ、歪みが大きい解像度非一様画像のデータについて歪み補正や幾何学的な変換を行う。これにより、図3(b)に示すような中心部から周辺部までの倍率が等しい画像が生成される。 Subsequently, in step S102, the view angle image processing units 5 and 6 perform distortion correction on the data of the pair of resolution non-uniform images generated by the image generation units 3 and 4. For example, the angle-of-view image processing units 5 and 6 have high-magnification in the central portion as shown in FIG. 3A, and have lower magnification as the distance from the central portion increases. About distortion correction and geometric conversion. As a result, an image having the same magnification from the central portion to the peripheral portion as shown in FIG. 3B is generated.
その後、ステップS103にて、画角画像処理部5、6は、図3(b)に示す画像のような歪み補正後の画像のうち画角が広い領域(例えば、画像の全域)を選択し、一対の広角画像のデータを用意する。なお、一対のカメラ11、12での撮影にて得られる一対の画像がその中心部が高解像度とされ、中心部から離れるほど低解像度とされた画像であるため、当該一対の画像の全域を選択(切り出し)して得られる広角画像は、広角かつ低解像度の画像となる。 Then, in step S103, the view angle image processing units 5 and 6 select a region with a wide view angle (for example, the entire image) in the image after distortion correction such as the image shown in FIG. , Prepare a pair of wide-angle image data. It should be noted that the pair of images obtained by the pair of cameras 11 and 12 have high resolution in the central portion and lower resolution as they are farther from the central portion, so that the entire area of the pair of images is The wide-angle image obtained by selecting (cutting out) becomes a wide-angle and low-resolution image.
次いで、ステップS104にて、ステレオマッチング部7は、画角画像処理部5、6により得られた一対の広角画像についてステレオマッチング処理を行う。その後、図示しないCPUは、処理をステップS105に進める。 Next, in step S104, the stereo matching unit 7 performs stereo matching processing on the pair of wide-angle images obtained by the view angle image processing units 5 and 6. After that, the CPU (not shown) advances the process to step S105.
ステップS105にて、距離画像生成部8は、ステレオマッチング処理がなされた一対の広角画像に写された同一対象の各部位についての視差Zを計算する。 In step S105, the distance image generation unit 8 calculates the parallax Z for each part of the same target captured in the pair of wide-angle images subjected to the stereo matching process.
続いて、ステップS106にて、距離画像生成部8は、上述した三角測量の原理により、視差Z、カメラ11、12間の距離Bおよび焦点距離fに基づいて、撮影された対象とカメラ11、12との距離Dを算出する。この距離Dの計算は、一対の広角画像を構成する画素ごとに行われる。 Subsequently, in step S106, the distance image generation unit 8 uses the triangulation principle described above, based on the parallax Z, the distance B between the cameras 11 and 12, and the focal length f, the captured object and the camera 11, The distance D from 12 is calculated. The calculation of the distance D is performed for each pixel forming a pair of wide-angle images.
最後に、ステップS107にて、距離画像生成部8は、ステップS106での算出により得られた各画素の距離情報に基づいて、広角の距離画像を生成する。その後、図示しないCPUは、距離画像の生成の処理を終了する。 Finally, in step S107, the distance image generation unit 8 generates a wide-angle distance image based on the distance information of each pixel obtained by the calculation in step S106. After that, the CPU (not shown) ends the process of generating the distance image.
次に、画角が狭い距離画像(以下「狭角距離画像」という)を生成する場合の動作例について、図5、図6を参照して説明する。なお、狭角距離画像の生成については、図5に示すように、歪み補正後の画像の切り出し(ステップS108)および狭角距離画像の生成(ステップS109)以外の処理が広角距離画像を生成する場合と共通するため、以下、これらの相違点について主に述べる。 Next, an operation example in the case of generating a distance image having a narrow angle of view (hereinafter referred to as “narrow angle distance image”) will be described with reference to FIGS. 5 and 6. Regarding the generation of the narrow-angle distance image, as shown in FIG. 5, the processes other than the clipping of the image after distortion correction (step S108) and the generation of the narrow-angle distance image (step S109) generate the wide-angle distance image. Since this is common to the cases, these differences will be mainly described below.
ステップS108にて、画角画像処理部5、6は、ステップS102にて歪み補正がなされた一対の画像のデータのうち画角が狭く、かつ高解像度の領域を切り出し領域として選択(切り出し)し、狭角画像を生成する。例えば、ステップS108においては、画角画像処理部5、6は、図6(a)の破線で示す狭角かつ高解像度の切り出し領域のデータに基づいて、図6(b)に示すような狭角かつ高解像度の画像を生成する。この切り出し領域の範囲、すなわち切り出す画角の領域については、適宜設定される。 In step S108, the angle-of-view image processing units 5 and 6 select (cut out) a region having a narrow angle of view and high resolution as the cutout region from the data of the pair of images whose distortion has been corrected in step S102. , Generate a narrow-angle image. For example, in step S108, the angle-of-view image processing units 5 and 6 perform narrowing as shown in FIG. 6B based on the narrow-angle and high-resolution clipped region data indicated by the broken line in FIG. 6A. Generates high-resolution images with corners. The range of the cutout area, that is, the area of the view angle to be cut out is appropriately set.
狭角画像を生成した後、ステップS104、S105、S106にて、広角距離画像の生成の場合と同様に、一対の狭角画像についてステレオマッチング処理を行って、視差Zを計算し、各画素の対象物までの距離Dを算出する。 After the narrow-angle image is generated, in steps S104, S105, and S106, as in the case of generating the wide-angle distance image, stereo matching processing is performed on the pair of narrow-angle images to calculate the parallax Z, and the parallax Z is calculated. The distance D to the object is calculated.
そして、ステップS109にて、距離画像生成部8は、ステップS106にて算出した各画素の距離Dの情報に基づいて、狭角距離画像を生成する。その後、図示しないCPUは、距離画像の生成の処理を終了する。 Then, in step S109, the distance image generation unit 8 generates a narrow-angle distance image based on the information on the distance D of each pixel calculated in step S106. After that, the CPU (not shown) ends the process of generating the distance image.
なお、動作例の理解を助ける目的で便宜的に、広角距離画像の生成と狭角距離画像の生成とを分けて説明したが、本画像処理装置では、これらの処理の一方が個別に実行されるだけでなく、これらの処理が並行して実行されてもよい。また、図4、図5に示す処理は、本画像処理装置がONの状態からOFFの状態とされるまで、所定の間隔で繰り返されてもよい。 For the sake of convenience in understanding the operation example, the generation of the wide-angle range image and the generation of the narrow-angle range image have been described separately, but in the image processing device, one of these processes is executed individually. In addition to the above, these processes may be executed in parallel. The processing shown in FIGS. 4 and 5 may be repeated at predetermined intervals until the image processing apparatus is switched from the ON state to the OFF state.
〔適用例〕
次に、本画像処理装置が車載用途に適用された例について、図7を参照して説明する。
[Application example]
Next, an example in which the image processing apparatus is applied to an in-vehicle application will be described with reference to FIG. 7.
図7では、本実施形態の画像処理装置が搭載された自動車などの車両VM1が道路を走行しつつ、当該画像処理装置が車両VM1の近傍領域R1および遠方領域R2を撮影する様子を示している。 FIG. 7 shows a state in which a vehicle VM1 such as an automobile equipped with the image processing apparatus of the present embodiment travels on a road while the image processing apparatus captures an image of a near area R1 and a far area R2 of the vehicle VM1. .
以下の説明において、後退以外の走行用シフトポジションでの自走による車両VM1の進行可能方向を「進行方向」と称し、進行方向を向いた状態における左右の方向をそれぞれ「左」、「右」と称する。また、進行方向を向いた状態における鉛直方向を「下」と称し、その反対側を「上」と称する。 In the following description, a direction in which the vehicle VM1 is allowed to travel by a self-propelled vehicle at a traveling shift position other than reverse is referred to as a "traveling direction", and left and right directions in a state of facing the traveling direction are "left" and "right", respectively. Called. Further, the vertical direction in the state of facing the traveling direction is referred to as “down”, and the opposite side is referred to as “upper”.
本画像処理装置は、例えば、車両VM1の車室のうち進行方向側に配置され、車両VM1のイグニッションがONの状態になると起動し、イグニッションがOFFの状態になると動作を終了する構成とされる。本画像処理装置は、例えば図7に示すように、車両VM1の進行方向における近傍領域R1および遠方領域R2を撮影し、これらの領域R1、R2それぞれの距離画像を生成する。このとき、一対のカメラ11、12での撮影により、遠方領域R2を第1領域(狭角かつ高解像度)とし、近傍領域R1を第2領域(広角かつ低解像度)とする解像度非一様画像が生成される。 The image processing apparatus is arranged, for example, on the traveling direction side of the passenger compartment of the vehicle VM1, is activated when the ignition of the vehicle VM1 is in the ON state, and ends the operation when the ignition is in the OFF state. . For example, as shown in FIG. 7, the image processing apparatus captures an image of the near area R1 and the far area R2 in the traveling direction of the vehicle VM1 and generates a distance image of each of the areas R1 and R2. At this time, a non-uniform-resolution image in which the distant region R2 is the first region (narrow angle and high resolution) and the neighboring region R1 is the second region (wide angle and low resolution) by photographing with the pair of cameras 11 and 12 Is generated.
ここで、近傍領域R1とは、例えば、車両VM1から10m以内の領域であって、上下左右で片側25度以上、両側50度以上の広角の視野領域をいう。また、遠方領域R2とは、例えば、車両VM1から50m以上離れた領域であって、上下左右で片側25度以下、両側50度以下の狭角の視野領域をいう。 Here, the neighboring region R1 is, for example, a region within 10 m from the vehicle VM1, and refers to a wide-angle visual field region of 25 degrees or more on one side and 50 degrees or more on both sides in the vertical and horizontal directions. Further, the distant region R2 is, for example, a region distant from the vehicle VM1 by 50 m or more, and is a narrow angle visual field region of 25 degrees or less on one side and 50 degrees or less on both sides in the vertical and horizontal directions.
本画像処理装置は、近傍領域R1および遠方領域R2それぞれの画角の範囲内にある対象物を撮影し、車両VM1からその対象物までの距離を算出した上で、近傍領域R1に対応する広角距離画像と遠方領域R2に対応する狭角距離画像とを生成する。 The image processing apparatus captures an object within the range of the angle of view of each of the near area R1 and the far area R2, calculates the distance from the vehicle VM1 to the object, and then calculates the wide angle corresponding to the near area R1. A range image and a narrow-angle range image corresponding to the far region R2 are generated.
なお、対象物とは、例えば、他の自動車や自転車などの車両、車両が有する光源(ヘッドライト、テールランプなど)、走行車線、標識、信号、歩行者、動物、壁、電柱、樹木や道路上の落下物(タイヤなど)などが挙げられるが、これらに限定されない。 Note that the object is, for example, another vehicle such as an automobile or a bicycle, a light source (a headlight, a tail lamp, or the like) included in the vehicle, a driving lane, a sign, a signal, a pedestrian, an animal, a wall, an electric pole, a tree or a road. However, the present invention is not limited to these.
例えば、近傍領域R1には、例えば図7に示すように、斜め45度の方向に存在する歩行者や仰角45度にある信号機などがその視野に含まれる。このような車両VM1に近い位置にある信号、周囲の歩行者や車両などの車両VM1の進行方向に交差する方向から接近する移動体を認識するため、画角90度以上の近傍領域R1が撮影される。近傍領域R1に存在する対象物は、撮影により得られる画像中では遠方領域R1に存在する対象物よりも大きく写り、その視差も大きい。そのため、近傍領域R1については、広角かつ低解像度で撮影すれば十分な距離精度の距離画像が生成される。 For example, as shown in FIG. 7, the vicinity region R1 includes, for example, a pedestrian existing in an oblique direction of 45 degrees and a traffic signal having an elevation angle of 45 degrees in its visual field. In order to recognize a moving object approaching in the direction crossing the traveling direction of the vehicle VM1 such as a pedestrian or a vehicle in the vicinity, a signal at a position close to the vehicle VM1, and a near region R1 having an angle of view of 90 degrees or more is photographed. To be done. The object existing in the near region R1 appears larger than the object existing in the distant region R1 in the image obtained by photographing, and the parallax thereof is also large. Therefore, for the near area R1, a distance image with sufficient distance accuracy can be generated by shooting with a wide angle and low resolution.
一方、遠方領域R2には、例えば図7に示すように、車両VM1から50m程度前方の道路上に存在する障害物や100m程度前方に存在する先行車両VM2、走行車線などがその視野に含まれる。遠方領域R2は、車両VM1の走行速度にもよるが、例えば車両VM1から50m〜100m程度の前方の領域とされる。遠方領域R2に存在する対象物は、撮影により得られる画像中では近傍領域R1に存在する対象物よりも小さく写り、その視差も小さい。そのため、遠方領域R2については、十分な距離精度の距離画像を生成するためには、狭角かつ高解像度で撮影する必要がある。 On the other hand, in the distant region R2, as shown in FIG. 7, for example, an obstacle existing on the road about 50 m ahead of the vehicle VM1, a preceding vehicle VM2 about 100 m ahead, the traveling lane, etc. are included in the field of view. . The distant region R2 is, for example, a region in front of the vehicle VM1 which is about 50 m to 100 m, although it depends on the traveling speed of the vehicle VM1. The object existing in the distant area R2 appears smaller than the object existing in the near area R1 in the image obtained by photographing, and the parallax thereof is also small. Therefore, in order to generate a distance image with sufficient distance accuracy, it is necessary to photograph the distant region R2 with a narrow angle and high resolution.
本画像処理装置は、一対のカメラ11、12により、近傍領域R1を広角かつ低解像度で、遠方領域R2を狭角かつ高解像度で撮影することで、一対の解像度非一様画像を生成する。そして、本画像処理装置は、この一対の解像度非一様画像のうち狭角かつ高解像度の領域のデータを用いて、狭角距離画像を生成し、広角かつ低解像度の領域を含む領域のデータを用いて広角距離画像を生成する。そのため、本画像処理装置は、車載用途に適用された場合には、一対のカメラ11、12のみを有する撮像部1を備える構成とされつつも、近傍領域R1および遠方領域R2それぞれに対応する複数の距離画像を同時に生成することができる。 The image processing apparatus generates a pair of resolution non-uniform images by photographing the near region R1 with a wide angle and low resolution and the distant region R2 with a narrow angle and high resolution by the pair of cameras 11 and 12. Then, the image processing apparatus generates a narrow-angle distance image by using the data of the narrow-angle and high-resolution areas of the pair of resolution non-uniform images, and outputs the data of the area including the wide-angle and low-resolution areas. To generate a wide-angle range image. Therefore, when the image processing apparatus is applied to an in-vehicle application, the image processing apparatus is configured to include the image pickup unit 1 having only the pair of cameras 11 and 12, but is not limited to the plurality of areas corresponding to the near area R1 and the far area R2. It is possible to simultaneously generate the distance image of.
本実施形態によれば、一対のカメラ11、12での撮影により得られる解像度非一様画像に基づいて、狭角かつ高解像度の距離画像と広角かつ低解像度の距離画像とを生成することができる画像処理装置となる。つまり、二対以上のカメラを用いることなく、画角および解像度の異なる複数の距離画像を生成することができ、大型化やコスト増加が抑制される構成の画像処理装置となる。 According to the present embodiment, a narrow-angle and high-resolution distance image and a wide-angle and low-resolution distance image can be generated based on the resolution non-uniformity images obtained by the pair of cameras 11 and 12. It becomes an image processing device that can. That is, a plurality of range images having different angles of view and different resolutions can be generated without using two or more pairs of cameras, and the image processing apparatus has a configuration in which increase in size and cost increase are suppressed.
(第2実施形態)
次に、第2実施形態の画像処理装置について、図8を参照して述べる。
(Second embodiment)
Next, the image processing apparatus of the second embodiment will be described with reference to FIG.
本実施形態の画像処理装置は、図示しない任意の物体検知装置と連動しており、その物体検知の結果に基づいて解像度非一様画像から切り出す画角を決定する構成とされている点で上記第1実施形態と相違する。本実施形態では、図8に示すように、物体検知の判定(ステップS110)および任意画像の切り出し(ステップS111)を除き、基本的な処理は上記第1実施形態と共通するため、これらの相違点について主に説明する。 The image processing apparatus according to the present embodiment is linked with an arbitrary object detection apparatus (not shown), and is configured to determine the angle of view to be cut out from the non-uniform resolution image based on the result of the object detection. This is different from the first embodiment. In the present embodiment, as shown in FIG. 8, the basic processing is the same as that of the first embodiment except for the determination of object detection (step S110) and the cutout of an arbitrary image (step S111). The points will be mainly described.
第2実施形態の画像処理装置は、例えば車載用途に適用されると共に、車両に搭載された図示しない任意の物体検知装置と連動して、検知された物体までの距離に対応した任意の画角の距離画像を生成する構成とされる。 The image processing device according to the second embodiment is applied to, for example, an in-vehicle application, and works in conjunction with an arbitrary object detection device (not shown) mounted on a vehicle to operate at an arbitrary angle of view corresponding to the distance to the detected object. Is configured to generate a distance image of.
なお、任意の物体検知装置としては、例えば、ミリ波レーダー、ライダーセンサ、超音波センサなどが挙げられるが、これに限られず、他のセンサなどであってもよい。 The arbitrary object detection device may be, for example, a millimeter wave radar, a lidar sensor, an ultrasonic sensor, or the like, but is not limited to this and may be another sensor or the like.
画角画像処理部5、6は、本実施形態では、画像生成部3、4が生成した一対の解像度非一様画像のうち任意の画角の領域を選択するに際して、任意の物体検知装置による検知結果に応じて任意の画角を適宜選択する。 In the present embodiment, the angle-of-view image processing units 5 and 6 use an arbitrary object detection device when selecting an area with an arbitrary angle of view from the pair of non-uniform resolution images generated by the image generation units 3 and 4. An arbitrary angle of view is appropriately selected according to the detection result.
具体的には、図8に示すように、画角画像処理部5、6は、ステップS102での歪み補正の後、ステップS110での物体検知の判定結果に対応して、その後の切り出し処理における画角を決定する。 Specifically, as shown in FIG. 8, after the distortion correction in step S102, the view angle image processing units 5 and 6 correspond to the determination result of the object detection in step S110 in the subsequent clipping processing. Determine the angle of view.
ステップS110では、外部の物体検知装置は、本実施形態の画像処理装置が搭載された車両などの周囲に存在する物体の検出結果のデータを例えば画像処理部2に伝送する。ステップS110にて、物体が検知されたと判定された場合、すなわちステップS110でYESの場合には、図示しないCPUは、処理をステップS111に進める。 In step S110, the external object detection device transmits, to the image processing unit 2, for example, data of the detection result of the object existing around the vehicle or the like in which the image processing device of the present embodiment is mounted. If it is determined in step S110 that an object has been detected, that is, if YES in step S110, the CPU (not shown) advances the process to step S111.
ステップS111では、画角画像処理部5、6は、歪み補正後の一対の画像のうち検知された物体が存在する位置を特定し、その位置を端部とする切り出し領域となるように画角を設定し、当該画角の一対の画像を生成する。例えば、歪み補正がなされた広角画像や任意の物体検知装置などから、検知された物体の映された角度の情報を予め取得しておき、この角度で映し出される領域を外縁(端部)とする切り出し領域とし、切り出しの画角を設定する。その後、ステップS104にて、ステレオマッチング部7は、ステップS111で生成された任意の画角の一対の画像についてステレオマッチング処理を行う。そして、図示しないCPUは、図8に示すように、ステップS105以降の処理に進める。最終的に、ステップS112では、検知された物体の映された角度に対応した任意の画角で切り出された距離画像が生成される。 In step S111, the angle-of-view image processing units 5 and 6 specify the position where the detected object is present in the pair of images after distortion correction, and set the angle of view so that the position is a cutout region with the end portion. Is set, and a pair of images having the angle of view is generated. For example, information on the angle at which the detected object is projected is acquired in advance from a wide-angle image that has been subjected to distortion correction or an arbitrary object detection device, and the area projected at this angle is taken as the outer edge (edge). Set the angle of view for the cutout area. After that, in step S104, the stereo matching unit 7 performs the stereo matching process on the pair of images having the arbitrary angles of view generated in step S111. Then, the CPU (not shown) proceeds to the processing after step S105 as shown in FIG. Finally, in step S112, a distance image cut out at an arbitrary angle of view corresponding to the reflected angle of the detected object is generated.
なお、ここでいう「検知された物体の映された角度」とは、カメラ11または12の焦点と検知された物体の外郭とを直線で結んだ場合に、当該直線とカメラ11または12の光軸とのなす角度を意味する。例えば、図2を参照して説明すると、検知された物体をX0として、X0の外郭とカメラ11の焦点Aとを直線で結んだ場合、当該直線と撮影面の中心O1とを通る光軸(直線A−O1)とのなす角度が、「検知された物体の映された角度」に該当する。カメラ12の場合、焦点Bと物体X0の外郭とを結ぶ直線と、カメラ12の撮影面の中心O2を通る光軸とのなす角度が、「検知された物体の映された角度」に該当する。 It should be noted that the term “angle of the detected object reflected” as used herein means that when the focus of the camera 11 or 12 and the outline of the detected object are connected by a straight line, the straight line and the light of the camera 11 or 12 are reflected. It means the angle with the axis. For example, referring to FIG. 2, when the detected object is X0 and the outline of X0 and the focal point A of the camera 11 are connected by a straight line, an optical axis (that passes through the straight line and the center O1 of the photographing surface) ( The angle formed by the straight line A-O1) corresponds to the “angle at which the detected object is reflected”. In the case of the camera 12, the angle formed by the straight line connecting the focal point B and the outline of the object X0 and the optical axis passing through the center O2 of the photographing surface of the camera 12 corresponds to the “angle of the detected object reflected”. .
一方、ステップS110にて物体が検知されなかった場合、すなわちステップS110でNOの場合には、図示しないCPUは、図8に示すように、ステップS104以降の処理をスキップし、動作を終了する。 On the other hand, if an object is not detected in step S110, that is, if NO in step S110, the CPU (not shown) skips the processing of step S104 and subsequent steps and ends the operation, as shown in FIG.
本実施形態によれば、上記第1実施形態での効果が得られると共に、物体が検知された場合にその状況に応じて解像度非一様画像のうち切り出し領域の画角を適宜調整することで、必要な画角および解像度の距離画像を生成することができる画像処理装置となる。 According to the present embodiment, the effect of the first embodiment can be obtained, and when an object is detected, the angle of view of the cutout region in the non-uniform resolution image is appropriately adjusted according to the situation. The image processing apparatus can generate a distance image having a required angle of view and resolution.
(第3実施形態)
第3実施形態の画像処理装置について、図9、図10を参照して述べる。
(Third Embodiment)
An image processing apparatus according to the third embodiment will be described with reference to FIGS. 9 and 10.
本実施形態の画像処理装置は、図9に示すように、任意の物体検知装置と連動すると共に、物体が検知された場合に検知された物体との距離算出の処理を行う対象物距離算出部9を備える構成とされている点で上記第1実施形態と相違する。本実施形態では、この相違点について主に説明する。 As shown in FIG. 9, the image processing apparatus according to the present embodiment operates in conjunction with an arbitrary object detection apparatus and, when an object is detected, an object distance calculation unit that performs a process of calculating a distance to the detected object. 9 is different from the first embodiment in that it is configured to include 9. In the present embodiment, this difference will be mainly described.
対象物距離算出部9は、例えば、図9に示すように、外部の物体検知装置に接続され、当該物体検知装置から物体の検知情報を取得すると共に、検知された物体のうち特定の対象物との距離を算出する。対象物距離算出部9は、対象物の距離算出の処理における負荷を低減するため、低解像度の広角画像から高解像度の狭角画像の順に、特定の対象物までの距離算出を行う。 For example, as shown in FIG. 9, the object distance calculation unit 9 is connected to an external object detection device, acquires detection information of the object from the object detection device, and detects a specific object of the detected objects. Calculate the distance to. The object distance calculation unit 9 calculates the distance to a specific object in order from the low-resolution wide-angle image to the high-resolution narrow-angle image in order to reduce the load in the process of calculating the distance to the object.
なお、「特定の対象物」とは、物体検知装置により検出され得る物体であって、本画像処理装置が搭載された車両と衝突するおそれのある物体(例えば、先行車両や歩行者など)を意味する。例えば、先行車両や歩行者など撮像部1による撮影で得られる画像内の視差がゼロもしくはこれに近い背景や遠方に向かうほど視差が小さくなる走行車線などについては、ここでいう特定の対象物には含まれない。 The "specific object" is an object that can be detected by the object detection device, and is an object that may collide with a vehicle equipped with the image processing device (for example, a preceding vehicle or a pedestrian). means. For example, in the case of a preceding vehicle or a pedestrian, a parallax in the image obtained by the imaging unit 1 is zero or close to this, or a driving lane in which the parallax becomes smaller as the distance goes far, Is not included.
〔動作例〕
次に、対象物距離算出部9の具体的な動作例について、図10を参照して説明する。
[Operation example]
Next, a specific operation example of the object distance calculation unit 9 will be described with reference to FIG.
まず、ステップS201では、本実施形態の画像処理装置は、上記第1実施形態の図4、図5で示した動作例と同様の処理を行い、低解像度の広角距離画像と高解像度の狭角距離画像を生成する。 First, in step S201, the image processing apparatus according to the present exemplary embodiment performs the same processing as the operation example illustrated in FIGS. 4 and 5 of the first exemplary embodiment, and performs the low-resolution wide-angle range image and the high-resolution narrow-angle image. Generate a range image.
続いて、ステップS202にて、対象物距離算出部9は、低解像度の広角距離画像の視差をグルーピングする。具体的には、対象物距離算出部9は、広角距離画像をその視差が近い値を持つ領域ごとに分類する。これにより、広角距離画像は、当該距離画像に写された対象の距離ごとに複数の領域に分割される。なお、同じ領域にグループングする視差の値(範囲)については、適宜設定される。その後、図示しないCPUは、処理をステップS203に進める。 Subsequently, in step S202, the object distance calculation unit 9 groups the parallaxes of the low-resolution wide-angle distance images. Specifically, the object distance calculation unit 9 classifies the wide-angle distance image into each area having a value having a close parallax. As a result, the wide-angle range image is divided into a plurality of regions for each target distance captured in the range image. Note that the parallax value (range) for grouping in the same area is set appropriately. After that, the CPU (not shown) advances the process to step S203.
ステップS203では、外部の物体検知装置は、本実施形態の画像処理装置が搭載された車両などの周囲に存在する物体の検出結果のデータを例えば対象物距離算出部9に伝送する。そして、図示しないCPUは、ステップS203にて、特定の対象物がないと判定された場合、すなわちステップS203でNOの場合には、処理を終了する。一方、ステップS203にて、特定の対象物があると判定された場合、すなわちステップS203でYESの場合には、図示しないCPUは、処理をステップS204に進める。 In step S203, the external object detection device transmits the data of the detection result of the object existing around the vehicle such as the vehicle equipped with the image processing device of the present embodiment to the object distance calculation unit 9, for example. Then, the CPU (not shown) ends the process when it is determined in step S203 that there is no specific object, that is, when the determination in step S203 is NO. On the other hand, if it is determined in step S203 that there is a specific object, that is, if YES in step S203, the CPU (not shown) advances the process to step S204.
ステップS204では、対象物距離算出部9は、検出された特定の対象物が狭角距離画像内にあるか否かについて判定を行う。ステップS204にて、検出された特定の対象物が狭角距離画像内にないと判定された場合、すなわちステップS204でNOの場合には、図示しないCPUは、処理をステップS205に進める。 In step S204, the object distance calculation unit 9 determines whether or not the detected specific object is within the narrow-angle distance image. If it is determined in step S204 that the detected specific object is not within the narrow-angle distance image, that is, if NO in step S204, the CPU (not shown) advances the process to step S205.
ステップS205では、対象物距離算出部9は、広角距離画像に写されている特定の対象物を検索し、ステップS202にてグルーピングした領域のうち特定の対象物を写している領域の視差情報に基づいて、当該対象物の距離を算出する。このとき、グルーピングした領域を構成する複数の画素の視差を平均したものを用いることで、より高精度で特定の対象物までの距離を算出することができる。ステップS205の処理後、図示しないCPUは、処理を終了する。 In step S205, the object distance calculation unit 9 searches for the specific object captured in the wide-angle distance image, and uses the parallax information of the region in which the specific object is captured in the regions grouped in step S202. Based on this, the distance of the object is calculated. At this time, by using an average of parallaxes of a plurality of pixels forming the grouped area, it is possible to calculate the distance to the specific target object with higher accuracy. After the processing of step S205, the CPU (not shown) ends the processing.
一方、ステップS204にて、検出された特定の対象物が狭角距離画像内にあると判定された場合、すなわちステップS204でYESの場合には、図示しないCPUは、処理をステップS206に進める。 On the other hand, if it is determined in step S204 that the detected specific object is within the narrow-angle distance image, that is, if YES in step S204, the CPU (not shown) advances the process to step S206.
ステップS206では、対象物距離算出部9は、ステップS202と同様に、ステップS201で生成した高解像度の狭角距離画像の視差をグルーピングする。これにより、狭角距離画像は、当該距離画像に写された対象の距離ごとに複数の領域に分割される。その後、図示しないCPUは、処理をステップS207に進める。 In step S206, the object distance calculation unit 9 groups the parallaxes of the high-resolution narrow-angle distance images generated in step S201, as in step S202. As a result, the narrow-angle range image is divided into a plurality of regions for each target distance shown in the range image. After that, the CPU (not shown) advances the process to step S207.
ステップS207では、対象物距離算出部9は、狭角距離画像に写されている特定の対象物を検索し、ステップS206にてグルーピングした領域のうち特定の対象物を写している領域の視差情報に基づいて、当該対象物の距離を算出する。ステップS207の処理後、図示しないCPUは、処理を終了する。 In step S207, the object distance calculation unit 9 searches for a specific object imaged in the narrow-angle distance image, and disparity information of a region in which the specific object object is captured among the regions grouped in step S206. Based on, the distance of the target object is calculated. After the processing of step S207, the CPU (not shown) ends the processing.
以上が、対象物距離算出部9の動作例である。つまり、対象物距離算出部9は、検知された特定の対象物との距離を算出するに際して、広角距離画像について視差が近い値を持つ領域ごとにグルーピングをすると共に、必要に応じて狭角距離画像についても同様の処理を実行する。言い換えると、対象物距離算出部9は、低解像度の広角距離画像から優先的にグルーピングし、高解像度の狭角距離画像でのグルーピングやこれに基づく距離算出を省略し得る。そのため、特定の対象物が検知された場合に、距離算出の処理における負荷を低減することができる画像処理装置となる。 The above is an example of the operation of the object distance calculation unit 9. That is, when calculating the distance to the detected specific object, the object distance calculation unit 9 performs grouping for each area having a close parallax value with respect to the wide-angle distance image and, if necessary, the narrow-angle distance. Similar processing is executed for the image. In other words, the object distance calculation unit 9 may preferentially group the low-resolution wide-angle distance images and omit the grouping in the high-resolution narrow-angle distance images and the distance calculation based on the grouping. Therefore, when a specific object is detected, the image processing apparatus can reduce the load in the distance calculation process.
本実施形態によれば、上記第1実施形態での効果に加えて、特定の対象物が検知された場合に当該対象物の距離算出の負荷が低減される画像処理装置となる。 According to the present embodiment, in addition to the effects of the first embodiment, the image processing apparatus can reduce the load of distance calculation of a specific object when the specific object is detected.
(他の実施形態)
なお、上記した各実施形態に示した画像処理装置は、本発明の画像処理装置の一例を示したものであり、上記の各実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。
(Other embodiments)
The image processing apparatus shown in each of the above-described embodiments is an example of the image processing apparatus of the present invention, and is not limited to each of the above-described embodiments, but is described in the claims. It can be changed appropriately within the range.
(1)例えば、上記第1実施形態では、カメラ11、12を構成するレンズおよび撮像素子の一例として、広角中心窩レンズと通常の撮像素子との組み合わせについて説明した。しかしながら、カメラ11、12は、解像度非一様画像を生成するための画像信号を出力する構成とされていればよく、レンズおよび撮像素子が他の組み合わせであってもよい。 (1) For example, in the above-described first embodiment, a combination of a wide-angle fovea lens and a normal image pickup element has been described as an example of the lenses and the image pickup elements forming the cameras 11 and 12. However, it suffices that the cameras 11 and 12 be configured to output an image signal for generating a non-uniform resolution image, and the lens and the image pickup element may be another combination.
具体的には、レンズが通常の広角レンズとされた場合、撮像素子は、一部の領域が高解像度、かつ当該一部の領域の周囲が低解像度となる特殊な構成の撮像素子とされればよい。また、レンズが通常の広角レンズとされた場合、撮像素子をその全域が高解像度となる構成(高画素撮像素子)とし、かつ撮像素子のうち中心窩に相当する領域と異なる領域からの画像信号を減らすダウンサンプリングを施してもよい。これらの組み合わせであっても、解像度非一様画像を生成することができ、一対のカメラ11、12により得られる一対の画像から解像度および画角の異なる複数の距離画像を生成できる画像処理装置となる。 Specifically, when the lens is a normal wide-angle lens, the image sensor is a special configuration image sensor in which a part of the region has high resolution and the periphery of the part has low resolution. Good. Further, when the lens is a normal wide-angle lens, the image sensor is configured to have high resolution over the entire area (high-pixel image sensor), and an image signal from an area different from the area corresponding to the fovea of the image sensor. May be down-sampled. An image processing apparatus capable of generating a non-uniform resolution image even with these combinations and capable of generating a plurality of range images having different resolutions and angles of view from a pair of images obtained by the pair of cameras 11 and 12. Become.
なお、広角レンズと高画素撮像素子とにより得られた画像からダウンサンプリングする場合には、解像度非一様画像は、上記第1実施形態での例に限られず、中心部と異なる部分に近い領域ほど高解像度とされ、当該領域から離れるほど低解像度とされた画像であってもよい。 When down-sampling from an image obtained by the wide-angle lens and the high-pixel image sensor, the non-uniform resolution image is not limited to the example of the first embodiment, and a region close to a portion different from the central portion. The image may have a higher resolution and a lower resolution as the distance from the area increases.
(2)上記各実施形態では、一対のカメラ11、12での撮影により得られた一対の画像から複数の距離画像を生成する例について説明したが、当該一対の画像は、単独(1つ)のカメラ11での撮影により得られたものであってもよい。具体的には、1つのカメラ11を移動させて、同一対象を異なる位置から撮影することで一対の画像を生成し、この一対の画像に基づいて複数の距離画像を生成してもよい。言い換えると、「一対のカメラ11、12」とは、物理的に2つのカメラで構成されたステレオカメラであってもよいし、物理的に1つのカメラによりなるモーションカメラであってもよい。 (2) In each of the above embodiments, an example in which a plurality of distance images are generated from a pair of images obtained by shooting with the pair of cameras 11 and 12 has been described, but the pair of images is independent (one). It may be obtained by photographing with the camera 11. Specifically, one camera 11 may be moved to capture the same target from different positions to generate a pair of images, and a plurality of distance images may be generated based on the pair of images. In other words, the "pair of cameras 11 and 12" may be a stereo camera physically composed of two cameras or a motion camera physically composed of one camera.
(3)上記各実施形態では、一対のカメラ11、12により同一タイミングでの撮影により得られた一対の画像に基づいて、複数の距離画像を生成する例について説明したが、これに限定されるものではない。 (3) In each of the above embodiments, an example in which a plurality of distance images are generated based on a pair of images obtained by the pair of cameras 11 and 12 at the same timing has been described, but the present invention is not limited to this. Not a thing.
具体的には、一対のカメラ11、12で異なるタイミングで撮影することにより得られた一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成してもよい。例えば、車両などの移動体に当該画像処理装置が搭載されている場合、当該移動体が移動している際に、一対のカメラ11、12により異なるタイミングで同一対象を撮影し、撮影タイミングの異なる一対の画像に基づき、複数の距離画像を生成することもできる。つまり、上記各実施形態では、物体の映された角度が時々刻々と変化する場合には、一対のカメラ11、12での撮影タイミングが異なる一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成してもよい。 Specifically, a plurality of distance images having different angles of view and different resolutions may be generated based on a pair of images obtained by shooting with a pair of cameras 11 and 12 at different timings. For example, when the image processing apparatus is mounted on a moving body such as a vehicle, the pair of cameras 11 and 12 shoot the same target at different timings when the moving body is moving, and the shooting timings are different. It is also possible to generate a plurality of range images based on the pair of images. That is, in each of the above-described embodiments, when the angle at which the object is reflected changes from moment to moment, a plurality of images having different angles of view and different resolutions are obtained based on the pair of images with different photographing timings by the pair of cameras 11 and 12. May be generated.
1 撮像部
11、12 カメラ
2 画像処理部
3、4 画像生成部
5、6 画角画像処理部
7 ステレオマッチング部
8 距離画像生成部
1 Imaging Unit 11, 12 Camera 2 Image Processing Unit 3, 4 Image Generation Unit 5, 6 Angle of View Image Processing Unit 7 Stereo Matching Unit 8 Distance Image Generation Unit
Claims (7)
前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部(7)と、
前記一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部(8)と、を備え、
前記一対の画像は、第1領域と前記第1領域に隣接する第2領域とを有し、前記第1領域が前記第2領域よりも狭角かつ高解像度とされた解像度非一様画像である、画像処理装置。 An imaging unit (1) having a pair of cameras (11, 12) directed to the same target;
A stereo matching unit (7) for performing stereo matching on a pair of images showing the same object obtained by photographing with the pair of cameras;
A distance image generation unit (8) for generating a plurality of distance images having different resolutions and angles of view based on the pair of images;
The pair of images have a first region and a second region adjacent to the first region, and the first region is a non-uniform resolution image with a narrower angle and higher resolution than the second region. An image processing device.
同一対象に向けられた一対のカメラ(11、12)を有してなる撮像部(1)と、
前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部(7)と、
前記一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部(8)と、を備え、
前記一対の画像は、第1領域と前記第1領域に隣接する第2領域とを有し、前記第1領域が前記第2領域よりも狭い視野角かつ高解像度とされた解像度非一様画像であり、
前記距離画像生成部は、前記一対の画像のうち前記第1領域のデータに基づいて前記車両の遠方かつ狭い視野角の領域を高解像度で写した狭角距離画像と、前記第2領域のデータに基づいて前記車両の近傍かつ広い視野角の領域を低解像度で写した広角距離画像と、を生成する、画像処理装置。 An on-vehicle image processing device mounted on a vehicle (VM1) for photographing the surroundings of the vehicle,
An imaging unit (1) having a pair of cameras (11, 12) directed to the same target;
A stereo matching unit (7) for performing stereo matching on a pair of images showing the same object obtained by photographing with the pair of cameras;
A distance image generation unit (8) for generating a plurality of distance images having different resolutions and angles of view based on the pair of images;
The pair of images has a first region and a second region adjacent to the first region, and the first region has a narrower viewing angle than the second region and a high resolution non-uniform image. And
The distance image generation unit includes a narrow-angle distance image in which a region having a wide viewing angle and a narrow viewing angle of the vehicle is captured with high resolution based on the data of the first region in the pair of images, and the data of the second region. And a wide-angle range image in which a region near the vehicle and having a wide viewing angle is photographed at low resolution based on the above.
前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像のうち所定の画角の領域を切り出し、当該所定の画角の領域を写した画像である特定画角画像を生成する画角画像処理部(5、6)と、
一対の前記特定画角画像についてステレオマッチングを行うステレオマッチング部(7)と、
一対の前記特定画角画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部(8)と、を備え、
前記一対の画像は、第1領域と前記第1領域に隣接する第2領域とを有し、前記第1領域が前記第2領域よりも高解像度とされた解像度非一様画像である、画像処理装置。 An imaging unit (1) having a pair of cameras (11, 12) directed to the same target;
A region with a predetermined angle of view is cut out from the pair of images obtained by photographing with the pair of cameras, and a specific angle-of-view image that is an image of the region with the predetermined angle of view is generated. Angle-of-view image processing unit (5, 6),
A stereo matching unit (7) for performing stereo matching on the pair of specific angle-of-view images;
A distance image generation unit (8) for generating a plurality of distance images having different resolutions and angles of view based on the pair of specific angle-of-view images;
The pair of images has a first region and a second region adjacent to the first region, and the first region is a non-uniform resolution image in which the resolution is higher than that of the second region. Processing equipment.
前記対象物距離算出部は、前記複数の距離画像のうち画角が広い前記距離画像から画角が狭い前記距離画像の順に前記特定の対象物を検索し、前記特定の対象物が写された前記距離画像を用いて、前記特定の対象物の距離を算出する、請求項1ないし6のいずれか1つに記載の画像処理装置。 An object distance calculation unit (9) for calculating a distance of the specific object from the camera when a specific object is detected within a range captured by the camera,
The target object distance calculation unit searches for the specific target object in the order of the range image having a narrow field angle from the range image having a wide field angle among the plurality of range images, and the specific target object is copied. The image processing apparatus according to claim 1, wherein the distance image is used to calculate the distance of the specific object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196966A JP7253693B2 (en) | 2018-10-18 | 2018-10-18 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196966A JP7253693B2 (en) | 2018-10-18 | 2018-10-18 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020064526A true JP2020064526A (en) | 2020-04-23 |
JP7253693B2 JP7253693B2 (en) | 2023-04-07 |
Family
ID=70387334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018196966A Active JP7253693B2 (en) | 2018-10-18 | 2018-10-18 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7253693B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
JP2016207030A (en) * | 2015-04-24 | 2016-12-08 | 日立オートモティブシステムズ株式会社 | Picture processing apparatus |
JP2017067535A (en) * | 2015-09-29 | 2017-04-06 | 日立オートモティブシステムズ株式会社 | Periphery recognition device |
-
2018
- 2018-10-18 JP JP2018196966A patent/JP7253693B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006121088A1 (en) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | Image processing device, image processing method, and image processing program |
JP2016207030A (en) * | 2015-04-24 | 2016-12-08 | 日立オートモティブシステムズ株式会社 | Picture processing apparatus |
JP2017067535A (en) * | 2015-09-29 | 2017-04-06 | 日立オートモティブシステムズ株式会社 | Periphery recognition device |
Also Published As
Publication number | Publication date |
---|---|
JP7253693B2 (en) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107615749B (en) | Signal processing apparatus and imaging apparatus | |
US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
JP5953824B2 (en) | Vehicle rear view support apparatus and vehicle rear view support method | |
WO2014073322A1 (en) | Object detection device and object detection method | |
JP2018179911A (en) | Range-finding device, distance information acquisition method | |
JP5760559B2 (en) | Stereo camera device and parallax image generation method | |
KR20170014168A (en) | Camera device for vehicle | |
JP2020501423A (en) | Camera means and method for performing context-dependent acquisition of a surrounding area of a vehicle | |
CN107122770B (en) | Multi-camera system, intelligent driving system, automobile, method and storage medium | |
US10992920B2 (en) | Stereo image processing device | |
JP2017027279A (en) | Article detection apparatus and article detection method | |
JP2008298533A (en) | Obstruction measurement method, device, and system | |
JP2004258266A (en) | Stereoscopic adapter and distance image input device using the same | |
US20140055572A1 (en) | Image processing apparatus for a vehicle | |
JP5455033B2 (en) | Distance image input device and outside monitoring device | |
JP2018526873A (en) | Vehicle-mounted camera means for photographing the periphery of the vehicle, and driver assistant device for object recognition provided with such vehicle-mounted camera means | |
WO2020022021A1 (en) | Distance calculation device | |
JP2006322795A (en) | Image processing device, image processing method and image processing program | |
JP2013161190A (en) | Object recognition device | |
JP2020194000A (en) | Imaging device | |
JP2014130429A (en) | Photographing device and three-dimensional object area detection program | |
TWM568376U (en) | Multiple camera module adapted to autonomous driving and multiple camera module adapted to an electronic device | |
JP6983740B2 (en) | Stereo camera system and distance measurement method | |
JP2018195951A (en) | Imaging system and mobile control system | |
JP7180177B2 (en) | STEREO CAMERA SYSTEM, MOVING OBJECT AND METHOD OF FORMING STEREO CAMERA DEVICE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7253693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |