JP2010074706A - Camera system and camera control method - Google Patents
Camera system and camera control method Download PDFInfo
- Publication number
- JP2010074706A JP2010074706A JP2008242126A JP2008242126A JP2010074706A JP 2010074706 A JP2010074706 A JP 2010074706A JP 2008242126 A JP2008242126 A JP 2008242126A JP 2008242126 A JP2008242126 A JP 2008242126A JP 2010074706 A JP2010074706 A JP 2010074706A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- camera
- moving image
- free
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Lenses (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、カメラを制御するカメラシステムおよびカメラ制御方法に関し、特に、複数のプリズムで光路が制御された異なる方向からの各被写体像を単一の撮像素子で結像したカメラを制御するカメラシステムおよびカメラ制御方法に関する。 The present invention relates to a camera system and a camera control method for controlling a camera, and in particular, a camera system for controlling a camera in which respective subject images from different directions whose optical paths are controlled by a plurality of prisms are formed by a single image sensor. And a camera control method.
近年、車載センサーとしてのカメラや、車両の前方、後方、両サイドを撮像するためのカメラ等、カメラを使用する場面が増えてきている。
このようなカメラに用いられる従来の撮影光学ユニットとしては、撮像レンズの前方にプリズムを配置し、このプリズムより入射された光を結像レンズに通して単一の撮像素子の撮像面で結像させることによって、複数の視野を同時に映し出す構造の車載カメラユニットが知られている（例えば、特許文献１参照。）。
In recent years, there are an increasing number of scenes where a camera is used, such as a camera as an in-vehicle sensor, a camera for imaging the front, rear, and both sides of a vehicle.
As a conventional photographic optical unit used in such a camera, a prism is arranged in front of an imaging lens, and light incident from this prism is passed through an imaging lens to form an image on the imaging surface of a single imaging device. By doing so, an in-vehicle camera unit having a structure for projecting a plurality of fields of view simultaneously is known (see, for example, Patent Document 1).
しかしながら、特許文献１のような撮影光学ユニットを用いた場合、プリズムと撮像素子との間に配される撮像レンズが複合レンズとして構成されており、ホルダ内に内包されて１つのレンズに組み立てられているため、該プリズムの入射位置と撮像素子の受光面との間を、その構造上短縮することが困難であり、したがって撮影光学ユニットそのもののサイズの小型化が困難である。 However, when the photographing optical unit as in Patent Document 1 is used, the imaging lens disposed between the prism and the imaging element is configured as a compound lens, and is enclosed in a holder and assembled into one lens. For this reason, it is difficult to shorten the space between the incident position of the prism and the light receiving surface of the image sensor, and therefore it is difficult to reduce the size of the photographing optical unit itself.
また、従来のこの種の撮影光学ユニットでは、２００度程度の画角を持つ魚眼レンズを使用し、必要な画角を切り取り歪補正後に運転者に画像の情報を提供する方法がある（例えば、特許文献２参照。）が、このような撮影光学ユニットを用いた場合も、同様にレンズ構造上短縮するのが困難で撮影光学ユニットそのもののサイズの小型化が困難である。また、魚眼レンズ故に視認性の低い画像しかえられず、歪補正を行うとしても周辺の情報不足により実態とはかけ離れた画像が見えていた。 In addition, in this type of conventional imaging optical unit, there is a method of using a fisheye lens having an angle of view of about 200 degrees, cutting out the required angle of view, and providing image information to the driver after distortion correction (for example, patents). However, when such a photographing optical unit is used, it is difficult to shorten the lens structure, and it is difficult to reduce the size of the photographing optical unit itself. Also, because of the fish-eye lens, only an image with low visibility was obtained, and even if distortion correction was performed, an image far from the actual situation was seen due to lack of surrounding information.
他方、車間距離センサーとしては、レーザやミリ波といった手法を用いてのシステムが使用されている。これらのシステムは、カメラを２個使用してのステレオによる手法も利用されている。このようなシステムの場合、３次元で環境認識ができるため、車両だけでなく歩行者や障害物、車線、道路形状も把握可能となっている（例えば、特許文献３参照。）。 On the other hand, as an inter-vehicle distance sensor, a system using a technique such as laser or millimeter wave is used. These systems also use a stereo method using two cameras. In the case of such a system, since environment recognition can be performed in three dimensions, not only vehicles but also pedestrians, obstacles, lanes, and road shapes can be grasped (see, for example, Patent Document 3).
ところが、このようなステレオカメラ部においては、２個の撮像素子を使用するため、それぞれにレンズ群が必要であり、ステレオ光学系を小型軽量に構成することが難しく、コストがかかってしまう。
しかしながら、従来のステレオ撮影光学ユニットは、小型化が困難である上、視認性に優れていない画像しか表示できない、という問題点があった。
本発明は、上述のような実状に鑑みたものであり、複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよびカメラ制御方法と小型軽量に構成したステレオ測距画像の入力装置を提供することを目的とする。
However, the conventional stereo photographing optical unit has a problem that it is difficult to miniaturize and that only an image having poor visibility can be displayed.
The present invention has been made in view of the above-described circumstances, and has a wide range of images with a large angle of view and small distortion obtained by using a plurality of free-form surface prisms and a single image sensor. An object of the present invention is to provide a camera system and a camera control method for displaying the image on the display device as an image that is easy for the user to see, and a stereo distance measuring image input device configured in a small and lightweight manner.
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のカメラシステムは、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、前記像分割手段によって分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する距離算出手段とを備え、前記各自由プリズムが、前記複数の方向のうち、少なくとも２つの方向は略同方向であり、その僅かな方向のズレによりステレオ画像として結像することが可能であることを特徴とする。
The present invention employs the following configuration in order to solve the above problems.
That is, according to one aspect of the present invention, the camera system of the present invention includes a single image sensor that converts an object image into an electrical signal at a predetermined period and a plurality of free-form surface prisms, and a plurality of different directions. An optical system that forms an image of the subject from each of the subject images on a predetermined region on the image sensor by each free-form surface prism, and a moving image generator that generates a first moving image based on an electrical signal output from the image sensor Means, image dividing means for dividing the first moving image generated by the moving image generating means into partial images corresponding to the respective regions, and the partial images divided by the image dividing means in a predetermined arrangement The image synthesizing unit for synthesizing the second moving image with the image synthesizing unit, the display control unit for displaying the second moving image synthesized by the image synthesizing unit on the display device, and the image dividing unit. Distance calculating means for calculating a distance to a subject common to the two partial images based on at least two partial images, wherein each free prism has at least two directions among the plurality of directions. Are substantially in the same direction, and can be formed as a stereo image by a slight shift in the direction.
また、本発明のカメラシステムは、前記光学系が、被写体に対して前記撮像素子の直前に配置されていることが望ましい。
また、本発明のカメラシステムは、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることが望ましい。
In the camera system of the present invention, it is preferable that the optical system is disposed immediately before the image sensor with respect to a subject.
In the camera system of the present invention, it is desirable that the free-form surface prisms are arranged so that the regions do not overlap.
また、本発明のカメラシステムは、ステレオカメラ部とカメラ制御部を備え、前記ステレオカメラ部が、前記撮像素子と前記光学系を有し、前記カメラ制御部が、前記動画像生成手段と前記像分割手段と前記像合成手段と前記表示制御手段と前記距離算出手段とを有することが望ましい。 The camera system of the present invention includes a stereo camera unit and a camera control unit, the stereo camera unit includes the imaging element and the optical system, and the camera control unit includes the moving image generation unit and the image. It is desirable to have a dividing means, the image composition means, the display control means, and the distance calculation means.
また、本発明のカメラシステムは、前記ステレオカメラ部が、車両の外部を撮像するように前記車両に配置されていることが望ましい。
また、本発明のカメラシステムは、前記２つの方向が、前記車両の前方方向または後方方向であることが望ましい。
In the camera system of the present invention, it is preferable that the stereo camera unit is disposed in the vehicle so as to capture the outside of the vehicle.
In the camera system of the present invention, it is desirable that the two directions are a front direction or a rear direction of the vehicle.
また、本発明の一態様によれば、本発明のカメラ制御方法は、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備えるステレオカメラを制御するカメラ制御方法である。そして、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された前記部分画像を所定の配置で第２の動画像に合成し、前記合成された前記第２の動画像を表示装置に表示させ、前記分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出することを特徴とする。 Further, according to one aspect of the present invention, the camera control method of the present invention includes a single image sensor that converts a subject image into an electrical signal at a predetermined period and a plurality of free-form surface prisms. This is a camera control method for controlling a stereo camera including an optical system that forms a subject image from a direction on a predetermined region on the image sensor by each free-form curved prism. Then, a first moving image is generated based on the electrical signal output from the imaging device, the generated first moving image is divided into partial images corresponding to the respective regions, and the divided A partial image is combined with a second moving image in a predetermined arrangement, the combined second moving image is displayed on a display device, and the two portions are based on the at least two divided partial images. It is characterized in that a distance to a subject common in the image is calculated.
本発明によれば、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、使用者にとって見やすい画像として表示装置に表示させることが可能となる。
また、小型軽量に構成したステレオ測距画像の入力装置を提供できる。
According to the present invention, it is possible to display a wide range of images with a large angle of view and a small distortion on the display device as images that are easy for the user to see.
Further, it is possible to provide a stereo ranging image input device that is small and lightweight.
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、撮影光学ユニットの外観を表す図（その１）であり、図２は、撮影光学ユニットの外観を表す図（その２）であり、図３は、図１および図２に示した撮影光学ユニットの分解状態を示した図であり、図４は、図１におけるＡ−Ａ断面を示した図であり、図５は、フレーム部分の外観を表す図（その１）であり、図６は、フレーム部分の外観を表す図（その２）である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram (part 1) showing the appearance of the photographing optical unit, FIG. 2 is a diagram (part 2) showing the appearance of the photographing optical unit, and FIG. 3 is shown in FIG. 1 and FIG. FIG. 4 is a diagram illustrating a disassembled state of the photographing optical unit, FIG. 4 is a diagram illustrating an AA cross section in FIG. 1, and FIG. 5 is a diagram (part 1) illustrating an appearance of a frame portion. FIG. 6 is a diagram (part 2) illustrating the appearance of the frame portion.
フレーム１は、複数個の自由曲面プリズム４、５、６、２２を組み入れるためのものである（図３参照）。このフレーム１には、長手方向の中央部分に天面壁１ａから底面壁１ｂに向けて貫通孔ｈが形成されており、天面壁１ａ、底面壁１ｂの両側に位置する傾斜側壁１ｃ、１ｄには該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ4が設けられている。そして、該区画凹所ｅ1〜ｅ4の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ8が形成されている（図３参照）。 The frame 1 is for incorporating a plurality of free-form curved prisms 4, 5, 6, and 22 (see FIG. 3). A through hole h is formed in the frame 1 at the center in the longitudinal direction from the top wall 1a to the bottom wall 1b. The inclined sidewalls 1c and 1d located on both sides of the top wall 1a and the bottom wall 1b Partition recesses e 1 to e 4 that are notched so as to communicate with the through hole h are provided. Then, in the position facing the bottom of the compartment recesses e 1 to e 4, the seat t 1 ~t 8 becomes 2 Tsude pair is formed (see FIG. 3).
また、ホルダ２は、前記フレーム１を載置するためのものであり、カバー体３は、このホルダ２に合わさって自由曲面プリズム４、５、６、２２をフレーム１とともに内側に収納するためのものである。カバー体３には、自由曲面プリズム４、５、６、２２の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって着脱自在に固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６、２２の性能（撮影できる視野の範囲）や絞りに応じて設定される。 The holder 2 is for mounting the frame 1, and the cover body 3 is for fitting the free curved prisms 4, 5, 6, 22 together with the frame 1 inside the cover 1. Is. The cover body 3 is provided with window holes 3a to 3c that open on the first surfaces (incident surfaces) of the free-form curved prisms 4, 5, 6, and 22, and is detachably fixed to the frame 1 by screws or adhesion. Is done. A cover glass or the like is appropriately provided in the window holes 3a to 3c of the cover body 3 in order to prevent intrusion of foreign matter. It is set according to the field of view that can be taken) and the aperture.
また、自由曲面プリズム４（以下、第1の光学素子ということもある。）は、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1：６０度の範囲で撮影を可能とした自由曲面のプリズムである（図３、図４、図８参照）。 The free-form surface prism 4 (hereinafter also referred to as the first optical element) has an angle from the left side of the field of view to the front side from the side (the outer surface of the window hole 3c, which is a recess formed in the cover body 3). θ 1 : A free-form surface prism that enables photographing within a range of 60 degrees (see FIGS. 3, 4, and 8).
自由曲面プリズム（以下、第２の光学素子ということもあり、外観形状は自由曲面プリズム４と同じ。）５は、第１の光学素子４と同様の自由曲面のプリズムである（図３参照）。この第２の光学素子５は、入射面である第１面を第１の光学素子４とは正反対に指向させて貫通孔ｈに並列に配置されるものであり、右側の視野を真横から前方に向かって角度θ2：６０度の範囲で撮影することが可能になっている。ここで、正反転に配置するとは、具体的に図３に示したように、第１の光学素子４に対し撮像素子１５へ向かう軸上主光線の周りで１８０度回転させて相互に平行となる配置をいう。 A free-form surface prism (hereinafter also referred to as a second optical element, and the external shape is the same as the free-form surface prism 4) 5 is a free-form surface prism similar to the first optical element 4 (see FIG. 3). . The second optical element 5 is arranged in parallel with the through-hole h with the first surface, which is the incident surface, directed in the opposite direction to the first optical element 4, and the right field of view is frontward from the side. It is possible to take an image in the range of angle θ 2 : 60 degrees toward. Here, the arrangement in the normal inversion means that, as specifically shown in FIG. 3, the first optical element 4 is rotated by 180 degrees around the axial principal ray toward the image pickup element 15 and parallel to each other. The arrangement which becomes.
また、自由曲面プリズム（以下、第３の光学素子ということもある。）６は、第１の光学素子４、第２の光学素子５と同様の構成になる自由曲面のプリズムである（図３参照）。この第３の光学素子６は、第２の光学素子５とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には三角柱状あるいは台形状等にて形成された前段プリズム７が配置されている（図１〜４参照）。 A free-form surface prism (hereinafter also referred to as a third optical element) 6 is a free-form surface prism having the same configuration as the first optical element 4 and the second optical element 5 (FIG. 3). reference). The third optical element 6 is arranged in parallel to the through hole h with the first surface 6a, which is the incident surface, facing the second optical element 5 in the opposite direction (see FIG. 3). A first stage prism 7 formed in a triangular prism shape or a trapezoidal shape or the like is disposed on the entrance side of the first surface 6a (see FIGS. 1 to 4).
前段プリズム７より入射された光は、第３の光学素子６を経て撮像素子１５において結像される。すなわち、該第３の光学素子６は、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ3：６０度の範囲における視野（前方視野）の撮影を可能としている。 The light incident from the front stage prism 7 passes through the third optical element 6 and forms an image on the imaging element 15. That is, the third optical element 6 can photograph a field of view (front field of view) in a range of 30 degrees to the right side and the left side with respect to the straight front and a total angle θ 3 : 60 degrees.
また、自由曲面プリズム（以下、第４の光学素子ということもある。）２２は、第１の光学素子４、第２の光学素子５、第３の光学素子６と同様の構成になる自由曲面のプリズムである（図３参照）。この第４の光学素子２２は、第３の光学素子６とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には、前段プリズム７と同様の三角柱状あるいは台形状等にて形成された前段プリズム２１が対称の位置に配置されている（図１〜４参照）。 A free-form surface prism (hereinafter sometimes referred to as a fourth optical element) 22 is a free-form surface that has the same configuration as the first optical element 4, the second optical element 5, and the third optical element 6. (See FIG. 3). The fourth optical element 22 is arranged in parallel with the through hole h with the first surface 6a, which is the incident surface, facing the third optical element 22 in the opposite direction (see FIG. 3). On the entrance side of the first surface 6a, a pre-stage prism 21 formed in a triangular prism shape or a trapezoidal shape similar to the pre-stage prism 7 is disposed at a symmetrical position (see FIGS. 1 to 4).
前段プリズム２１より入射された光は、第４の光学素子２２を経て撮像素子１５において結像される。すなわち、該第４の光学素子２２は、第３の光学素子６と同様、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ4：６０度の範囲における視野（前方視野）の撮影を可能としている。 The light incident from the front prism 21 is imaged on the image sensor 15 via the fourth optical element 22. That is, the fourth optical element 22, like the third optical element 6, captures a field of view (front field of view) in the range of 30 degrees to the right and left with respect to the straight front, and a total angle θ 4 : 60 degrees. Is possible.
ただし、第３の光学素子６と第４の光学素子２２とは、後述するように視野が僅かにずれている。
さらに、弾性舌片８（８ａ〜８ｄ）は、フレーム１の天面壁１ａにねじ止めあるいは接着により設けられ、第１〜３の光学素子４〜６の上端に弾性接触してフレーム１に強固に固定保持する弾性舌片である（図３〜６参照）。この弾性舌片８は、片持ち支持になる板ばね等を例として示してあり、その先端にはシリコンゴムの如き緩衝部材９（９ａ〜９ｄ）が設けられている。
However, the visual field of the third optical element 6 and the fourth optical element 22 is slightly shifted as will be described later.
Further, the elastic tongue 8 (8a to 8d) is provided on the top wall 1a of the frame 1 by screwing or bonding, and elastically contacts the upper ends of the first to third optical elements 4 to 6 so as to be firmly attached to the frame 1. It is the elastic tongue piece fixedly held (refer FIGS. 3-6). This elastic tongue piece 8 is shown as an example of a leaf spring or the like that is cantilevered, and a buffer member 9 (9a to 9d) such as silicon rubber is provided at the tip.
撮像素子１５の下側には基板（フレキシブルプリント基板等）１７を介して放熱板１８が設けられ、該撮像素子１５の上には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するよう配置されている（パッケージ化されている）。撮像素子１５は、シリコンシート等の絶縁部材を配置することにより、基板１７、放熱板１８とは適宜絶縁処理がなされている。 A heat radiating plate 18 is provided below the image sensor 15 via a substrate (flexible printed circuit board or the like) 17, and a protective plate 19 (glass or the like) is provided on the image sensor 15. The substrate 17, the heat radiating plate 18, and the protection plate 19 are arranged (packaged) so as to correspond to the through hole h of the frame 1 in the through opening of the holder 2 together with the imaging element 15. The imaging element 15 is appropriately insulated from the substrate 17 and the heat radiating plate 18 by disposing an insulating member such as a silicon sheet.
上記のような構成の撮影光学ユニットにおいては、第１の光学素子４を通して出射された光が右側６０度の視野として撮像素子１５において結像され、第２の光学素子５を通して出射された光が左側６０度の視野として撮像素子１５において並列に結像され、さらに、前段プリズム７及び第３の光学素子６と、前段プリズム２１及び第４の光学素子２２とを通して出射された光が前方６０度の視野として撮像素子１５において並列に結像される。すなわち、単一の撮像素子１５において４つの視野が並列に結像される。このような構成の撮影光学ユニットにおいては、右側から左側、あるいは左側から右側にわたる１８０度の範囲における撮影が可能となり、さらに前方のステレオ画像撮影が可能となる。 In the imaging optical unit configured as described above, the light emitted through the first optical element 4 is imaged on the imaging element 15 as a visual field of 60 degrees on the right side, and the light emitted through the second optical element 5 is The left image is formed in parallel on the image sensor 15 as a field of view of 60 degrees, and light emitted through the front stage prism 7 and the third optical element 6 and the front stage prism 21 and the fourth optical element 22 is forward 60 degrees. Are imaged in parallel in the imaging device 15 as a field of view. That is, four fields of view are imaged in parallel in the single image sensor 15. In the photographic optical unit having such a configuration, it is possible to shoot in the range of 180 degrees from the right side to the left side or from the left side to the right side, and further, it is possible to shoot a front stereo image.
本発明の実施の形態では、右側６０度、左側６０度、前方６０度の範囲における視野を結像させる撮影光学ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム４、５、６、２２そのものの性能や組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６、２２の視野が６０度の範囲に限定されるものではない。 In the embodiment of the present invention, the photographing optical unit that forms an image in the field of 60 degrees on the right side, 60 degrees on the left side, and 60 degrees on the front side has been described as an example. The field of view of each free-form curved prism 4, 5, 6, 22 is not limited to the range of 60 degrees.
また、第１の光学素子４と第２の光学素子５の２つのみで撮影光学ユニットを構成してもよいし、第３の光学素子６と第４の光学素子２２の２つのみでステレオ撮影光学ユニットを構成してもよいし、左側又は右側の何れか一方と、前方あるいは後方の何れか一方の視野を結像させるように別の光学素子を組み込んで撮影光学ユニットを構成することも可能である。このような構成では光学素子の設置個数が少なくて済む分、構造をより簡素化することができ撮影光学ユニット自体のさらなる小型化が可能となる。 Further, the photographing optical unit may be constituted by only two of the first optical element 4 and the second optical element 5, or stereo by only two of the third optical element 6 and the fourth optical element 22. A photographic optical unit may be configured, or a photographic optical unit may be configured by incorporating another optical element so that either the left side or the right side and either the front or rear field of view are imaged. Is possible. In such a configuration, since the number of installed optical elements is small, the structure can be further simplified, and the photographing optical unit itself can be further downsized.
また、３６０度の視野を撮像することを可能にするために、本実施の形態に示した構成の撮影光学ユニットを２組み背面合わせとした構成を採用することはもちろん、さらに上下に組み込んだ構成を採用することもできる。 In addition, in order to be able to image a 360-degree field of view, it is possible to adopt a configuration in which two sets of imaging optical units having the configuration shown in the present embodiment are combined on the back side, as well as a configuration in which the imaging optical unit is further vertically integrated. Can also be adopted.
本発明を提供した撮影光学ユニットは、特に車両に搭載して外部の視野を撮影するのに好適であるばかりでなく、車両の内部に設置して車両の内外を監視する監視カメラとしても有用であり、またカプセル型内視鏡等にも適用し得る。 The imaging optical unit provided with the present invention is not only suitable for being mounted on a vehicle and photographing an external field of view, but is also useful as a surveillance camera that is installed inside a vehicle and monitors the inside and outside of the vehicle. Yes, it can also be applied to capsule endoscopes and the like.
図７は、撮影光学ユニットを車両に搭載した例を示す図である。
図７に示すように、左右両方向を同時に撮影可能とする本発明を適用した撮影光学ユニットＵを、車両のフロントグリルの中央部に取り付けて、両サイド及び前方のモニタとして使用することができる。このような使用例においては、車両の走行に際して両サイドにおける安全性がより高まる。
FIG. 7 is a diagram illustrating an example in which the photographing optical unit is mounted on a vehicle.
As shown in FIG. 7, a photographic optical unit U to which the present invention capable of photographing in both the left and right directions can be used as a monitor on both sides and front by being attached to the center of the front grille of the vehicle. In such an example of use, safety on both sides is further increased when the vehicle is traveling.
図８は、本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図であり、図９は、本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図であり、図１０は、被写体の例を示す図である。 FIG. 8 is a diagram for explaining the outline of the photographing optical unit according to the first embodiment of the present invention, and FIG. 9 shows the screen size and the image sensor 15 according to the first embodiment of the present invention. FIG. 10 is a diagram for explaining an image to be formed, and FIG. 10 is a diagram illustrating an example of a subject.
図８に示したように、本発明の第１の実施形態に係る撮影光学ユニットは、前述の自由曲面プリズム４、５、６、２２および前段プリズム７、２１から構成されるプリズム群５０と撮像素子１５とが配置されている。 As shown in FIG. 8, the photographing optical unit according to the first embodiment of the present invention includes a prism group 50 including the above-described free-form surface prisms 4, 5, 6, 22 and front-stage prisms 7, 21, and an image pickup. An element 15 is arranged.
一般的なカメラなどの通常の撮像素子では、画面のアスペクト比が４対３であり、画面サイズの長い４の方向が水平方向、短い３の方向が垂直方向に被写体を正対する。ところが、本発明の第１の実施形態に係る撮影光学ユニットでは、通常の画面を９０度回転させ、図９に示されるように４分割された画像の垂直方向が画面サイズの長い４の方向に配置し、短い３の方向が４分割された画面の長い方向を撮像するよう構成されている。すなわち、図９に示した画像５１ａは、自由曲面プリズム４による右側視野６０度で撮像された画像であり、画像５１ｂは、自由曲面プリズム５による左側視野６０度で撮像された画像であり、画像５１ｃは、自由曲面プリズム６と前段プリズム７による中心視野６０度で撮像された画像である。 In an ordinary image sensor such as a general camera, the aspect ratio of the screen is 4: 3, and the long 4 direction of the screen size faces the subject in the horizontal direction, and the short 3 direction faces the subject in the vertical direction. However, in the photographing optical unit according to the first embodiment of the present invention, the normal screen is rotated by 90 degrees, and the vertical direction of the four-divided image is in the direction of 4 where the screen size is long as shown in FIG. It is arranged so that the long direction of the screen obtained by dividing the short three directions into four is imaged. That is, the image 51a shown in FIG. 9 is an image captured at 60 degrees on the right side by the free curved surface prism 4, and the image 51b is an image captured at 60 degrees on the left side by the free curved surface prism 5. 51 c is an image captured by the free-form surface prism 6 and the front prism 7 with a central visual field of 60 degrees.
さらに、後述するが、画像５１ｄは、自由曲面プリズム２２と前段プリズム２１による中心視野６０度で撮像された画像であり、画像５１ｄと画像５１ｃとが一定の視差を持っている。これらの画像５１ｃと画像５１ｄがステレオ測距で必要となる画像である。 Further, as will be described later, the image 51d is an image captured by the free-form surface prism 22 and the front prism 21 with a central visual field of 60 degrees, and the image 51d and the image 51c have a certain parallax. These images 51c and 51d are images necessary for stereo distance measurement.
図１０に示されている画像は、被写体のイメージであり、例えば、車体の正面に設置されたカメラの画像を運転者から見た画像で表示装置上に正対した像として映し出すものとする。この図１０に示されたイメージを撮像した場合の画像は、図９に示した画像５１ａ、５１ｂ、５１ｃ、５１ｄから構成されることを現している。 The image shown in FIG. 10 is an image of a subject. For example, it is assumed that an image of a camera installed in front of the vehicle body is projected on the display device as an image viewed from the driver. The image when the image shown in FIG. 10 is captured indicates that the image 51a, 51b, 51c, 51d shown in FIG. 9 is configured.
図１１は、撮影光学ユニットの構成を示す図であり、図１２は、３画面（５１ａ、５１ｂ、５１ｃ）を２段表示にした表示例を示す図である。
図１１において、撮影光学ユニットは、ステレオカメラ部５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。
FIG. 11 is a diagram illustrating a configuration of the photographing optical unit, and FIG. 12 is a diagram illustrating a display example in which three screens (51a, 51b, 51c) are displayed in two stages.
In FIG. 11, the photographing optical unit includes a stereo camera unit 52, a camera controller 71, and a driving controller 72.
前記ステレオカメラ部５２は、前述の自由曲面プリズム４、５、６、２２、前段プリズム７、２１、撮像素子１５の他、ＴＧ／ＳＳＧ部６０、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部６１、デジタル信号処理部６２、シリアル（Ｓｅｒｉａｌ）Ｉ／Ｆ６３、通信Ｉ／Ｆ７４を備えている。 The stereo camera unit 52 includes the above-described free-form surface prisms 4, 5, 6, and 22, the pre-stage prisms 7 and 21, the image sensor 15, a TG / SSG unit 60, a CDS / AGC / A / D unit 61, and a digital signal. A processing unit 62, a serial I / F 63, and a communication I / F 74 are provided.
前記カメラコントローラ７１は、ＣＰＵ５３、操作入力部５４、画像処理ＭＰＵ５７、メモリ５８、通信Ｉ／Ｆ７５、通信Ｉ／Ｆ７７を備えている。
また、前記ドライビングコントローラ７２は、画像表示部５５、液晶コントローラ５６、外部メモリ６６、警報装置６７、通信Ｉ／Ｆ７８が、バス７９を介して接続されている。
The camera controller 71 includes a CPU 53, an operation input unit 54, an image processing MPU 57, a memory 58, a communication I / F 75, and a communication I / F 77.
The driving controller 72 is connected to an image display unit 55, a liquid crystal controller 56, an external memory 66, an alarm device 67, and a communication I / F 78 via a bus 79.
なお、撮影画像のホワイトバランスや露出補正、シャッタースピードなどの設定については、一般的な車載カメラなどと同等であり、詳細は省略する。
また、ステレオカメラ部５２による測距原理については、後述する。
Note that settings such as white balance, exposure correction, and shutter speed of the captured image are the same as those of a general on-vehicle camera, and details thereof are omitted.
The principle of distance measurement by the stereo camera unit 52 will be described later.
ステレオカメラ部５２は、動画と静止画を撮像可能であり、このステレオカメラ部５２に対してカメラコントローラ７１のＣＰＵ５３及び画像処理ＭＰＵ５７が、通信Ｉ／Ｆ７４、７５を介して接続されている。画像処理ＭＰＵ５７は、画像の反転、回転、鏡像、縮小、拡大、画像張り合わせ等の処理を行う。そして、その画像処理ＭＰＵ５７で処理された画像を、通信Ｉ／Ｆ７７、７８、および液晶コントローラ５６を介して、モニタ装置として使用される画像表示部５５に出力する。 The stereo camera unit 52 can capture moving images and still images, and the CPU 53 of the camera controller 71 and the image processing MPU 57 are connected to the stereo camera unit 52 via communication I / Fs 74 and 75. The image processing MPU 57 performs processing such as image inversion, rotation, mirror image, reduction, enlargement, and image joining. Then, the image processed by the image processing MPU 57 is output to the image display unit 55 used as a monitor device via the communication I / Fs 77 and 78 and the liquid crystal controller 56.
また、ステレオカメラ部５２は、図１０に示したような被写体イメージを撮像するための自由局面のプリズム群５０、及びこのプリズム群５０による結像位置に配置されたＣＭＯＳ／ＣＣＤでなる撮像素子１５を有する。撮像素子１５で得た画像情報は、後述するＣＰＵ５３により、動画、静止画、上述したホワイトバランス、露出補正、シャッタースピードなどを制御し、画像表示部５５に出力される。 Further, the stereo camera unit 52 includes a prism group 50 in a free phase for capturing a subject image as shown in FIG. 10 and an image sensor 15 formed of a CMOS / CCD disposed at an image forming position by the prism group 50. Have Image information obtained by the image sensor 15 is output to the image display unit 55 by controlling a moving image, a still image, the above-described white balance, exposure correction, shutter speed, and the like by a CPU 53 described later.
ステレオカメラ部５２のＴＧ／ＳＳＧ部６０は、駆動タイミング、パルスを発生し撮像素子１５の動作タイミングを生成している。ステレオカメラ部５２のＣＤＳ／ＡＧＣ／ＡＤ６１は、撮像素子１５から得られた画像情報を相関二重サンプリングし信号量に応じて利得を調整しＡ／Ｄ変換され、デジタル信号処理６２に送られる。そして、デジタル信号処理６２では、カラー信号補間、カラー補正、ホワイトバランスなどの処理が行われ、画像情報をＭＰＵ５７に供給する。 The TG / SSG unit 60 of the stereo camera unit 52 generates drive timing and pulses to generate the operation timing of the image sensor 15. The CDS / AGC / AD 61 of the stereo camera unit 52 performs correlated double sampling on the image information obtained from the image sensor 15, adjusts the gain according to the signal amount, performs A / D conversion, and sends the digital information to the digital signal processing 62. In the digital signal processing 62, processing such as color signal interpolation, color correction, and white balance is performed, and image information is supplied to the MPU 57.
シリアルＩ／Ｆ６３は、ＣＰＵ５３からの情報に従って、各種信号のデフォルト値や可変された露出、利得などのコマンドを実行し、ステレオカメラ部５２の制御を行う。
供給された画像情報は、ＣＰＵ５３からの画像表示方法の指示に基づき、後述する画像の処理を行い、液晶コントローラ５６を介して画像表示部５５にて表示される。近年、グラフィック表示機能が充実しており、画像の反転、回転、鏡像の表示は、液晶コントローラ５６で行い、画像処理ＭＰＵ５７の負担を軽減することもできる。
The serial I / F 63 controls commands of the stereo camera unit 52 by executing commands such as default values of various signals, variable exposure, and gain in accordance with information from the CPU 53.
The supplied image information is displayed on the image display unit 55 via the liquid crystal controller 56, based on an image display method instruction from the CPU 53, which will be described later. In recent years, graphic display functions have been enhanced, and image inversion, rotation, and mirror image display are performed by the liquid crystal controller 56, and the burden on the image processing MPU 57 can be reduced.
次に、画像表示部５５に出力された画像を表示するための画像処理および加工について説明する。
前出の図９は、自由曲面プリズム４、５、６、２２を介して撮像素子１５に結像された像を表しているが、撮像素子１５を７５０画素×４８０画素で想定すると、図９に示したように、４分割であれば１画面の画素数は、縦１８７画素、横４８０画素となる。
Next, image processing and processing for displaying an image output to the image display unit 55 will be described.
FIG. 9 described above represents an image formed on the image sensor 15 through the free-form surface prisms 4, 5, 6, and 22. If the image sensor 15 is assumed to be 750 pixels × 480 pixels, FIG. As shown in FIG. 4, if there are four divisions, the number of pixels on one screen is 187 pixels vertically and 480 pixels horizontally.
一方、この４分割された画面のうち画像表示部５５に表示する３画面は、左６０度５１ａ、右６０度５１ｂ、中心６０度５１ｃの計１８０度を撮像することになるが、このまま縦１８７画素、横４８０画素を画像表示部５５に表示すると、縦は問題ないが、横に１４４０画素必要となり、現在車載用として主流であるＷＶＧＡ（横７５０画素×縦４８０画素）のサイズの液晶画像表示部５５では３画面が並ばない。 On the other hand, among the four divided screens, the three screens displayed on the image display unit 55 image a total of 180 degrees of 60 degrees 51a on the left, 60 degrees 51b on the right, and 60 degrees 51c on the center. When displaying 480 pixels and 480 pixels on the image display unit 55, there is no problem in the vertical direction, but 1440 pixels are required in the horizontal direction, and a liquid crystal image display having a size of WVGA (750 pixels × 480 pixels) that is currently mainstream for in-vehicle use. In the section 55, three screens are not arranged.
そこで、画像処理ＭＰＵ５７では、液晶画像表示部５５に、後述する各種表示方法に応じた画像の画素間引き、縮小、拡大、カットなどを行う機能を持たせている。
さらに、３画面のうち画像表示部５５上の画像の表示については、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列することも可能である。
Therefore, in the image processing MPU 57, the liquid crystal image display unit 55 has a function of performing pixel thinning, reduction, enlargement, and cut of an image according to various display methods described later.
Further, regarding the display of the image on the image display unit 55 among the three screens, as shown in FIG. 12, two images 51a and 51b of the left visual field and the right visual field are displayed in the upper half area of the screen on the image display unit 55. It is also possible to arrange the image 51c of the central visual field in the lower half area.
次に、画像取り込み、画像処理、および画像処理後の液晶表示までの流れを説明する。
図１３は、本発明を適用したカメラ制御処理の流れを示すフローチャートであり、図１４は、本発明を適用したカメラシステムの機能ブロックを示す図であり、図１５は、第１のフレームメモリの構成を示す図であり、図１６は、第３のフレームメモリの構成を示す図である。
Next, the flow from image capture, image processing, and liquid crystal display after image processing will be described.
13 is a flowchart showing a flow of camera control processing to which the present invention is applied, FIG. 14 is a diagram showing functional blocks of a camera system to which the present invention is applied, and FIG. 15 is a diagram of the first frame memory. FIG. 16 is a diagram showing a configuration of the third frame memory.
自由曲面プリズム４、５、６、２２を介して撮像素子１５に結像された像は、前述した通り、図９の画像５１のように撮像される。
まず、４つに分割された画像のうち、画像表示部５５にて任意に表示される３枚の画像である、左側視野６０度の撮像された画像５１ａ、右側視野６０度の撮像された画像５１ｂ、中心視野６０度の撮像された画像５１ｃの処理について説明する。
As described above, the image formed on the image sensor 15 via the free-form surface prisms 4, 5, 6, and 22 is captured as the image 51 in FIG.
First, among images divided into four, three images arbitrarily displayed on the image display unit 55, an image 51a captured with a left visual field of 60 degrees and an image captured with a right visual field of 60 degrees The processing of the image 51c captured at 51b and the central visual field of 60 degrees will be described.
最初に、ステップＳ７０１において、撮像部７０１が画像を撮像し、次のステップＳ７０２において、撮像された画像が、ＡＤＣ（Ａ／Ｄコンバータ）７０２によってＡ／Ｄ変換される。そして、ステップＳ７０３において、画像生成部７０３によって、カラー信号補間、カラー補正、ホワイトバランス、ガンマ補正の処理に付された後、次のステップＳ７０４において、第１のフレームメモリ７０４に格納される。 First, in step S701, the imaging unit 701 captures an image, and in the next step S702, the captured image is A / D converted by an ADC (A / D converter) 702. Then, after being subjected to color signal interpolation, color correction, white balance, and gamma correction by the image generation unit 703 in step S703, it is stored in the first frame memory 704 in the next step S704.
この際、第１のフレームメモリ７０４に格納される画像は、図１５に示される通り、撮像素子１５から読み取られた操作順に格納される。図１５に示した例では、１Ａ、１Ｂ、１Ｃ、１Ｄ、２Ａ、２Ｂ、２Ｃ、２Ｄ、３Ａ、３Ｂ、３Ｃ、３Ｄの順で、第１のフレームメモリ７０４に格納されることになる。 At this time, the images stored in the first frame memory 704 are stored in the order of operations read from the image sensor 15 as shown in FIG. In the example shown in FIG. 15, the data are stored in the first frame memory 704 in the order of 1A, 1B, 1C, 1D, 2A, 2B, 2C, 2D, 3A, 3B, 3C, and 3D.
次に、ステップＳ７０５において、第１のフレームメモリ７０４に格納された元画像は、読出／書込コントローラ７０５によって、アドレスメモリ７０６を参照し、アドレスメモリ７０６の画像分割アドレスの指定に従って演算され、ステップＳ７０６において、第３のフレームメモリ７０７に格納される。図１３に示した例では、１Ａ、２Ａ、３Ａ、１Ｃ、２Ｃ、３Ｃ、１Ｂ、２Ｂ、３Ｂの順で、第３のフレームメモリ７０７に格納されることになる。 Next, in step S705, the original image stored in the first frame memory 704 is calculated by the read / write controller 705 with reference to the address memory 706 according to the designation of the image division address in the address memory 706, In S706, the data is stored in the third frame memory 707. In the example shown in FIG. 13, the data are stored in the third frame memory 707 in the order of 1A, 2A, 3A, 1C, 2C, 3C, 1B, 2B, and 3B.
この際、第３のフレームメモリ７０７に格納される画象は、図１６に示される通り、第１のフレームメモリ７０４に格納された画像を上下および左右反転し、さらに左側視野６０度、右側視野６０度、中心視野６０度の撮像された画像が正対した画像になるよう配列され格納されることになる。 At this time, as shown in FIG. 16, the image stored in the third frame memory 707 is the image stored in the first frame memory 704 upside down and horizontally reversed, and further, the left side view 60 degrees, the right side view The captured images of 60 degrees and the central visual field of 60 degrees are arranged and stored so as to be directly opposed images.
そして、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本実施の形態では、画像表示部５５に表示するモニタ表示形式は、前述したように少なくとも２つ以上の選択肢を設けている。 Then, the “display setting process” subroutine of step S707 is executed. In the present embodiment, the monitor display format displayed on the image display unit 55 has at least two options as described above.
図１７は、カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートであり、図１８は、縮小して３画面表示した場合の表示例を示す図である。
まず、ステップＳ７１０において、ユーザーによるモニタ表示形式の設定を確認する。すなわち、表示モードスイッチ７１３で切り替えの指示があるか否かを検出する。
FIG. 17 is a flowchart showing a flow of a subroutine “display setting process” of the camera control process, and FIG. 18 is a view showing a display example when the reduced three-screen display is performed.
First, in step S710, the setting of the monitor display format by the user is confirmed. That is, it is detected whether or not there is a switching instruction with the display mode switch 713.
モニタ表示形式の設定に変更があれば（ステップＳ７１０：ＹＥＳ）は、ステップＳ７１１に進み、表示パターンを参照して対応するアドレスパターンを設定する。他方、モニタ表示形式の設定に変更がなければ（ステップＳ７１０：ＮＯ）、変更前の表示バターンのままで、次のステップＳ７１２に進む。 If there is a change in the setting of the monitor display format (step S710: YES), the process proceeds to step S711, and the corresponding address pattern is set with reference to the display pattern. On the other hand, if there is no change in the setting of the monitor display format (step S710: NO), the process proceeds to the next step S712 while keeping the display pattern before the change.
そして、ステップＳ７１２において、表示パターンが単画面表示か否かを判断する。ここで、単画面表示の場合は、表示する画像を縮小することになり、単画面表示でない場合は、縮小せずに画素そのままとする。 In step S712, it is determined whether the display pattern is single-screen display. Here, in the case of single screen display, the image to be displayed is reduced, and in the case of non-single screen display, the pixel is left as it is without reduction.
表示パターンが単画面表示である場合（ステップＳ７１２：ＹＥＳ）、ステップＳ７１４において、アドレスメモリ７０６を参照して、縮小のための演算を実行する。例えば、ある画素の周囲の４ピクセルを線形あるいは３次元関数を用いて画素を作り、補間を行う方法も開示されている。 When the display pattern is a single screen display (step S712: YES), in step S714, the address memory 706 is referred to and an operation for reduction is executed. For example, a method is also disclosed in which four pixels around a certain pixel are formed by using a linear or three-dimensional function to perform interpolation.
そして、ステップＳ７１５において、第３のフレームメモリ７０７から読み出し、ステップＳ７１６において、補間部７０９が、読み出した画像を上述のような方法を用いて補間する。 In step S715, the data is read from the third frame memory 707. In step S716, the interpolation unit 709 interpolates the read image using the method described above.
次に、ステップＳ７１７において、補間した画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７１８において、第４のフレームメモリ７１０に格納する。 In step S717, the horizontal start address, horizontal end address, vertical start address, and vertical end address write address to the image display unit 55 are added to the interpolated image. In step S718, the fourth frame memory 710 is read. Store.
そして、ステップＳ７１９において、全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７１９：ＮＯ）、ステップＳ７１４に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７１９：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１８に示したような画面を表示パネル７１２へ表示する。 In step S719, it is determined whether or not writing of the entire screen has been completed. If not completed (step S719: NO), the process returns to step S714 and the subsequent steps are repeated, and if completed (step S719). : YES), display update processing is performed by the display controller 711 in step S720, and a screen as shown in FIG. 18 is displayed on the display panel 712.
図１７のステップＳ７１２で、表示パターンが単画面表示でないと判断された場合（ステップＳ７１２：ＮＯ）は、表示する画像を縮小せず、画素そのままを表示するか、あるいは、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列した表示を行うかが選択可能である。 If it is determined in step S712 in FIG. 17 that the display pattern is not a single screen display (step S712: NO), the image to be displayed is displayed as it is without being reduced, or as shown in FIG. In addition, it is possible to select whether to perform the display in which the two images 51a and 51b of the left visual field and the right visual field are arranged in the upper half area of the screen on the image display unit 55 and the central visual field image 51c is arranged in the lower half area. It is.
すなわち、表示パターンが単画面表示でない場合（ステップＳ７１２：ＮＯ）、例えば、図１２に示したような、中心視野、右視野および左視野の３画面を２段表示にする場合、ステップＳ７２２において、アドレスメモリ７０６を参照して、表示のための演算を実行し、ステップＳ７２３において、例えば中心視野を中心に表示する場合は、第３のフレームメモリ７０７から所定のアドレスを読み出す。 That is, when the display pattern is not a single screen display (step S712: NO), for example, when three screens of the central visual field, the right visual field, and the left visual field as shown in FIG. With reference to the address memory 706, an operation for display is performed, and in step S <b> 723, for example, when displaying with the central visual field as the center, a predetermined address is read from the third frame memory 707.
次に、ステップＳ７２４において、表示する画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７２５において、第４のフレームメモリ７１０に格納する。 Next, in step S724, the horizontal start address, horizontal end address, vertical start address, and vertical end address write address to the image display unit 55 are added to the image to be displayed. In step S725, the fourth frame memory 710 is added. Store.
そして、ステップＳ７２６において、第４のフレームメモリ７１０に対する３枚全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７２６：ＮＯ）、ステップＳ７２２に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７２６：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１２に示したような画面を表示パネル７１２へ表示する。 In step S726, it is determined whether or not the writing of all three screens to the fourth frame memory 710 is completed. If not completed (step S726: NO), the process returns to step S722 and the subsequent steps are repeated. If completed (step S726: YES), display update processing is performed by the display controller 711 in step S720, and a screen as shown in FIG. 12 is displayed on the display panel 712.
図１９は、測距を行うためのステレオ光学系の平面を表す図である。
図１９に示したステレオ光学系は、４画面分割構成の場合のステレオカメラ部５２からステレオ光学系のみを抽出し、測距に必要な自由曲面プリズム６、２２と前段プリズム７、２１と撮像素子１５とを抽出した平面図になっている。
FIG. 19 is a diagram illustrating a plane of a stereo optical system for performing distance measurement.
The stereo optical system shown in FIG. 19 extracts only the stereo optical system from the stereo camera unit 52 in the case of the four-screen division configuration, and the free-form surface prisms 6 and 22 and the pre-stage prisms 7 and 21 and the image sensor required for distance measurement. 15 is an extracted plan view.
このステレオカメラ部５２は、所定の間隔をおいて撮影光学系が配置されている。このステレオカメラ部５２は、それぞれの光軸が平行に配置された自由曲面プリズム６、２２とその前段に配置された前段プリズム７、２１とを介して取り込まれた被写体の像を結像する撮像素子１５とにより構成される。 The stereo camera unit 52 has a photographing optical system arranged at a predetermined interval. This stereo camera unit 52 forms an image of a subject taken in via free-form curved prisms 6 and 22 arranged in parallel with their optical axes and preceding prisms 7 and 21 arranged in the preceding stage. An element 15 is included.
次に、一般的なレンズと２つの撮像素子を用いた場合のステレオカメラにおける測距式を簡単に説明する。
図２０は、２つの撮像素子を用いたステレオカメラにおける測距式を説明するための図である。
Next, a distance measuring method in a stereo camera using a general lens and two image sensors will be briefly described.
FIG. 20 is a diagram for explaining a distance measuring method in a stereo camera using two image sensors.
図２０において、焦点距離ｆの受光レンズ８１ａ及び８１ｂが、レンズ間視差（基線長）Ｂをおいて配置されている。そして、これらの受光レンズ８１ａ及び８１ｂの後方に、焦点距離ｆだけ離れた位置に撮像素子８０ａ及び８０ｂが配置されている。この場合、撮像素子８０ａの結像位置に対する撮像素子８０ｂの結像位置をｘとすると、受光レンズ８１ａ及び８１ｂから被写体８２までの被写体距離Ｌは、周知の三角測距の原理に従って、次式の関係により求められる。 In FIG. 20, light receiving lenses 81a and 81b having a focal length f are arranged with an inter-lens parallax (base line length) B. Image sensors 80a and 80b are arranged behind these light receiving lenses 81a and 81b at positions separated by a focal length f. In this case, if the imaging position of the image sensor 80b with respect to the imaging position of the image sensor 80a is x, the subject distance L from the light receiving lenses 81a and 81b to the subject 82 is expressed by the following equation according to the well-known principle of triangulation. Required by relationship.
Ｌ＝Ｂ×ｆ／ｘ ・・・（１）
但し、Ｌは被写体距離、Ｂは受光レンズ間の視差（基線長）、ｆは受光レンズの焦点距離である。
L = B × f / x (1)
Here, L is the subject distance, B is the parallax (base line length) between the light receiving lenses, and f is the focal length of the light receiving lenses.
また、上記結像位置ｘが、受光位置の変位、すなわち受光レンズ８１ａ及び８１ｂによる左右対応点のズレである。このとき、撮像素子８０ａ及び８０ｂに結像される被写体像８３ａ及び８３ｂは、図２０中の（ｂ）のように示される。 The imaging position x is the displacement of the light receiving position, that is, the shift of the left and right corresponding points by the light receiving lenses 81a and 81b. At this time, the subject images 83a and 83b formed on the image sensors 80a and 80b are shown as (b) in FIG.
次に、本発明を適用したステレオカメラ部の機能を説明する。
図２１は、警報情報の生成までの処理の流れを示すフローチャートであり、図２２は、第２のフレームメモリの構成を示す図である。
Next, functions of the stereo camera unit to which the present invention is applied will be described.
FIG. 21 is a flowchart showing a flow of processing up to generation of alarm information, and FIG. 22 is a diagram showing a configuration of the second frame memory.
この図２１と図１４とを用いて、ステレオ画像の取り込み、測距、警報情報の生成までの流れを説明する。
前記ステレオカメラ部５２は、図１０に示す被写体を撮影する撮像素子１５と、前記撮像素子１５の前方に取り付けられるプリズム群５０と、距離画像出力部７２３から出力された被写体の距離画像７２５を計測する画像処理ＭＰＵ５７と、測距結果から警報が必要と判断された場合に運転者に情報を提供する警報装置６７から構成される。
With reference to FIG. 21 and FIG. 14, the flow from capturing a stereo image, ranging, and generation of alarm information will be described.
The stereo camera unit 52 measures the image sensor 15 that captures the subject shown in FIG. 10, the prism group 50 attached in front of the image sensor 15, and the distance image 725 of the subject output from the distance image output unit 723. And an alarm device 67 that provides information to the driver when it is determined that an alarm is necessary from the distance measurement result.
本ステレオカメラ部５２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、露出検出部７１５と露出コントローラ７１６とを適宜備え、撮像素子１５からの輝度情報により算出された露出値に応じて撮影露出の自動調整を行っている。 The stereo camera unit 52 includes an exposure detection unit 715 and an exposure controller 716 as appropriate, similar to a general video camera, digital still camera, and the like, and shoots according to the exposure value calculated based on the luminance information from the image sensor 15. The exposure is adjusted automatically.
また、前記ステレオカメラ部５２は、それぞれの光軸が平行に配置された自由局面プリズム６、２２とその前段に配置された前段プリズム７、２１とを介して取り込まれた被写体の撮像素子１５に像を結像することが出来るようになっている。 In addition, the stereo camera unit 52 is connected to the imaging element 15 of the subject captured via the free phase prisms 6 and 22 in which the optical axes are arranged in parallel and the pre-stage prisms 7 and 21 disposed in the preceding stage. An image can be formed.
このようにしてステレオカメラ部５２で撮影された、すなわち、撮像素子１５で捕らえたステレオ画像７２６は、図１４に示すように、ＡＤＣ７０２でＡ／Ｄ変換され、画像生成部７０３でカラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が付された後、図１３のステップＳ７０４において、第１のフレームメモリ７０４に格納されている。その後、ポーリングが開始される。 In this way, the stereo image 726 captured by the stereo camera unit 52, that is, captured by the image sensor 15, is A / D converted by the ADC 702, and the color signal interpolation is performed by the image generation unit 703. After processing such as color correction, white balance, and gamma correction, it is stored in the first frame memory 704 in step S704 of FIG. Thereafter, polling is started.
ポーリングが開始されると、ステップＳ７３０において、運転者によって操作入力部５４の測距機能の選択の指示があるか否かを判断する。
測距機能の選択の指示がない場合（ステップＳ７３０：ＮＯ）は、図１７のステップＳ７０１に戻る。
When polling is started, in step S730, it is determined whether or not there is an instruction to select the distance measuring function of the operation input unit 54 by the driver.
If there is no instruction to select the ranging function (step S730: NO), the process returns to step S701 in FIG.
他方、測距機能の選択の指示がある場合（ステップＳ７３０：ＹＥＳ）は、ステップＳ７３１において、第１のフレームメモリ７０４に格納された、図９に示す４画面の内、撮像された画像５１ｃ、５１ｄのアドレス値を、アドレスメモリ７０６から参照する。図９に示したように、図中の４画面の内、中心視野の６０度左側が撮像された画像５１ｃと中心視野の６０度右側が撮像された画像５１ｄとは、ある一定の視差が生じることになる。 On the other hand, if there is an instruction to select the ranging function (step S730: YES), in step S731, the captured image 51c of the four screens shown in FIG. 9 stored in the first frame memory 704 is displayed. The address value 51d is referred from the address memory 706. As shown in FIG. 9, among the four screens in the figure, a certain parallax occurs between the image 51c captured 60 degrees left of the central visual field and the image 51d captured 60 degrees right of the central visual field. It will be.
次に、ステップＳ７３２において、ステップＳ７３１で参照されたアドレスに従って左側と右側の画像５１ｃ、５１ｄを第１のフレームメモリから読み出す。
次に、ステップＳ７３３において、ステップＳ７３２で第１のフレームメモリ７０３から読み出した画像５１ｃ、５１ｄに対して、レクティフィケーション部７１７が左側と右側の画像５１ｃ、５１ｄのエピポーラ線を一致するように各々の画像変換処理（レクティフィケーション）を行う。そして、ステップＳ７３４において、レクティフィケーション処理された右画像７１８と左画像７１９を、図２２に示すように１Ｃ、２Ｃ、３Ｃ、１Ｄ、２Ｄ、３Ｄの順で第２のフレームメモリ７２０に格納する。
Next, in step S732, the left and right images 51c and 51d are read from the first frame memory in accordance with the address referenced in step S731.
Next, in step S733, the rectification unit 717 matches the epipolar lines of the left and right images 51c and 51d with respect to the images 51c and 51d read from the first frame memory 703 in step S732, respectively. The image conversion process (rectification) is performed. In step S734, the rectified right image 718 and left image 719 are stored in the second frame memory 720 in the order of 1C, 2C, 3C, 1D, 2D, and 3D as shown in FIG. .
ステレオによる三次元情報抽出については、既に研究、論文等で各種報告されているので、詳細の計算による理論、手法は各文献等を参照されたい。ここでは、簡単にレクティフィケーションについて説明する。 There are already various reports on research and papers on 3D information extraction using stereo, so please refer to each literature for the theory and method based on detailed calculations. Here, rectification will be briefly described.
図２３は、レクティフィケーション前の左右画像を示す図であり、図２４は、レクティフィケーション後の左右画像を示す図である。
本実施の形態のステレオによる測距方法は、単一の撮像素子１５から撮像された２枚の画像５１ｃ、５１ｄを使用して、これらの画像５１ｃ、５１ｄ中に共通して存在する、ある同一着目点の視差量から距離の情報を算出するものである。
FIG. 23 is a diagram showing left and right images before rectification, and FIG. 24 is a diagram showing left and right images after rectification.
The stereo distance measuring method of the present embodiment uses two images 51c and 51d imaged from a single image sensor 15, and is present in common in these images 51c and 51d. The distance information is calculated from the amount of parallax at the point of interest.
レクティフィケーションとは、両画像の視差量算出の前に行われるもので、ある左右の同一着目点が同一線（エピポーラ線）上に配置されるよう視点変換、歪曲収差除去、回転変換などを行い、その両画像間の幾何関係（エピポーラ幾何）を同一平面上に存在するよう変換するものである。 Rectification is performed before calculating the amount of parallax between both images, and performs viewpoint conversion, distortion aberration removal, rotation conversion, etc. so that the same right and left points of interest are placed on the same line (epipolar line). The geometric relationship (epipolar geometry) between the two images is converted so as to exist on the same plane.
図２３にレクティフィケーション前の画像として、左画像領域を基準とした左と右の画像領域を示した。画像中の着目点ａ、ｂの位置が左画像の同一直線上にあるとした場合、このときの右画像は、図のように「りんご」と「箱」の奥行きのため上下位置に差が生じている。さらに、カメラには、レンズの取り付け位置に上下方向のシフトが付いている。そのため、右画像の左画像に対する着目点ａ、ｂの位置が下にシフトしており同一線上に並ばなくなる。 FIG. 23 shows left and right image areas based on the left image area as images before rectification. If the positions of the points of interest a and b in the image are on the same straight line as the left image, the right image at this time has a difference in vertical position due to the depth of the “apple” and “box” as shown in the figure. Has occurred. Furthermore, the camera has a vertical shift in the lens mounting position. Therefore, the positions of the points of interest a and b with respect to the left image of the right image are shifted downward and are not aligned on the same line.
ここで、この着目点ａ、ｂが両画像間で同一直線上に並べる処理をレクティフィケーションと言う。
図２４にレクティフィケーション後の画像を示した。着目点ａ、ｂが両画像間で同一直線上に並んでいるため、着目点を探索するには二次元での探索ではなく、一次元での探索で位置が推定できることになり、この両画像の視差を求めることで距離が算出できることになる。
Here, the process in which the points of interest a and b are arranged on the same straight line between both images is called rectification.
FIG. 24 shows an image after rectification. Since the points of interest a and b are arranged on the same straight line between the two images, the position can be estimated by a one-dimensional search instead of a two-dimensional search to search for the point of interest. The distance can be calculated by obtaining the parallax.
図２１の説明に戻る。
次に、ステップＳ７３５において、第２のフレームメモリ７２０に格納された右画像７１８と左画像７１９を、読出／書込コントローラ７２１で読み出し、右画像７１８と左画像７１９の同一着目点を比較し、ステップＳ７３６において、距離算出部７２２が視差を算出する。距離算出部７２２による距離計算方法は、例えば、特許文献３（特開２００４−２５８２６６号公報）に記載されている方法等に基づき実行される。
Returning to the description of FIG.
Next, in step S735, the right image 718 and the left image 719 stored in the second frame memory 720 are read by the read / write controller 721, and the same points of interest in the right image 718 and the left image 719 are compared. In step S736, the distance calculation unit 722 calculates the parallax. The distance calculation method by the distance calculation unit 722 is executed based on, for example, the method described in Patent Document 3 (Japanese Patent Application Laid-Open No. 2004-258266).
そして、ステップＳ７３７において、距離画像出力部７２３が被写体の三次元の距離画像７２５を出力する。
次に、ステップのＳ７３８において、新たな警報情報があるか否かを判断し、新たな警報情報がなければ（ステップＳ７３８：ＮＯ）、ステップＳ７３３に戻り、新たな警報情報があれば（ステップＳ７３８：ＹＥＳ）、ステップＳ７３９において、警報情報作成部７２４が、例えば車などの着目物体に危険域まで近づいているなどの警報情報を作成する。
In step S737, the distance image output unit 723 outputs a three-dimensional distance image 725 of the subject.
Next, in step S738, it is determined whether there is new alarm information. If there is no new alarm information (step S738: NO), the process returns to step S733, and if there is new alarm information (step S738). : YES), in step S739, the alarm information creating unit 724 creates alarm information indicating that the target object such as a car is approaching a dangerous area.
そして、ステップＳ７４０において、警報情報を含む画面を更新表示していく。例えば、表示コントローラ７２７で表示パネル７１２ヘのＯＳＤ表示を生成している。
また、ステレオカメラ部５２は、キャリブレーション部７１４をさらに備え、レクティフィケーション部７１７に対してレクティフィケーションパラメータを出力し、距離算出部７２２に対して距離算出用パラメータを出力する。
In step S740, the screen including the alarm information is updated and displayed. For example, the display controller 727 generates an OSD display on the display panel 712.
The stereo camera unit 52 further includes a calibration unit 714, which outputs a rectification parameter to the rectification unit 717 and outputs a distance calculation parameter to the distance calculation unit 722.
なお、距離画像処理の各ブロックは、計算機上のソフトウェアで実現してもよい。
図２５は、２画面分割構成でステレオのみの場合のステレオカメラ部を示す図であり、図２６は、２画面分割構成の場合のイメージャ（ＷＶＧＡ）への画面イメージを示す図である。
Note that each block of the distance image processing may be realized by software on a computer.
FIG. 25 is a diagram showing a stereo camera unit in the case of only stereo with a two-screen division configuration, and FIG. 26 is a diagram showing a screen image to an imager (WVGA) in the case of a two-screen division configuration.
ＣＰＵ５３は、画像情報と車両情報を統括する役割を持っており、例えば、ステレオカメラ部５２で処理された結果を画像表示部５５に表示したり、ステレオカメラ部５２で得られた距離情報を分析して、警報装置６７に警報を発生させたりして、運転者に安全運転を促すことができるようになっている。 The CPU 53 has a role of supervising image information and vehicle information. For example, the CPU 53 displays the result processed by the stereo camera unit 52 on the image display unit 55 or analyzes the distance information obtained by the stereo camera unit 52. Then, an alarm is generated in the alarm device 67, and the driver can be encouraged to drive safely.
なお、警報装置６７は、音声装置や振動装置などから構成されている。運転者の触覚を刺激する、運転者の視覚に訴えるような情報を出す取り組みが近年盛んであり既知ではあるが、例えば、音声装置はスピーカ等からの音声、液晶パネルでは、ＯＳＤ表示、ＨＵＤ表示、振動装置はステアリングハンドル、アクセルペダル、運転席シートの振動により運転者に警報を発するものを利用する。 Note that the alarm device 67 includes a sound device, a vibration device, and the like. In recent years, efforts to produce information that appeals to the driver's vision that stimulates the driver's tactile sensation are prosperous and well known. For example, a voice device is a voice from a speaker, etc. As the vibration device, a steering wheel, an accelerator pedal, and a device that issues a warning to the driver by vibration of the driver's seat are used.
このように、このカメラシステムによると、本発明に直接関係しないためその詳細説明は省略するが、本実施の形態に係るステレオカメラ部５２から得られた画像情報と、各種センサー等から得られた車両情報とを統合することができ、画像表示部５５による画像情報の表示、警報装置６７による警報等により、運転者に安全走行を促すことができる。 As described above, according to this camera system, since it is not directly related to the present invention, the detailed description thereof is omitted, but it is obtained from the image information obtained from the stereo camera unit 52 according to the present embodiment, various sensors, and the like. The vehicle information can be integrated, and the driver can be encouraged to drive safely by displaying image information on the image display unit 55, warning by the alarm device 67, and the like.
例えば、前方の被写体に近づきすぎたときに注意を促す表示、警報、さらには例えば既知ではあるが、先行車までの距離／自車走行スピードで先行車までの到達時間を割り出し、２秒、１５秒などのある一定時間以内の場合にブレーキの制御を行うことができる。 For example, a display for alerting when a subject in front is too close, a warning, and for example, although known, the arrival time to the preceding vehicle is determined by the distance to the preceding vehicle / the traveling speed of the host vehicle, 2 seconds, 15 The brake can be controlled within a certain time such as seconds.
若しくは、道路の分離帯を読み取って自動で運転を制御する等に用いることができる。
その他に、車外を観察し、前方や後方の走行車両、障害物、白線検知等に用いる他、車内の運転者、搭乗者の顔の位置、向きを検出し、脇見運転や居眠りの検知、エアバック点火時に、大人か子供か、顔の位置方向を判断し、安全にエアバッグを作動させるセンサーとして利用することも可能である。
Alternatively, it can be used to automatically control driving by reading a road separation zone.
In addition to observing the outside of the vehicle, it is used for front and rear traveling vehicles, obstacles, white line detection, etc., as well as detecting the position and orientation of the driver's face and passenger's face in the vehicle, detection of side-by-side driving and dozing, air When the back is lit, it can be used as a sensor that judges the position of the face, whether it is an adult or a child, and operates the airbag safely.
また、本発明を適用したカメラシステムは、車載のステレオ撮像システムの他に、ロボット、鉄道、飛行機、船舶、監視カメラ、遠隔会議システム用カメラ等にも応用ができるものである。 The camera system to which the present invention is applied can be applied to a robot, a railway, an airplane, a ship, a surveillance camera, a camera for a teleconference system, etc. in addition to the in-vehicle stereo imaging system.
以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用されるカメラシステムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。 As described above, each embodiment of the present invention has been described with reference to the drawings. However, a camera system to which the present invention is applied is limited to the above-described embodiments and the like as long as the function is executed. Needless to say, a single device, a system composed of a plurality of devices, an integrated device, or a system that performs processing via a network such as a LAN or WAN may be used. .
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 It can also be realized by a system comprising a CPU, ROM or RAM memory connected to a bus, an input device, an output device, an external recording device, a medium drive device, a portable storage medium, and a network connection device. That is, a ROM or RAM memory, an external recording device, and a portable storage medium that record software program codes for realizing the systems of the above-described embodiments are supplied to the camera system, and the computer of the camera system is programmed. Needless to say, this can also be achieved by reading and executing the code.
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。 In this case, the program code itself read from the portable storage medium or the like realizes the novel function of the present invention, and the portable storage medium or the like on which the program code is recorded constitutes the present invention. .
プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。 Examples of portable storage media for supplying the program code include flexible disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, DVD-ROMs, DVD-RAMs, magnetic tapes, and nonvolatile memories. Various storage media recorded through a network connection device (in other words, a communication line) such as a card, a ROM card, electronic mail or personal computer communication can be used.
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。 In addition, the functions of the above-described embodiments are realized by executing the program code read out on the memory by the computer, and the OS running on the computer is actually executed based on the instruction of the program code. The functions of the above-described embodiments are also realized by performing part or all of the process.
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。 Furthermore, a program code read from a portable storage medium or a program (data) provided by a program provider is provided in a function expansion board inserted into a computer or a function expansion unit connected to a computer. The CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are also performed by the processing. Can be realized.
すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。 That is, the present invention is not limited to the above-described embodiments and the like, and can take various configurations or shapes without departing from the gist of the present invention.
ａ、ｂ 着目点
Ｂ レンズ間視差（基線長）
ｅ1〜ｅ4 区画凹所
ｆ 焦点距離
Ｌ 被写体距離
ｈ 貫通孔
ｔ1〜ｔ8 座部
Ｕ 撮影光学ユニット
ｘ 結像位置
１ フレーム
１ａ 天面壁
１ｂ 底面壁
１ｃ、１ｄ 傾斜側壁
２ ホルダ
３ カバー体
３ａ〜３ｃ 窓孔
４、５、６ 自由曲面プリズム
６ａ 第１面
７ 前段プリズム
８、８ａ、８ｂ、８ｃ、８ｄ 弾性舌片
９、９ａ、９ｂ、９ｃ、９ｄ 緩衝部材
１５ 撮像素子
１７ 基板（フレキシブルプリント基板等）
１８ 放熱板
１９ 保護板
２１ 前段プリズム
２２ 自由曲面プリズム
５０ プリズム群
５１、５１ａ、５１ｂ、５１ｃ、５１ｄ 画像
５２ ステレオカメラ部
５３ ＣＰＵ
５４ 操作入力部
５５ 画像表示部
５６ 液晶コントローラ
５７ 画像処理ＭＰＵ
５８ メモリ
６０ ＴＧ／ＳＳＧ部
６１ ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
６２ デジタル信号処理部
６３ シリアルＩ／Ｆ
６６ 外部メモリ
６７ 警報装置
７１ カメラコントローラ
７２ ドライビングコントローラ
７４ 通信Ｉ／Ｆ
７５ 通信Ｉ／Ｆ
７７ 通信Ｉ／Ｆ
７８ 通信Ｉ／Ｆ
７９ バス
８０ａ、８０ｂ 撮像素子
８１ａ、８１ｂ 受光レンズ
８２ 被写体
８３ａ、８３ｂ 被写体像
７０１ 撮像部
７０２ ＡＤＣ（Ａ／Ｄコンバータ）
７０３ 画像生成部
７０４ 第１のフレームメモリ
７０５ 読出／書込コントローラ
７０６ アドレスメモリ
７０７ 第３のフレームメモリ
７０８ 読み出しコントローラ
７０９ 補間部
７１０ 第４のフレームメモリ
７１１ 表示コントローラ
７１２ 表示パネル
７１３ 表示モードスイッチ
７１４ キャリブレーション部
７１５ 露出検出部
７１６ 露出コントローラ
７１７ レクティフィケーション部
７１８ 右画像
７１９ 左画像
７２０ 第２のフレームメモリ
７２１ 読出／書込コントローラ
７２２ 距離算出部
７２３ 距離画像出力部
７２４ 警報情報作成部
７２５ 距離画像
７２６ ステレオ画像
７２７ 表示コントローラ
a, b Points of interest B Inter-lens parallax (base line length)
e 1 to e 4 section recesses f focal length L subject distance h through hole t 1 to t 8 seat U imaging optical unit x imaging position 1 frame 1a top wall 1b bottom wall 1c, 1d inclined side wall 2 holder 3 cover body 3a to 3c Window hole 4, 5, 6 Free-form surface prism 6a First surface 7 Previous stage prism 8, 8a, 8b, 8c, 8d Elastic tongue piece 9, 9a, 9b, 9c, 9d Buffer member 15 Imaging element 17 Substrate (flexible) Printed circuit boards)
18 Radiation plate 19 Protection plate 21 Pre-stage prism 22 Free-form surface prism 50 Prism group 51, 51a, 51b, 51c, 51d Image 52 Stereo camera unit 53 CPU
54 Operation Input Unit 55 Image Display Unit 56 Liquid Crystal Controller 57 Image Processing MPU
58 Memory 60 TG / SSG part 61 CDS / AGC / A / D part 62 Digital signal processing part 63 Serial I / F
66 External memory 67 Alarm device 71 Camera controller 72 Driving controller 74 Communication I / F
75 Communication I / F
77 Communication I / F
78 Communication I / F
79 Bus 80a, 80b Image sensor 81a, 81b Light receiving lens 82 Subject 83a, 83b Subject image 701 Imaging unit 702 ADC (A / D converter)
703 Image generation unit 704 First frame memory 705 Read / write controller 706 Address memory 707 Third frame memory 708 Read controller 709 Interpolation unit 710 Fourth frame memory 711 Display controller 712 Display panel 713 Display mode switch 714 Calibration Unit 715 exposure detection unit 716 exposure controller 717 rectification unit 718 right image 719 left image 720 second frame memory 721 read / write controller 722 distance calculation unit 723 distance image output unit 724 alarm information creation unit 725 distance image 726 stereo Image 727 Display controller
Claims (7)
複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、
前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、
前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
前記像分割手段によって分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する距離算出手段と、
を備え、
前記各自由プリズムは、前記複数の方向のうち、少なくとも２つの方向は略同方向であり、その僅かな方向のズレによりステレオ画像として結像することが可能である、
ことを特徴とするカメラシステム。 A single image sensor that converts a subject image into an electrical signal at a predetermined cycle;
An optical system composed of a plurality of free-form surface prisms, and each of the subject images from different directions is formed on a predetermined region on the image sensor by each free-form surface prism;
A moving image generating means for generating a first moving image based on an electric signal output from the image sensor;
Image dividing means for dividing the first moving image generated by the moving image generating means into partial images corresponding to the respective areas;
Image combining means for combining the partial image divided by the image dividing means with a second moving image in a predetermined arrangement;
Display control means for causing the display device to display the second moving image synthesized by the image synthesizing means;
Distance calculating means for calculating a distance to a subject common to the two partial images based on at least two partial images divided by the image dividing means;
With
In each of the free prisms, at least two directions out of the plurality of directions are substantially the same direction, and can be formed as a stereo image by a slight deviation of the directions.
A camera system characterized by that.
前記ステレオカメラ部は、前記撮像素子と前記光学系を有し、
前記カメラ制御部は、前記動画像生成手段と前記像分割手段と前記像合成手段と前記表示制御手段と前記距離算出手段とを有する、
ことを特徴とする請求項１に記載のカメラシステム。 The camera system includes a stereo camera unit and a camera control unit,
The stereo camera unit includes the image sensor and the optical system,
The camera control unit includes the moving image generation unit, the image division unit, the image synthesis unit, the display control unit, and the distance calculation unit.
The camera system according to claim 1.
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された前記部分画像を所定の配置で第２の動画像に合成し、
前記合成された前記第２の動画像を表示装置に表示させ、
前記分割された少なくとも２つの部分画像に基づいて、前記２つの部分画像中に共通する被写体までの距離を算出する、
ことを特徴とするカメラ制御方法。 A single image sensor that converts a subject image into an electrical signal at a predetermined cycle and a plurality of free-form surface prisms, and subject images from a plurality of different directions are respectively provided on the image sensor by the free-form surface prisms. A camera control method for controlling a stereo camera including an optical system that forms an image in the area of
Generating a first moving image based on the electrical signal output from the image sensor;
Dividing the generated first moving image into partial images corresponding to the respective areas;
Combining the divided partial images into a second moving image in a predetermined arrangement;
Displaying the synthesized second moving image on a display device;
Calculating a distance to a subject common to the two partial images based on the divided at least two partial images;
And a camera control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008242126A JP2010074706A (en) | 2008-09-22 | 2008-09-22 | Camera system and camera control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008242126A JP2010074706A (en) | 2008-09-22 | 2008-09-22 | Camera system and camera control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010074706A true JP2010074706A (en) | 2010-04-02 |
Family
ID=42206039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008242126A Withdrawn JP2010074706A (en) | 2008-09-22 | 2008-09-22 | Camera system and camera control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010074706A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011145322A1 (en) * | 2010-05-17 | 2011-11-24 | パナソニック株式会社 | Panoramic expansion image display device and method of displaying panoramic expansion image |
| WO2012042704A1 (en) * | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | Stereoscopic photographic device |
| JP2015180926A (en) * | 2014-03-05 | 2015-10-15 | 株式会社リコー | Imaging optical system, stereo camera device, and on-vehicle camera device |
| CN113155147A (en) * | 2012-06-05 | 2021-07-23 | 苹果公司 | Virtual camera for 3D maps |
-
2008
- 2008-09-22 JP JP2008242126A patent/JP2010074706A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011145322A1 (en) * | 2010-05-17 | 2011-11-24 | パナソニック株式会社 | Panoramic expansion image display device and method of displaying panoramic expansion image |
| US9374528B2 (en) | 2010-05-17 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Panoramic expansion image display device and method of displaying panoramic expansion image |
| WO2012042704A1 (en) * | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | Stereoscopic photographic device |
| CN113155147A (en) * | 2012-06-05 | 2021-07-23 | 苹果公司 | Virtual camera for 3D maps |
| JP2015180926A (en) * | 2014-03-05 | 2015-10-15 | 株式会社リコー | Imaging optical system, stereo camera device, and on-vehicle camera device |
| US10281690B2 (en) | 2014-03-05 | 2019-05-07 | Ricoh Company, Ltd. | Imaging optical system, stereo camera device and car-mounted camera device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6633216B2 (en) | Imaging device and electronic equipment | |
| JP4969269B2 (en) | Image processing device | |
| KR102657198B1 (en) | Image processing devices and image processing systems | |
| US10449900B2 (en) | Video synthesis system, video synthesis device, and video synthesis method | |
| JP2010268343A (en) | Photographing device and photographing method | |
| JP6095985B2 (en) | Playback apparatus, playback system, playback method, and program | |
| CN104126299B (en) | Video image stabilisation | |
| JP5209578B2 (en) | Image display device for vehicle | |
| JP2007064804A (en) | Obstacle detecting device for vehicle | |
| JP2012068380A (en) | Image processor, imaging apparatus, image processing method, and program | |
| JP2006287892A (en) | Driving support system | |
| JP2010268343A5 (en) | ||
| JP4601505B2 (en) | Top-view image generation apparatus and top-view image display method | |
| JP2016119526A (en) | Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method | |
| WO2018179622A1 (en) | Image capturing device, image capturing module and control method of image capturing device | |
| JP2009093332A (en) | Vehicle peripheral image processor and vehicle peripheral circumstance presentation method | |
| JP7235906B2 (en) | Solid-state imaging device | |
| WO2018016150A1 (en) | Image processing device and image processing method | |
| WO2017043331A1 (en) | Image processing device and image processing method | |
| JP2010074706A (en) | Camera system and camera control method | |
| JP2006054662A (en) | Drive support device | |
| JP2013141120A (en) | Image display device | |
| KR20100005971A (en) | A vehicle around view monitorring system | |
| JP2010183234A (en) | Drawing apparatus | |
| JP5197316B2 (en) | Camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |