JP2006005624A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2006005624A JP2006005624A JP2004179285A JP2004179285A JP2006005624A JP 2006005624 A JP2006005624 A JP 2006005624A JP 2004179285 A JP2004179285 A JP 2004179285A JP 2004179285 A JP2004179285 A JP 2004179285A JP 2006005624 A JP2006005624 A JP 2006005624A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- area
- imaging apparatus
- main
- main area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、一の撮像手段の撮像視野を二つ以上の領域に区分して設定し、特にその領域のうちのひとつに対して適切なコントラストが得られるような撮像を行うことが可能になされた撮像装置に関する。 In the present invention, the imaging field of view of one imaging means is set by dividing it into two or more regions, and in particular, it is possible to perform imaging so that appropriate contrast is obtained for one of the regions. The present invention relates to an imaging apparatus.
近年、撮像装置を、車両に搭載して、安全運転の支援のために用いる、あるいは監視カメラとしてスポット的な乃至はカメラのパンニング等によるパノラミックな所定の撮像視野を昼夜モニタするように用いるなどといった技術が普及しつつある。 In recent years, an imaging device is mounted on a vehicle and used for assisting safe driving, or used as a surveillance camera to monitor a predetermined panoramic imaging field of view by spotting or panning the camera day and night. Technology is spreading.
例えば、撮像装置を安全運転の支援のために利用する場合では、運転者の死角になるような視野を撮像して表示することによって認識可能な視野を拡大したり、或いは、運転者の視野と重複する視野をモニタしながら衝突するおそれのある車両やその他の物体乃至は歩行者の存在に対して特別に注意を喚起するような表示や警告を行ったりすることになる。 For example, when the imaging device is used for assisting safe driving, the recognizable field of view can be enlarged by capturing and displaying a field of view that becomes a blind spot of the driver, or While monitoring the overlapping field of view, a display or a warning that particularly calls attention to the presence of a vehicle or other object or a pedestrian that may collide is performed.
また、撮像装置を監視カメラとして用いる場合は、スポット的な乃至はパノラミックな所定の撮像視野を昼夜モニタしつつも、防犯上のポイントとなるシーンを十分な解像で監視乃至記録することが要点となる。 In addition, when using an imaging device as a surveillance camera, it is important to monitor or record a scene serving as a point of crime prevention with sufficient resolution while monitoring a predetermined spot-like or panoramic imaging field of view day and night. It becomes.
例えば、上述のように撮像装置を用いる場合、撮像装置の視野内には太陽光や照明光等の光源光が直接的に入射してくるような極めて輝度の高い部分が含まれることがあり、その一方では車両の進行方向にトンネルの入り口のような低輝度の部分が現れてくることがある。そのため、高輝度部分は撮像素子の光電変換特性が飽和して所謂白とびとなったり、低輝度部分は所謂黒つぶれになったりすることが発生しやすい。一般的に、ダイナミックレンジが十分に広いとは言えない通常の撮像素子を適応した撮像装置においては、常時撮像視野の全体を最適な解像でモニタできるようにするためには困難が避けられない。 For example, when using the imaging device as described above, the imaging device may include a portion with extremely high luminance in which light source light such as sunlight or illumination light is directly incident, On the other hand, a low-luminance part such as a tunnel entrance may appear in the traveling direction of the vehicle. For this reason, the photoelectric conversion characteristics of the image sensor are saturated in the high luminance portion, and so-called overexposure is likely to occur, and the low luminance portion is likely to be so-called blackout. In general, in an imaging apparatus adapted to a normal imaging device that cannot be said to have a sufficiently wide dynamic range, it is inevitable that it is difficult to always monitor the entire imaging field of view with optimal resolution. .
撮像装置において、その実効的なダイナミックレンジを拡大するために、従来、種々の技術が提案されている。次に、それらの数例について簡単に説明する。
例えば、従来、ＣＣＤ（Charge Coupled Device ）撮像素子の赤（Ｒ）緑（Ｇ）青（Ｂ）の色の再現の適正化を図って、白色であるべきところに色がついてしまう不都合を回避するべく、Ｒ、Ｇ、Ｂの各色の画素毎に光電変換特性のニースロープの傾斜を調節して色再現の改善を図ろうとする技術が提案されている（例えば特許文献１参照）。
In the imaging apparatus, various techniques have been conventionally proposed in order to expand the effective dynamic range. Next, a few examples thereof will be briefly described.
For example, conventionally, red (R), green (G), and blue (B) color reproduction of a CCD (Charge Coupled Device) image sensor is optimized to avoid inconvenience that the color should be white. Therefore, a technique for improving the color reproduction by adjusting the slope of the knee slope of the photoelectric conversion characteristic for each pixel of R, G, and B has been proposed (see, for example, Patent Document 1).
また、従来、増幅型のＣＭＯＳ（Complementary Metal Oxide Semiconductor ）撮像素子において、被写体の低輝度部に対しては（即ち、小信号の電荷を蓄積する場合は）蓄積時間を長くとった信号電荷のみを蓄積して光電変換特性の傾きを十分なものとし、その一方、被写体の高輝度部に対しては（即ち、大信号の電荷を蓄積する場合は）蓄積時間を短くして信号電荷の蓄積を行うようにすることで、両者の蓄積時間による総体としての光電変換特性で見て結果的にダイナミックレンジを拡大させるようにするといった技術が提案されている（例えば特許文献参照２）。 Conventionally, in an amplification type CMOS (Complementary Metal Oxide Semiconductor) image sensor, only a signal charge having a long accumulation time is applied to a low luminance portion of a subject (that is, when a small signal charge is accumulated). Accumulation of the photoelectric conversion characteristics is sufficient to accumulate, while on the other hand, the accumulation of signal charges is reduced by shortening the accumulation time for the high luminance part of the subject (that is, when accumulating large signal charges). By doing so, a technique has been proposed in which the dynamic range is expanded as a result in terms of the photoelectric conversion characteristics as a whole based on the accumulation time of both (see, for example, Patent Document 2).
更に、従来、単一のＣＣＤ撮像素子において、電子シャッタ回路によって被写体の高輝度部に対しては高速の電子シャッタ処理を行って信号の飽和を回避する一方で、被写体の低輝度部に対しては低速の電子シャッタ処理を行って十分な光電変換出力を得るようにすることで、広いダイナミックレンジの撮像を行えるようにする技術が提案されている（例えば特許文献３参照）。 Further, conventionally, in a single CCD image sensor, the electronic shutter circuit performs high-speed electronic shutter processing on the high brightness portion of the subject to avoid signal saturation, while on the low brightness portion of the subject. A technique has been proposed in which imaging with a wide dynamic range can be performed by performing low-speed electronic shutter processing to obtain a sufficient photoelectric conversion output (see, for example, Patent Document 3).
更にまた、従来、撮像装置のＡＥ（Auto Exposure：自動露出）機能を補完して撮影者が意図する主要被写体を常に適正露出で撮影することができるようにするべく、撮像による画像データを一旦記憶手段に保持すると共にその撮像に係る画面内の輝度分布を色分け処理して保存することにより、撮影後に撮影者がこの色分けをたよりに適宜の補正処理を可能にすることが提案されている（例えば文献特許４参照）。 Further, conventionally, image data obtained by imaging is temporarily stored so that the main subject intended by the photographer can always be photographed with appropriate exposure by complementing the AE (Auto Exposure) function of the imaging apparatus. It has been proposed that the brightness distribution in the screen related to the image capturing is stored in the means and color-coded and stored, thereby enabling the photographer to perform appropriate correction processing after the color-coding after shooting (for example, Reference literature 4).
この他、本発明に関係する技術として、例えば特許文献５には、ステレオ光学系の技術が開示されている。
以上のように、一般的な撮像装置では、常時撮像視野の全体を最適な解像でモニタできるようにすることは困難であり、また一方、撮像素子の実効的なダイナミックレンジを拡大するために上述した各文献に開示されるような技術を利用したとしても、何れの文献に開示される従来の技術も、撮像視野（或いはそれに対応するモニタ画面）の全体に対して階調表現の改善を図ろうとするものであり、例えば、撮像視野内で特別に注目されるべき特定の領域についてはその周辺との相対において特別に良好な階調表現を実現したいといった要請には必ずしも十分には応えることができない。 As described above, in general imaging devices, it is difficult to constantly monitor the entire imaging field of view with optimum resolution, and on the other hand, in order to expand the effective dynamic range of the imaging device. Even if the technique disclosed in each of the above-mentioned documents is used, the conventional technique disclosed in any of the documents improves the gradation expression for the entire imaging field of view (or the corresponding monitor screen). For example, for a specific area that should be paid special attention within the imaging field of view, it is not always sufficient to meet the demand for a particularly good gradation expression relative to the surrounding area. I can't.
本発明は上述のような従来の技術では十全に対応し得なかった技術課題を解決しようとするものであり、被写界（撮像視野）の輝度値の高低が極めて広範囲に亘る場合であっても、撮像画面内の特定の領域についてはその周辺との相対において良好な階調表現を実現することができるこの種の撮像装置を提供しようとするものである。 The present invention is intended to solve the technical problems that cannot be fully addressed by the conventional techniques as described above, and is a case where the brightness value of the object scene (imaging field of view) is extremely wide. However, an object of the present invention is to provide an imaging apparatus of this type that can realize a good gradation expression relative to the periphery of a specific area in the imaging screen.
本発明の態様のひとつである撮像装置は、撮像視野に対応した映像信号を生成するように配された撮像素子と、当該撮像素子によって生成される映像信号に係る撮像視野に関して少なくとも主要領域及び非主要領域を含む２つ以上の領域を設定する領域設定手段と、当該領域設定手段によって設定された領域毎にその撮像視野の輝度範囲を夫々測定する輝度範囲測定手段と、当該輝度範囲測定手段による測定結果に基づいて当該撮像素子から出力される映像信号に対して施す処理の形態を変更することにより当該撮像素子の出力に関するニースロープ特性を調整するニースロープ特性調整手段とを備えたことを特徴とするものであり、この特徴により前述した課題が解決される。 An imaging apparatus according to an aspect of the present invention includes an imaging device arranged to generate a video signal corresponding to an imaging field, and at least a main region and a non-image area regarding the imaging field related to the video signal generated by the imaging device. By area setting means for setting two or more areas including the main area, luminance range measuring means for measuring the luminance range of the imaging visual field for each area set by the area setting means, and the luminance range measuring means And a knee slope characteristic adjusting unit that adjusts a knee slope characteristic related to an output of the image pickup device by changing a processing form applied to a video signal output from the image pickup device based on a measurement result. This feature solves the aforementioned problems.
なお、本発明に係る上記撮像装置は、その望ましいひとつの形態として、上記領域設定手段が、上記撮像視野に関して上記主要領域と上記非主要領域とを両者の重複する領域が生じないように設定するよう構成される。 In the imaging apparatus according to the present invention, as one desirable mode, the area setting unit sets the main area and the non-main area so that no overlapping area is generated with respect to the imaging field of view. It is configured as follows.
また一方、本発明に係る上記撮像装置は、その望ましい他の形態として、上記領域設定手段が、上記撮像視野に関して上記主要領域と上記非主要領域とを両者の重複する領域が生じるように設定するよう構成される。 On the other hand, in the imaging apparatus according to the present invention, as another desirable mode, the area setting means sets the main area and the non-main area so that an overlapping area is generated with respect to the imaging field of view. It is configured as follows.
更には、本発明に係る上記撮像装置は、ひとつの形態として、上記領域設定手段が、上記撮像視野に関して上記主要領域と上記非主要領域とを両者の境界に排他的な区分が生じるように設定するよう構成される。 Furthermore, in the imaging apparatus according to the present invention, as one form, the area setting means sets the main area and the non-main area with respect to the imaging field of view so that an exclusive division is generated at the boundary between them. Configured to do.
他方、本発明に係る上記撮像装置は、他の形態として、上記領域設定手段が、上記撮像視野に関して上記主要領域と上記非主要領域とを両者の境界に排他的な区分のない領域を生じるように設定するよう構成される。 On the other hand, in the imaging apparatus according to the present invention, as another form, the area setting means generates an area having no exclusive division at the boundary between the main area and the non-main area with respect to the imaging field of view. Configured to set to
また、本発明に係る上記撮像装置は、その一形態として、上記撮像素子が、車外の道路の状況を少なくとも部分的に上記撮像視野に含み得るようにして車両に搭載され、上記領域設定手段が、当該道路の状況及び当該道路の近傍の状況を含む領域を上記主要領域として設定するよう構成される。 Moreover, the imaging apparatus according to the present invention is, as one form thereof, mounted on a vehicle so that the imaging element can at least partially include the condition of a road outside the vehicle in the imaging field of view, and the region setting means includes The area including the situation of the road and the situation in the vicinity of the road is set as the main area.
更にまた、本発明に係る上記撮像装置は、その一形態として、上記ニースロープ特性調整手段が、複数のニーポイントが生じるように上記ニースロープ特性を変更するよう構成される。 Furthermore, in the imaging apparatus according to the present invention, as one form thereof, the knee slope characteristic adjusting means is configured to change the knee slope characteristic so that a plurality of knee points are generated.
また、本発明に係る上記撮像装置は、その一形態として、上記ニースロープ特性調整手段が、上記撮像素子による当該撮像の条件として、複数回の露光を行う場合の露光回数、実効的露光時間のうちの何れかを上記輝度範囲測定手段による測定結果に基づいて設定するよう構成される。 The imaging apparatus according to the present invention includes, as one form thereof, the number of exposures and the effective exposure time when the knee slope characteristic adjusting unit performs a plurality of exposures as the imaging conditions of the imaging element. Any one of them is configured to be set based on the measurement result by the luminance range measuring means.
更にまた、本発明に係る上記撮像装置は、その一形態として、上記ニースロープ特性調整手段が、上記映像信号の出力の処理形態として、上記撮像素子が複数回の露光を行う場合におけるこれら複数の露光の総体による光電変換特性のダイナミックレンジに対して毎回の露光による光電変換特性が寄与する比率の配分を上記輝度範囲測定手段による測定結果に基づいて設定するよう構成される。 Furthermore, the image pickup apparatus according to the present invention has, as one form thereof, the knee slope characteristic adjusting means in which the image pickup device performs a plurality of exposures as the image signal output processing form. The distribution of the ratio of contribution of the photoelectric conversion characteristics by each exposure to the dynamic range of the photoelectric conversion characteristics by the total exposure is set based on the measurement result by the luminance range measuring means.
また、本発明に係る上記撮像装置は、その一形態として、上記ニースロープ特性調整手段が、上記撮像素子による撮像の条件として、複数回の露光を行うことの要否を上記輝度範囲測定手段による測定結果に基づいて判定して当該露光の回数を設定するよう構成される。 In addition, as one form of the imaging apparatus according to the present invention, the luminance range measuring unit determines whether the knee slope characteristic adjusting unit needs to perform multiple exposures as a condition for imaging by the imaging element. A determination is made based on the measurement result, and the number of exposures is set.
更にまた、本発明に係る撮像装置は、その一形態として、上記ニースロープ特性調整手段が、上記輝度範囲測定手段による測定結果として上記主要領域の輝度範囲が1回の露光で撮像可能なダイナミックレンジを超えている場合は少なくとも異なる実効的露光時間で２回以上の露出を行うように前記撮像の条件を設定するよう構成される。 Furthermore, the imaging apparatus according to the present invention has, as one form thereof, a dynamic range in which the knee slope characteristic adjusting unit can capture the luminance range of the main region as a result of measurement by the luminance range measuring unit with a single exposure. If it exceeds, the imaging conditions are set so that at least two exposures are performed with different effective exposure times.
また、本発明に係る撮像装置は、その一形態として、上記撮像素子が、車外の道路の状況を少なくとも部分的に自己の撮像視野に含み得るようにして車両に搭載され、上記領域設定手段が、当該道路の状況及び当該道路の近傍の状況を含む領域を上記主要領域として設定するように、且つ、外部から供給される当該車両に係るハンドルの舵角を表す情報及び当該車両の姿勢を表す情報に依拠して上記主要領域を可変的に設定するよう構成される。 The imaging device according to the present invention may be mounted on a vehicle so that the imaging device can include at least partially the situation of a road outside the vehicle in its imaging field as one form, and the region setting means The information including the steering angle of the steering wheel related to the vehicle supplied from the outside and the attitude of the vehicle is set so that the area including the situation of the road and the situation in the vicinity of the road is set as the main area. The main area is variably set depending on the information.
更にまた、本発明に係る撮像装置は、その一形態として、上記撮像素子が、ステレオ光学系に対応するように構成される。
また、本発明に係る撮像装置は、その一形態として、上記ダイナミックレンジ調整手段が、上記領域設定手段によって設定された上記主要領域について最適となるように上記撮像素子の光電変換特性を調整するよう構成される。
Furthermore, the image pickup apparatus according to the present invention is configured such that the image pickup element corresponds to a stereo optical system as one form thereof.
In addition, as an aspect of the imaging apparatus according to the present invention, the dynamic range adjustment unit adjusts the photoelectric conversion characteristics of the imaging element so as to be optimal with respect to the main region set by the region setting unit. Composed.
本発明によれば、被写界（撮像視野）の輝度値の高低が極めて広い範囲亘る場合であっても、撮像画面内の特定の領域についてはその周辺との相対において良好な階調表現を実現することができ、特定の領域についてその周囲よりも適確なモニタをする必要がある場合などに適用するに好適である。 According to the present invention, even when the brightness value of the object scene (imaging field of view) is in a very wide range, a favorable gradation expression is expressed relative to the periphery of a specific area in the imaging screen. It can be realized, and is suitable for the case where it is necessary to monitor a specific area more accurately than its surroundings.
以下に図面を用いて本発明の実施形態について詳細に説明する。図１は、本発明の一実施形態としての撮像装置の構成を示すブロック図である。撮像光学系（図示省略）と組み合わされて自己の撮像視野に対応した映像信号を生成するように配された撮像素子１の出力側には公知のようにＡ／Ｄ変換回路２が備えられており、撮像素子１の出力がデジタル信号に変換される。本実施形態の装置には、マイクロプロセッサを主要な構成要素としハードウエアの構成は公知のシステムコントローラ３が設けられ、このシステムコントローラ３によって系全体が統括的に制御されるように構成されている。上述の撮像素子１並びにその後段の信号処理を行う種々の回路等（後述）はバス（公知の制御バスとデータバスを含む）４を通してこのシステムコントローラ３と結ばれている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an imaging apparatus as an embodiment of the present invention. As is well known, an A /
本実施形態の装置には、更に、このＡ／Ｄ変換回路２によってデジタル化された画像信号に対し公知の方式に則って圧縮／伸長その他の所要の処理を施すための信号処理回路５、デジタル化された画像信号（画像データ）を一時的に或いは半ば恒久的に保存するための画像メモリ６、画像の表示を制御する画像制御部７、及び、この画像制御部７の制御下で画像の表示を行う表示器８が設けられ、信号処理回路５、画像メモリ６、及び画像制御部７はバス４を介してシステムコントローラ３と各々結ばれ、画像データの授受や制御信号の授受が行われる。
The apparatus of the present embodiment further includes a
システムコントローラ３には、撮像素子１によって生成される映像信号に係る撮像視野に関して少なくとも主要領域及び非主要領域を含む２つ以上の領域を設定する領域設定手段としての領域設定機能３１と、領域設定機能３１によって設定された領域毎にその撮像視野の輝度範囲を夫々測定する輝度範囲測定手段としての輝度範囲測定機能３２と、輝度範囲測定機能３２による測定結果に基づいて撮像素子１から出力される映像信号に対して施す処理の形態を変更することにより撮像素子１の出力に関するニースロープ特性を調整するニースロープ特性調整手段としてのニースロープ特性調整機能３３とが備えられている。
The system controller 3 includes a
領域設定機能３１は、撮像光学系と組み合わされてなる撮像素子１が車両に搭載されて安全運転の支援のために運転者の視野に略相応する領域をその撮像視野とするように設けられている場合には、その撮像視野のうち、例えば、自車両の走行する道路及び当該道路の近傍を含む領域を主要領域とし、同撮像視野の残りの領域を非主要領域とするように２つに区分される領域を設定するものであるが、所要に応じて３つ以上の領域に区分するようにしてもよい。
The
上述の領域設定機能３１における主要領域、即ち、自車両の走行する道路及びその近傍を含む領域の識別は、バス４を通してシステムコントローラ３に供給される画像データに関し公知の画像認識技術を適用して実行してもよい。輝度範囲測定機能３２は、上述のように撮像視野が主要領域と非主要領域との２つに区分される場合には、撮像素子１によって取得され、Ａ／Ｄ変換回路２及びバス４を通してシステムコントローラ３に供給される画像データに依拠して、それらの領域毎の輝度範囲を測定する。
Identification of the main area in the
ニースロープ特性調整機能３３は、輝度範囲測定機能３２によって測定された主要領域及び非主要領域の輝度範囲に関する各測定結果に基づいて撮像素子１から出力される映像信号に対して施す処理の形態を変更することにより撮像素子１の撮像素子１の出力に関するニースロープ特性を調整する。更に、ニースロープ特性調整機能３３は、撮像素子１による当該撮像の条件として、例えば、複数回の露光を行って得た各画像データを合成して１つの画像を構成するような場合におけるその露光回数、実効的露光時間のうちの何れか（又は双方）を輝度範囲測定機能３２による各測定結果に基づいて設定する。
The knee slope
図２は、本実施形態の装置を適用することによって、被写界（撮像視野）の輝度値の高低が極めて広い範囲に亘る場合であっても、撮像画面内の特定の領域についてはその周辺との相対において良好な階調表現を実現することができる事例を説明するための図である。 FIG. 2 shows a specific area in the imaging screen in the vicinity of a specific area in the imaging screen even when the brightness value of the object scene (imaging field of view) is in a very wide range by applying the apparatus of this embodiment. It is a figure for demonstrating the example which can implement | achieve favorable gradation expression relative to.
図２における撮像視野１００は、本発明の撮像装置が車両に搭載され、運転者がウィンドシールドを通して見渡せる車両前方の視野に略相応するように設定されている。図示のように、路面１０１が撮像視野１００の最も手前側（矩形の撮像視野１００の底辺側）から車両の進行方向側（同視野１００の右上方側）に向かって延びるその延長上の山にはトンネルが穿たれてその入り口１０２が開口し、その入り口１０２から奥に向かって暗くなっている。路面１０１の両側には並木が植えられているが、進行方向左側の崖下には海面が広がり、洋上には太陽が輝いて、撮像視野１００中この陽光の射している部分１０３が極めて輝度の高い領域になっている。
The imaging field of
一般に、図２のような撮像視野１００の全域に渡って平均的に良好なコントラストが得られるように撮像条件を設定するには多くの周知の手法が適用されてきた。しかしながら、例えば、本発明の装置が車載の安全運転支援装置に適用される場合などにおいては、必ずしも、撮像視野１００の全域に渡って平均的に良好なコントラストが得られるようにすることが目的に適ったものとはいえない。即ち、路面１０１上における他の車両１０４ａ、１０４ｂや、路面１０１上の落下物その他の障害物１０５を重点的に明瞭に認識するようにし、この認識結果に応じて適確に警報を発し、あるいは自動的にブレーキをかけることによって危険の回避が行われ得るようにすること等に重点をおいた撮像がより適切である。
In general, many well-known methods have been applied to set imaging conditions so that a good contrast can be obtained on the average over the entire imaging
本実施形態の装置では、このような要求に十分に応えるべく、主要領域としての路面１０１乃至その近傍領域と、その他の非主要領域とに撮像視野１００を区分し、この主要領域について特に障害物の有無等を含む詳細な状況が的確に監視され得るようにする。
In the apparatus according to the present embodiment, the imaging field of
図３は、本発明の実施形態において、主要領域１０１０とそれ以外の非主要領域１０１１との二つ以上の領域を設定する様子を説明するための図である。既述のシステムコントローラ３の領域設定機能３１によって、撮像視野１００に関して、少なくとも路面１０１を主体的に含んで主要領域１０１０が設定され、それ以外の領域が非主要領域１０１１として設定される。図中、一点鎖線１１００は、図２の撮像視野１００内において路面１０１の輪郭として認識される境界を示し、この一点鎖線１１００に略平行な各破線１１０１、１１０２は領域の設定について後述するような複数通りの他の考え方に基づいてそれらの境界を設定する実施形態を示すものである。
FIG. 3 is a diagram for explaining a state in which two or more areas of the
なお、主要領域１０１０とする路面１０１を撮像視野１００から弁別してその境界を確定するための処理自体は、領域設定機能３１において、車両の安全運転支援装置等において採用されている周知の手法を駆使して実行することができる。そのような手法の一例としては、撮像視野１００の画像において最も手前側（撮像視野１００の底辺側）から車両の進行方向側（同視野１００の上方側）に向かって延びる略単一色の領域は路面１０１とみなすというものがある。
Note that the process itself for discriminating the
図２および図３を用いて説明した実施形態では、撮像素子１は車外の道路状況を少なくとも部分的に自己の撮像視野に含み得るようにして車両に搭載され、領域設定手段であるシステムコントローラ３の領域設定機能３１は、道路（路面）１０１の状況及びその道路１００の近傍の状況を含む領域を主要領域１０１０として設定する。
In the embodiment described with reference to FIGS. 2 and 3, the
尚、本発明の実施形態において、結果的に設定される上記各領域の境界は、次のように種々のものとすることができる。
（１）撮像視野１００に関して主要領域１０１０と非主要領域１０１１とを両者の重複する領域が生じず、はっきりと区分されるように設定する。
（２）撮像視野１００に関して主要領域１０１０と非主要領域１０１１とを両者の重複する領域が生じるように設定する。
（３）撮像視野１００に関して主要領域１０１０と非主要領域１０１１とを両者の境界に排他的な区分が生じるように設定する。
（４）撮像視野１００に関して主要領域１０１０と非主要領域１０１１との境界に排他的な区分のない領域、すなわち所謂ぼけがある領域を生じるように設定する。
In the embodiment of the present invention, the boundary of each region set as a result can be various as follows.
(1) For the imaging field of
(2) With respect to the imaging field of
(3) With respect to the imaging field of
(4) The imaging field of
図４は、実施形態の装置において、ニースロープ特性の変更を行うことを説明するための図である。既述のシステムコントローラ３のダイナミックレンジ調整機能（ダイナミックレンジ調整手段）３３が、例えば前掲した特許文献１の如く、撮像素子１から出力される映像信号に対して施す映像信号補正処理の形態を変更することにより、撮像素子１（図１）への入射光量に対する映像信号の出力レベルの関係に対応するニースロープ特性の変更を伴ってダイナミックレンジを調整するように構成される。
FIG. 4 is a diagram for explaining that the knee slope characteristic is changed in the apparatus according to the embodiment. The form of the video signal correction processing performed on the video signal output from the
図４に表わされたニースロープ特性では、輝度が相対的に低い領域では相対的に傾斜が急な第一のニースロープＳ１を以ってニーポイントＫまで線形に出力が変化するようになされ、このニーポイントＫに対応する輝度値よりも輝度が高くなる領域では相対的に傾斜が緩い第二のニースロープＳ２を以って飽和レベルまで出力が線形に変化する。 In the knee slope characteristic shown in FIG. 4, the output changes linearly up to the knee point K with the first knee slope S1 having a relatively steep slope in the region where the luminance is relatively low. In the region where the luminance is higher than the luminance value corresponding to the knee point K, the output linearly changes to the saturation level with the second knee slope S2 having a relatively gentle slope.
この特性図におけるニーポイントＫの位置を変更すると、これに応じて上述の第一のニースロープＳ１および第二のニースロープＳ２の傾斜が変化する。即ち、ニースロープ特性の変更を伴ってダイナミックレンジが調整される。 When the position of the knee point K in this characteristic diagram is changed, the slopes of the first knee slope S1 and the second knee slope S2 change accordingly. That is, the dynamic range is adjusted with the change of the knee slope characteristic.
図４の例では、相対的に傾斜が急な第一のニースロープＳ１の特性で動作する領域で得られる撮像画像の階調は、相対的に傾斜が緩い第二のニースロープＳ２の特性で動作する領域における階調よりも良好である。 In the example of FIG. 4, the gradation of the captured image obtained in the region operating with the characteristic of the first knee slope S1 having a relatively steep inclination is the characteristic of the second knee slope S2 having a relatively gentle inclination. It is better than the gradation in the operating region.
このようなニースロープ特性の調整と共に、図１について説明したニースロープ特性調整機能３３によって、例えば、撮像素子１に対し、撮像の条件として、複数回の露光を行う場合の露光回数、実効的露光時間（機械的シャッタにおけるシャッタスピードのように、実際に撮像素子１の光電変換面に光が入射する時間、或いは、撮像素子１の電荷排出タイミングの制御による光電荷蓄積時間）のうちの何れか或いは双方を輝度範囲測定機能３２による測定結果に基づいて設定するようにしてもよい。以下に、より詳細に説明する。
Along with such adjustment of the knee slope characteristic, the knee slope
図５Ａ、図５Ｂ、図６Ａ及び図６Ｂは、撮像素子１において複数回の露光を行う場合におけるこれら複数の露光の総体による光電変換特性のダイナミックレンジに対して毎回の露光による光電変換特性が寄与する比率の配分を各露光に関する輝度範囲測定機能３２による測定結果に基づいてダイナミックレンジ調整機能３３が設定するようにした実施形態について説明する図である。
5A, FIG. 5B, FIG. 6A and FIG. 6B show that the photoelectric conversion characteristics by each exposure contribute to the dynamic range of the photoelectric conversion characteristics by the total of the plurality of exposures in the case where the
図５Ａ及び図５Ｂは、撮像視野の輝度の範囲が広域に及ぶような場合に、上述のような露光条件を変えて２回の露光（露出１、露出２）を行って得た画像を、加算または画素毎の切換えによって合成して画像信号を得る場合の例を示すものである。なお、加算または画素切換え自体は例えば既述の特許文献３に開示の公知の方法を適用できる。
5A and 5B show images obtained by performing exposure twice (
露光条件を変えた２回の露光によってカバーされる輝度域の区分を示す図５Ａを参照して容易に理解されるとおり、相対的に低輝度の領域に適合するように設定した露光条件による露光によってカバーされる輝度域が「露出１」として表記される。また、相対的に高輝度の領域に適合するように設定した露光条件による露光によってカバーされる輝度域が「露出２」として表記される。既述の主要領域の輝度はこの「露出１」でカバーされ、非主要領域の輝度はこの「露出２」でカバーされる。
As can be easily understood with reference to FIG. 5A showing the division of the luminance area covered by the two exposures with different exposure conditions, the exposure with the exposure condition set to be adapted to the relatively low luminance area Is represented as “
また、露光条件を変えた２回の露光によってカバーされる輝度域の区分毎のニースロープを示す図５Ｂを参照して容易に理解されるとおり、「露出１」でカバーされる領域についてはニースロープの傾斜が相対的に大きく、「露出２」でカバーされる領域についてはニースロープの傾斜が相対的に小さい。従って、主要領域について特に鮮やかなコントラストを有する明瞭な画像が得られる。
Further, as can be easily understood with reference to FIG. 5B showing the knee slope for each section of the luminance area covered by two exposures with different exposure conditions, the area covered by “
図６Ａ及び図６Ｂは、撮像視野の輝度の範囲が広域に及ぶような場合に、上述のような露光条件を変えて３回の露光（露出１，露出２，露出３）を行って得た画像を、加算または画素毎の切換えによって合成画像信号を得る場合の例を示すものである。なお、この例でも、加算または画素切換え自体は例えば既述の特許文献３に開示の公知の方法を適用できる。
6A and 6B are obtained by performing exposure three times (
露光条件を変えた３回の露光によってカバーされる輝度域の区分を示す図６Ａを参照して容易に理解されるとおり、相対的に最も低輝度の領域に適合するように設定した露光条件による露光によってカバーされる輝度域が「露出１」として表記される。次に、相対的に中位の輝度の領域に適合するように設定した露光条件による露光によってカバーされる輝度域が「露出２」として表記される。更に、相対的に最も高輝度の領域に適合するように設定した露光条件による露光によってカバーされる輝度域が「露出３」として表記される。
As easily understood with reference to FIG. 6A showing the division of the luminance area covered by the three exposures with different exposure conditions, it depends on the exposure condition set to be adapted to the relatively lowest luminance area. The luminance range covered by exposure is denoted as “
本例の場合、主要領域の輝度は「露出２」でカバーされ、非主要領域の輝度はこの「露出１」および「露出３」でカバーされる。
上述のように露光条件を変えた３回の露光によってカバーされる輝度域の区分毎のニースロープを示す図６Ｂを参照して容易に理解されるとおり、「露出２」でカバーされる領域についてはニースロープの傾斜が相対的に大きく、「露出１」および「露出３」でカバーされる領域についてはニースロープの傾斜が相対的に小さい。このため、主要領域について特に鮮やかなコントラストを有する明瞭な画像が得られる。
In this example, the luminance of the main area is covered with “
As can be easily understood with reference to FIG. 6B showing the knee slope of each luminance range covered by three exposures with different exposure conditions as described above, the region covered by “
図５Ａ、図５Ｂ、図６Ａ及び図６Ｂについて説明した何れの例についても明らかなとおり、ダイナミックレンジ調整機能３３は、領域設定機能３１によって設定された主要領域について最適となるように光電変換特性を調整する。
As is clear from any of the examples described with reference to FIGS. 5A, 5B, 6A, and 6B, the dynamic
なお、ダイナミックレンジ調整機能３３は、撮像素子１での撮像の条件として、複数回の露光を行うことの要否を輝度範囲測定機能３２による測定結果に基づいて判定し、撮像視野の輝度の範囲が広域に及ぶ場合に当該露光の回数を設定する。より具体的には、輝度範囲測定機能３２による測定結果として主要領域の輝度範囲が1回の露光で撮像可能なダイナミックレンジを超えている場合には、少なくとも異なる実効的露光時間で２回以上の露出を行うように撮像素子１での撮像の条件を設定する。
Note that the dynamic
図７は、本発明の他の実施形態としての撮像装置の構成を示すブロック図である。
図７において、図１との対応部には同一の符号を附して示しそれらの詳細な説明は省略する。図中において、１は撮像素子、２はＡ／Ｄ変換回路、３はシステムコントローラ、４はバス、５は信号処理回路、６は画像メモリ、７は画像制御部、８は表示器である。
FIG. 7 is a block diagram showing a configuration of an imaging apparatus as another embodiment of the present invention.
In FIG. 7, the same reference numerals are given to the corresponding parts to those in FIG. 1, and detailed description thereof will be omitted. In the figure, 1 is an image sensor, 2 is an A / D conversion circuit, 3 is a system controller, 4 is a bus, 5 is a signal processing circuit, 6 is an image memory, 7 is an image control unit, and 8 is a display.
システムコントローラ３には、図１について説明したと同様に、撮像素子１撮像素子１によって生成される映像信号に係る撮像視野に関して少なくとも主要領域及び非主要領域を含む２つ以上の領域を設定する領域設定手段としての領域設定機能３１と、領域設定機能３１によって設定された領域毎にその撮像視野の輝度範囲を夫々測定する輝度範囲測定手段としての輝度範囲測定機能３２と、輝度範囲測定機能３２による測定結果に基づいて撮像素子１から出力される映像信号に対して施す処理の形態を変更することにより撮像素子１の出力に関するニースロープ特性を調整するニースロープ特性調整手段としてのニースロープ特性調整機能３３とが備えられている。
In the system controller 3, as described with reference to FIG. 1, an area in which two or more areas including at least a main area and a non-main area are set with respect to an imaging field relating to a video signal generated by the
図７の実施の形態における図１の例との相違は、図７の装置において特に、車内ＬＡＮ（例えばＣＡＮ：Controller Area Network ）４０を通して、本装置が装備された車両に係るハンドル（不図示）の舵角を表す情報及び車両の姿勢を表す情報が供給され得るようになされ、領域設定機能３１は、これらの情報に依拠して上述の主要領域を可変的に設定するようにされている点である。このように構成することによって、上記の車両に対する操作にも応動するようにして例えば車両の安全運転支援の見地からより的確に上述の主要領域を設定することができる。また、この設定は車両の走行に伴って適応的に可変設定され得る。
The embodiment of FIG. 7 differs from the example of FIG. 1 in particular in the apparatus of FIG. 7 through a vehicle LAN (for example, CAN: Controller Area Network) 40 and a handle (not shown) relating to a vehicle equipped with this apparatus. The information indicating the steering angle of the vehicle and the information indicating the attitude of the vehicle can be supplied, and the
図８は、撮像素子が、ステレオ光学系に対応するように構成された実施形態について説明するための図である。ステレオ光学系自体は、前掲した特許文献５等によって公知であるため、厳密な説明は省略するが、図８の例において、被写体（他の車両）３００に向けられたステレオ光学系２００は、左眼視野を捉える第一の左反射面２０１及び右眼視野を捉える第一の右反射面２０２と、第一の左反射面２０１及び第一の右反射面２０２による反射光を各々反射して撮像レンズ２０５を通して撮像素子１へ導くように設けられた第二の左反射面２０３及び第二の右反射面２０４とを含んで構成される。このステレオ光学系２００は、撮像レンズ２０５と撮像素子１とを含んで構成されるカメラ２０６に対して結合して用い得るユニットとしてのステレオアダプターとして構成され得る。
FIG. 8 is a diagram for describing an embodiment in which an imaging element is configured to correspond to a stereo optical system. Since the stereo optical system itself is known from the above-mentioned
１ 撮像素子
２ Ａ／Ｄ変換回路
３ システムコントローラ
４ バス
５ 信号処理回路
６ 画像メモリ
７ 画像制御部
８ 表示器
３１ 領域設定機能（領域設定手段）
３２ 輝度範囲測定機能（輝度範囲測定手段）
３３ ニースロープ特性調整機能（ニースロープ特性調整手段）
４０ 車内ＬＡＮ
１００ 撮像視野
１０１ 路面
１０２ トンネルの入り口
１０３ 陽光が射している部分
１０４ａ、１０４ｂ 他の車両
１０５ 障害物
２００ ステレオ光学系
２０１ 第一の左反射面
２０２ 第一の右反射面
２０３ 第二の左反射面
２０４ 第二の右反射面
２０５ 撮像レンズ
２０６ カメラ
３００ 被写体（他の車両）
１０１０ 主要領域（道路）
１０１１ 非主要領域
１１００ 境界（一点鎖線）
１１０１、１１０２ 境界（破線）
DESCRIPTION OF
32 Luminance range measurement function (luminance range measurement means)
33 Knee slope characteristic adjustment function (knee slope characteristic adjustment means)
40 in-car LAN
DESCRIPTION OF
1010 Main areas (roads)
1011
1101, 1102 boundary (dashed line)
Claims (14)
前記撮像素子によって生成される映像信号に係る撮像視野に関して少なくとも主要領域及び非主要領域を含む２つ以上の領域を設定する領域設定手段と、
前記領域設定手段によって設定された領域毎にその撮像視野の輝度範囲を夫々測定する輝度範囲測定手段と、
前記輝度範囲測定手段による測定結果に基づいて前記撮像素子から出力される映像信号に対して施す処理の形態を変更することにより当該撮像素子の出力に関するニースロープ特性を調整するニースロープ特性調整手段と、
を備えたことを特徴とする撮像装置。 An image sensor arranged to generate a video signal corresponding to the imaging field;
A region setting means for setting two or more regions including at least a main region and a non-main region with respect to an imaging field of view associated with a video signal generated by the image sensor;
Luminance range measuring means for measuring the luminance range of the imaging field for each area set by the area setting means,
A knee slope characteristic adjusting unit that adjusts a knee slope characteristic related to an output of the image pickup device by changing a processing form applied to a video signal output from the image pickup device based on a measurement result by the luminance range measuring unit; ,
An imaging apparatus comprising:
前記領域設定手段は、前記道路の状況及び当該道路の近傍の状況を含む領域を前記主要領域として設定する、
ことを特徴とする請求項１に記載の撮像装置。 The imaging device is mounted on the vehicle so that the imaging field of view can at least partially include a road condition outside the vehicle,
The area setting means sets the area including the situation of the road and the situation of the vicinity of the road as the main area.
The imaging apparatus according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004179285A JP2006005624A (en) | 2004-06-17 | 2004-06-17 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004179285A JP2006005624A (en) | 2004-06-17 | 2004-06-17 | Imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006005624A true JP2006005624A (en) | 2006-01-05 |
Family
ID=35773639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004179285A Withdrawn JP2006005624A (en) | 2004-06-17 | 2004-06-17 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006005624A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014121092A (en) * | 2012-12-18 | 2014-06-30 | Axis Ab | Monitoring method and camera |
| JP2014179920A (en) * | 2013-03-15 | 2014-09-25 | Canon Inc | Imaging apparatus, control method thereof, program, and storage medium |
-
2004
- 2004-06-17 JP JP2004179285A patent/JP2006005624A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014121092A (en) * | 2012-12-18 | 2014-06-30 | Axis Ab | Monitoring method and camera |
| JP2014179920A (en) * | 2013-03-15 | 2014-09-25 | Canon Inc | Imaging apparatus, control method thereof, program, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4706466B2 (en) | Imaging device | |
| JP6319340B2 (en) | Movie imaging device | |
| EP2434759B1 (en) | Monitoring apparatus | |
| JP4258539B2 (en) | Multiple angle of view camera | |
| TWI573097B (en) | Image capturing device applying in movement vehicle and image superimposition method thereof | |
| US8208022B2 (en) | Apparatus and method for removing blooming of camera image | |
| JP2007189369A (en) | Device for detecting dirt of camera lens, and image display system | |
| WO2013140873A1 (en) | In-vehicle image processing device and method | |
| JPH0951484A (en) | Light quantity controller for electronic camera | |
| JP4798945B2 (en) | Imaging device | |
| JP4289629B2 (en) | Surveillance camera system | |
| US11953708B2 (en) | Camera device | |
| JP2010245846A (en) | Vehicle periphery monitoring device | |
| JP4523629B2 (en) | Imaging device | |
| US10063827B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
| JP2008230464A (en) | Automatic exposure device for on-vehicle camera | |
| JP2007295093A (en) | Exposure control method of on-vehicle monitoring camera | |
| JP2006005621A (en) | Imaging device | |
| JP2004048345A (en) | Imaging systems | |
| JP2006005624A (en) | Imaging device | |
| JP5545596B2 (en) | Image input device | |
| JP7496183B2 (en) | Imaging device | |
| JP2006005623A (en) | Imaging device | |
| JP6525723B2 (en) | Imaging device, control method therefor, program, and storage medium | |
| JP2006005622A (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070904 |