JPH05500289A - wide dynamic range camera - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。 (57) [Summary] This bulletin contains application data before electronic filing, so abstract data is not recorded.

Description

【発明の詳細な説明】 発明の名称 広ダイナミツクレンジカメラ 発明の分野 本発明はビデオ影像また特に改善されたビデオ影像を提供するための装置と技術 に関するものである。[Detailed description of the invention] name of invention wide dynamic range camera field of invention The present invention provides an apparatus and technique for providing video images and, more particularly, improved video images. It is related to.

発明の背景 現在各種のビデオ画質向上装置及び技術が提案されている。中でも、自動利得制 御　（ＡＧＣ）技術はビデオ信号のＤＣレベルを減じることによってビデオ信号 のダイナミックレンジを減じるために使用されてきた。上記の技術は、線形ＡＧ Ｃが画素（ｐｉｘｅｌ）単位でビデオ影像に適用されている米国特許４，７１９ ゜３５０に記載されている。この技術は操作方向に平行な線で限定された連続領 域（ｓｏｌｉｄ　ａｒｅａ）にだけ適用できる。Background of the invention Various video quality improvement devices and techniques are currently being proposed. Among them, automatic profit system Control (AGC) technology improves the video signal by reducing the DC level of the video signal. has been used to reduce the dynamic range of The above technique is a linear AG U.S. Pat. No. 4,719 in which C is applied to video images pixel by pixel. It is described in ゜350. This technology is based on a continuous area defined by a line parallel to the operating direction. Applicable only to solid areas.

一般的に言って、Ａ　Ｇ　ｃはフレーム単位でのみビデオ処理に使用されている 。Generally speaking, AGc is used for video processing only on a frame-by-frame basis. .

発明の要約 本発明は上述の先行技術による装置と技術の限界を克服する改良されたビデオ画 質向上装置を提供しようとするものである。Summary of the invention The present invention provides an improved video image that overcomes the limitations of the prior art devices and techniques discussed above. The aim is to provide a quality improvement device.

したがって本発明の推奨実施態様に従って、異なる露出レベルにおいであるシー ンの多数のビデオ影像を提供するための装置及び多数のビデオ影像からの影像情 報を含みまたその中の局所領域において向上された細部を含む結合ビデオ影像を 生成するために多数のビデオ影像を処理するための装置を包含するビデオ影像装 置が提供される。Therefore, in accordance with the preferred embodiment of the present invention, certain exposure levels may be apparatus for providing a large number of video images and image information from the large number of video images; The combined video image contains information and enhanced details in local regions therein. a video imaging device comprising an apparatus for processing a number of video images to produce location is provided.

さらに本発明の推奨実施ａｍに従って、多数のビデオ影像を処理するための装置 は結合ビデオ影像の部分のダイナミックレンジを局所的に向上させるための装！ を備えている。Further in accordance with the recommended implementation of the invention, an apparatus for processing a large number of video images. is a device for locally improving the dynamic range of a portion of a combined video image! It is equipped with

加えて本発明の推奨実施！！様に従って、多数のビデオ影像を処理するための装 置は結合ビデオ影像のエツジを示す情報を保存するための装置を備えている。In addition, recommended implementation of the present invention! ! equipment for processing large numbers of video images according to The device is equipped with a device for storing information indicative of the edges of the combined video image.

さらに本発明の推奨実施態様に従って、多数のビデオ影像を処理するための装置 は多数のビデオ影像に近傍変形を通用するための装置を備えている。Further in accordance with a preferred embodiment of the invention, an apparatus for processing a large number of video images. has an apparatus for applying neighborhood deformation to a large number of video images.

加えて本発明の推奨実施１！様に従って、異なる露出レベルにおいであるシーン の多数のビデオ影像を提供するための装置及び多数のビデオ影像からの影像情報 を含みまたその中の局所領域において向上された細部を含む結合ビデオ影像を生 成するために多数のビデオ影像を処理するための装置を具備するビデオ画質向上 装置が提供される。In addition, recommended implementation of the present invention 1! Depending on the scene, the scene may be at different exposure levels. apparatus for providing a large number of video images and image information from the large number of video images and produces a combined video image containing enhanced details in local regions therein. Video quality improvement comprising a device for processing a large number of video images to achieve Equipment is provided.

加えて本発明の推奨実施Ｂ様に従って、処理のための装置はヒストグラム等化装 置のような画像向上装置を備えることもできる。In addition, according to recommended implementation B of the present invention, the processing device is a histogram equalization device. An image enhancement device such as a device may also be included.

図面の簡単な説明 本発明は付属の図面と併せて下記の詳細な説明によってもっと完全に理解し評価 することができるだろう：図１は本発明の推奨実施態様に従って製作され動作す るビデオ撮像システムを説明するブロック図である：図２は非線形近傍変形を提 供する近傍変形装置の簡略化したブロック図である； 図３は本発明の別の推奨実施態様に従って製作され動作する別のビデオ撮像シス テムを説明するブロック図である；図４は本発明の別の推奨実施態様に従って製 作され動作するさらに別のビデオ撮像システムを説明するブロック図である；図 ５は図４のビデオ撮像システムの動作を示すグラフである；図６は図５の実施態 様に使用されている画素セレクタである；図７は本発明の推奨実施！ａ様に従っ て製作され動作するさらに別のＢ様のビデオ撮像システムを説明するブロック図 である；及び 図８は図１の回路（ｃｉｒｃｕｉ　ｔｒｙ）の一部を構成する露出セレクタを示 すブロック図である。Brief description of the drawing The present invention will be more fully understood and appreciated by the following detailed description taken in conjunction with the accompanying drawings. FIG. 2 is a block diagram illustrating a video imaging system that provides nonlinear neighborhood deformation. FIG. 2 is a simplified block diagram of a neighborhood deformation device that provides; FIG. 3 shows another video imaging system constructed and operative in accordance with another preferred embodiment of the present invention. 4 is a block diagram illustrating the system; FIG. 4 is a block diagram illustrating the system; 1 is a block diagram illustrating yet another video imaging system constructed and operated; FIG. 5 is a graph showing the operation of the video imaging system of FIG. 4; FIG. 6 is a graph illustrating the operation of the video imaging system of FIG. Figure 7 shows a recommended implementation of the present invention! Follow Mr. a A block diagram illustrating yet another video imaging system of Mr. B that is manufactured and operated by is; and Figure 8 shows an exposure selector that forms part of the circuit in Figure 1. FIG.

推奨実施！！様の詳細な説明 次に、本発明の推奨実施態様に従って製作され、動作し、またＣＣＤ、ＣＩＤ、 光ダイオード配列または外部から提供される制御パルスによって露出時間を変え ることのできるあるいはその他の形態の外部露出制御を可能にするその他の可視 あるいは非可視光センサー配列などのカメラ１０を備えたビデオ撮像システムの 一つの推奨実施態様を示す図１を参照する。市販されているカメラ１０の例とし ては米国カリフォルニア州すンディエゴのザイビオン電子システム社（Ｘｙｂｉ ｏｎ　Ｅｌｅｃｔｒｏｎｉｃ　Ｓｙｓｔｅｍｓ　Ｃｏｒｐ、）が販売しているＲ ＶＳ−０９モデルが挙げられる。Recommended implementation! ! Detailed explanation of Then, the CCD, CID, Exposure time is varied by a photodiode array or by externally provided control pulses. or other visible light that allows for other forms of external exposure control or a video imaging system comprising a camera 10 such as a non-visible light sensor array. Reference is made to FIG. 1, which shows one recommended implementation. As an example of 10 commercially available cameras, Xybi Electronic Systems, Inc. (Sun Diego, California, USA) R sold by on Electronic Systems Corp. An example is the VS-09 model.

カメラタイミング回路１２はカメラ１０にタイミングパルスを提供する。該タイ ミング回路１２は通常のクロック、計数器及び周波数分割器を備えることができ る。カメラＩＯに提供されるタイミングパルスは、選択自在な時間の持続を変化 させるためのセンサー配列内の電荷の光電蓄積を始動させるために使用され、ま た同タイミングパルスはＡＤ変換器１４に与える、好適にはカメラ１０の中に内 蔵した前置増幅器回路を介して検出することによって発生した信号電流の読出し を制御するために使用される。代表的な適切なＡＤ変換器としては１０ＭＨｚで ８ビツト解像度で動作するＴＲＷ　ＴＤＣ−１０４８が挙げられる。電荷の光電 蓄積の制御は一般に二つの方法で行われ、一つは光入力を制御するための電子シ ャッターなどの、シャッターの操作であり、もう一つはセンサー配列の積分時間 の制御である。Camera timing circuit 12 provides timing pulses to camera 10. Thailand The timing circuit 12 may include a conventional clock, counter and frequency divider. Ru. Timing pulses provided to camera IO vary selectable time duration It is used to initiate the photoelectric accumulation of charge within the sensor array for The same timing pulse is applied to the AD converter 14, preferably internally within the camera 10. Readout of the signal current generated by sensing through the integrated preamplifier circuit used to control. A typical suitable AD converter is 10MHz. One example is TRW TDC-1048, which operates at 8-bit resolution. photoelectric charge Control of storage is generally done in two ways: one is with an electronic system to control the optical input; One is the operation of the shutter, such as shutter, and the other is the integration time of the sensor array. control.

ＡＤ変換器１４からのディジタル化されたビデオデータは探索テーブル（ＬＵＴ ）１６と露出選択器１７の二つのサブシステムに平行して供給される。露出選択 器は図８に示した通りで平行に配置されＡＮＤゲート２０４に出力を出す第−及 び第二の比較器２００と２０２を備えている。比較器２００は０−２５５の８ビ ツト領域内で、２０程度の信号レベルなどの、低いしきい値！　（Ｌ）とＡＤ変 換器１４からの信号を比較する。比較器２０２は、２３５程度の、高いしきい値 １　（Ｈ）とＡＤ変換器１４からの信号を比較する。信号が２０を上回り２３５ より低いとき、２台の比較器は共に論理「真」信号を発生し、ＡＮＤゲート２０ ４においてＡＮＤがとられる。The digitized video data from the AD converter 14 is stored in a lookup table (LUT). ) 16 and exposure selector 17 in parallel. Exposure selection The circuits are arranged in parallel as shown in FIG. and second comparators 200 and 202. The comparator 200 has 8 bits from 0 to 255. A low threshold, such as a signal level of about 20, within the range of ! (L) and AD change The signals from converter 14 are compared. Comparator 202 has a high threshold value, on the order of 235. 1 (H) and the signal from the AD converter 14. Signal is above 20 235 When lower, the two comparators together produce a logic "true" signal and the AND gate 20 4 is ANDed.

二つの「真」信号がＡＮＤゲート２０４で受信されたときＡＮＤゲート２０４の 出力が計数器２０６に提供され、その計数値を増加させる。AND gate 204 when two “true” signals are received by AND gate 204. An output is provided to counter 206 to increment its count.

計数器２０６は各フレームの開始時に帰零される。現フレームの影像がほぼ飽和 したとき、即ち多数の画素が（例えば、２５５またはそれに近い数値を有する） 白であるとき、そのフレームの終わりに計数器は非常に低い数値を含んでいるだ ろう、影像がほとんどカットオフされたとき、即ち多数の画素が黒であるとき、 （即ち、２０以下の数値を有するとき）にもほぼ同じ欅になる。Counter 206 is reset to zero at the beginning of each frame. The image of the current frame is almost saturated. i.e. when a large number of pixels (e.g. having a value of 255 or close to it) When it is white, the counter will contain a very low number at the end of that frame. When the image is almost cut off, i.e. when many pixels are black, (That is, when it has a numerical value of 20 or less), it becomes almost the same keyaki.

反対に、数値のある程度の広がりを有する、「通常の」影像にういては、大多数 の画素が２０から２３５の間の値を持つだろう。On the other hand, for "normal" images that have a certain spread of numbers, the majority pixels will have values between 20 and 235.

上記の影像のフレームについて、計数器２０６は各フレームの終わりに大きな数 値を含むであろう。For the frames of the above image, the counter 206 counts a large number at the end of each frame. will contain the value.

計数器２０６の出力は比較器２０日に提供される。各フレームの終わりにおいて 、計数器２０６の出力は比較器２０８によってしきい値Ｎ（ｔｈ）と比較される 。このしきい値はほぼ飽和しているかカットオフされた影像ではなく、フレーム の影像が「通常の」ものであったかどうかを判定するために選定される。計数器 ２０６の出力値がＮ（ｔｈ）より大きいとき、比較器２０８の出力は論理的「真 」になる。この出力がタイミング制御回路２２とホストＣＰＵ１Ｂ（図１）の両 方に提供される。The output of counter 206 is provided to comparator 20. At the end of each frame , the output of counter 206 is compared with a threshold value N(th) by comparator 208 . This threshold is set for frames rather than near-saturated or cut-off images. selected to determine whether the image was "normal". counter When the output value of 206 is greater than N(th), the output of comparator 208 is a logical "become. This output is sent to both the timing control circuit 22 and the host CPU 1B (Fig. 1). provided to those who

測定及びある露出レベルの特定のフレームが異なる露出レベルで多数のフレーム と組み合わされるべきか否かの判定は少なくとも二つの方法で実行することがで きる。Measure and measure a specific frame at one exposure level to many frames at different exposure levels The determination of whether or not to be combined with Wear.

本発明の一つの実施Ｂ様に従えば、測定はホス）ＣＰＵＩ　Ｂの決定する、比較 的少ない頻度で実行することができる。上記の場合、システムによって可能な露 出の全ての範囲に及ぶ、露出の完全な連続を実行することができる。各露出の終 わりに、比較器２０８の出力がホストＣＰＵ１８によって受゛信される。According to one embodiment B of the present invention, the measurement is performed by CPUI B, and the comparison can be executed less frequently. In the above case, the exposure allowed by the system A complete sequence of exposures can be performed, spanning the entire range of exposures. At the end of each exposure Instead, the output of comparator 208 is received by host CPU 18.

ホストＣＰＵ１８はパラメータＩ　（Ｌ）　、Ｉ　（Ｈ）及びＮ（ｔｈ）を制御 し、それらを自由に変えることができる。収集した情報はホストＣＰＵ１８が次 の測定までどの露出を取るべきがあるいは使用すべきかを決定するのを助ける。The host CPU 18 controls parameters I (L), I (H) and N (th) and can change them freely. The collected information is then processed by the host CPU 18. measurements to help determine which exposures to take or use.

本発明の別の実施態様によれば、測定は連続的に実行することができる。露出の 連続は、従来の露出計によって決められるような、中間露出の設定に始まり、両 端に向かって進む。According to another embodiment of the invention, the measurements can be performed continuously. exposed Continuity begins at an intermediate exposure setting, as determined by a traditional light meter, and Go towards the edge.

例えば、１番が最短（最低の感度を有する）で１５番が最長（最大の感度を有す る）である、１５の可能な露出レベルが存在すると仮定する。システムは通常露 出番号７の新しいシーケンスの開始によって進行し次いで番号６．５、・・・１ で進行する。カットオフフレームに出会って、それに対して比較器２０Ｂが論理 「偽」出力を発生すると、その方向のシーケンスの進行は終了し、シーケンスは 露出番号８．９、・・・１５と進行する。飽和フレームに出会うと、シーケンス は完了する。この場合、システムは露出番号３と１３がそれぞれカットオフと飽 和であり、露出番号４−１２が「通常」であるような、露出番号３から１３を受 けることができる。For example, number 1 is the shortest (has the lowest sensitivity) and number 15 is the longest (has the highest sensitivity). Assume that there are 15 possible exposure levels, where . The system is normally Proceeding by starting a new sequence with number 7 and then number 6.5,...1 Proceed with When the cut-off frame is encountered, the comparator 20B performs a logical Generating a "false" output terminates the progression of the sequence in that direction and the sequence Exposure numbers 8.9, . . . 15 progress. When a saturated frame is encountered, the sequence is completed. In this case, the system uses exposure numbers 3 and 13 as cutoff and saturation, respectively. and exposure numbers 3 to 13 are received such that exposure numbers 4 to 12 are "normal". can be used.

露出の全てが必要にはならないと思われる。例えば、一方によって分離された露 出レベルで取られた二つの連続する影像がきわめて類慎し、一方によって提供さ れる情報の量が他のものと比べてわずかであることがある。この様な場合は、画 素毎に、二つの連続する影像を比較することによって検出することができる。対 応する画素が与えられたしきい値よりも相違が大きいときには計数器が加算され る。フレーム全体の計数が与えられたしきい値を越えるとき、露出全体が保持さ れる。それ以外の場合、それは放棄されるだろう。It is likely that not all exposures will be necessary. For example, exposure separated by one Two consecutive images taken at the Sometimes the amount of information provided is small compared to others. In this case, the image For each element, it can be detected by comparing two consecutive images. versus The counter is added when the corresponding pixels differ by more than a given threshold. Ru. When the total frame count exceeds a given threshold, the entire exposure is retained. It will be done. Otherwise it will be abandoned.

別の方法では、ｉ番目の露出レベルで画像を撮影した後、ｋ番目のレベルで画像 を撮影し、画素毎に、ｉ番目のレベルで撮影した画像と比較される。それらが与 えられた数よりも多い画素において相違しているとき、ｉとｋの間の中間露出レ ベルｊにおいても画像が撮影される。ｊ番目の露出レベルでその画像を撮影する ときに、ｊ番目のレベルとｉ番目のレベルあるいはに番目のレベルのいずれかの 間の露出を取る必要があるかを判定するために出力をｉ番目とに番目の両方のレ ベルと比較することができる。Another method is to take an image at the i-th exposure level, then take the image at the k-th level. is photographed and compared pixel by pixel with the image photographed at the i-th level. they give intermediate exposure level between i and k when they differ in more pixels than An image is also taken at Bell j. Take that image at the jth exposure level Sometimes, either the jth level and the ith level or the In order to determine whether it is necessary to take an exposure between It can be compared to Bell.

前述の技術は露出の全体よりも少ない連続の使用を可能にすることを意図してい る０通常は所期の情報レベルを提供するのに１乃至３の露出があれば十分である 。The aforementioned techniques are intended to allow the use of less than the entirety of the exposure. 0 Usually 1 to 3 exposures are sufficient to provide the desired level of information .

探索テーブル（ＬＵＴ）１６はホストＣＰＵ１Ｂから受けたプログラム命令に従 ってディジタルビデオ信号を予め処理する。ホストＣＰＵ１８は一般に通常のシ リアルまたはパラレル結合を介してシステムのハードウェアと通信するパーソナ ルコンピュータによって実現される。別ｄ方法では、ホストＣＰ０１８はインテ ル８０５１または適切なカスタム（ｃｕｓｔｏｍ−ｄｅｓｉｇｎｅｄ）コントロ ーラなどの、比較的単純なマイクロコントローラによって実現することもできる 。下記に詳しく述べるごとく、ホストＣＰＵは入力及び出力ＬＵＴ、カメラの露 出及びビデオ信号に加えられた変形を決定する。The lookup table (LUT) 16 follows the program instructions received from the host CPU 1B. The digital video signal is pre-processed. The host CPU 18 is generally A person who communicates with the system's hardware through real or parallel connections. realized by a computer. In another method, the host CP018 8051 or appropriate custom-designed control. It can also be realized by a relatively simple microcontroller such as a controller. . As detailed below, the host CPU controls the input and output LUTs, the camera exposure Determine the output and the transformations applied to the video signal.

入力ＬＵＴ１６からの信号出力はビデオデータの低周波数部分を減らし入力ＬＵ Ｔ１６から受信したビデオデータに対してエツジ強化変形を実行するために動作 する近傍変形プロセッサ（ＮＴＰ）２０に提供される。タイミング制御回路２２ はカメラタイミング回路１２、入力ＬＵＴ１６、ＮＴＰ２０、及び後に述べる追 加回路にタイミング制御信号を提供する。タイミング制御回路２２はカメラを各 種の露出レベル、即ち感度に進ませる働きをする。The signal output from input LUT 16 reduces the low frequency part of the video data and Operates to perform edge enhancement deformation on video data received from T16 A Neighborhood Transformation Processor (NTP) 20 is provided to perform a Neighborhood Transformation Processor (NTP) 20. Timing control circuit 22 is the camera timing circuit 12, input LUT 16, NTP 20, and additional components described later. provides timing control signals to the adder circuit; The timing control circuit 22 controls each camera. It acts to advance the exposure level, or sensitivity, of the species.

できれば、飽和とカットオフ限度を検出し、後に述べるごとく、それらの中間の 露出レベルにおいて開始して、適応して動作することが好ましい。If possible, find the saturation and cutoff limits and, as described below, Preferably, it starts at the exposure level and operates adaptively.

次に近傍変形プロセッサ（ＮＴＰ）の動作と構造を考察すると、本発明の一つの 推奨実施！樟によれば、ＮＴＰは線形畳込み（ｌｉｎｅａｒ　ｃｏｎｖｏｌｕｔ ｉｏｎ）を実行することが分かるだろう、上記の実施！！様において、ＮＴＰは シランＺＲ３３４８１またはＺＲ３３８８１デイジタル・フィルター・チップな どの、市販の特殊目的ＶＬＳ　Ｉチップ及び、例えば、「シランＤＦＰによる実 時間空間濾過（Ｒｅａｌ　Ｔｉｍｅ　５ｐａｔｉａｌ　Ｆｉｌｔｅｒｉｎｇ　１ ｉｉｔｈ　ａ　Ｚｏｒａｎ　ＤＦＰ”　）　Ｊと題するシラン技術書Ｚ、Ｔ、Ｎ 、０３号に記載されているような、遅延ライン及び遅延バッファーなどの、いく つかの追加構成部品を備えることができる。Next, considering the operation and structure of the neighborhood transformation processor (NTP), one of the features of the present invention is Recommended implementation! According to Shu, NTP is a linear convolution ion), the above implementation! ! , NTP is Silane ZR33481 or ZR33881 digital filter tip Which commercially available special purpose VLS I chips and Time space filtration (Real Time 5patial Filtering 1 iith a Zoran DFP”) Silane technical book entitled Z, T, N , No. 03, such as delay lines and delay buffers. Some additional components may be provided.

上述の実施！！様における近傍変形プロセッサの代表的な機能はそれぞれの入力 画素とそのすぐ隣の入力値を基礎としてその画素の新しい出力値を計算すること である。この畳込みの代表的な核（ｋｅｒｎｅｌ）は下記のようになるだろう： ここでｅは〈１であり発見的方法で決定される０例えばｅは画像の中に結合され たフレームの数分の１に等しいと設定することができる。一般に結合されたフレ ームの数または組み合わされた異なる露出設定の数が１０に等しいときｅ−０， １である。核とｅの値はホストＣＰＵ１Ｂによって変えられる。Implementation of the above! ! The typical function of the neighborhood deformation processor in Computing a new output value for a pixel based on the input values of that pixel and its immediate neighbors It is. A typical kernel for this convolution would look like this: Here e is <1 and determined by a heuristic 0. For example, e is combined into an image. can be set equal to a fraction of the number of frames. Commonly combined frames e-0 when the number of frames or the number of different exposure settings combined is equal to 10, It is 1. The values of kernel and e are changed by the host CPU 1B.

ＮＴＰ２０からの出力は、タイミング制御回路２２からの入力も受信する、結合 器２４に提供される。結合器２４は近傍変形からの画素を前のフレームからその 画素のためにフレームバッファー２６内に記憶された蓄積値と組み合わせる。結 合器は、全ての継起するフレームの和を出し、フレームパンファー２６からの入 力を受けまたフレームバッファー２６内に加真した結果を記憶する、テキサス　 インスツルメンツ社の７４Ｆ２８３などの、従来の加算器によって実現すること ができる。The output from NTP 20 also receives input from timing control circuit 22; It is provided in a container 24. Combiner 24 combines the pixels from the neighboring deformation with that from the previous frame. Combined with the accumulated value stored in frame buffer 26 for the pixel. Conclusion The combiner sums all successive frames and sums the input from the frame expander 26. Texas receives the force and stores the result of the force in the frame buffer 26 This can be accomplished with a conventional adder, such as the Instruments 74F283. Can be done.

一般的にフレームバッファー２６は結合器２４からの各々の画素のためのデータ を適切な番地に読込み、次の画素を結合器の中に続出し、また全ての要求された 露出のためのビデオデータが結合された後フレーム全体を出力するための関連す る回路を存するスタティックまたはダイナミックＲＡＭチップのマトリクスを備 えている。したがってフレームバッファーは各々の新しいシーケンスが始まる前 に帰零され異なる露出の影像収集過程の任意の点で、すでに行われた各種の露出 によってその点までに収集された画素データの組合せを含んでいると思われる。Typically frame buffer 26 stores data for each pixel from combiner 24. into the appropriate address, the next pixel into the combiner, and all requested pixels. After the video data for exposure is combined, the associated Equipped with a matrix of static or dynamic RAM chips containing It is growing. Therefore the frame buffer is loaded before each new sequence begins. At any point in the acquisition process, images of different exposures are returned to It is assumed that the pixel data includes the combination of pixel data collected up to that point.

希望の全ての露出からの画素データ収集過程が終了したとき、フレーム全体の画 素データが出力探索テーブル（ＬＵＴ）２Ｂを介して順次フレームバッファー２ ６から出力され、探索テーブル（ＬＵＴ）２８はホストＣＰＵ１Ｂからの制御入 力を受信し、また必要ならば、ディジタル信号後処理を提供することができる。When the process of collecting pixel data from all desired exposures is finished, the image of the entire frame is The raw data is sent sequentially to the frame buffer 2 via the output lookup table (LUT) 2B. 6, and the search table (LUT) 28 receives control input from the host CPU 1B. power and can also provide digital signal post-processing if necessary.

この変型として、出力ＬＵＴ２８を省略することもできる。As a variation of this, the output LUT 28 can also be omitted.

出力ＬＵ７２Ｂの出力は、影像領域全体のグレーレベルまたは色彩の分布を滑ら かにする働きのある、ヒストグラム等化器などの、実時間画像向上プロセッサ（ ｒＥＰ）３０に提供することが好ましい１代表的なＩＥＰは米国特許４，４５０ ．４８２に記載され、参考の意味でその内容を本書に含めた。この変型として、 ＩＥＰを省略することもできる。The output of the output LU72B smoothes the gray level or color distribution across the image area. real-time image enhancement processors (such as histogram equalizers) that One representative IEP preferably provided in U.S. Patent 4,450 ．． 482, and its contents are included in this book for reference. As this variant, The IEP can also be omitted.

ＩＥＰ３０の出力は新しい影像が収集、処理されるまで向上し、処理したビデオ 影像を記憶するＲＡＭのマトリクスを一般に備えているフレームメモリ３２に提 供される。一般にフレームメモリ３２はさらに後処理の実行を可能にするフレー ムメモリ探索テーブル（ＬＵＴ）３４を介して出力する。ＬＵＴ３４の出力はＤ ／Ａ変換器及びアナログディバイスＨＤＣ；−０８０７などの時限回路を存する 市販の回路などの、ビデオ発生器３６に提供される。The output of the IEP30 increases until new images are acquired and processed, and the processed video A frame memory 32, which generally includes a RAM matrix for storing images, is provided. Served. Typically, frame memory 32 also includes frames that allow post-processing to be performed. output via a memory search table (LUT) 34. The output of LUT34 is D /A converter and analog device HDC; Contains a time circuit such as -0807 A video generator 36 is provided, such as a commercially available circuit.

ビデオ発生器は、次のフレーム処理の如何なるにかかわらず、現ビデオ影像を連 続的に見ることを可能にするために、ＺＮＡ１３４Ｊなどの、通常の同期発生器 ３７からの同期パルスを受信する。The video generator continues the current video image regardless of the processing of the next frame. To enable continuous viewing, a regular synchronous generator, such as the ZNA134J Receives synchronization pulse from 37.

この様にして発生したビデオ信号は標準型ビデオモニター３８でみることができ る。これに加えてまたは変型として、ＬＵＴ３４のディジタル出力をコンピュー タ／影像プロセッサに直接供給することもできる。The video signal thus generated can be viewed on a standard video monitor 38. Ru. Additionally or as a variation, the digital output of LUT34 can be It can also be fed directly to the image processor.

次に図２を参照すると、ＮＴＰ２０（図１）の代わりに使用することが可能で画 素Ｅ　ｉ　＝と近傍信号を表すＬＵＴ１６からの出力信号を受信する掛算器５０ を有する非線形近傍変形を提供するための装置が図示されている。掛算器５０の 出力は出力Ｔｉ、５２に提供される。上述のシランＺＲ３３４８１またはＺＲ３ ３８８１デジタルフィルターチップを基礎とすることのできる、近傍平均化回路 ５６は、画素ｉｊの周りの近傍の平均強度を示す出力を提供する。この平均強度 は、例えば、画素ｉｊの周りの３ｘ３近傍と全ての１／９の３ｘ３核の畳込みに よって計算することができる。Referring now to Figure 2, there is a screen that can be used in place of NTP20 (Figure 1). a multiplier 50 that receives the output signal from the LUT 16 representing the element Ei= and the neighboring signal; Illustrated is an apparatus for providing a nonlinear neighborhood deformation having . multiplier 50 The output is provided at output Ti, 52. Silane ZR33481 or ZR3 as described above Neighborhood averaging circuit that can be based on the 3881 digital filter chip 56 provides an output indicating the average intensity of the neighborhood around pixel ij. This average intensity is, for example, the convolution of the 3x3 neighborhood around pixel ij and all 1/9 3x3 kernels. Therefore, it can be calculated.

回路５６の出力は、増幅率がＧの、増幅器５８によって増幅され、減算器６０に 提供され、１から引かれる。その差が近傍信号として掛算器５０に提供される。The output of the circuit 56 is amplified by an amplifier 58 with an amplification factor of G, and is sent to a subtracter 60. provided and subtracted from 1. The difference is provided to multiplier 50 as a neighborhood signal.

図２の回路の動作原理は１９８７年にＲａｎ　Ｒ４ｅｓｅｎｂａｃｈ　、Ｒａｎ ＧｉｎｏｓａｒとＡｌｆｒｅｄ　Ｂｒｕｃｋｓｔｅｉｎが出した「自動利得制御 影像処理アルゴリズムのためのＶＬＳ　Ｉアーキテクチュア」と題する論文（１ ９８７年３月にイスラエルで開催された第１５回ｒ　ＥＥＥ会議の報告書）に記 載されている、その論文の開示は参考のため本書に含められており、次の式に要 約することができる：Ｔｉｊ　＝　Ｅｉｊ　（１−Ｇ　（Ｔ、Ｊの近傍変形）） 次に図３は、本発明の別の実施態様を示すものであり、そこにおいては、それぞ れが異なる露出レベルにおいて同一影像を取得する多重カメラ７０が使用されて いる。各々のカメラがビデオ信号を発生し、その信号は上述のＮＴＰ２０または 図２に記載のものと同一とすることのできる、近傍変形プロセッサ（ＮＴＰ）７ ２に提供される。The operating principle of the circuit in Figure 2 was developed in 1987 by Ran R4esenbach, Ran “Automatic gain control” published by Ginosar and Alfred Bruckstein A paper titled “VLS I Architecture for Image Processing Algorithms” (1 Report of the 15th REEE Conference held in Israel in March 1987) The disclosure of that paper is included herein for reference and is required in the following formula: It can be reduced to: Tij = Eij (1-G (neighborhood deformation of T, J)) Next, FIG. 3 shows another embodiment of the invention, in which each Multiple cameras 70 are used, each capturing the same image at different exposure levels. There is. Each camera generates a video signal that is transmitted to the NTP20 or Neighborhood Transformation Processor (NTP) 7, which can be identical to that described in FIG. 2.

できれば、全てのカメラ７０とＮＴＰ７２は異なる光感度で同一画素に関する出 力を同時に発生するように同期させることが好ましい。Preferably, all cameras 70 and NTPs 72 have outputs for the same pixel with different light sensitivities. Preferably, the forces are synchronized so that they occur simultaneously.

本発明の別の実施態様に従えば、同時に撮影するためにすべてボア照準され（ｂ ｏｒｅｓ　ｉｇｈ　Ｌｅｄ）同期された多数のカメラを備える代わりに、撮影す る移動被写体の運動方向に沿って、多数のカメラを一列に配置することができる 。カメラは順番に作動し、各々のカメラがフレーム内の同一位置にある被写体を 捕捉するように撮影するように時間設定されている。必要であれば、全てのフレ ームの適切な記録を実現するために、カメラのシーケンスからの影像のタイミン グを影像を捕捉してから調節することができる。According to another embodiment of the invention, all are bore-sighted (b) for simultaneous imaging. ores high LED) Instead of having multiple synchronized cameras, Many cameras can be arranged in a line along the direction of motion of a moving subject. . The cameras operate in sequence, each capturing the subject at the same position in the frame. The time is set to capture and shoot. If necessary, all frames The timing of the images from the camera sequence is You can adjust the settings after capturing the image.

上述の種類の実施態様は、生産ライン上の組立品または移動しているシートまた は移動している織物（ｉｓｅｂ）、などの移動している被写体を観察するための １列のライン配列カメラに使用し、それによってマトリクス配列センサーから得 られるものよりも空間解像度及び速度をはるかに向上させることができる。Embodiments of the type described above can be used for assemblies on a production line or for moving sheets or is for observing moving objects such as moving textiles (ISEB). Used for a single line array camera, thereby capturing the information obtained from a matrix array sensor. The spatial resolution and speed can be much improved compared to what is possible.

ＮＴＰ７２の出力は、上述のごとく、結合器２４（図１）に使用されている回路 のような、多数の第一段平行結合器回路７４に供給される。結合器回路７４の出 力は単一結合ビデオ出力を発生するために必要に応して第二段及びさらに高次の 結合器回路に結合され、ヒストグラム等花器３０（図１）などの！ｉｉｆ向上回 路７６に提供される。The output of NTP 72 is connected to the circuit used in combiner 24 (FIG. 1), as described above. are supplied to a number of first stage parallel coupler circuits 74, such as. Output of coupler circuit 74 The power is applied to the second stage and further higher order stages as necessary to produce a single combined video output. Combined with the combiner circuit, such as histogram vase 30 (Figure 1)! iif improvement times 76.

回４はビデオ撮像システムの別の実施ａ様を示すものである。Part 4 shows another implementation a of the video imaging system.

この図で、各々異なる露出レベルあるいは感度で動作する、多数のカメラ８０は 、同一影像の異なる感度における異なる版を同時に取得する。すべて同期された 、カメラ８０のビデオ出力は、後述の画素選択器８２に提供される。In this figure, a number of cameras 80 each operating at different exposure levels or sensitivities are shown. , simultaneously acquiring different versions of the same image at different sensitivities. all synced , the video output of camera 80 is provided to a pixel selector 82, which will be described below.

画素選択器は拡張されたダイナミックレンジを有する単一出力ビデオ信号を提供 する働きを持つ。例えば、画素選択器に供給された各々の信号の広がりが１：２ ５６レンジ（画素当り８ビツト）のとき、画素選択器の出力は１　：　１，０４ ８，５７６　（画素当り２０ピント）のレンジに広がることができる。画素選択 器８２からの出力信号はＮＴＰ２０と同一のものとすることのできる、近傍変形 プロセッサ（ＮＴＰ）８４に供給され、それによってダイナミンクレンジが一般 に１：２５６（８ビツト）まで減らされ、一方（実質的な）影像内容及びエツジ 情報は保存される。ＮＴＰ８４の出力は番号２８．３０、及び３２で示したよう な上記の種類の１ｉｉＩ！向上装置に供給することができるし、それが適切であ れば画質向上無しで使用することもできる。別案として、画素選択器８２の出力 はその全２０ピントの形式で出力８６として使用することもできる。Pixel selector provides single output video signal with extended dynamic range It has the function of For example, if the spread of each signal fed to the pixel selector is 1:2 56 range (8 bits per pixel), the output of the pixel selector is 1:1,04 The range can be expanded to 8,576 (20 points per pixel). Pixel selection The output signal from the device 82 can be the same as the NTP 20; processor (NTP) 84, whereby the dynamic range is 1:256 (8 bits), while the (substantive) image content and edge Information will be saved. The output of NTP84 is as shown in numbers 28, 30 and 32. 1iiiI of the above type! can be supplied to the improvement equipment and if it is appropriate It can also be used without image quality improvement. Alternatively, the output of the pixel selector 82 can also be used as output 86 in its full 20-pin format.

画素選択器は下記に基づく測定補正アルゴリズムを使用している： ある画素ｐ　ｔＪが多数のｎ個カメラによって感知され、カメラはＰｉｊの光強 度に対してｎ個の異なる出力を発生するものとする。The pixel selector uses a measurement correction algorithm based on: A certain pixel p tJ is sensed by a number of n cameras, and the camera detects the light intensity of Pij. Suppose that n different outputs are generated for each degree.

多数のカメラの露出設定が各々のカメラｋが全てのｋについてカメラに＋１に入 る光のちょうど半分を受光するように設定されるように設定され、光に対するカ メラの応答が、それを越えると高い強度で飽和するか低い強度でカットオフされ る、一定の範囲内で線形であると仮定すると、そのとき １ｉｊ（ｋ）　＋　Ｃ−１／２　Ｉｔｊ（ｋ＋１）ここでＣは定常偏差（ｃｏｎ ｓｔａｎｔ　ｏｆｆｓｅｔ　ｔｅｒｍ）またＩｔｔ（ｋ）はカメラｋに対する画 素ｉｊでの強度である、ただし■の両方の値がカメラの応答性の線形範囲内にあ ることが条件となる。Exposure settings for multiple cameras are such that each camera k enters the camera +1 for all k. It is set so that it receives exactly half of the light that it receives, and the The response of the mela is saturated at high intensities or cut off at low intensities beyond which Assuming that it is linear within a certain range, then 1ij (k) + C-1/2 Itj (k+1) where C is the steady deviation (con stunt offset term) and Itt(k) is the image relative to camera k. The intensity at prime ij, provided that both values of ■ are within the linear range of the camera's response. The condition is that

いくつかの光強度値ｒｉ、（ｍ）が飽和値ＳＡＴ以上であるとき、１、、（ｋ） ＝全てのに−ｍ２ｍ＋１・・・ｎについて（およそ）ＡＴ いくつかの光強度値ＩｔＪ（ｍ）がカットオフ値ＣＵＴ以下であるとき、 １；Ｊ（ｍ）＝全でのに＝１．　・−−ｍ−１，ｍについて（およそ）ＣＵＴ 言い換えれば、ある画素の光強度に対するカメラの組の応答性は図５のグラフに 示した通りで、このグラフは特定の単一画素Ｐ４、についての強度■１、に対す るアパーチュアの数値開口（ａｐｅｒｔｕｒｅ　ｎｕｍｅｒｊｃａｌ　ａｐｅｒ ｔｕｒｅ）を示している。When some light intensity values ri, (m) are greater than or equal to the saturation value SAT, 1, , (k) = for all −m2m+1...n (approximately) AT When some light intensity values ItJ(m) are below the cutoff value CUT, 1; J(m) = total = 1.・--m-1, CUT for m (approximately) In other words, the response of the camera set to the light intensity of a certain pixel is shown in the graph of Figure 5. As shown, this graph shows the intensity ■1 for a specific single pixel P4. numerical value of the aperture true).

後述の画素選択回路は図５のグラフに沿って各組の受信した画素強度ｌ１ｊ（１ ）、ｒｔＪ（２）・・・ｒｔＪ（ｎ）を探査し、線形部分の上の任意の１点、例 えば、カメラｋから来たｔ、、（ｋ）を探す働きをする。そして次に、強度値１ ｉｊ（ｋ）を、画素Ｐ、□Ｊがカメラｎで飽和を起こしていなければ、カメラｎ によって測定されていた筈の等価の強度に変形する。A pixel selection circuit, which will be described later, selects the received pixel intensity l1j(1 ), rtJ(2)...rtJ(n), and find any one point on the linear part, e.g. For example, it works to search for t, , (k) coming from camera k. And then the intensity value 1 ij(k), if pixel P, □J is not saturated at camera n, deforms to the equivalent strength that would have been measured by .

変形は次のようになる： Ｔ、ｉ　（ｎ）　−１ｔＪ（ｋ）　Ｘ　２　（、ｌ−”上記の説明を通じて２を Ｒに代えれば、上の式は１／２ではなく１／Ｒの光強度関係式について一般化す ることができる。The transformation looks like this: T, i (n) - 1tJ (k) If R is replaced, the above equation can be generalized to the light intensity relation of 1/R instead of 1/2. can be done.

次に図６は多数のボア照準及び／または相互同期カメラとともに動作するために 配置された画素選択器８２の推奨実施Ｂ樟を示している。一般に従来型の構造で ある、多数のディジタル比較器１００は、カメラからの信号をその値が一般的場 合には１／Ｒで乗じられ上に用いた特定の例では１／２で乗じられる別のカメラ からの信号と比較される。比較器１００の出力は、しきい値回路１０２を介して 、優先エンコーダ回路１０４などに至る。優先エンコーダ回路１０４の出力は１ ０４を制御する。優先エンコーダ回路１０４の出力は選択器１０６を制御し、選 択器は入力１（１）・・・Ｉ　（ｎ）の内から一つを選択してそれを胴移動装置 回路（ｂａｒｒｅｌ　５ｈｉｆｔｅｒ　ｃｉｒｃｕｉｔ）　１０８に供給する。Next, Figure 6 shows how to A recommended implementation of the arranged pixel selector 82 is shown. Typically in a conventional structure A number of digital comparators 100 convert the signal from the camera into a signal whose value is a general field. another camera multiplied by 1/R in the case of compared with the signal from The output of the comparator 100 is passed through the threshold circuit 102. , and the priority encoder circuit 104. The output of the priority encoder circuit 104 is 1 Controls 04. The output of the priority encoder circuit 104 controls the selector 106 and The selector selects one from input 1(1)...I(n) and sends it to the body moving device. It is supplied to the circuit (barrel 5hifter circuit) 108.

胴移動装！回路１０８は減算器回路１１０から制御入力を受信する。Torso movement equipment! Circuit 108 receives control input from subtracter circuit 110.

次に図６の回路の動作を簡単に説明する。比較器１００からの出力を受信するし きい値回路１０２は線形範囲内で信号を受信する比較器からだけ出力を回路１０ ４に提供する。このように線形範囲外からの信号は排除される。このようになる のは、比較器１００の出力はそれに対する２つの入力がほぼ同一であるときに比 較的高く、その間の差がかなり大きいときにははるかに低くなるからである。Next, the operation of the circuit shown in FIG. 6 will be briefly explained. receives the output from the comparator 100 Threshold circuit 102 outputs outputs only from comparators that receive signals within the linear range of circuit 10. Provided at 4. In this way, signals from outside the linear range are rejected. It will look like this The output of comparator 100 is comparable when the two inputs to it are nearly identical. This is because it is relatively high, and when the difference between them is quite large, it becomes much lower.

優先エンコーダ回路は線形範囲からの信号の一つを選択し上述の係数２　＋＋＋ −ｋｌで対応する強度１　（ｋ）を概算するためにその信号を使用する。したが って、強度出力はどのカメラがそれを記録するかの影響を受けない、優先エンコ ーダはＴＩ　５Ｎ７４１４８チツプの形で実現することができる。The priority encoder circuit selects one of the signals from the linear range and uses the coefficient 2 +++ described above. Use that signal to estimate the corresponding intensity 1(k) at −kl. However, Therefore, the intensity output is not affected by which camera records it, it is a priority encoder. The reader can be implemented in the form of a TI 5N74148 chip.

次に図７は本発明の実施態様に従って製作され動作する影像プロセンサの別の実 施態様を示している。単一のカメラ１２０が、２から１の選択器１２２と比較器 １２４に出力を提供する。比較器の出力はしきい値回路１２６を通過し、後者は 結合論理（ＣＬ）１２８に出力する。ＣＬ１２Ｂは画素当り１ビツトのフレーム バッファー１３０に出力を出し、今度は後者がＣＬ１２Ｂに出力を出す。ＣＬ１ ２Ｂの出力は制御入力として選択器１２２に提供される０選択器１２２からの信 号出力はフレームパンファー１３２を介して提供される。フレームバッファー１ ３４からの出力は２（またはＲ）を乗じる回路１３４を介して選択器１２２と比 較器１２４にフィードバックされ、出力信号として図４の実施Ｌｑ様のＮＴＰ８ ４のような近傍変形プロセッサ（、ＮＴＰ）に提供される。フレームパンファー １３２からの出力はシステムの出力としても用いられ、全ダイナミックレンジ出 力を提供する。FIG. 7 now shows another implementation of an image prosensor constructed and operative in accordance with an embodiment of the present invention. The embodiment is shown. A single camera 120 has a 2-to-1 selector 122 and a comparator. 124. The output of the comparator passes through a threshold circuit 126, the latter Output to combination logic (CL) 128. CL12B is a frame with 1 bit per pixel. It outputs to buffer 130, which in turn outputs to CL12B. CL1 The output of 2B is the signal from 0 selector 122 that is provided to selector 122 as a control input. Signal output is provided via frame amplifier 132. frame buffer 1 The output from 34 is compared to selector 122 via circuit 134 that multiplies by 2 (or R). NTP 8 similar to the implementation Lq of FIG. 4 is provided to a Neighborhood Transformation Processor (,NTP). frame brochure The output from 132 is also used as the system output, providing full dynamic range output. provide strength.

図７の装置は単一のカメラ、の使用について図６に示した装置に対応するもので ある。図７の装置は同一影像の多数の継起的取得に渡って感度領域を掃引（ｓｗ ｅｅｐ）する働きをする。感度走査はに＝１のとき一般的に一番低い感度、すな わち一番短い積分時間から開始され、ｎフレームが取られるまであるフレームか ら次のものまで、−膜化した例のＲ倍の典型的な例において感度を２倍にする。The apparatus of Figure 7 corresponds to the apparatus shown in Figure 6 for the use of a single camera. be. The apparatus of FIG. 7 sweeps (sw) the sensitivity region over many successive acquisitions of the same image. eep). Sensitivity scanning is generally the lowest sensitivity when = 1, i.e. i.e. starting from the shortest integration time and taking a certain number of frames until n frames are taken. to - double the sensitivity in a typical example of R times the filmed example.

したがって、任意の画素は最初のいくつかのフレームの間はカットオフ領域にあ り、次いで線形領域にあり、更に次いで飽和領域内にあることがある。い（つか の画素は過程を通じて可能な三つの領域の一つまたは二つの領域にしかないこと がある（即ち、常に飽和しているか、決して飽和しないかである）。Therefore, any pixel is in the cutoff region during the first few frames. , then in the linear region, and then in the saturated region. someday pixels are only in one or two of the three possible regions throughout the process. (i.e. either always saturated or never saturated).

最初に、フレームバッファー１３０はすべてゼロに設定される。Initially, frame buffer 130 is set to all zeros.

ｋ番目の影像の画素強度１＋、（ｋ）がカメラによって出力されたとき、それは 値を読出しそれをｌビットだけ左にずらす（即ち、このようにしてそれを２倍す る）ことによって同一画素ｉｊのフレームバッファー１３２にすでに記憶されて いる値の２倍と比較される。値の差が予め定められた公差水準を越え、その画素 がなおりｚトオフ領域にあることが分かったときは、すでに２倍されている、古 い値がフレームバッファー１３２に記憶される。それ以外のとき、例えば、その 画素が線形領域にあるときは、新しい値が記憶されフレームバッファー１３０の ｉ、ｊビットは１に設定される。When the pixel intensity 1+, (k) of the kth image is output by the camera, it is Read the value and shift it to the left by l bits (i.e. double it in this way) ) has already been stored in the frame buffer 132 of the same pixel ij. is compared to twice the value. If the difference in value exceeds a predetermined tolerance level, that pixel When it is found that the current is in the z-off region, the old The new value is stored in frame buffer 132. At other times, e.g. When the pixel is in the linear region, the new value is stored and stored in frame buffer 130. The i,j bits are set to 1.

フレームバッファー１３０のｌ、ｊビットが一旦１に設定すれると、判定は逆に なる。値が予め定められた公差の中にあって、画素が線形領域内にあることが示 され染とき、新しい値がフレームバック、アー内に記憶される。それ以外のとき 、例えば、画素が飽和に達したとき、すでに２倍された古い値が記憶される。Once the l and j bits of frame buffer 130 are set to 1, the determination is reversed. Become. The value is within a predetermined tolerance, indicating that the pixel is within a linear region. When dyeing, the new value is stored in the frameback. At other times , for example, when a pixel reaches saturation, the old value, which has already been doubled, is stored.

すべてのｎフレームを検討した後、各画素毎に記憶した値は適切な回数だけ左に 移動した（即ち２を乗じた）、線形領域の最後の値である。このように全ての画 素強度は、カメラｎの感度領域で作動する、非存在仏いダイナミックレンジカメ ラによって取られた計算値に対応している。After considering all n frames, the memorized value for each pixel is shifted to the left an appropriate number of times. The last value of the linear region that was moved (ie multiplied by 2). In this way, all images The raw intensity is a non-existent dynamic range camera that operates in the sensitivity range of the camera. corresponds to the calculated value taken by La.

本発明の技術に熟練したものは本発明は上記の具体的に示し、説明したことに限 定されないことに留意して頂きたい０本発明の範囲はむしろ下記の「請求の範囲 」によってのみ定義されるものである： ＦＩＧ、２ 国際調査報告Those skilled in the art will understand that this invention is limited to what has been particularly shown and described above. Please note that the scope of the present invention is not limited to the following claims. ” is defined only by: FIG.2 international search report

Claims (11)

【特許請求の範囲】[Claims] １．異なる露出レベルにおけるシーンの多数のビデオ影像を提供するためのセン サー手段；及び多数のビデオ影像からの影像情報を含みまたその局所領域の強化 された情報内容を含む結合ビデオ影像を生成するために多数のビデオ影像を処理 するための手段：から成る広ダイナミックレンジビデオ撮像装置。1. sensor to provide multiple video images of the scene at different exposure levels. image information from multiple video images and local region enhancement thereof; Process a number of video images to produce a combined video image containing the information content Means for: a wide dynamic range video imaging device consisting of: ２．請求の範囲第１項記載のビデオ撮像装置において、多数のビデオ影像を処理 するための前記手段がセンサー手段のダイナミックレンジの範囲内で結合ビデオ 影像のダイナミックレンジの動作レベルを局所的に選択するための手段を備えて いるビデオ撮像装置。2. The video imaging device according to claim 1, which processes a large number of video images. said means for combining video within the dynamic range of the sensor means; with means for locally selecting the operating level of the image dynamic range; video imaging equipment. ３．請求の範囲の前記いずれかの項に記載のビデオ撮像装置において、多数のビ デオ影像処理のための前記の手段が結合ビデオ影像の中のエッジを際立たせるた めの手段を備えているビデオ撮像装置。3. A video imaging device according to any one of the claims above, wherein a plurality of video The above-mentioned means for video image processing are used to highlight edges in the combined video image. video imaging device equipped with means for ４．請求の範囲の前記いずれかの項に記載のビデオ撮像装置において、多数のビ デオ影像処理のための前記の手段が多数のビデオ影像に近隣変形を加えるための 手段を備えているビデオ撮像装置。4. A video imaging device according to any one of the claims above, wherein a plurality of video The above means for video image processing is for applying neighborhood deformations to multiple video images. A video imaging device comprising means. ５．異なる露出レベルにおけるシーンの多数のビデオ影像を受信するための手段 ；及び多数のビデオ影像からの影像情報を含みまたその局所領域の強化された情 報内容を含む結合ビデオ影像を生成するために多数のビデオ影像を処理するため の手段：から成る広ダイナミックレンジビデオ撮像装置。5. Means for receiving multiple video images of a scene at different exposure levels ; and contains image information from multiple video images and enhanced information of the local region. for processing a large number of video images to produce a combined video image containing informational content; Means of: Wide dynamic range video imaging equipment consisting of: ６．請求の範囲の前記いずれかの項に記載の装置において、多数のビデオ影像を 提供するための前記の手段が異なる露出レベルにおいて順次作動する単一のカメ ラを備えている装置。6. An apparatus according to any of the preceding claims, wherein a number of video images are a single camera in which said means for providing are operated sequentially at different exposure levels; A device equipped with a ７．請求の範囲の前記いずれかの項に記載の装置において、多数のビデオ影像を 提供するための前記の手段がそれぞれ異なる露出レベルで作動する多数のカメラ を備えている装置。7. An apparatus according to any of the preceding claims, wherein a number of video images are said means for providing a number of cameras each operating at a different exposure level; A device equipped with ８．請求の範囲の前記いずれかの項に記載の装置において、前記の処理手段が画 質向上手段も備えている装置。8. In the apparatus according to any one of the claims, the processing means A device that also includes quality improvement measures. ９．請求の範囲第８項に記載の装置において、前記の画質向上手段がヒストグラ ム等化手段を備えている装置。9. The apparatus according to claim 8, wherein the image quality improving means comprises a histogram. device equipped with equalization means. １０．上記にほぼ示され記載された通りの装置。10. Apparatus substantially as shown and described above. １１．図面のいずれかにほぼ記載された通りの装置。11. Apparatus substantially as shown in any of the drawings.