JP4793059B2 - Imaging apparatus and imaging system - Google Patents

Imaging apparatus and imaging system Download PDF

Info

Publication number
JP4793059B2
JP4793059B2 JP2006101653A JP2006101653A JP4793059B2 JP 4793059 B2 JP4793059 B2 JP 4793059B2 JP 2006101653 A JP2006101653 A JP 2006101653A JP 2006101653 A JP2006101653 A JP 2006101653A JP 4793059 B2 JP4793059 B2 JP 4793059B2
Authority
JP
Japan
Prior art keywords
pixel
image data
exposure
light source
pixel signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006101653A
Other languages
Japanese (ja)
Other versions
JP2007281556A (en
Inventor
治久 倉根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006101653A priority Critical patent/JP4793059B2/en
Publication of JP2007281556A publication Critical patent/JP2007281556A/en
Application granted granted Critical
Publication of JP4793059B2 publication Critical patent/JP4793059B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、被写体に特定の光を照射する特定光源の点灯及び消灯を制御し、前記点灯及
び消灯時の前記被写体からの反射光の露光による蓄積電荷を非破壊読み出し方式を用いて
読み出すことが可能な撮像素子及び撮像装置、並びに前記読み出した蓄積電荷から構成さ
れる画素データに基づき前記被写体と前記特定光源との距離を推定する撮像システムに関
する。 The present invention controls the turning on and off of a specific light source that irradiates a subject with specific light, and reads out accumulated charges due to exposure of reflected light from the subject at the time of turning on and off using a nondestructive readout method. The present invention relates to a possible imaging device and imaging device, and an imaging system that estimates the distance between the subject and the specific light source based on pixel data composed of the read accumulated charges.

従来、被写体にＬＥＤやレーザ等の特定光源からの光を照射し、その反射光をカメラで
撮像して、その撮像結果から、被写体とカメラ（光源）との距離や当該距離に基づく被写
体の動き、更に被写体の形状、素材などを計測する撮像システムが知られている。このシ
ステムにおいては、例えば、被写体の素材（反射率）を知るために、特定光源以外の光（
自然光や照明等）のみが照射された被写体からの反射光を撮像する。また、被写体以外の
背景画像も撮像し、カメラの画角に入った画像を全て素材とするシステムもある。また、
監視システムなどにおいて、被写体と特定光源との距離が計測されることで、よりインテ
リジェントなシステムを構築することができる。 Conventionally, a subject is irradiated with light from a specific light source such as an LED or a laser, and the reflected light is captured by a camera. From the imaging result, the distance between the subject and the camera (light source) and the movement of the subject based on the distance Furthermore, an imaging system for measuring the shape, material, etc. of the subject is known. In this system, for example, in order to know the material (reflectance) of a subject, light other than a specific light source (
The reflected light from the subject irradiated with only natural light, illumination, etc.) is imaged. There is also a system that captures a background image other than the subject and uses all the images within the angle of view of the camera as materials. Also,
In a monitoring system or the like, a more intelligent system can be constructed by measuring the distance between the subject and the specific light source.

上記システム（装置）の構成としては、例えば、自然光や照明光による被写体からの反
射光を撮像するカメラと、特定光源の光に対する被写体からの反射光を測定するセンサ（
距離センサなど）とを設置する構成や、カメラに専用の撮像素子（センサ）用いる構成な
どがある。これらの構成においては、一般的に、光源の点灯及び消灯（オンオフ）を制御
し、それと同期して撮像を行う。前者は、光源の点灯及び消灯に同期して撮像を行うカメ
ラと、自然光や照明光などの特定光源以外の光の反射光を撮像するカメラとの２台のカメ
ラを用いる。後者は、例えば、特許文献１記載の情報入力装置などがあり、この装置にお
いては、専用のセル構成を有する撮像素子を用いて装置が構成されている。
特開平１０―１７７４４９号公報 As a configuration of the system (apparatus), for example, a camera that captures reflected light from a subject caused by natural light or illumination light, and a sensor that measures reflected light from the subject with respect to light from a specific light source (
And a configuration using a dedicated image sensor (sensor) for the camera. In these configurations, generally, lighting and extinguishing (on / off) of a light source are controlled, and imaging is performed in synchronization therewith. The former uses two cameras: a camera that captures an image in synchronization with turning on and off of the light source, and a camera that captures reflected light of light other than a specific light source such as natural light or illumination light. The latter includes, for example, an information input device described in Patent Document 1, and the device is configured using an image sensor having a dedicated cell configuration.
JP-A-10-177449

しかしながら、上記従来技術にあっては、特定光源の光と特定光源以外の光に対する反
射光をそれぞれ撮像するのに別々のカメラを用いる必要があるためコストが高くなってし
まう恐れがあった。
また、上記特許文献１の従来技術にあっては、特定光源の光と特定光源以外の光に対す
る反射光をそれぞれ撮像するのに専用の撮像素子（センサ）を用いる必要があるため、特
別な機能を付加する際にセンサセルサイズの大型化や部品点数の増加等が発生し、センサ
のコストが高くなる恐れがあった。 However, in the above prior art, it is necessary to use separate cameras to capture the reflected light with respect to the light of the specific light source and the light other than the specific light source, which may increase the cost.
Moreover, in the prior art of the said patent document 1, since it is necessary to use an image pick-up element (sensor) for exclusive use in order to image the reflected light with respect to the light of a specific light source and the light other than a specific light source, respectively, it is special function. When adding the sensor, the sensor cell size is increased, the number of parts is increased, and the cost of the sensor may be increased.

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたも
のであって、１つの撮像素子によって、特定光源の光と特定光源以外の光に対する反射光
をそれぞれ撮像することが可能な撮像素子及び撮像装置、並びに前記撮像結果に基づき被
写体と特定光源との距離を推定することが可能な撮像システムを提供することを目的とし
ている。 Therefore, the present invention has been made paying attention to such an unsolved problem of the conventional technology, and the reflected light for the light of the specific light source and the light other than the specific light source is respectively obtained by one image sensor. It is an object of the present invention to provide an imaging device and an imaging device capable of imaging, and an imaging system capable of estimating a distance between a subject and a specific light source based on the imaging result.

上記目的を達成するために、本発明の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成された画像データを出力する画像データ出力手段と、を備えることを特徴としている。
In order to achieve the above object, the imaging apparatus of the present invention provides:
An image pickup device having a photoelectric conversion portion in which a plurality of photoelectric conversion devices that convert exposed light into electric charges and store them in a matrix form, and an electronic shutter function that controls an exposure time for each frame of each photoelectric conversion device An imaging device comprising:
In the exposure period of a predetermined exposure time, readout of the pixel signal constituting each accumulated charge at the time of exposure with a plurality of types of exposure time from each pixel constituting the photoelectric conversion element is performed without resetting each accumulated charge. Pixel signal readout means for performing destructive readout;
A specific light source that emits specific light to the subject;
Specific light source control means for controlling turning on and off of the specific light source;
Image data generating means for generating image data corresponding to each of the plurality of types of exposure time based on pixel data corresponding to the pixel signal read by the pixel signal reading means;
And image data output means for outputting the image data generated by the image data generation means.

このような構成であれば、画素信号読出手段によって、所定露光時間の露光期間におい
て、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷
の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し
方式で行うことが可能である。
更に、特定光源によって、被写体に対して特定の光を照射することが可能であり、特定
光源制御手段によって、前記特定光源の点灯及び消灯を制御することが可能である。 In such a configuration, the pixel signal constituting each accumulated charge during exposure with a plurality of types of exposure time from each pixel constituting the photoelectric conversion element in the exposure period of a predetermined exposure time by the pixel signal reading means. Can be read by a non-destructive reading method that does not involve resetting of the respective accumulated charges.
Furthermore, it is possible to irradiate the subject with specific light by the specific light source, and it is possible to control turning on and off of the specific light source by the specific light source control means.

尚更に、画像データ生成手段によって、前記画素信号読出手段で読み出された画素信号
に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データ
を生成することが可能であり、画像データ出力手段によって、前記画像データ生成手段で
生成された画像データを出力することが可能である。
従って、所定露光時間の露光が行われている期間中に、画素信号読出手段によって、複
数種類の露光時間で露光された画素に蓄積された電荷の非破壊読み出しができるので、例
えば、前記期間中において、特定光源制御手段によって特定光源の点灯及び消灯を制御し
、特定光源が点灯しているときの画素信号、特定光源が消灯しているときの画素信号をそ
れぞれ異なる露光時間において複数読みだすことが可能である。 Still further, the image data generating means can generate image data corresponding to each of the plurality of types of exposure times based on pixel data corresponding to the pixel signal read by the pixel signal reading means, The image data output means can output the image data generated by the image data generation means.
Therefore, during the exposure period of the predetermined exposure time, the pixel signal readout means can perform nondestructive readout of the charges accumulated in the pixels exposed in a plurality of types of exposure time. The specific light source control means controls the turning on and off of the specific light source, and reads out a plurality of pixel signals when the specific light source is turned on and a plurality of pixel signals when the specific light source is turned off at different exposure times. Is possible.

つまり、１つの撮像素子によって、所定露光時間の露光期間中に、特定光源以外の光で
ある通常光のみに対する被写体からの反射光で露光された画素の画素信号と、特定光源の
光及び通常光に対する被写体からの反射光で露光された画素の画素信号とを読み出すこと
ができるという効果が得られる。また、被写体に対する露光量が適切となる露光時間で露
光時の画素信号を読み出すことによって、被写体の鮮明な画像も得ることが可能である。
なお、特定光源が点灯及び消灯しているときの各露光量で露光された画素の画素データ
を解析することで、前述したように、被写体と特定光源との位置関係、被写体の形状、素
材などを知ることが可能である。 That is, the pixel signal of the pixel exposed by the reflected light from the subject with respect to only the normal light that is light other than the specific light source, the light of the specific light source, and the normal light during one exposure period of the predetermined exposure time. The pixel signal of the pixel exposed with the reflected light from the subject with respect to can be read out. In addition, a clear image of the subject can be obtained by reading out the pixel signal at the time of exposure with an exposure time in which the exposure amount for the subject is appropriate.
In addition, as described above, the positional relationship between the subject and the specific light source, the shape of the subject, the material, etc. are analyzed by analyzing the pixel data of the pixels exposed at each exposure amount when the specific light source is turned on and off. It is possible to know.

更に、本発明の撮像装置は、
前記光電変換部の露光領域をＮ個（Ｎは２以上の自然数）の領域に分割し、
前記分割後の領域数Ｎと少なくとも同数の、前記画素信号読出手段で読み出された画素信号に対応する画素データを順次記憶すると共に、当該記憶した画素データを順次出力する第１〜第Ｎ出力チャンネルを備え、
前記画素信号読出手段は、前記複数種類の露光時間で露光時の前記画素信号の読み出しを、前記各領域毎に独立に且つ当該各領域に対して並列に行い、
前記画素信号読出手段によって読み出される画素信号に対応する画素データを、前記各領域毎に、前記第１〜第Ｎ出力チャンネルにおけるそれぞれ別々の出力チャンネルから出力することを特徴としている。
Furthermore, the imaging device of the present invention includes :
The exposure area of the photoelectric conversion unit is divided into N areas (N is a natural number of 2 or more),
First to Nth outputs for sequentially storing the pixel data corresponding to the pixel signals read by the pixel signal reading means at least as many as the number N of the divided areas and sequentially outputting the stored pixel data With channels,
The pixel signal reading means performs reading of the pixel signals at the time of exposure with the plurality of types of exposure times, independently for each of the regions and in parallel for each of the regions,
The pixel data corresponding to the pixel signal read by the pixel signal reading means is output from each of the separate output channels in the first to Nth output channels for each region.

このような構成であれば、露光領域を複数（Ｎ個）に分割して、各分割されたＮ個の領
域に対して、各領域毎に独立に且つＮ個の領域に対して並列に画素信号の読み出し及び画
素データの出力を行うことが可能となるので処理負荷を分散することができ、画素信号の
読み出しを容易に高フレームレート化することができる。
従って、より多種の露光時間に対応した画素データを一度に得ることができるという効
果が得られる。 With such a configuration, the exposure area is divided into a plurality (N), and for each of the divided N areas, pixels are independently provided for each area and in parallel with the N areas. Since it is possible to read out signals and output pixel data, the processing load can be distributed, and the reading of pixel signals can be easily performed at a high frame rate.
Therefore, it is possible to obtain pixel data corresponding to various exposure times at a time.

更に、本発明の撮像装置は、
前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の画素信号を読み出し、
前記画像データ生成手段は、前記読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴としている。
Furthermore, the imaging device of the present invention includes :
The pixel signal reading means reads a pixel signal of each pixel immediately after reset of accumulated charge by the electronic shutter function,
The image data generation means includes a pixel value indicated by each pixel data corresponding to the pixel signal immediately after reset read by the reading means, and another exposure other than immediately after the reset at the same pixel position as the pixel data. A difference value with a pixel value indicated by each pixel data corresponding to time is calculated for each exposure time, and image data corresponding to an exposure time other than immediately after the reset is generated based on the calculated difference value. It is a feature.

このような構成であれば、リセット直後の画素信号に対応する各画素データの示す画素
値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に
対応する各画素データの示す画素値との差分値から画像データを生成することが可能であ
る。これにより、各画素データから非破壊読み出し方式で問題となる固定パターンノイズ
が除去又は低減された画像データを生成することができる。 With such a configuration, each pixel corresponding to a pixel value indicated by each pixel data corresponding to the pixel signal immediately after the reset and the same pixel position as each pixel data and other exposure time other than immediately after the reset Image data can be generated from a difference value with a pixel value indicated by the data. Thereby, it is possible to generate image data from which fixed pattern noise which is a problem in the nondestructive readout method is removed or reduced from each pixel data.

従って、固定パターンノイズによる画質劣化を防ぐ又は低減することができると共に、
固定パターンノイズが除去又は低減された画像データを得ることができるという効果が得
られる。
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディン
グや、画素ごとのセンサ感度の違いによって発生するものなどがある。以下、形態９の撮
像システムにおいて同じである。 Therefore, image quality deterioration due to fixed pattern noise can be prevented or reduced, and
An effect is obtained that image data from which fixed pattern noise is removed or reduced can be obtained.
Here, “fixed pattern noise” includes dark current shading, which becomes a problem during long exposure, and noise generated due to a difference in sensor sensitivity for each pixel. Hereinafter, the same applies to the imaging system of the ninth embodiment.

一方、上記目的を達成するために、本発明の撮像システムは、上記の撮像装置を備え、
前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被写体との間の距離を推定する距離推定手段を備えることを特徴としている。
このような構成であれば、距離推定手段によって、前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、被写体と特定光源との大凡の距離が解るので、これにより、例えば、被写体と特定光源との位置関係等をシステム利用者に通知するなど距離に基づく様々な処理を行うことができるという効果が得られる。
On the other hand, in order to achieve the above object, an imaging system of the present invention includes the above imaging device,
It is characterized by comprising distance estimation means for estimating the distance between the specific light source and the subject based on the image data output from the image data output means.
With such a configuration, the distance estimation means, based on the image data outputted from the pre-Symbol image data output means, it is possible to estimate the distance between said specified source object.
Therefore, since the approximate distance between the subject and the specific light source is known, this enables various processing based on the distance to be performed, such as notifying the system user of the positional relationship between the subject and the specific light source, for example. Is obtained.

更に、本発明の撮像システムは、
前記画素信号読出手段における前記画素信号の読み出し動作と、前記特定光源の点灯動作及び消灯動作とを同期させることを特徴としている。
このような構成であれば、特定光源が点灯時の画素データと、特定光源が消灯時の画素データとを正確且つ簡易に取得することができるので、より正確に特定光源と被写体との間の距離を推定することができるという効果が得られる。
Furthermore, the imaging system of the present invention includes:
The pixel signal reading operation in the pixel signal reading means is synchronized with the lighting operation and the extinguishing operation of the specific light source.
With such a configuration, the pixel data when the specific light source is turned on and the pixel data when the specific light source is turned off can be accurately and easily acquired. The effect that the distance can be estimated is obtained.

更に、本発明の撮像システムは、
前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の蓄積電荷の構成する画素信号を読み出し、
前記画像データ生成手段は、前記画素信号読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴としている。
Furthermore, the imaging system of the present invention includes:
The pixel signal reading means reads a pixel signal constituting the accumulated charge of each pixel immediately after reset of accumulated charge by the electronic shutter function,
The image data generation means includes a pixel value indicated by each pixel data corresponding to the pixel signal immediately after reset read by the pixel signal reading means, the same pixel position as the pixel data, and other than immediately after the reset. A difference value from a pixel value indicated by each pixel data corresponding to the exposure time is calculated for each exposure time, and image data corresponding to an exposure time other than immediately after the reset is generated based on the calculated difference value. It is characterized by that.

このような構成であれば、リセット直後に読み出した電荷に対応する画素データと、各
露光時間において読み出した電荷に対応する画素データとの差分値から画像データを生成
することができるので、各露光時間に対応する画素データから非破壊読み出し方式で問題
となる固定パターンノイズを除去又は低減した画素データから構成される撮像画像データ
を生成することができる。
従って、固定パターンノイズによる画質劣化を防ぐ又は低減することができると共に、
固定パターンノイズが除去又は低減された画像データを取得することができるという効果
が得られる。 With such a configuration, image data can be generated from the difference value between the pixel data corresponding to the charge read immediately after the reset and the pixel data corresponding to the charge read at each exposure time. It is possible to generate captured image data composed of pixel data obtained by removing or reducing fixed pattern noise, which is a problem in the nondestructive readout method, from pixel data corresponding to time.
Therefore, image quality deterioration due to fixed pattern noise can be prevented or reduced, and
An effect is obtained that image data from which fixed pattern noise is removed or reduced can be acquired.

更に、本発明の撮像システムは、
前記特定光源以外の光である通常光のみによる被写体からの反射光の露光によって前記各画素に蓄積された蓄積電荷の構成する画素信号と、前記通常光及び前記特定光源からの光による被写体からの反射光の露光によって前記各画素に蓄積された少なくとも２種類以上の露光時間にそれぞれ対応する蓄積電荷の構成する画素信号とを、前記画素信号読出手段で読み出すことを特徴としている。
Furthermore, the imaging system of the present invention includes:
A pixel signal composed of accumulated charges accumulated in each pixel by exposure of reflected light from the subject only by normal light that is light other than the specific light source, and from the subject by the normal light and light from the specific light source. It is characterized in that the pixel signal reading means reads out pixel signals constituting accumulated charges corresponding to at least two kinds of exposure times accumulated in each pixel by exposure of reflected light.

このような構成であれば、所定露光期間において、通常光のみ反射光の露光による画素
信号から構成される画素データと、２種類以上の通常光及び特定光源の光の反射光の露光
による画素信号から構成される画素データとを得ることが可能である。
従って、これらの画素データから、例えば、特定光源の光のみの反射光に対する露光量
（蓄積電荷量）の変化を算出することができるので、この露光量の変化に対する、特定光
源と被写体との間の距離の変化を予め実験等により測定して記録しておくことで、特定光
源と被写体との間の距離を簡易に推定することができるという効果が得られる。 With such a configuration, pixel data constituted by pixel signals obtained by exposure of reflected light only with normal light and pixel signals obtained by exposure of reflected light of two or more kinds of normal light and light of a specific light source in a predetermined exposure period. Can be obtained.
Accordingly, for example, a change in exposure amount (accumulated charge amount) with respect to reflected light of only the light from a specific light source can be calculated from these pixel data. By measuring and recording a change in the distance in advance through an experiment or the like, it is possible to easily estimate the distance between the specific light source and the subject.

更に、本発明の撮像システムは、
前記複数種類の露光時間にそれぞれ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出する増加率算出手段を備え、
前記距離推定手段は、前記増加率算出手段で算出した増加率に基づき、前記特定光源と前記被写体との間の距離を推定することを特徴としている。
Furthermore, the imaging system of the present invention includes:
Based on the image data corresponding to each of the plurality of types of exposure time, comprising an increase rate calculating means for calculating an increase rate of the exposure amount when the specific light source is turned on,
The distance estimation means estimates the distance between the specific light source and the subject based on the increase rate calculated by the increase rate calculation means.

このような構成であれば、増加率算出手段によって、前記複数種類の露光時間にそれぞ
れ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出す
ることが可能であり、前記距離推定手段は、前記増加率算出手段で算出した増加率に基づ
き、前記特定光源と前記被写体との間の距離を推定することが可能である。
従って、所定露光時間の露光期間において、特定光源が点灯しているときの露光量（特
定光源の光に対する反射光の露光量）の増加率を得ることができるので、例えば、予め実
験等によって、露光量の増加率に対する特定光源と被写体との間の距離の変化を測定して
記録しておくことで、露光量（蓄積電荷量）の増加率から距離を簡易に推定することがで
きるという効果が得られる。 With such a configuration, the increase rate calculating means can calculate the increase rate of the exposure amount when the specific light source is turned on based on the image data corresponding to each of the plurality of types of exposure times. The distance estimation means can estimate the distance between the specific light source and the subject based on the increase rate calculated by the increase rate calculation means.
Therefore, since the increase rate of the exposure amount (exposure amount of reflected light with respect to the light of the specific light source) can be obtained in the exposure period of the predetermined exposure time, for example, by an experiment or the like in advance, By measuring and recording the change in the distance between the specific light source and the subject with respect to the increase rate of the exposure amount, the distance can be easily estimated from the increase rate of the exposure amount (accumulated charge amount). Is obtained.

更に、本発明の撮像システムは、
前記距離推定手段の推定結果に基づく情報をシステム利用者に通知する通知手段を備えることを特徴としている。
このような構成であれば、例えば、「被写体が近づいてくる」、「被写体が遠ざかっている」などの推定された距離から解る（予測できる）情報を、システム利用者に提供することができるという効果が得られる。
Furthermore, the imaging system of the present invention includes:
It is characterized by comprising notifying means for notifying the system user of information based on the estimation result of the distance estimating means.
With such a configuration, for example, it is possible to provide the system user with information that can be understood (predicted) from the estimated distance such as “the subject is approaching” or “the subject is moving away”. An effect is obtained.

以下、本発明に係る撮像素子、撮像装置及び撮像システムの実施の形態を、図面に基づ
き説明する。図１〜図１３は、本発明に係る撮像素子、撮像装置及び撮像システムの実施
の形態を示す図である。
以下、図１に基づき、本発明に係る撮像システム１００の概略構成を説明する。ここで
、図１は、本発明に係る撮像システム１００の概略構成を示すブロック図である。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of an image pickup device, an image pickup apparatus, and an image pickup system according to the present invention are described below with reference to the drawings. 1 to 13 are diagrams showing embodiments of an imaging device, an imaging apparatus, and an imaging system according to the present invention.
Hereinafter, a schematic configuration of the imaging system 100 according to the present invention will be described with reference to FIG. Here, FIG. 1 is a block diagram showing a schematic configuration of an imaging system 100 according to the present invention.

撮像システム１００は、図１に示すように、特定光源１６（後述）の点灯及び消灯を制
御すると共に、特定光源の点灯及び消灯に同期して被写体を撮像する撮像装置１と、当該
撮像装置１からの投光画像データ（後述）に基づき、撮像装置１（特定光源１６（後述）
）と被写体との間の距離を推定する距離推定処理、撮像画像の表示処理等を行うホストシ
ステム２とを含んだ構成となっている。 As shown in FIG. 1, the imaging system 100 controls the turning on and off of a specific light source 16 (described later), and the imaging device 1 that picks up a subject in synchronization with the turning on and off of the specific light source, and the imaging device 1. Based on the projection image data (described later) from the imaging device 1 (specific light source 16 (described later)
) And a subject, and a host system 2 that performs a captured image display process and the like.

また、図１に示すように、撮像装置１は、露光領域が４つの領域に等間隔に分割された
センサセルアレイ５６（後述）を有すると共に、映像処理部１２（後述）からの各種同期
信号に基づき、各領域毎に、複数種類の露光時間で露光された各画素のラインからそれぞ
れ独立に画素信号を非破壊読み出し方式で読み出し、これら読み出した画素のライン毎の
画素信号に対応する画素データ（デジタルデータ）を各領域毎にそれぞれ独立に順次出力
する領域走査対応撮像処理部１０（以下、撮像処理部１０と称す）と、特定光源１６（後
述）の点灯及び消灯の制御、ホストシステム２との各種データの通信の他、撮像処理部１
０から出力される画素データに基づくサブサンプル画像データ（後述）の生成、各領域の
サブサンプル画像データに基づく投光画像データの生成等の映像処理を行う映像処理部１
２と、サブサンプル画像データ、投光画像データ等の各種画像データを記憶するフレーム
メモリ１４と、映像処理部１２からの光源駆動制御信号に基づき特定の光を点灯及び消灯
する特定光源１６とを含んで構成される。 As shown in FIG. 1, the imaging apparatus 1 includes a sensor cell array 56 (described later) in which an exposure region is divided into four regions at equal intervals, and receives various synchronization signals from the video processing unit 12 (described later). On the basis of each pixel, pixel signals are read out independently from each pixel line exposed with a plurality of types of exposure times by a nondestructive readout method, and pixel data corresponding to the pixel signals for each line of these read pixels ( Area scanning-capable imaging processing unit 10 (hereinafter referred to as imaging processing unit 10) that sequentially and independently outputs digital data for each region, control of turning on and off a specific light source 16 (described later), and host system 2 In addition to communication of various data, the imaging processing unit 1
Video processing unit 1 that performs video processing such as generation of sub-sampled image data (described later) based on pixel data output from 0 and generation of projection image data based on sub-sampled image data of each region
2, a frame memory 14 that stores various image data such as sub-sampled image data and projected image data, and a specific light source 16 that turns on and off specific light based on a light source drive control signal from the video processing unit 12. Consists of including.

更に、図２〜図６に基づき、撮像処理部１０の詳細な内部構成を説明する。ここで、図
２は、撮像処理部１０の内部構成及びホストシステム２の内部構成を示すブロック図であ
る。また、図３は、第１のＡＦＥ(Analog Front End)１０ｂの内部構成を示す図である。
また、図４は、領域別走査対応型撮像素子１０ａの内部構成を示すブロック図である。ま
た、図５（ａ）は、走査ラインスキャナ５４の内部構成を示す図であり、（ｂ）は、ライ
ン制御ロジック５４ｉの内部構成を示す図である。また、図６は、センサセルアレイ５６
の詳細構成を示す図である。
図２に示すように、撮像処理部１０は、領域別走査対応型撮像素子１０ａと、第１〜第
４のＡＦＥ１０ｂ〜１０ｅとを含んで構成される。 Furthermore, a detailed internal configuration of the imaging processing unit 10 will be described with reference to FIGS. Here, FIG. 2 is a block diagram illustrating an internal configuration of the imaging processing unit 10 and an internal configuration of the host system 2. FIG. 3 is a diagram showing an internal configuration of a first AFE (Analog Front End) 10b.
FIG. 4 is a block diagram showing an internal configuration of the area-specific scanning-capable imaging element 10a. 5A is a diagram showing an internal configuration of the scanning line scanner 54, and FIG. 5B is a diagram showing an internal configuration of the line control logic 54i. 6 shows the sensor cell array 56.
FIG.
As illustrated in FIG. 2, the imaging processing unit 10 includes an area-specific scanning-capable imaging device 10 a and first to fourth AFEs 10 b to 10 e.

領域別走査対応型撮像素子１０ａ（以下、撮像素子１０ａと称す）は、被写体からの光
を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた
電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１０ａは、映像処理
部１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、
水平同期信号及び垂直同期信号０）に基づいて、センサセルアレイ５６の各画素列に蓄積
されている電荷群を電圧群に順次変換する。そして、本実施の形態においては、４つの領
域に分割された露光領域の各領域に対する電荷群を変換してなる電圧群を、各領域毎に独
立に、水平転送部５８（後述）の有する、第１〜第４非破壊読出ラインメモリを含んで構
成される第１〜第４出力チャンネル（以下、ＣＨ１〜ＣＨ４と称す）を介して、それぞれ
第１〜第４のＡＦＥ１０ｂ〜１０ｅに順次出力させる。 The region-specific scanning-capable imaging device 10a (hereinafter referred to as the imaging device 10a) condenses light from a subject on a sensor cell array 56 (described later) by an imaging lens (not shown), and charges corresponding to the amount of light collected. The data is accumulated in each pixel of the sensor cell array 56. In addition, the image sensor 10a has a drive signal (pixel clock, output from a timing controller 12b (described later) of the video processing unit 12).
Based on the horizontal synchronization signal and the vertical synchronization signal 0), the charge groups accumulated in each pixel column of the sensor cell array 56 are sequentially converted into voltage groups. In the present embodiment, a horizontal transfer unit 58 (described later) has a voltage group obtained by converting a charge group for each area of the exposure area divided into four areas, independently for each area. The first to fourth AFEs 10b to 10e are sequentially output via first to fourth output channels (hereinafter referred to as CH1 to CH4) configured to include the first to fourth nondestructive read line memories. .

ここで、本実施の形態においては、例えば、露光領域の画素の総ライン数をＮ（Ｎは２
以上の自然数）とした場合に、ライン番号ｎ１、ｎ２及びｎ３（Ｎ＞ｎ３＞ｎ２＞ｎ１）
の各画素のラインを境界として露光領域を４つの領域に分割している。従って、以下、ラ
イン番号１〜ライン番号ｎ１の画素のラインのある領域を走査領域１とし、ライン番号（
ｎ１＋１）〜ｎ２の画素のラインのある領域を走査領域２とし、ライン番号（ｎ２＋１）
〜ｎ３の画素のラインのある領域を走査領域３とし、ライン番号（ｎ３＋１）〜Ｎの画素
のラインのある領域を走査領域４とする。
つまり、撮像素子１０ａは、走査領域１の電圧群をＣＨ１を介して第１のＡＦＥ１０ｂ
に、走査領域２の電圧群をＣＨ２を介して第２のＡＦＥ１０ｃに、走査領域３の電圧群を
ＣＨ３を介して第３のＡＦＥ１０ｄに、走査領域４の電圧群をＣＨ４を介して第４のＡＦ
Ｅ１０ｅにそれぞれ独立に出力する。 Here, in the present embodiment, for example, the total number of pixels in the exposure region is N (N is 2).
Line numbers n1, n2 and n3 (N>n3>n2> n1)
The exposure area is divided into four areas with the line of each pixel as a boundary. Therefore, hereinafter, an area where the lines of pixels of line number 1 to line number n1 are defined as scanning area 1, and line number (
An area having a line of pixels of n1 + 1) to n2 is defined as a scanning area 2, and a line number (n2 + 1)
A region having a line of pixels of .about.n3 is referred to as a scanning region 3, and a region having a line of pixels having line numbers (n3 + 1) to N is referred to as a scanning region 4.
In other words, the imaging device 10a uses the first AFE 10b as the voltage group in the scanning region 1 through CH1.
In addition, the voltage group in the scanning region 2 is supplied to the second AFE 10c through CH2, the voltage group in the scanning region 3 is supplied to the third AFE 10d through CH3, and the voltage group in the scanning region 4 is supplied to the fourth AFE 10c through CH4. AF
Output to E10e independently.

ここで、本実施の形態においては、センサセルアレイ５６の各画素のリセットが行われ
てから次のリセットが行われるまでの時間（所定露光時間）の露光期間をメインフレーム
期間とする。そして、当該メインフレーム期間において、走査領域１〜走査領域４の各領
域に対し、リセット直後の時間である第１露光時間ｔ１で露光時の画素信号を読み出す露
光期間をサブフレーム期間１、第２露光時間ｔ２（ｔ２≫ｔ１）で露光時の画素信号を読
み出す露光期間をサブフレーム期間２、第３露光時間ｔ３（ｔ３＞ｔ２）で露光時の画素
信号を読み出す露光期間をサブフレーム期間３、第４露光時間ｔ４（本実施の形態では所
定露光時間と同じ時間となる）（ｔ４＞ｔ３）で露光時の画素信号を読み出す露光期間を
サブフレーム期間４とする。 Here, in the present embodiment, an exposure period (predetermined exposure time) from when each pixel of the sensor cell array 56 is reset to when the next reset is performed is defined as a main frame period. Then, in the main frame period, the exposure period for reading out the pixel signal at the time of the first exposure time t1 which is the time immediately after the reset for each of the scanning area 1 to the scanning area 4 is the subframe period 1 and the second frame period. An exposure period for reading pixel signals during exposure at exposure time t2 (t2 >> t1) is subframe period 2, and an exposure period for reading out pixel signals during exposure at third exposure time t3 (t3> t2) is subframe period 3. An exposure period for reading pixel signals at the time of exposure at a fourth exposure time t4 (which is the same as the predetermined exposure time in this embodiment) (t4> t3) is defined as a subframe period 4.

従って、撮像素子１０ａは、これら４つのサブフレーム期間において、第１〜第４露光
時間ｔ１〜ｔ４でそれぞれ露光された各画素から、画素信号を非破壊読み出し方式で読み
出す。なお、本実施の形態において、所定露光時間は、被写体を視認するための鮮明な画
像を得るのに十分な露光時間とする。
第１〜第４のＡＦＥ１０ｂ〜１０ｅは、水平転送部５８のＣＨ１〜ＣＨ４を介してそれ
ぞれ独立に出力される４つの領域に対応する画素信号（アナログデータ）を、デジタルデ
ータ（画素データ）に変換する。そして、第１〜第４ＡＦＥ１０ｂ〜１０ｄは、変換後の
画素データを映像処理部１２のサブサンプル画像データ生成部１２ｃ（後述）にそれぞれ
出力する。 Accordingly, the image sensor 10a reads out pixel signals from the pixels exposed during the first to fourth exposure times t1 to t4 in the four subframe periods by the nondestructive readout method. In the present embodiment, the predetermined exposure time is an exposure time sufficient to obtain a clear image for visually recognizing the subject.
The first to fourth AFEs 10b to 10e convert pixel signals (analog data) corresponding to the four regions output independently through CH1 to CH4 of the horizontal transfer unit 58 into digital data (pixel data). To do. Then, the first to fourth AFEs 10b to 10d output the converted pixel data to a subsample image data generation unit 12c (described later) of the video processing unit 12, respectively.

更に、図３に基づき、第１のＡＦＥ１０ｂの内部構成を説明する。
第１のＡＦＥ１０ｂは、図３に示すように、クランプ回路１０ｂ1と、差動増幅回路１
０ｂ2と、Ａ／Ｄ変換回路１０ｂ3とを含んで構成される。
クランプ回路１０ｂ1は、撮像素子１０ａからの画素信号を受信し、それが遮光領域の
信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになる
ように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増
幅回路１０ｂ2に出力する。 Furthermore, the internal configuration of the first AFE 10b will be described with reference to FIG.
As shown in FIG. 3, the first AFE 10 b includes a clamp circuit 10 b 1 and a differential amplifier circuit 1.
0b 2 and an A / D conversion circuit 10b 3 .
The clamp circuit 10b 1 receives the pixel signal from the image sensor 10a, detects whether it is a signal in the light shielding region, and if it is detected as a light shielding region, the signal level becomes a black (reference) level. It performs clamp processing on all input signals, and outputs the pixel signal after the clamping process to the amplifying circuit 10b 2.

増幅回路１０ｂ2は、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合する
ように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０ｂ3に出力する。
Ａ／Ｄ変換回路１０ｂ3は、差動増幅回路１０ｂ2からの画素信号（アナログデータ）を
、画素データ（デジタルデータ）に変換して映像処理部１２へと出力する。
なお、第１〜第４のＡＦＥ１０ｂ〜１０ｅは、それぞれ同一の内部構成となるので、第
２〜第４のＡＦＥ１０ｃ〜１０ｅに対する内部構成の説明は省略する。 Amplifying circuit 10b 2, the pixel signal after the clamping, amplified to match the input range of the A / D converter, and outputs the pixel signal after the amplification in the A / D converter circuit 10b 3.
The A / D conversion circuit 10b 3 converts the pixel signal (analog data) from the differential amplifier circuit 10b 2 into pixel data (digital data) and outputs the pixel data (digital data) to the video processing unit 12.
Since the first to fourth AFEs 10b to 10e have the same internal configuration, description of the internal configuration for the second to fourth AFEs 10c to 10e is omitted.

更に、図４に基づき、撮像素子１０ａの内部構成を説明する。
撮像素子１０ａは、図４に示すように、基準タイミング発生器５０と、駆動パルス発生
器５２と、同時に４本の走査線（非破壊読み出しライン）を有効にする走査ラインスキャ
ナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。
基準タイミング発生器５０は、映像処理部１２のタイミング制御器１２ｂ（後述）から
の垂直同期信号０及び水平同期信号に基づき、基準タイミング信号を発生する。
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走
査ラインスキャナ５４からの４つの読出しライン選択信号と、特定のサブフレーム期間の
みに対する４つのリセットライン選択信号とに基づき駆動パルスを発生してセンサセルア
レイ５６に供給する。 Furthermore, the internal configuration of the image sensor 10a will be described with reference to FIG.
As shown in FIG. 4, the image sensor 10a includes a reference timing generator 50, a drive pulse generator 52, a scanning line scanner 54 that enables four scanning lines (non-destructive readout lines) at the same time, and a sensor cell array. 56 and a horizontal transfer unit 58.
The reference timing generator 50 generates a reference timing signal based on a vertical synchronization signal 0 and a horizontal synchronization signal from a timing controller 12b (described later) of the video processing unit 12.
The drive pulse generator 52 is driven based on a reference timing signal from the reference timing generator 50, four readout line selection signals from the scanning line scanner 54, and four reset line selection signals for a specific subframe period only. A pulse is generated and supplied to the sensor cell array 56.

走査ラインスキャナ５４は、映像処理部１２からの各種駆動制御信号に基づき、走査領
域１〜走査領域４に対する非破壊読出しラインの位置をそれぞれ選択し、走査領域１〜走
査領域４の非破壊読み出しラインの位置をそれぞれ示す第１〜第４読出しライン選択信号
を生成する。そして、これら生成した第１〜第４読出しライン選択信号を駆動パルス発生
器５２に出力する。また、走査ラインスキャナ５４は、上記した４つのサブフレーム期間
１〜４のうち、１つのサブフレーム期間（ここでは、サブフレーム期間１）に対してリセ
ットラインを有効とするリセットライン選択信号を生成し、これを駆動パルス発生器５２
に出力する。 The scanning line scanner 54 selects the positions of the non-destructive readout lines for the scanning region 1 to the scanning region 4 based on various drive control signals from the video processing unit 12, and the non-destructive readout lines for the scanning region 1 to the scanning region 4. 1 to 4 read line selection signals respectively indicating the positions of. The generated first to fourth read line selection signals are output to the drive pulse generator 52. In addition, the scanning line scanner 54 generates a reset line selection signal that enables the reset line for one subframe period (here, subframe period 1) among the four subframe periods 1 to 4 described above. The drive pulse generator 52
Output to.

センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス
発生器５２から供給される駆動パルスに基づき、露光領域における走査領域１〜走査領域
４を各領域に共通となる複数種類の露光時間で順次露光すると共に、当該露光により各画
素に蓄積された電荷を、各画素のライン毎に読み出して水平転送部５８に順次出力する。
水平転送部５８は、センサセルアレイ５６の走査領域１における各画素から読み出され
た画素信号データを、各画素のライン毎にＣＨ１の第１非破壊読出ラインメモリに順次記
憶し、当該記憶した画素信号データを第１のＡＦＥ１０ｂに順次出力する。同様に、走査
領域２〜走査領域４における各画素から読み出された画素信号データを、各画素のライン
毎にＣＨ２〜ＣＨ４の第２〜第４非破壊読出ラインメモリにそれぞれ順次記憶し、これら
記憶した画素信号データを第２〜第４のＡＦＥ１０ｃ〜１０ｅにそれぞれ独立に順次出力
する。 In the sensor cell array 56, each pixel is configured by using CMOS technology. Based on the drive pulse supplied from the drive pulse generator 52, a plurality of scan areas 1 to 4 in the exposure area are shared by the respective areas. The exposure is sequentially performed with various exposure times, and the charges accumulated in each pixel by the exposure are read out for each pixel line and sequentially output to the horizontal transfer unit 58.
The horizontal transfer unit 58 sequentially stores pixel signal data read from each pixel in the scanning region 1 of the sensor cell array 56 in the first nondestructive read line memory of CH1 for each pixel line, and the stored pixel The signal data is sequentially output to the first AFE 10b. Similarly, the pixel signal data read from each pixel in the scanning region 2 to the scanning region 4 is sequentially stored in the second to fourth nondestructive read line memories of CH2 to CH4 for each pixel line. The stored pixel signal data is sequentially and sequentially output to the second to fourth AFEs 10c to 10e.

更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５（ａ）に示すように、第１〜第４非破壊走査カウンタ
５４ａ〜５４ｄと、第２〜第４非破壊走査アドレスデコーダ５４ｅ〜５４ｈと、ライン制
御ロジック５４ｉとを含んで構成される。
第１非破壊走査カウンタ５４ａは、映像処理部１２からの垂直同期信号０に基づき、カ
ウントアップ動作を繰り返す。ここで、第１の非破壊走査カウンタ５４ａのカウンタ値は
、走査領域１の各画素のライン番号に対応しており、このライン番号は、第１非破壊走査
アドレスデコーダ５４ｅに出力される。同様に、第２〜第４非破壊走査カウンタ５４ｂ〜
５４ｄは、垂直同期信号０に基づきカウントアップ動作を繰り返し、そのカウンタ値を、
走査領域２〜４の各画素のライン番号として、第２〜第４非破壊走査アドレスデコーダ５
４ｆ〜５４ｈにそれぞれ出力する。 Furthermore, the internal configuration of the scanning line scanner 54 will be described with reference to FIG.
As shown in FIG. 5A, the scanning line scanner 54 includes first to fourth nondestructive scanning counters 54a to 54d, second to fourth nondestructive scanning address decoders 54e to 54h, a line control logic 54i, It is comprised including.
The first non-destructive scanning counter 54a repeats the count-up operation based on the vertical synchronization signal 0 from the video processing unit 12. Here, the counter value of the first nondestructive scanning counter 54a corresponds to the line number of each pixel in the scanning region 1, and this line number is output to the first nondestructive scanning address decoder 54e. Similarly, the second to fourth nondestructive scanning counters 54b to
54d repeats the count-up operation based on the vertical synchronization signal 0, and the counter value is
The second to fourth nondestructive scanning address decoder 5 is used as the line number of each pixel in the scanning regions 2 to 4.
Output to 4f to 54h, respectively.

また、第１〜第４非破壊走査カウンタ５４ａ〜５４ｄは、走査領域１〜走査領域４にお
ける非破壊読み出しの基準信号である垂直同期信号１を生成し、当該生成した垂直同期信
号１を映像処理部１２のタイミング制御器１２ｂに出力する。
第１非破壊走査アドレスデコーダ５４ｅは、第１非破壊走査カウンタ５４ａから出力さ
れるライン番号のラインを、走査領域１における「非破壊読み出しラインＬ１」として有
効にする。同様に、第２〜第４非破壊走査アドレスデコーダ５４ｆ〜５４ｈは、第２〜第
４非破壊走査カウンタ５４ｂ〜５４ｄからそれぞれ出力されるライン番号のラインを、走
査領域２〜４における「非破壊読み出しラインＬ２〜Ｌ４」としてそれぞれ有効にする。
更に、第１〜第４非破壊走査アドレスデコーダ５４ｅ〜５４ｈはそれぞれ、有効としたラ
イン番号を示す第１〜第４非破壊読み出しライン制御信号をライン制御ロジック５４ｉに
出力する。 The first to fourth nondestructive scanning counters 54a to 54d generate a vertical synchronizing signal 1 that is a reference signal for nondestructive reading in the scanning region 1 to the scanning region 4, and perform video processing on the generated vertical synchronizing signal 1. To the timing controller 12b of the unit 12.
The first non-destructive scan address decoder 54e validates the line having the line number output from the first non-destructive scan counter 54a as the “non-destructive read line L1” in the scan region 1. Similarly, the second to fourth non-destructive scan address decoders 54f to 54h transfer the line numbers output from the second to fourth non-destructive scan counters 54b to 54d to the “non-destructive” in the scan regions 2 to 4, respectively. The read lines L2 to L4 "are enabled.
Further, the first to fourth nondestructive scanning address decoders 54e to 54h output first to fourth nondestructive read line control signals indicating valid line numbers to the line control logic 54i, respectively.

ライン制御ロジック５４ｉは、第１〜第４非破壊走査アドレスデコーダ５４ｅ〜５４ｈ
からの第１〜第４非破壊読み出しライン制御信号に基づき、走査領域１〜走査領域４に対
する各読出しライン位置（アドレス）を示す第１〜第４読み出しライン選択信号を生成す
る。また、走査領域１〜走査領域４に対する各リセットライン位置（アドレス）を示す第
１〜第４リセットライン選択信号を生成する。そして、これら生成した第１〜第４読み出
しライン選択信号、及び第１〜第４リセットライン選択信号を、駆動パルス発生器５２に
出力する。 The line control logic 54i includes first to fourth nondestructive scan address decoders 54e to 54h.
Based on the first to fourth non-destructive read line control signals from the first to fourth read line selection signals indicating the read line positions (addresses) for the scan region 1 to the scan region 4 are generated. Also, first to fourth reset line selection signals indicating the respective reset line positions (addresses) for the scanning region 1 to the scanning region 4 are generated. The generated first to fourth read line selection signals and first to fourth reset line selection signals are output to the drive pulse generator 52.

以下、図５（ｂ）に基づき、ライン制御ロジック５４ｉの内部構成を説明する。
ライン制御ロジック５４ｉは、図５（ｂ）に示すように、読み出しライン選択信号は直
接出力し、一方、リセットライン選択信号は、リセットライン制御部５４ｉ1を介して出
力する。
リセットライン制御部５４ｉ1は、映像処理部１２からの垂直同期信号０に同期して、
走査領域１〜走査領域４における、上記４つのサブフレーム期間（読み出し期間）１〜４
のうち、１つのサブフレーム期間のみの選択ラインを有効として、当該選択ラインの画素
に蓄積された電荷をリセットするための第１〜第４リセットライン選択信号を生成する。
一方、選択ライン以外のラインは無効とする。そして、前記生成したリセットライン選択
信号を駆動パルス発生器５２に出力する。 Hereinafter, the internal configuration of the line control logic 54i will be described with reference to FIG.
Line control logic 54i, as shown in FIG. 5 (b), the read line selection signal is output directly, whereas the reset line selection signal is output through the reset line control unit 54i 1.
The reset line control unit 54i 1 is synchronized with the vertical synchronization signal 0 from the video processing unit 12,
The four subframe periods (readout periods) 1 to 4 in the scanning area 1 to the scanning area 4
Among them, the selection line for only one subframe period is validated, and first to fourth reset line selection signals for resetting the charges accumulated in the pixels of the selection line are generated.
On the other hand, lines other than the selected line are invalid. Then, the generated reset line selection signal is output to the drive pulse generator 52.

また、ライン制御ロジック５４ｉは、第１〜第４非破壊走査アドレスデコーダ５４ｅ〜
５４ｈからの第１〜第４非破壊読み出しライン制御信号を、走査領域１〜走査領域４にお
ける読み出すべきラインのみを選択する読み出しライン選択信号として駆動パルス発生器
５２に出力する。 The line control logic 54i includes first to fourth nondestructive scan address decoders 54e to 54e.
The first to fourth nondestructive read line control signals from 54h are output to the drive pulse generator 52 as read line selection signals for selecting only the lines to be read in the scanning region 1 to the scanning region 4.

更に、図６に基づき、センサセルアレイ５６の詳細構成を説明する。
図６に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセン
サセル（画素）５６ａをマトリクス状に配設し、各ライン毎のセンサセル５６ａに対して
、アドレス線、リセット線及び読出し線が共通に接続され、前記３つの制御線を介して各
種駆動信号が各ラインを構成するセンサセル５６ａに送信される。そして、アドレス線及
び読出し線が有効になると、図６の信号線を介して蓄積電荷を水平転送器に転送する構成
となっている。このような構成によって、アドレス線により、リセット動作又は読出し動
作を行わせる画素のラインを有効に（選択）し、当該選択信号で選択したラインの各セン
サセル５６ａに対して、リセット動作を行わせる場合はリセット線を介してリセット動作
を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電
荷の転送を指示する信号を入力する。選択信号によって選択された各センサセル５６ａは
、リセット動作を指示する信号が入力されたときはリセット動作を行い、蓄積電荷の転送
を指示する信号が入力されたときは、信号線を介して水平転送部への蓄積電荷の転送を行
う。 Further, a detailed configuration of the sensor cell array 56 will be described with reference to FIG.
As shown in FIG. 6, the sensor cell array 56 has a plurality of sensor cells (pixels) 56a configured using CMOS arranged in a matrix, and the address lines, the reset lines and the sensor cells 56a for each line. The readout lines are connected in common, and various drive signals are transmitted to the sensor cells 56a constituting each line via the three control lines. When the address line and the readout line become valid, the accumulated charge is transferred to the horizontal transfer device via the signal line of FIG. With such a configuration, a pixel line for which a reset operation or a read operation is performed is enabled (selected) by an address line, and a reset operation is performed on each sensor cell 56a of the line selected by the selection signal. Inputs a signal for instructing the reset operation via the reset line, and when reading out the pixel signal, inputs a signal for instructing the transfer of the accumulated charge via the readout line. Each sensor cell 56a selected by the selection signal performs a reset operation when a signal for instructing a reset operation is input, and performs horizontal transfer via a signal line when a signal for instructing transfer of accumulated charges is input. The accumulated charge is transferred to the part.

更に、図７に基づき、撮像素子１０ａの露光時間の制御方法、及びセンサセルアレイ５
６からの画素信号の読み出し方法について説明する。ここで、図７は、領域別走査対応型
撮像素子１０ａのセンサセルアレイ５６の各領域における、各画素のライン毎の露光、及
び各画素からの画素信号の非破壊読み出し動作の一例を示す図である。
本発明の露光時間の制御及び画素信号の読み出しは、図７に示すように、サブフレーム
期間１に対して、まずセンサセルアレイ５６の走査領域１〜走査領域４における、画素信
号の読み出しを行う第１〜第４非破壊読み出しラインＬ１〜Ｌ４をそれぞれ選択する。更
に、第１〜第４非破壊読み出しラインＬ１〜Ｌ４と同じラインを、第１〜第４リセットラ
インＲ１〜Ｒ４として選択（有効に）する。 Furthermore, based on FIG. 7, the method for controlling the exposure time of the image sensor 10a and the sensor cell array 5
A method for reading pixel signals from 6 will be described. Here, FIG. 7 is a diagram showing an example of the exposure for each line of each pixel and the nondestructive reading operation of the pixel signal from each pixel in each region of the sensor cell array 56 of the region-specific scanning-capable imaging device 10a. is there.
As shown in FIG. 7, the exposure time control and the pixel signal readout according to the present invention are performed by first reading out the pixel signals in the scanning region 1 to the scanning region 4 of the sensor cell array 56 for the subframe period 1. The first to fourth nondestructive read lines L1 to L4 are selected. Further, the same lines as the first to fourth nondestructive read lines L1 to L4 are selected (validated) as the first to fourth reset lines R1 to R4.

そして、走査領域１〜走査領域４において、第１〜第４リセットラインＲ１〜Ｒ４の各
画素のラインがリセットされると、選択ラインの露光が開始され、第１露光時間ｔ１（リ
セット直後）で露光された第１〜第４非破壊読み出しラインＬ１〜Ｌ４の各画素のライン
からの画素信号の読み出しが実行される。 In the scanning region 1 to the scanning region 4, when the pixel lines of the first to fourth reset lines R1 to R4 are reset, the exposure of the selected line is started, and the first exposure time t1 (immediately after the reset). Reading of pixel signals from the line of each pixel of the exposed first to fourth nondestructive read lines L1 to L4 is executed.

つまり、リセット直後の（第１露光時間ｔ１で露光された）各画素の画素信号を読み出
すサブフレーム期間１において、走査領域１〜走査領域４の各所定位置の画素のライン（
例えば、第１ライン、第５１ライン、第１０１ライン、第１５１ライン）が第１〜第４非
破壊読出しラインＬ１〜Ｌ４として選択されると、これと同じライン（第１ライン、第５
１ライン、第１０１ライン、第１５１ライン）が、第１〜第４リセットラインとして選択
される。そして、各選択ラインの露光が開始される。なお、本実施の形態において、この
サブフレーム期間１における画素信号の読み出しは、後述するサブサンプリング画像デー
タの生成に用いる基準画像データを得るために、リセット直後（可能な限り電荷の蓄積量
が少ない状態）の画素信号を読み出すようになっている。また、画素信号の読み出しは、
読み出し後にリセットを伴わない非破壊読み出し方式で行う。このように、サブフレーム
期間１では、非破壊読み出しラインの選択、リセットラインの選択、選択ラインのリセッ
ト、リセット直後の選択ラインの画素信号の非破壊読み出しといった一連の動作が、走査
領域１〜走査領域４の各画素のライン毎に順次行われる。 That is, in the sub-frame period 1 in which the pixel signal of each pixel is read immediately after the reset (exposed at the first exposure time t1), the pixel lines at the predetermined positions in the scanning region 1 to the scanning region 4 (
For example, when the first line, the 51st line, the 101st line, and the 151st line are selected as the first to fourth non-destructive read lines L1 to L4, the same lines (first line, fifth line)
1st line, 101st line, and 151st line) are selected as the first to fourth reset lines. Then, exposure of each selected line is started. In the present embodiment, the pixel signal readout in the subframe period 1 is performed immediately after reset in order to obtain reference image data used for generating subsampled image data described later (the charge accumulation amount is as small as possible). State) pixel signals are read out. Also, pixel signal readout is
This is performed by a non-destructive reading method without reset after reading. As described above, in the subframe period 1, a series of operations such as selection of a non-destructive readout line, selection of a reset line, reset of a selection line, and non-destructive readout of a pixel signal of the selected line immediately after reset are performed in the scanning regions 1 to 1. This is sequentially performed for each pixel line of the region 4.

そして、サブフレーム期間１において、上記一連の動作が走査領域１〜走査領域４の各
最終ライン（走査領域幅の情報により決定される）に対して行われると、これに引き続き
、走査領域１〜走査領域４において、サブフレーム期間２における露光時間ｔ２の画素信
号の読み出し、サブフレーム期間３における露光時間ｔ３の画素信号の読み出し、サブフ
レーム期間４における露光時間ｔ４の画素信号の読み出しが順次行われる。 Then, in the subframe period 1, when the above-described series of operations is performed for each final line (determined by the information of the scanning region width) in the scanning region 1 to the scanning region 4, the scanning region 1 to the scanning region 1 continues. In the scanning region 4, the pixel signal of the exposure time t2 in the subframe period 2 is read, the pixel signal of the exposure time t3 in the subframe period 3 is read, and the pixel signal of the exposure time t4 in the subframe period 4 is sequentially read. .

本実施の形態において、サブフレーム期間２〜４においては、第１〜第４非破壊読出し
ラインＬ１〜Ｌ４の選択及び選択ラインからの画素信号の読み出しのみを行い、第１〜第
４リセットラインＲ１〜Ｒ４の選択及びリセットは行わないようになっている。つまり、
サブフレーム期間２〜４においては、非破壊読み出し方式で各画素から画素信号の読み出
しが行われる。そして、サブフレーム期間４において、走査領域１〜走査領域４の各最終
ラインの画素信号の読み出しが終了するのと同時に、再びサブフレーム期間１に移行し、
第１〜第４非破壊読出しラインＬ１〜Ｌ４を選択すると共に、これらと同じラインを、第
１〜第４リセットラインＲ１〜Ｒ４として選択してリセットを行う。ここで、前回のリセ
ットから今回のリセットまでの露光期間が前述したメインフレーム期間となる。 In the present embodiment, in the subframe periods 2 to 4, only the selection of the first to fourth non-destructive readout lines L1 to L4 and the reading of the pixel signal from the selection line are performed, and the first to fourth reset lines R1 are performed. ~ R4 is not selected and reset. In other words,
In the subframe periods 2 to 4, pixel signals are read from each pixel by the nondestructive reading method. Then, in the subframe period 4, at the same time as the reading of the pixel signals of the last lines in the scanning region 1 to the scanning region 4 is completed, the process proceeds to the subframe period 1 again.
The first to fourth nondestructive read lines L1 to L4 are selected, and the same lines are selected as the first to fourth reset lines R1 to R4 to perform reset. Here, the exposure period from the previous reset to the current reset is the main frame period described above.

また、本実施の形態においては、サブフレーム期間１において、各領域の最終ラインに
おける各画素の画素信号の非破壊読み出しが終了し、再び各領域の開始ラインに戻って、
サブフレーム期間２に移行したときに、開始ラインの各画素は、露光時間ｔ２で電荷が蓄
積された状態となるように非破壊読み出しラインの選択及び画素信号の読み出しの各動作
の制御が行われるようになっている。つまり、１つ前のサブフレーム期間において、各領
域の最終ラインにおける各画素の画素信号の非破壊読み出しが終了し、各領域の開始ライ
ンに戻って、次のサブフレーム期間に移行したときに、各開始ラインの画素は、次のサブ
フレーム期間に対応した露光時間で各画素に電荷が蓄積された状態となるように制御され
る。 Further, in the present embodiment, in subframe period 1, the nondestructive readout of the pixel signal of each pixel in the last line of each region is completed, and the process returns to the start line of each region again.
When shifting to the subframe period 2, each pixel in the start line is controlled to select a nondestructive readout line and read out pixel signals so that charges are accumulated at the exposure time t2. It is like that. That is, when the non-destructive readout of the pixel signal of each pixel in the last line of each region is completed in the immediately preceding subframe period, the process returns to the start line of each region and shifts to the next subframe period. The pixels in each start line are controlled so that charges are accumulated in each pixel with an exposure time corresponding to the next subframe period.

なお、上記走査領域１〜走査領域４の各画素信号の読み出しは、映像処理部１２ｂから
供給される共通の垂直同期信号０及び水平同期信号に同期してそれぞれ並列に実行される
。
また、本実施の形態において、走査領域１に対する第１露光時間ｔ１で露光時の画素信
号は、ＣＨ１の第１非破壊読出ラインメモリに転送され、ＣＨ１を介して第１のＡＦＥ１
０ｂに出力されそこでデジタルデータ（以下、画素データと称す）に変換される。同様に
、走査領域２〜４に対する第２〜第４露光時間ｔ２〜ｔ４で露光時の画素信号は、ＣＨ２
〜ＣＨ４の第２〜第４非破壊読出ラインメモリにそれぞれ転送され、ＣＨ２〜ＣＨ４をそ
れぞれ介して第２〜第４のＡＦＥ１０ｃ〜１０ｅにそれぞれ出力されそこでデジタルデー
タ（画素データ）に変換される。 The readout of the pixel signals in the scanning region 1 to the scanning region 4 is executed in parallel in synchronization with the common vertical synchronizing signal 0 and horizontal synchronizing signal supplied from the video processing unit 12b.
In the present embodiment, the pixel signal at the time of exposure with respect to the scanning region 1 at the first exposure time t1 is transferred to the first nondestructive readout line memory of CH1, and the first AFE1 is passed through CH1.
It is output to 0b and converted there to digital data (hereinafter referred to as pixel data). Similarly, the pixel signal at the time of exposure in the second to fourth exposure times t2 to t4 for the scanning regions 2 to 4 is CH2
Are transferred to the second to fourth nondestructive read line memories of -CH4, respectively, and output to the second to fourth AFEs 10c to 10e via CH2-CH4, respectively, where they are converted into digital data (pixel data).

つまり、撮像処理部１０は、メインフレーム期間において、走査領域１〜４に対して並
列に、且つ各領域毎に独立に、第１〜第４露光時間ｔ１〜ｔ４の４種類の露光時間に対す
る画素信号を非破壊読出し方式で順次読み出すことで、メインフレーム期間に対する通常
読み出しに対して、４倍のフレームレートでの読出しを行っている。
更に、図８に基づき、特定光源１６の点灯及び消灯動作の制御について説明する。ここ
で、図８（ａ）は、特定光源の光が被写体に未到達時の蓄積電荷量（輝度レベル）の推移
を示す図であり、（ｂ）は、特定光源の光が被写体に到達時の蓄積電荷量（輝度レベル）
の推移を示す図である。 That is, in the main frame period, the imaging processing unit 10 parallels the scanning regions 1 to 4 and independently for each region, pixels for the four types of exposure times of the first to fourth exposure times t1 to t4. By sequentially reading the signals by the nondestructive reading method, reading is performed at a frame rate four times that of normal reading for the main frame period.
Furthermore, control of turning on and off the specific light source 16 will be described with reference to FIG. Here, FIG. 8A is a diagram showing a transition of the accumulated charge amount (luminance level) when the light from the specific light source does not reach the subject, and FIG. 8B is a diagram when the light from the specific light source reaches the subject. Accumulated charge (brightness level)
FIG.

特定光源１６は、高速スイッチング可能な複数個のＬＥＤから構成され、その点灯及び
消灯動作は、映像処理部１２からの光源駆動制御信号によって制御される。本実施の形態
においては、上記サブフレーム期間１〜４のそれぞれの期間に同期して点灯及び消灯動作
が行われる。また、本実施の形態においては、図８（ａ）及び（ｂ）に示すように、サブ
フレーム期間１、２及び４においては特定光源を消灯の状態にし、サブフレーム期間３に
おいては特定光源を点灯の状態にする。ここで、被写体（目標物）に対して、特定光源の
光が未到達である場合は、図８（ａ）に示すように、通常光（一定の光量）のみの露光が
行われ、終始一定の増加量で電荷が蓄積される。ここで、通常光は、自然光、照明光など
を含む特定光源１６以外の光である。一方、被写体に対して、特定光源１６の光が到達す
る場合は、上記した特定光源１６の点灯及び消灯動作の制御によって、図８（ｂ）に示す
ように、サブフレーム期間１及び２では、特定光源以外の光である通常光のみの露光が行
われるため、通常光のみの増加量で電荷が蓄積される。ところが、サブフレーム期間３で
は特定光源１６の光及び通常光による露光が行われるため、通常光の増加量に特定光源１
６の光の増加量分が加算された増加量で電荷が蓄積される。そして、サブフレーム期間４
では、特定光源１６が消灯されるので、再び通常光のみの増加量で電荷が蓄積される。つ
まり、特定光源１６の点灯及び消灯動作によって、単位時間あたりの蓄積電荷（輝度レベ
ル）の増加量（率）が可変となる。 The specific light source 16 includes a plurality of LEDs that can be switched at high speed, and the lighting and extinguishing operations are controlled by a light source drive control signal from the video processing unit 12. In the present embodiment, the lighting and extinguishing operations are performed in synchronization with each of the subframe periods 1 to 4. In this embodiment, as shown in FIGS. 8A and 8B, the specific light source is turned off in the subframe periods 1, 2, and 4, and the specific light source is turned off in the subframe period 3. Turn on the light. Here, when the light of the specific light source has not reached the subject (target), as shown in FIG. 8A, only normal light (a constant light amount) is exposed and constant from beginning to end. Charges are accumulated with an increasing amount of. Here, the normal light is light other than the specific light source 16 including natural light, illumination light, and the like. On the other hand, when the light from the specific light source 16 reaches the subject, the sub-frame periods 1 and 2 in the subframe periods 1 and 2 are controlled as shown in FIG. Since exposure of only normal light, which is light other than the specific light source, is performed, charges are accumulated with an increase amount of only normal light. However, in the subframe period 3, the exposure with the light of the specific light source 16 and the normal light is performed.
Charges are accumulated with an increase amount obtained by adding the increase amount of 6 light. And subframe period 4
Then, since the specific light source 16 is extinguished, charges are again accumulated with an increase amount of only normal light. That is, the amount of increase (rate) of the accumulated charge (luminance level) per unit time is variable by turning on and off the specific light source 16.

また、図８（ｂ）に示すように特定光源１６の点灯及び消灯動作を制御することによっ
て、図８（ｂ）のタイミング図（位相関係）では、サブフレーム期間１及び２では通常光
のみの露光による画素データを得ることができ、サブフレーム期間３では、サブフレーム
期間１〜３での通常光の露光分に、サブフレーム期間３の特定光源の光の露光分の加わっ
た画素データを得ることができ、サブフレーム期間４では、サブフレーム期間１〜４での
通常光の露光分に、サブフレーム期間３の特定光源の光の露光分の加わった画素データを
得ることができる。 Further, by controlling the turning on and off operation of the specific light source 16 as shown in FIG. 8B, in the timing diagram (phase relationship) of FIG. Pixel data by exposure can be obtained. In subframe period 3, pixel data obtained by adding the exposure of light from the specific light source in subframe period 3 to the exposure of normal light in subframe periods 1 to 3 is obtained. In the subframe period 4, pixel data obtained by adding the exposure of the light of the specific light source in the subframe period 3 to the exposure of the normal light in the subframe periods 1 to 4 can be obtained.

更に、図２に戻って、ホストシステム２の内部構成を説明する。
ホストシステム２は、図２に示すように、システムコントローラ２ａと、表示装置２ｂ
とを含んで構成される。
システムコントローラ２ａは、映像処理部１２の出力読出器１２ｆ（後述）を介して、
投光画像データ（後述）を読み出し、当該投光画像データに基づき、特定光源１６と被写
体（目標物）との間の距離を推定する（距離画像データを生成）。また、特定光源１６と
被写体との間の距離の変化（距離画像データの変化）に基づき、目標物が特定光源１６に
対してどのような動きを見せているか（例えば、遠ざかっているか、近づいているか等）
を検出し、当該検出結果を計算機に通知したり、表示装置２ｂに表示するなどしてユーザ
に通知したりする。また、システムコントローラ２ａは、出力読出器１２ｆを介して、サ
ブフレーム期間３（所定露光時間）に対応するサブサンプル画像データ３を読み出し、当
該サブサンプル画像データの画像を表示装置２ｂに表示する。
表示装置２ｂは、システムコントローラ２ａからの表示指示に応じて、各種画像を表示
する。 Further, returning to FIG. 2, the internal configuration of the host system 2 will be described.
As shown in FIG. 2, the host system 2 includes a system controller 2a and a display device 2b.
It is comprised including.
The system controller 2a is connected via an output reader 12f (described later) of the video processing unit 12.
Light projection image data (described later) is read out, and the distance between the specific light source 16 and the subject (target) is estimated based on the light projection image data (distance image data is generated). Further, based on the change in the distance between the specific light source 16 and the subject (change in the distance image data), what kind of movement the target is making with respect to the specific light source 16 (for example, moving away or approaching). Or)
And the user is notified of the detection result by displaying it on the display device 2b. Further, the system controller 2a reads the subsample image data 3 corresponding to the subframe period 3 (predetermined exposure time) via the output reader 12f, and displays the image of the subsample image data on the display device 2b.
The display device 2b displays various images in response to display instructions from the system controller 2a.

更に、図９〜図１１に基づき、映像処理部１２の内部構成を説明する。ここで、図９は
、映像処理部１２の内部構成を示すブロック図である。また、図１０（ａ）は、サンプル
画像データ生成部１２ｃの内部構成を示す図であり、（ｂ）は、領域１サンプル画像生成
部６０の内部構成を示す図である。また、図１１（ａ）は、投光画像データ生成部１２ｅ
の内部構成を示すブロック図であり、（ｂ）は、領域１投光画像生成部７０の内部構成を
示すブロック図である。 Furthermore, the internal configuration of the video processing unit 12 will be described with reference to FIGS. Here, FIG. 9 is a block diagram showing an internal configuration of the video processing unit 12. FIG. 10A is a diagram illustrating an internal configuration of the sample image data generation unit 12c, and FIG. 10B is a diagram illustrating an internal configuration of the region 1 sample image generation unit 60. FIG. 11A shows a projected image data generation unit 12e.
FIG. 7B is a block diagram illustrating an internal configuration of the area 1 projected image generation unit 70.

映像処理部１２は、図９に示すように、通信器・ＤＳＰ制御部１２ａと、タイミング制
御器１２ｂと、サブサンプル画像データ生成部１２ｃと、投光画像データ生成部１２ｄと
、メモリアクセス調停器１２ｅと、出力読出器１２ｆとを含んで構成される。
通信器・ＤＳＰ制御部１２ａは、ホストシステム２からのコマンドを受信し、撮像処理
部１０及び映像処理部１２を制御する。撮像処理部１０を制御するときは、撮像処理部１
０のプロトコルに準じて駆動制御信号を出力する。具体的には、撮像動作の開始などがあ
る。 As shown in FIG. 9, the video processing unit 12 includes a communication device / DSP control unit 12a, a timing controller 12b, a subsample image data generation unit 12c, a projected image data generation unit 12d, and a memory access arbiter. 12e and an output reader 12f.
The communication device / DSP control unit 12 a receives a command from the host system 2 and controls the imaging processing unit 10 and the video processing unit 12. When controlling the imaging processor 10, the imaging processor 1
A drive control signal is output according to the 0 protocol. Specifically, there is a start of an imaging operation.

タイミング制御器１２ｂは、撮像素子１０ａのセンサ駆動信号（ピクセルクロック、水
平同期信号、垂直同期信号０）を生成し、これらを、撮像素子１０ａの基準タイミング発
生器５０に出力する。また、タイミング制御器１２ｂは、水平同期信号、撮像素子１０ａ
からの垂直同期信号１から、撮像処理部１０のＣＨ１〜ＣＨ４からそれぞれ出力される走
査領域１〜４の各画素信号の、撮像素子１０ａのセンサセルアレイ５６における画素位置
（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号及び画素番
号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報をサブサンプル画
像データ生成部１２ｃに出力する。 The timing controller 12b generates sensor drive signals (pixel clock, horizontal synchronization signal, vertical synchronization signal 0) of the image sensor 10a, and outputs them to the reference timing generator 50 of the image sensor 10a. In addition, the timing controller 12b includes a horizontal synchronization signal and an image sensor 10a.
Pixel position (pixel column (line) number, pixel row (line) number, pixel signal) in the sensor cell array 56 of the image sensor 10a of each of the pixel signals of the scanning regions 1 to 4 respectively output from the CH1 to CH4 of the imaging processor 10 from the vertical synchronization signal 1 from Since the pixel number is known, the pixel column (line) number and the pixel number (hereinafter also referred to as “address information”) are generated, and the address information is output to the sub-sample image data generation unit 12c.

サブサンプル画像データ生成部１２ｃは、メモリアクセス調停器１２ｅを介して、走査
領域１〜４における、各サブフレーム期間１で読み出された画素信号に対応する画素デー
タを領域１〜４基準画像データとしてそれぞれを、フレームメモリ１４の領域１〜４ワー
クエリアの対応するワークエリアに格納する。また、走査領域１〜４における、サブフレ
ーム期間２〜４で読み出された各画素信号に対応する画素データと、領域１〜４基準画像
データとに基づき、領域１〜４サブサンプル画像データ１〜３を生成する。そして、生成
した領域１〜４サブサンプル画像データ１〜３をそれぞれ、フレームメモリ１４の領域１
〜４ワークエリアの対応するワークエリアに格納する。 The subsample image data generation unit 12c converts the pixel data corresponding to the pixel signal read in each subframe period 1 in the scan regions 1 to 4 into the region 1 to 4 reference image data via the memory access arbiter 12e. Are stored in the corresponding work areas of the areas 1 to 4 in the frame memory 14. In addition, based on the pixel data corresponding to each pixel signal read in the subframe periods 2 to 4 in the scanning regions 1 to 4 and the region 1 to 4 reference image data, the regions 1 to 4 subsampled image data 1 Generate ~ 3. Then, the generated region 1 to 4 subsample image data 1 to 3 are respectively stored in the region 1 of the frame memory 14.
Store in the corresponding work area of ~ 4 work areas.

更に、図９（ａ）及び（ｂ）に基づき、サブサンプル画像データ生成部１２ｃの内部構
成を説明する。
サブサンプル画像データ生成部１２ｃは、図１０（ａ）に示すように、走査領域１〜４
のサブフレーム期間２〜３にそれぞれ対応するサブサンプル画像データ１〜３を生成する
領域１〜４サブサンプル画像生成部６０〜６３を含んで構成される。
領域１サブサンプル画像生成部６０は、図１０（ｂ）に示すように、差分画像生成部６
０ａを含んで構成される。 Further, the internal configuration of the sub-sample image data generation unit 12c will be described with reference to FIGS. 9 (a) and 9 (b).
As shown in FIG. 10A, the sub-sample image data generation unit 12c is configured to scan the areas 1-4.
Region 1 to 4 subsample image generation units 60 to 63 for generating subsample image data 1 to 3 corresponding to the subframe periods 2 to 3 respectively.
As shown in FIG. 10B, the region 1 subsample image generation unit 60 includes the difference image generation unit 6.
0a is included.

差分画像生成部６０ａは、フレームメモリ１４から読み出された領域１基準画像データ
と、走査領域１からサブフレーム期間２〜３でそれぞれ読み出された画素信号に対応する
画像データとを取得する。そして、差分画像生成部６０ａは、サブフレーム期間２〜４の
各画像データを構成する各画素データの示す画素値と、当該画素データと同じ画素位置の
領域１基準画像データを構成する各画素データの示す画素値との差分値をそれぞれ算出し
、当該差分値から、サブフレーム期間２〜４にそれぞれ対応する、領域１サブサンプル画
像データ１〜３を生成する。より具体的には、サブフレーム期間２〜４で読み出した画素
データの示す画素値から、リセット直後のサブフレーム期間１で読み出した画素データの
示す画素値を減算して差分値を算出する。これにより、サブフレーム期間２〜４で読み出
した画素データから、非破壊読出し方式で問題となる、撮像素子の個々の画素のばらつき
に起因する固定パターンノイズを除去することができる。 The difference image generation unit 60a acquires the area 1 reference image data read from the frame memory 14 and the image data corresponding to the pixel signals read from the scanning area 1 in the subframe periods 2 to 3, respectively. Then, the difference image generation unit 60a includes the pixel value indicated by each pixel data constituting each image data in the subframe periods 2 to 4 and each pixel data constituting the region 1 reference image data at the same pixel position as the pixel data. Are calculated, and region 1 subsample image data 1 to 3 corresponding to subframe periods 2 to 4 are generated from the difference values. More specifically, the difference value is calculated by subtracting the pixel value indicated by the pixel data read in the subframe period 1 immediately after the reset from the pixel value indicated by the pixel data read in the subframe periods 2 to 4. Thereby, the fixed pattern noise caused by the variation of the individual pixels of the image sensor, which is a problem in the nondestructive readout method, can be removed from the pixel data read in the subframe periods 2 to 4.

なお、領域１サブサンプル画像データ１がサブフレーム期間２に対応し、領域１サブサ
ンプル画像データ２がサブフレーム期間３に対応し、領域１サブサンプル画像データ３が
サブフレーム期間４に対応する。
同様に、領域２サブサンプル画像生成部６１においては、領域２サブサンプル画像デー
タ１〜３が生成され、領域３サブサンプル画像生成部６２においては、領域３サブサンプ
ル画像データ１〜３が生成され、領域４サブサンプル画像生成部６３においては、領域４
サブサンプル画像データ１〜３が生成される。 Area 1 subsample image data 1 corresponds to subframe period 2, area 1 subsample image data 2 corresponds to subframe period 3, and area 1 subsample image data 3 corresponds to subframe period 4.
Similarly, the area 2 subsample image data generating unit 61 generates area 2 subsample image data 1 to 3, and the area 3 subsample image generating unit 62 generates area 3 subsample image data 1 to 3. In the region 4 subsample image generation unit 63, the region 4
Sub-sampled image data 1 to 3 are generated.

なお、領域２〜４サブサンプル画像生成部６１〜６３は、領域１サブサンプル画像生成
部６０と同様の構成となるので詳細な説明を省略する。
投光画像データ生成部１２ｄは、メモリアクセス調停器１２ｅを介して、フレームメモ
リ１４の領域１〜領域４ワークエリアから、領域１〜４サブサンプル画像データ１〜３を
それぞれ読み出す。そして、これら読み出した領域１〜４サブサンプル画像データ１〜３
に基づき、ホストシステム２のシステムコントローラ２ａにおける距離推定処理のための
画像データである領域１〜４投光画像データを生成する。 The region 2 to 4 subsample image generation units 61 to 63 have the same configuration as that of the region 1 subsample image generation unit 60, and thus detailed description thereof is omitted.
The projected image data generation unit 12d reads the region 1 to 4 subsample image data 1 to 3 from the region 1 to region 4 work area of the frame memory 14 via the memory access arbiter 12e, respectively. And these read-out areas 1 to 4 subsample image data 1 to 3
Based on the above, the first to fourth projection image data, which are image data for distance estimation processing in the system controller 2a of the host system 2, are generated.

ここで、被写体（目標物）を、特定光源１６の光を点灯及び消灯して撮像したときに、
特定光源１６による各画素の輝度レベルの変化量（蓄積電荷量の増加量の変化量）によっ
て、被写体と特定光源１６との距離、被写体の動作等を推定することが可能である。つま
り、特定光源１６の点灯前の輝度レベルの増加量、点灯後の輝度レベルの増加量及び点灯
後に再び消灯したときの輝度レベルの増加量から、目標物が特定光源１６の届く範囲にい
るか否か、目標物が近づいているか遠ざかっているかなどの相対的な動作を推定すること
が可能である。このことを前提に、以下、投光画像データの生成原理について説明する。 Here, when the subject (target) is imaged by turning on and off the light of the specific light source 16,
The distance between the subject and the specific light source 16, the motion of the subject, and the like can be estimated based on the amount of change in the luminance level of each pixel by the specific light source 16 (the amount of change in the amount of increase in the accumulated charge amount). That is, whether or not the target is within the reach of the specific light source 16 based on the increase amount of the brightness level before the specific light source 16 is turned on, the increase amount of the brightness level after the turn on and the increase amount of the brightness level when the specific light source 16 is turned off again after the turn on It is possible to estimate relative movements such as whether the target is approaching or moving away. Based on this assumption, the generation principle of the projection image data will be described below.

いま、サブフレーム期間１〜４でサブサンプルして取得した信号レベルを以下とする。
・サブフレーム期間１での画素データ出力：ｖ０ ・・・ 基準
・サブフレーム期間２での画素データ出力：ｖ１ ・・・ 通常光のみ
・サブフレーム期間３での画素データ出力：ｖ２ ・・・ 通常光＋特定光源
・サブフレーム期間４での画素データ出力：ｖ３ ・・・ 通常光＋特定光源 Now, the signal levels obtained by sub-sampling in sub-frame periods 1 to 4 are as follows.
-Pixel data output in subframe period 1: v0 ... Reference-Pixel data output in subframe period 2: v1 ... Normal light only-Pixel data output in subframe period 3: v2 ... Normal Light + specific light source, pixel data output in subframe period 4: v3 ... normal light + specific light source

上記のサブサンプル結果から、下記のレベルが観測される。
・「通常光のみ」による増加分 ：Ｖ１ Ｖ１＝ｖ１−ｖ０ ・・・（式０Ａ）
・「通常光＋特定光源」による増加分１：Ｖ２ Ｖ２＝ｖ２−ｖ１ ・・・（式０Ｂ）
・「通常光＋特定光源」による増加分２：Ｖ３ Ｖ３＝ｖ３−ｖ２ ・・・（式０Ｃ） From the above subsample results, the following levels are observed:
Increase due to “normal light only”: V1 V1 = v1−v0 (Formula 0A)
Increase by “normal light + specific light source” 1: V2 V2 = v2−v1 (Formula 0B)
Increase by “normal light + specific light source” 2: V3 V3 = v3-v2 (Formula 0C)

ここで、以下の数値を想定する。
・通常光からの画素に対する単位時間あたりの照射光量： Ｓｇ
・特定光源からの画素に対する単位時間あたりの照射光量： Ｓｔ
・サブフレーム期間： Ｔｓ
・点灯期間と読出しラインの読出し期間の位相差： ｔｐ Here, the following numerical values are assumed.
・ Light intensity per unit time for pixels from normal light: Sg
-Irradiation light quantity per unit time for pixels from a specific light source: St
・ Subframe period: Ts
-Phase difference between lighting period and readout line readout period: tp

以上の前提に基づくと、以下の計算式が成り立つので、特定光源による増加量を導出で
きる。
まず、サブフレーム期間２の通常光による増加量理論値は下式（１）で表すことができ
る。
（Ｖ１'）＝Ｓｇ×Ｔｓ ・・・・（１） Based on the above assumptions, the following calculation formula is established, so that an increase amount by a specific light source can be derived.
First, the theoretical increase amount due to normal light in subframe period 2 can be expressed by the following equation (1).
(V1 ′) = Sg × Ts (1)

更に、サブフレーム期間３の通常光と特定光源による増加量理論値は下式（２）で表す
ことができる。
Ｖ２'＝ Ｓｇ（Ｔｓ−ｔｐ）＋（Ｓｇ＋Ｓｔ）ｔｐ
＝Ｓｇ・Ｔｓ＋Ｓｔ・ｔｐ ・・・・（２） Furthermore, the theoretical increase amount by the normal light and the specific light source in the subframe period 3 can be expressed by the following equation (2).
V2 ′ = Sg (Ts−tp) + (Sg + St) tp
= Sg · Ts + St · tp (2)

サブフレーム期間４の通常光と特定光源による増加量理論値は下式（３）で表すことが
できる。
Ｖ３'＝（Ｓｇ＋Ｓｔ）×（Ｔｓ−ｔｐ）＋Ｓｇ・ｔｐ
＝Ｓｇ・Ｔｓ＋Ｓｔ・Ｔｓ−Ｓｔ・ｔｐ ・・・・（３） The theoretical increase amount by the normal light and the specific light source in the subframe period 4 can be expressed by the following equation (3).
V3 ′ = (Sg + St) × (Ts−tp) + Sg · tp
= Sg.Ts + St.Ts-St.tp (3)

上式（２）及び（３）より、下式（４）が成立する。
Ｖ２'＋Ｖ３'＝２Ｓｇ・Ｔｓ＋Ｓｔ・Ｔｓ ・・・・（４） From the above equations (2) and (3), the following equation (4) is established.
V2 ′ + V3 ′ = 2Sg · Ts + St · Ts (4)

以上より、特定光源による増加量Ｓｔ・Ｔｓは下記の実測値から推定できる。ここで、
理論値Ｖ１'、Ｖ２'、Ｖ３'は各々観測値Ｖ１、Ｖ２、Ｖ３に対応する。 As described above, the increase amount St · Ts by the specific light source can be estimated from the following actual measurement values. here,
The theoretical values V1 ′, V2 ′, and V3 ′ correspond to the observed values V1, V2, and V3, respectively.

Ｓｔ・Ｔｓ ＝ Ｖ２＋Ｖ３−２Ｓｇ・Ｔｓ
＝ Ｖ２＋Ｖ３−２Ｖ１ ・・・・（５） St.Ts = V2 + V3-2Sg.Ts
= V2 + V3-2V1 (5)

つまり、上式（５）から、特定光源による増加量実測値を求めることができる。   That is, the actual increase value by the specific light source can be obtained from the above equation (5).

また、前述したように、本実施の形態においては、撮像処理部１０において、サブフレ
ーム期間２では通常光のみの露光による画素データ（上記ｖ１に対応）を取得し、サブフ
レーム期間３では、サブフレーム期間１〜３での通常光の露光分に、サブフレーム期間３
の特定光源の光の露光分の加わった画素データ（上記ｖ２に対応）を取得し、サブフレー
ム期間４では、サブフレーム期間１〜４での通常光の露光分に、サブフレーム期間３の特
定光源の光の露光分の加わった画素データ（上記ｖ３に対応）を取得するようになってい
る。また、前述したように、サブサンプル画像データ生成部１２ｃにおいて、サブフレー
ム期間２〜４の各画素データと、サブフレーム期間１の各画素データとの差分値から領域
１〜４サブサンプル画像データ１〜３を生成している。 Further, as described above, in the present embodiment, the imaging processing unit 10 acquires pixel data (corresponding to v1) obtained by exposure with only normal light in the subframe period 2, and in the subframe period 3, The subframe period 3 is added to the normal light exposure in the frame periods 1 to 3.
Pixel data (corresponding to the above v2) obtained by adding the light exposure of the specific light source is obtained, and in the subframe period 4, the subframe period 3 is specified for the normal light exposure in the subframe periods 1 to 4. Pixel data (corresponding to the above v3) to which the exposure of light from the light source is added is acquired. Further, as described above, in the subsample image data generation unit 12c, the region 1 to 4 subsample image data 1 is calculated from the difference value between each pixel data in the subframe periods 2 to 4 and each pixel data in the subframe period 1. ~ 3 are generated.

従って、投光画像データ生成部１２ｄは、上式（５）に従って、領域１〜４サブサンプ
ル画像データ１〜３を用いて、走査領域１〜４の各領域毎に、特定光源１６の光による蓄
積電荷の増加量分を示す領域１〜４投光画像データを生成することが可能である。
以下、図１１（ａ）及び（ｂ）に基づき、投光画像データ生成部１２ｅの内部構成を説
明する。
投光画像データ生成部１２ｅは、図１１（ａ）に示すように、領域１〜４サンプル画像
データ１〜３に基づき、領域１〜４投光画像データを生成する領域１〜４投光画像生成部
７０〜７３を含んで構成される。 Therefore, the projected image data generation unit 12d uses the light of the specific light source 16 for each of the scanning regions 1 to 4 using the regions 1 to 4 subsample image data 1 to 3 according to the above equation (5). It is possible to generate the area 1 to 4 projection image data indicating the increase amount of the accumulated charge.
Hereinafter, the internal configuration of the projection image data generation unit 12e will be described with reference to FIGS. 11 (a) and 11 (b).
As shown in FIG. 11A, the projected image data generation unit 12e generates the area 1-4 projected image data that generates the area 1-4 projected image data based on the areas 1-4 sample image data 1-3. It is comprised including the production | generation parts 70-73.

領域１投光画像生成部７０は、図１１（ｂ）に示すように、領域１サブサンプル画像デ
ータ３の各画素値（ｖ３ーｖ０）から、領域１サブサンプル画像データ２の各画素値（ｖ
２ーｖ０）を減算する第１減算器７０ａと、領域１サブサンプル画像データ２の各画素値
（ｖ２ーｖ０）から領域１サブサンプル画像データ１の各画素値（ｖ１ーｖ０）を減算す
る第２減算器７０ｂと、第１減算器７０ａの減算結果の各画素値（Ｖ３）と第２減算器７
０ｂの減算結果の各画素値（Ｖ２）とを加算する加算器７０ｃと、領域１サブサンプル画
像データ１の各画素値（ｖ１ーｖ０＝Ｖ１）を２倍に乗算する乗算器７０ｄと、加算器７
０ｃの加算結果（Ｖ２＋Ｖ３）から、乗算器７０ｄの乗算結果（２Ｖ１）を減算する第３
減算器７０ｅとを含んで構成される。 As shown in FIG. 11B, the region 1 projected image generation unit 70 calculates each pixel value (1) of the region 1 subsample image data 2 from each pixel value (v3−v0) of the region 1 subsample image data 3. v
2−v0), and subtract each pixel value (v1−v0) of the region 1 subsample image data 1 from each pixel value (v2−v0) of the region 1 subsample image data 2. The second subtractor 70b, each pixel value (V3) of the subtraction result of the first subtractor 70a, and the second subtractor 7
An adder 70c that adds each pixel value (V2) of the subtraction result of 0b, a multiplier 70d that multiplies each pixel value (v1−v0 = V1) of the region 1 subsample image data 1, and an addition Vessel 7
A third result of subtracting the multiplication result (2V1) of the multiplier 70d from the addition result (V2 + V3) of 0c
And a subtractor 70e.

このような構成であれば、第３減算器７０ｅの減算結果は、Ｖ２＋Ｖ３−２Ｖ１となり
、上式（５）と一致する。従って、第３減算器７０ｅの減算結果を各画素値とした領域１
投光画像データが生成される。
同様に、領域２投光画像生成部７１においては、領域２投光画像データが生成され、領
域３投光画像生成部７２においては、領域３投光画像データが生成され、領域４投光画像
生成部７３においては、領域４投光画像データが生成される。 With such a configuration, the subtraction result of the third subtractor 70e is V2 + V3-2V1, which matches the above equation (5). Accordingly, a region 1 in which the subtraction result of the third subtractor 70e is used as each pixel value.
Projected image data is generated.
Similarly, the area 2 projection image generation unit 71 generates area 2 projection image data, the area 3 projection image generation unit 72 generates area 3 projection image data, and the area 4 projection image data. In the generation unit 73, the area 4 projection image data is generated.

なお、領域２〜４投光画像生成部７１〜７３は、領域１投光画像生成部７０と同様の構
成となるので詳細な説明を省略する。
以上のようにして生成された領域１〜領域４投光画像データは、領域１〜領域４の各画
素の特定光源の光による輝度レベル（蓄積電荷）の増加量を示し、ホストシステム２のシ
ステムコントローラ２ａにおける距離推定処理で用いられる。 Note that the area 2-4 projected image generation units 71-73 have the same configuration as the area 1 projected image generation unit 70, and thus detailed description thereof is omitted.
The area 1 to area 4 projection image data generated as described above indicates the amount of increase in the luminance level (accumulated charge) due to the light of the specific light source of each pixel in the areas 1 to 4. Used in distance estimation processing in the controller 2a.

更に、図９に戻って、メモリアクセス調停部１２ｅは、サブサンプル画像データ生成部
１２ｃ、投光画像データ生成部１２ｄ、及び出力読出器１２ｆからの、読み込み・書き込
み命令に基づき、フレームメモリ１４に格納された各種画像データへアクセスする。つま
り、３系統からのアクセス要求を調停し、フレームメモリ１４に対して、画像データの読
み出し及び画像データの書き込みを行う。本実施の形態において、メモリアクセス調停部
１２ｅは、サブサンプル画像データ生成部１２ｃから出力される領域１〜４サブサンプル
画像データ１〜３、及び領域１〜４基準画像データと、投光画像データ生成部１２ｄから
出力される領域１〜４投光画像データとを、フレームメモリ１４に書き込む。また、サブ
サンプル画像データ生成部１２ｃからの読み出し命令に応じて、領域１〜４基準画像デー
タ、領域１〜４サブサンプル画像データ１〜３をフレームメモリ１４から読み出したり、
投光画像データ生成部１２ｄからの読み出し命令に応じて、領域１〜４サブサンプル画像
データ１〜３をフレームメモリ１４から読み出したり、投光画像データ生成部１２ｄから
の書き込み命令に応じて、領域１〜４投光画像データをフレームメモリ１４に書き込んだ
りする。 Further, referring back to FIG. 9, the memory access arbitration unit 12e stores data in the frame memory 14 based on read / write commands from the sub-sample image data generation unit 12c, the projection image data generation unit 12d, and the output reader 12f. Access various stored image data. That is, the access request from the three systems is arbitrated, and image data is read out and written into the frame memory 14. In the present embodiment, the memory access arbitration unit 12e includes the region 1-4 subsample image data 1 to 3 and the region 1-4 reference image data output from the subsample image data generation unit 12c, and the projection image data. The area 1-4 projected image data output from the generation unit 12d is written in the frame memory 14. Further, in response to a read command from the subsample image data generation unit 12c, the area 1-4 reference image data and the areas 1-4 subsample image data 1 to 3 are read from the frame memory 14,
In response to a read command from the light projection image data generation unit 12d, the region 1 to 4 subsample image data 1 to 3 are read from the frame memory 14, or in response to a write command from the light projection image data generation unit 12d. 1-4 projected image data is written into the frame memory 14.

出力読出器１２ｆは、ホストシステム２からの同期信号（ピクセルクロック、水平同期
信号、垂直同期信号０）に同期して、フレームメモリ１４内の画像データを出力する。具
体的には、まず、メモリアクセス調停器１２ｅに対して、領域１〜３サブサンプル画像デ
ータ３、又は領域１〜４投光画像データの読み出し要求（読み出し命令含む）を行う。そ
して、メモリアクセス調停器１２ｅに、領域１〜３サブサンプル画像データ３、又は領域
１〜４投光画像データを取り込み、ホストシステム２と同期を取りつつ、これら画像デー
タを出力する。また、出力読出器１２ｆは、出力タイミングから、読み出すべき画素番号
（アドレス）を計数し、それをメモリアクセス調停器１２ｅに出力する。 The output reader 12f outputs the image data in the frame memory 14 in synchronization with a synchronization signal (pixel clock, horizontal synchronization signal, vertical synchronization signal 0) from the host system 2. Specifically, first, a read request (including a read command) of the area 1 to 3 subsample image data 3 or the area 1 to 4 floodlight image data is made to the memory access arbitrator 12e. Then, the region 1 to 3 subsample image data 3 or the region 1 to 4 projection image data is taken into the memory access arbiter 12e, and these image data are output while being synchronized with the host system 2. The output reader 12f counts the pixel number (address) to be read from the output timing, and outputs it to the memory access arbitrator 12e.

フレームメモリ１４は、図９に示すように、走査領域１〜４にそれぞれ対応する、領域
１〜領域４ワークエリアと、投光画像データを格納するエリアとから構成される。領域１
〜領域４ワークエリアには、それぞれ、サブサンプル画像データを生成するための基準画
像データ、投光画像データを生成するためのサブサンプル画像データ１〜３がそれぞれ格
納される。また、フレームメモリ１４は、メモリアクセス調停器１２ｅから読み出し要求
があると、その要求が示すエリアに格納された画像データを読み出し、メモリアクセス調
停器１２ｅから書き込み要求があると、その書き込み要求が示すエリアに画像データを書
き込む。 As shown in FIG. 9, the frame memory 14 includes an area 1 to area 4 work area corresponding to each of the scanning areas 1 to 4, and an area for storing projected image data. Region 1
The area 4 work area stores reference image data for generating subsample image data and subsample image data 1 to 3 for generating projection image data, respectively. Further, when there is a read request from the memory access arbitrator 12e, the frame memory 14 reads the image data stored in the area indicated by the request, and when there is a write request from the memory access arbitrator 12e, the write request indicates Write image data to the area.

次に、図１２及び図１３に基づき、本実施の形態の撮像システム１００の実際の動作を
説明する。ここで、図１２は、撮像環境を示す図である。また、図１３は、特定光源１６
の点灯タイミングに対する読み出しラインの位相及び信号出力の関係を示す図である。
ここでは、図１２に示すように、撮像装置１の撮像対象（距離推定対象）である目標物
体は移動する物体であり、撮像装置１は、この目標物体に対して特定光源１６の光を照射
すると共に、図１３に示すように、その点灯及び消灯を制御しながらサブフレーム期間１
〜４（図１３中の、基準画像取込期間〜第３画像取込期間）における画素信号の非破壊読
み出しを行う。また、図１２に示すように、目標物体には、常に一定光量の通常光（特定
光源１６以外の光）が照射されているとする。 Next, an actual operation of the imaging system 100 of the present embodiment will be described based on FIGS. 12 and 13. Here, FIG. 12 is a diagram illustrating an imaging environment. FIG. 13 shows the specific light source 16.
It is a figure which shows the relationship of the phase of a reading line with respect to the lighting timing of, and a signal output.
Here, as illustrated in FIG. 12, the target object that is the imaging target (distance estimation target) of the imaging device 1 is a moving object, and the imaging device 1 irradiates the target object with light of the specific light source 16. At the same time, as shown in FIG.
To 4 (non-destructive readout of pixel signals in the reference image capture period to the third image capture period in FIG. 13). Also, as shown in FIG. 12, it is assumed that the target object is always irradiated with a constant amount of normal light (light other than the specific light source 16).

撮像システム１００は、まず、ホストシステム２のシステムコントローラ２ａが、通信
器・ＤＳＰ制御部１２ａを介して、映像処理部１２に、撮像（走査領域１〜４の非破壊走
査）開始命令を与えるコマンドを送信する。映像処理部１２は、このコマンドを受信する
と、撮像素子１０ａに対して、撮像動作を開始させるために、当該撮像素子１０ａ内のレ
ジスタを書き換えるコマンドを発行する。また、撮像処理部１２は、タイミング制御部１
２ｂにおいて駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を生成し、
これらを撮像素子１０ａに出力する。更に、映像処理部１２は、特定光源１６に対して、
その点灯及び消灯を制御する光源駆動制御信号を生成し、これを特定光源１６に出力する
。 In the imaging system 100, first, the system controller 2a of the host system 2 gives a command to start imaging (non-destructive scanning of the scanning areas 1 to 4) to the video processing unit 12 via the communication device / DSP control unit 12a. Send. When receiving this command, the video processing unit 12 issues a command for rewriting the register in the image sensor 10a to the image sensor 10a in order to start the imaging operation. In addition, the imaging processing unit 12 includes the timing control unit 1.
In 2b, drive signals (pixel clock, horizontal synchronization signal, vertical synchronization signal 0) are generated,
These are output to the image sensor 10a. Furthermore, the video processing unit 12 performs the specific light source 16 on
A light source drive control signal for controlling the turning on and off is generated and output to the specific light source 16.

特定光源１６は、光源駆動制御信号に基づき、点灯及び消灯動作を行う。本実施の形態
においては、図１３に示すように、撮像処理部１０の画素信号の読み出し動作における、
基準画像取込期間〜第３画像取込期間（サブフレーム期間１〜４）の各期間に同期して点
灯及び消灯を行う。具体的には、特定光源１６が、基準画像取込期間、第１画像取込期間
、及び第３画像取込期間（サブフレーム期間１、２及び４）においては消灯し、第２画像
取込期間（サブフレーム期間３）のみ点灯するように制御が行われる。 The specific light source 16 performs lighting and extinguishing operations based on the light source drive control signal. In the present embodiment, as shown in FIG. 13, in the readout operation of the pixel signal of the imaging processing unit 10,
Lighting and extinguishing are performed in synchronization with each period of the reference image capturing period to the third image capturing period (subframe periods 1 to 4). Specifically, the specific light source 16 is turned off during the reference image capturing period, the first image capturing period, and the third image capturing period (subframe periods 1, 2, and 4), and the second image capturing is performed. Control is performed so that only the period (subframe period 3) is lit.

一方、撮像素子１０ａは、タイミング制御器１２ｂから駆動信号が供給されると、走査
ラインスキャナ５４の領域１〜４非破壊走査カウンタ５４ａ〜５４ｄにおいて、それぞれ
同時並列にカウントアップ動作を開始し、カウント値を領域１〜４非破壊走査アドレスデ
コーダ５４ｅ〜５４ｈにそれぞれ出力する。そして、領域１〜４非破壊走査アドレスデコ
ーダ５４ｅ〜５４ｈは、領域１〜４非破壊走査カウンタ５４ａ〜５４ｄからそれぞれ出力
されるライン番号のラインを、走査領域１〜４のサブフレーム期間１における「読み出し
ライン」として有効にし、それ以外のラインを無効にする。 On the other hand, when a drive signal is supplied from the timing controller 12b, the image pickup device 10a starts a count-up operation in parallel in the areas 1 to 4 non-destructive scanning counters 54a to 54d of the scanning line scanner 54, respectively. The value is output to areas 1 to 4 nondestructive scanning address decoders 54e to 54h, respectively. Then, the area 1 to 4 nondestructive scan address decoders 54 e to 54 h transfer the lines having the line numbers respectively output from the areas 1 to 4 nondestructive scan counters 54 a to 54 d in the subframe period 1 of the scan areas 1 to 4. Enable as “read line” and disable other lines.

更に、走査ラインスキャナ５４は、サブフレーム期間１においては、読み出しラインと
して有効にしたライン番号のラインを、「リセットライン」としても有効にする。これに
よって、読み出しラインとして選択されたラインの画素は、センサセルアレイ５６のリセ
ット動作によって蓄積電荷を空にされる。更に、撮像素子１０ａは、走査領域１〜４にお
いて、各選択ラインの画素に対してリセットが行われると、各選択ラインの画素からリセ
ット直後の画素信号をそれぞれ読み出す。この動作は、図１３に示す、基準画像取込期間
（サブフレーム期間１）のセンサ動作におけるリセット・読み込みに対応する。図１３に
示すように、基準画像取込期間においては、特定光源１６は消灯状態となっている。なお
、基準画像取込期間において読み出される画素信号の輝度レベルは、図１３に示すように
、基準レベルとなり、この画素信号データ（アナログデータ）は、第１のＡＦＥ１０ｂに
おいて画素データ（デジタルデータ）に変換されてから、サブサンプル画像データ生成部
１２ｃ及びメモリアクセス調停部１２ｅを介して、領域１〜４基準画像データとしてフレ
ームメモリ１４の領域１〜４ワークエリアに格納される。 Further, in the subframe period 1, the scanning line scanner 54 validates the line having the line number validated as the readout line as the “reset line”. As a result, the charge stored in the pixels of the line selected as the readout line is emptied by the reset operation of the sensor cell array 56. Furthermore, when reset is performed on the pixels of each selection line in the scanning regions 1 to 4, the image sensor 10 a reads out pixel signals immediately after the reset from the pixels of each selection line. This operation corresponds to the reset / read in the sensor operation in the reference image capture period (subframe period 1) shown in FIG. As shown in FIG. 13, the specific light source 16 is turned off during the reference image capture period. As shown in FIG. 13, the luminance level of the pixel signal read in the reference image capture period becomes the reference level, and this pixel signal data (analog data) is converted into pixel data (digital data) in the first AFE 10b. After the conversion, the data is stored in the area 1 to 4 work area of the frame memory 14 as the area 1 to 4 reference image data via the sub-sample image data generation unit 12c and the memory access arbitration unit 12e.

基準画像取込期間（サブフレーム期間１）において、走査領域１〜４における画素信号
の読み出しが終了（最終ラインに到達）すると、走査ラインスキャナ５４は、カウンタ値
を開始番号に戻すと共に垂直同期信号１をアクティブにして、再び開始番号からカウント
アップを繰り返す。そして、領域１〜４非破壊走査カウンタ５４ａ〜５４ｄからそれぞれ
出力されるライン番号のラインを、走査領域１〜４のサブフレーム期間２における「読み
出しライン」として有効にし、それ以外のラインを無効にする。このとき、サブフレーム
期間１とは異なり、「読み出しライン」として有効にしたラインを「リセットライン」と
しては無効とする。つまり、撮像素子１０ａは、サブフレーム期間１で蓄積された電荷を
リセットせずにそのまま維持して、各選択ラインの画素からの画素信号の読み出しを行う
。その様子は、図１３に示す、第１画像取込期間（サブフレーム期間２）のセンサ動作に
おける読込み動作に対応する。また、図１３に示すように、第１画像取込期間においても
、特定光源１６は消灯状態となっている。従って、第１画像取込期間において読み出され
る画素信号の輝度レベルは、図１３に示すように、基準レベルから通常光のみによる増加
量分が増加したレベルとなる。 In the reference image capturing period (subframe period 1), when the reading of the pixel signals in the scanning areas 1 to 4 is completed (the end line is reached), the scanning line scanner 54 returns the counter value to the start number and the vertical synchronization signal. 1 is activated, and counting up is repeated from the start number again. Then, the lines having the line numbers respectively output from the non-destructive scanning counters 54a to 54d in the areas 1 to 4 are validated as “read lines” in the subframe period 2 of the scanning areas 1 to 4, and the other lines are invalidated. To do. At this time, unlike the subframe period 1, a line that is validated as a “read line” is invalidated as a “reset line”. That is, the image sensor 10a reads the pixel signal from the pixels of each selection line while maintaining the charges accumulated in the subframe period 1 without resetting them. This state corresponds to the reading operation in the sensor operation in the first image capturing period (subframe period 2) shown in FIG. Moreover, as shown in FIG. 13, the specific light source 16 is turned off also in the first image capture period. Therefore, as shown in FIG. 13, the luminance level of the pixel signal read in the first image capturing period is a level obtained by increasing the increase amount due to only normal light from the reference level.

第１画像取込期間（サブフレーム期間２）において、走査領域１〜４における画素信号
の読み出しが終了（最終ラインに到達）すると、上記サブフレーム期間１及び２のときと
同様に、走査ラインスキャナ５４は、カウンタ値を開始番号に戻すと共に垂直同期信号１
をアクティブにして、再び開始番号からカウントアップを繰り返す。そして、カウント値
の番号のラインを、走査領域１〜４のサブフレーム期間３における「読み出しライン」と
して有効にし、それ以外のラインを無効にする。更に、撮像素子１０ａは、上記第１画像
取込期間のときと同様に、選択ラインをリセットラインとしては有効にせず（無効にし）
、各画素の蓄積電荷を維持した状態で画素信号の読み出しを行う。その様子は、図１３に
示す、第２画像取込期間（サブフレーム期間３）のセンサ動作における読込み動作に対応
する。図１３に示すように、第２画像取込期間においては、特定光源１６が点灯状態とな
っている。従って、第２画像取込期間において読み出される画素信号の輝度レベルは、図
１３に示すように、基準画像取込期間〜第２画像取込期間（サブフレーム期間１〜サブフ
レーム期間３）の各画素信号の読み出し時点までの通常光のみによる増加量分に、サブフ
レーム期間３の開始から各画素信号の読み出し時点までの特定光源の光による増加量分を
加えたレベルとなる。 In the first image capture period (subframe period 2), when the reading of the pixel signals in the scanning regions 1 to 4 is completed (the final line is reached), the scanning line scanner is the same as in the subframe periods 1 and 2 above. 54 returns the counter value to the start number and the vertical synchronization signal 1
And repeat counting up from the starting number. Then, the line of the count value number is validated as a “read line” in the subframe period 3 of the scanning regions 1 to 4 and the other lines are invalidated. Furthermore, the imaging device 10a does not validate (invalidate) the selected line as a reset line, as in the first image capture period.
The pixel signal is read out while maintaining the accumulated charge of each pixel. This state corresponds to the reading operation in the sensor operation in the second image capturing period (subframe period 3) shown in FIG. As shown in FIG. 13, in the second image capture period, the specific light source 16 is in a lighting state. Therefore, the luminance level of the pixel signal read out in the second image capturing period is as shown in FIG. 13 in each of the reference image capturing period to the second image capturing period (subframe period 1 to subframe period 3). This is a level obtained by adding the increase amount due to the light of the specific light source from the start of the subframe period 3 to the read time point of each pixel signal to the increase amount due to only the normal light until the pixel signal read time point.

第２画像取込期間（サブフレーム期間３）において、走査領域１〜４における画素信号
の読み出しが終了（最終ラインに到達）すると、上記サブフレーム期間１〜３のときと同
様に、走査ラインスキャナ５４は、カウンタ値を開始番号に戻すと共に垂直同期信号１を
アクティブにして、再び開始番号からカウントアップを繰り返す。そして、カウント値の
番号のラインを、走査領域１〜４のサブフレーム期間４における「読み出しライン」とし
て有効にし、それ以外のラインを無効にする。更に、撮像素子１０ａは、上記第１及び第
２画像取込期間のときと同様に、選択ラインをリセットラインとして無効にし、各画素の
蓄積電荷を維持した状態で画素信号の読み出しを行う。その様子は、図１３に示す、第３
画像取込期間（サブフレーム期間４）のセンサ動作における読込み動作に対応する。図１
３に示すように、第３画像取込期間においては、特定光源１６が再び消灯状態となってい
る。従って、第３画像取込期間において読み出される画素信号の輝度レベルは、図１３に
示すように、基準画像取込期間〜第３画像取込期間（サブフレーム期間１〜サブフレーム
期間４）の各画素信号の読み出し時点までの通常光のみによる増加量分に、サブフレーム
期間３の特定光源の光による増加量分を加えたレベルとなる。 In the second image capturing period (subframe period 3), when the reading of the pixel signals in the scanning areas 1 to 4 is completed (the end line is reached), the scanning line scanner is the same as in the subframe periods 1 to 3. 54 returns the counter value to the start number and activates the vertical synchronization signal 1 to repeat counting up from the start number again. Then, the line of the count value number is validated as a “read line” in the subframe period 4 of the scanning regions 1 to 4 and the other lines are invalidated. Further, as in the first and second image capture periods, the image sensor 10a invalidates the selection line as a reset line, and reads out the pixel signal while maintaining the accumulated charge of each pixel. The situation is shown in FIG.
This corresponds to the reading operation in the sensor operation in the image capturing period (subframe period 4). FIG.
As shown in FIG. 3, in the third image capture period, the specific light source 16 is turned off again. Therefore, the luminance level of the pixel signal read out in the third image capture period is as shown in FIG. 13 in each of the reference image capture period to the third image capture period (subframe period 1 to subframe period 4). This is a level obtained by adding the increase amount due to the light of the specific light source in the subframe period 3 to the increase amount due to only the normal light until the pixel signal is read.

なお、上記基準画像取込期間〜第３画像取込期間（サブフレーム期間１〜サブフレーム
期間４）の各画素信号の読み出しは、撮像処理が終了するまで繰り返し行われる。
そして、上記第１画像取込期間（サブフレーム期間２）〜第３画像取込期間（サブフレ
ーム期間４）で読み出された画素信号データ（アナログデータ）は、各期間毎に、ＣＨ２
〜ＣＨ４を介して第２〜第４のＡＦＥ１０ｃ〜１０ｅに出力されそこで画素データ（デジ
タルデータ）へと変換される。そして、当該画素データは、映像処理部１２のサブサンプ
ル画像データ生成部１２ｃに出力される。 Note that readout of each pixel signal in the reference image capture period to the third image capture period (subframe period 1 to subframe period 4) is repeatedly performed until the imaging process is completed.
The pixel signal data (analog data) read in the first image capture period (subframe period 2) to the third image capture period (subframe period 4) is CH2 for each period.
Are output to the second to fourth AFEs 10c to 10e via .about.CH4, where they are converted into pixel data (digital data). Then, the pixel data is output to the subsample image data generation unit 12 c of the video processing unit 12.

サブサンプル画像データ生成部１２ｃは、走査領域１〜４における第１画像取込期間（
サブフレーム期間２）〜第３画像取込期間（サブフレーム期間４）で読み出された画素信
号に対応する画素データを取得すると、これら取得した画素データに対応する領域１〜４
基準画像データをメモリアクセス調停部１２ｅを介してフレームメモリ１４から読み出す
。そして、走査領域１の第１画像取込期間（サブフレーム期間２）に対応する各画素デー
タの画素値から、これと同じ画素位置の領域１基準画像データの画素データの画素値を減
算し、この減算結果の画素値を有する領域１サブサンプル画像データ１を生成する。これ
と同様に、第２及び第３画像取込期間（サブフレーム期間３及び４）に対応する各画素デ
ータの画素値から、これと同じ画素位置の領域１基準画像データの画素データの画素値を
減算し、これら減算結果の画素値を有する領域１サブサンプル画像データ２及び３をそれ
ぞれ生成する。 The sub-sample image data generation unit 12c performs the first image capture period (in the scan areas 1 to 4).
When the pixel data corresponding to the pixel signal read in the subframe period 2) to the third image capturing period (subframe period 4) is acquired, the areas 1 to 4 corresponding to the acquired pixel data are acquired.
The reference image data is read from the frame memory 14 via the memory access arbitration unit 12e. Then, the pixel value of the pixel data of the region 1 reference image data at the same pixel position is subtracted from the pixel value of each pixel data corresponding to the first image capture period (subframe period 2) of the scanning region 1, Region 1 subsample image data 1 having the pixel value of the subtraction result is generated. Similarly, from the pixel value of each pixel data corresponding to the second and third image capture periods (subframe periods 3 and 4), the pixel value of the pixel data of the area 1 reference image data at the same pixel position Are subtracted, and region 1 subsample image data 2 and 3 having pixel values of the subtraction results are generated.

なお、走査領域２〜４も走査領域１と同様に、第１画像取込期間（サブフレーム期間２
）〜第３画像取込期間（サブフレーム期間４）に対応する画素データの画素値から、これ
と同じ画素位置の領域２〜４基準画像データの画素データの画素値を減算し、この減算結
果の画素値を有する領域２〜４サブサンプル画像データ１〜３を生成する。
上記生成された領域１〜４サブサンプル画像データ１〜３は、メモリアクセス調停部１
２ｅを介して、フレームメモリ１４の各領域毎に対応する領域１〜４ワークエリアに各領
域ごとに分けて格納される。 Note that, similarly to the scanning region 1, the scanning regions 2 to 4 also have the first image capture period (subframe period 2).
) To the pixel value of the pixel data corresponding to the third image capture period (subframe period 4), the pixel value of the pixel data of the region 2 to 4 reference image data in the same pixel position is subtracted, and this subtraction result Regions 2 to 4 having the pixel values of 2 to 4 are generated.
The generated regions 1 to 4 subsample image data 1 to 3 are stored in the memory access arbitration unit 1.
2e is stored separately in each area in the work areas 1 to 4 corresponding to each area of the frame memory 14.

一方、領域１〜４サブサンプル画像データ１〜３が生成され、フレームメモリ１４に格
納されると、投光画像データ生成部１２ｄは、メモリアクセス調停部１２ｅを介して、領
域１〜４サブサンプル画像データ１〜３をフレームメモリ１４から読み出す。そして、当
該読み出した領域１〜４サブサンプル画像データ１〜３に基づき各領域の投光画像データ
を生成する。 On the other hand, when the region 1 to 4 subsample image data 1 to 3 are generated and stored in the frame memory 14, the projection image data generation unit 12 d receives the region 1 to 4 subsample via the memory access arbitration unit 12 e. Image data 1 to 3 are read from the frame memory 14. Then, the projection image data of each area is generated based on the read area 1 to 4 subsample image data 1 to 3.

具体的には、投光画像データ生成部１２ｄの領域１投光画像生成部７０における、第１
減算器７０ａにおいて、領域１サブサンプル画像データ３の各画素データの画素値から、
当該各画素データと同じ画素位置の領域１サブサンプル画像データ２の各画素データの画
素値を減算する。これにより、第２画像取込期間で画素信号が読み出された各画素の当該
第２画像取込期間の残り時間における通常光及び特定光源の光による輝度レベルの増加量
と、第３画像取込期間で同じ各画素から画素信号が読みだされるまでの通常光による輝度
レベルの増加量との和が求まる。以下、この減算結果の画素値をＶ32と称す。 Specifically, the first in the region 1 projection image generation unit 70 of the projection image data generation unit 12d.
In the subtractor 70a, from the pixel value of each pixel data of the region 1 subsample image data 3,
The pixel value of each pixel data of the region 1 subsample image data 2 at the same pixel position as each pixel data is subtracted. As a result, the amount of increase in the luminance level due to the normal light and the light of the specific light source in the remaining time of the second image capture period of each pixel from which the pixel signal has been read in the second image capture period, and the third image capture. The sum of the increase in the luminance level due to the normal light until the pixel signal is read out from the same pixel in the same period is obtained. Hereinafter referred pixel value of the subtraction result and V 32.

同様に、第２減算器７０ｂにおいて、領域１サブサンプル画像データ２の各画素データ
の画素値から、当該各画素データと同じ画素位置の領域１サブサンプル画像データ１の各
画素データの画素値を減算する。これにより、第１画像取込期間で画素信号が読み出され
た各画素の当該第１画像取込期間の残り時間における通常光による輝度レベルの増加量と
、第２画像取込期間で同じ各画素から画素信号が読みだされるまでの通常光及び特定光源
の光による輝度レベルの増加量との和が求まる。以下、この減算結果の画素値をＶ21と称
す。 Similarly, in the second subtracter 70b, the pixel value of each pixel data of the region 1 subsample image data 1 at the same pixel position as the pixel data is calculated from the pixel value of each pixel data of the region 1 subsample image data 2. Subtract. As a result, the amount of increase in the luminance level due to normal light in the remaining time of the first image capture period of each pixel from which the pixel signal has been read in the first image capture period is the same in the second image capture period. The sum of the increase in luminance level due to the normal light and the light from the specific light source until the pixel signal is read from the pixel is obtained. Hereinafter referred pixel value of the subtraction result and V 21.

更に、加算器７０ｃにおいて、各画素データ毎に、各画素値Ｖ31にＶ21を加算する。こ
の加算結果には、第２取込期間中の特定光源の光による輝度レベルの増加量分が全て含ま
れる。一方、乗算器７０において、領域１サブサンプル画像データ１の各画素データの画
素値を２倍に乗算する。以下、この乗算結果を、２Ｖ1と称す。また、この乗算結果は、
加算器７０ｃの加算結果における通常光による輝度レベルの増加量分となる。つまり、第
３減算器７０ｅにおいて、加算器７０ｃの加算結果から乗算器７０ｄの乗算結果を減算す
ることで、特定光源の光による輝度レベルの増加量分の「Ｖ31＋Ｖ21−２Ｖ1」が求まる
。これにより、特定光源の光による輝度レベルの増加量分を示す画素データからなる領域
１投光画像データが生成される。 Further, in the adder 70c, for each pixel data, adding the V 21 to each pixel value V 31. This addition result includes all the increase in luminance level due to the light of the specific light source during the second capture period. On the other hand, the multiplier 70 multiplies the pixel value of each pixel data of the region 1 subsample image data 1 by a factor of two. Hereinafter, this multiplication result is referred to as 2V 1 . The multiplication result is
This is the amount of increase in luminance level due to normal light in the addition result of the adder 70c. That is, in the third subtracter 70e, the multiplication result of the multiplier 70d is subtracted from the addition result of the adder 70c, so that “V 31 + V 21 −2V 1 ” corresponding to the increase in luminance level due to the light of the specific light source is obtained. I want. As a result, region 1 projection image data including pixel data indicating the amount of increase in the luminance level due to the light of the specific light source is generated.

走査領域２〜４についても、上記走査領域１と同様に、投光画像データ生成部１２ｄの
領域２〜４投光画像生成部７１〜７３において、領域２〜４投光画像データが生成される
。
投光画像データ生成部１２ｄは、領域１〜４投光画像データを生成すると、これら生成
した領域１〜４投光画像データを、メモリアクセス調停部１２ｅを介して、フレームメモ
リ１４の投光画像データのエリアに格納する。 For the scanning areas 2 to 4, similarly to the scanning area 1, the area 2 to 4 projection image generation units 71 to 73 of the projection image data generation unit 12 d generate the area 2 to 4 projection image data. .
When the projection image data generation unit 12d generates the region 1-4 projection image data, the projection image data stored in the frame memory 14 is transmitted to the generated region 1-4 projection image data via the memory access arbitration unit 12e. Store in the data area.

このように、フレームメモリ１４に投光画像データが格納された状態において、ホスト
システム２のシステムコントローラ２ａは、撮像装置１に対して投光画像データの読み出
しを要求を行う。撮像装置１は、この読み出し要求に応じて、映像処理部１２の出力読出
器１２ｆにおいて、メモリアクセス調停器１２ｅを介して、フレームメモリ１４から領域
１〜４投光画像データを読み出す。そして、出力読出器１２ｆは、システムコントローラ
２ａからの各種駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）に同期し
て、領域１〜４投光画像データを、ホストシステム２に出力する。なお、投光画像データ
は、メインフレームの複数フレーム分を読み出す。 As described above, in a state where the projection image data is stored in the frame memory 14, the system controller 2 a of the host system 2 requests the imaging device 1 to read the projection image data. In response to this read request, the imaging apparatus 1 reads the area 1-4 projected image data from the frame memory 14 via the memory access arbitrator 12e in the output reader 12f of the video processing unit 12. Then, the output reader 12f outputs the area 1-4 projected image data to the host system 2 in synchronization with various drive signals (pixel clock, horizontal synchronization signal, vertical synchronization signal 0) from the system controller 2a. . The projected image data is read for a plurality of frames of the main frame.

ホストシステム２は、撮像装置１０からの領域１〜４投光画像データを受信すると、特
定光源の光に対する輝度レベルの増加量から、特定光源と目標物体（被写体）との距離を
推定したり、フレーム間の輝度レベルの変化（距離の変化）から目標物体の動き（例えば
、近づいているか、遠ざかっているか等）を推定（判別）したりする。更に、この推定結
果を示す画像を生成し、表示装置２ｂに表示させる。 When the host system 2 receives the area 1-4 projected image data from the imaging device 10, the host system 2 estimates the distance between the specific light source and the target object (subject) from the amount of increase in the luminance level with respect to the light of the specific light source, The movement of the target object (for example, whether it is approaching or moving away) is estimated (discriminated) from the change in luminance level (change in distance) between frames. Further, an image indicating the estimation result is generated and displayed on the display device 2b.

また、ホストシステム２のシステムコントローラ２ａは、撮像装置１に対して領域１〜
４サブサンプル画像データ３の読み出しを要求を行う。撮像装置１は、この読み出し要求
に応じて、映像処理部１２の出力読出器１２ｆにおいて、メモリアクセス調停器１２ｅを
介して、フレームメモリ１４から領域１〜４サブサンプル画像データ３を読み出す。そし
て、出力読出器１２ｆは、システムコントローラ２ａからの各種駆動信号（ピクセルクロ
ック、水平同期信号、垂直同期信号０）に同期して、領域１〜４サブサンプル画像データ
３を、ホストシステム２に出力する。ここで、領域１〜４サブサンプル画像データ３（第
３画像取込期間（サブフレーム期間４）に対応）は、前述したように、目標物体（被写体
）の鮮明な画像が得られる露光時間に対応した画像データであるので、システムコントロ
ーラ２ａは、この画像データの画像を表示装置２ｂに表示させる。これにより、システム
利用者（ユーザ）は、目標物体（被写体）の画像を視認しながら、特定光源１６と目標物
体との距離及び目標物体の動きを知ることが可能である。 In addition, the system controller 2 a of the host system 2 has the areas 1 to
Requests reading of 4 subsample image data 3. In response to this read request, the imaging apparatus 1 reads the region 1 to 4 subsample image data 3 from the frame memory 14 via the memory access arbitrator 12e in the output reader 12f of the video processing unit 12. Then, the output reader 12 f outputs the region 1 to 4 subsample image data 3 to the host system 2 in synchronization with various drive signals (pixel clock, horizontal synchronization signal, vertical synchronization signal 0) from the system controller 2 a. To do. Here, as described above, the region 1 to 4 subsample image data 3 (corresponding to the third image capture period (subframe period 4)) has an exposure time during which a clear image of the target object (subject) is obtained. Since it is corresponding image data, the system controller 2a displays an image of this image data on the display device 2b. Accordingly, the system user (user) can know the distance between the specific light source 16 and the target object and the movement of the target object while visually recognizing the image of the target object (subject).

なお、目標物体との距離及び目標物体の動きの推定処理を行い、これら推定結果を監視
し、何らかの変化があった場合のみに、表示や警報等によってシステム利用者に通知した
り、変化時の推定結果を外部計算機等に通知するようにしても良い。
上記したように、本実施形態の撮像システム１００では、撮像装置１において、センサ
セルアレイ５６の露光領域を４つに等分割した走査領域１〜４に対して並列且つ各領域毎
に独立に各画素から画素信号の非破壊読出しを行うことが可能である。これにより、メイ
ンフレーム期間において、各領域の同一画素に対して４回の非破壊読み出し動作を行うこ
とが可能であり、これにより、メインフレームに対して４倍のフレームレートでの画素信
号の読み出しを行うことができる。 In addition, the estimation process of the distance to the target object and the movement of the target object is performed, and these estimation results are monitored, and only when there is any change, the system user is notified by a display or warning, etc. The estimation result may be notified to an external computer or the like.
As described above, in the imaging system 100 of the present embodiment, in the imaging apparatus 1, each pixel is arranged in parallel with each of the scanning areas 1 to 4 in which the exposure area of the sensor cell array 56 is equally divided into four, and independently for each area. Thus, non-destructive readout of pixel signals can be performed. This makes it possible to perform four nondestructive readout operations for the same pixel in each region in the main frame period, thereby reading out pixel signals at a frame rate four times that of the main frame. It can be performed.

また、上記実施の形態においては、特定光源１６として複数個のＬＥＤを用いたが、こ
れに限らず、その他の可視光を発生する光源や、赤外線などの不可視の光を発生する光源
など他の光源を用いる構成としても良い。但し、赤外線を用いる場合は、撮像素子側も光
源の色温度に光応答するように、例えば、赤外線カットフィルタを未搭載にするなどの対
応が必要となる。 In the above-described embodiment, a plurality of LEDs are used as the specific light source 16. However, the present invention is not limited to this, and other light sources that generate visible light, light sources that generate invisible light such as infrared rays, and the like. A configuration using a light source may be used. However, when infrared rays are used, for example, it is necessary to take measures such as not mounting an infrared cut filter so that the image sensor side also responds optically to the color temperature of the light source.

また、メインフレームにおける４回の非破壊読み出し期間である、サブフレーム期間１
〜４の各期間に同期させて、特定光源１６の点灯及び消灯動作を制御するようにしたので
、これにより、通常光のみの露光による画素信号、通常光及び特定光源１６の光の露光に
よる画素信号等を容易に取得することが可能である。
また、１つのサブフレーム期間の通常光のみの露光による画素信号、２つ以上サブフレ
ーム期間の通常光及び特定光源１６の光の露光による画素信号から、特定光源１６の光の
みによる輝度レベルの増加量を求めることが可能であり、これにより、特定光源１６の輝
度レベルの増加量から、目標物体の距離を推定したり、増加量の変化から目標物体の動き
を推定したりすることが可能である。 In addition, subframe period 1 is four nondestructive readout periods in the mainframe.
Since the on / off operation of the specific light source 16 is controlled in synchronization with each of the periods -4, the pixel signal by the exposure of only normal light, the pixel by the exposure of the normal light and the light of the specific light source 16 can thereby be obtained. It is possible to easily acquire signals and the like.
Further, the luminance level is increased only by the light of the specific light source 16 from the pixel signal by the exposure of only the normal light in one subframe period, and the pixel signal by the exposure of the normal light and light of the specific light source 16 in two or more subframe periods. Thus, the distance of the target object can be estimated from the amount of increase in the brightness level of the specific light source 16, and the movement of the target object can be estimated from the change in the amount of increase. is there.

上記実施の形態において、領域走査対応撮像処理部１０は、形態１、２及び７のいずれ
か１の撮像素子に対応し、撮像処理部１０、及びタイミング制御部１２ｂによる画素信号
の読み出し処理は、形態１、２、３、５、７、８及び１０のいずれか１の画素信号読出手
段に対応し、サブサンプル画像データ生成部１２ｃは、形態２、５、７及び９のいずれか
１の画像データ生成手段に対応し、投光画像データ生成部１２ｄは、形態１１の増加率算
出手段に対応し、出力読出器１２ｆは、形態２、６及び７のいずれか１の画像データ出力
手段に対応する。 In the above-described embodiment, the area scan-capable imaging processing unit 10 corresponds to any one of the imaging elements of Embodiments 1, 2, and 7, and the pixel signal readout processing by the imaging processing unit 10 and the timing control unit 12b is as follows. Corresponding to the pixel signal read-out means of any one of modes 1, 2, 3, 5, 7, 8, and 10, the subsample image data generation unit 12c is the image of any one of modes 2, 5, 7, and 9. Corresponding to the data generation means, the projection image data generation unit 12d corresponds to the increase rate calculation means of the form 11, and the output reader 12f corresponds to the image data output means of any one of the forms 2, 6, and 7. To do.

また、上記実施の形態において、ホストシステム２における距離の推定処理及び目標物
体の動きの推定処理は、形態６、７、１１及び１２のいずれか１の距離推定手段に対応し
、ホストシステム２における推定結果の通知処理は、形態１２の通知手段に対応する。
なお、上記実施の形態においては、撮像装置１において、センサセルアレイ５６の露光
領域を４つの領域に等分割して、メインフレームにおいて、各領域毎に、４回の非破壊読
み出しを行ってフレームレートを高速化するようにしたが、これに限らず、５つ以上に等
分割して、メインフレームにおいて５回以上の非破壊読み出しを行う構成としても良い。 In the above embodiment, the distance estimation process and the target object motion estimation process in the host system 2 correspond to any one of the distance estimation means in the sixth, seventh, eleventh, and twelfth aspects. The notification process of the estimation result corresponds to the notification means of form 12.
In the above-described embodiment, in the imaging device 1, the exposure area of the sensor cell array 56 is equally divided into four areas, and the non-destructive readout is performed four times for each area in the main frame. However, the present invention is not limited to this, and it is also possible to divide equally into five or more and perform non-destructive reading five or more times in the main frame.

また、上記実施の形態においては、撮像装置１において、センサセルアレイ５６の露光
領域を複数（４つ）の領域に等分割して、メインフレームにおいて、各領域毎に、複数（
４）回の非破壊読み出しを行うようにしたが、これに限らず、センサセルアレイ５６の露
光領域を構成する画素群に対して、所定の画素を間引いた残りの画素に対してのみ非破壊
読み出しを行い、メインフレームにおいて、間引き量に応じた回数の非破壊読み出しを行
ってフレームレートを高速化する構成としても良い。この場合、撮像処理部１０、及びタ
イミング制御部１２ｂによる画素信号の読み出し処理は、形態１、２、４、５、７、８及
び１０のいずれか１の画素信号読出手段に対応する。 In the above-described embodiment, in the imaging device 1, the exposure area of the sensor cell array 56 is equally divided into a plurality (four) of areas, and a plurality (for each area) in the main frame.
4) Although non-destructive readout is performed once, the present invention is not limited to this, and non-destructive readout is performed only on the remaining pixels obtained by thinning out predetermined pixels with respect to the pixel group constituting the exposure region of the sensor cell array 56. In the main frame, the frame rate may be increased by performing non-destructive reading a number of times corresponding to the thinning amount. In this case, the pixel signal readout processing by the imaging processing unit 10 and the timing control unit 12b corresponds to any one of the pixel signal readout units in the first, second, fourth, fifth, seventh, eighth, and tenth modes.

また、上記実施の形態においては、撮像装置１から出力される投光画像データを、特定
光源と目標物体との間の距離推定や、目標物体の動きを推定するシステムに利用したが、
これに限らず、目標物体の形状、素材などを推定（解析）するシステムに利用したりする
など、特定光源の光による輝度レベルの増加率から推定可能な他の分野に利用しても良い
。 In the above embodiment, the projection image data output from the imaging device 1 is used for a distance estimation between the specific light source and the target object and a system for estimating the movement of the target object.
However, the present invention is not limited to this, and may be used in other fields that can be estimated from the rate of increase in luminance level due to light from a specific light source, such as a system that estimates (analyzes) the shape and material of a target object.

本発明に係る撮像システム１００の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging system 100 according to the present invention. 撮像処理部１０の内部構成及びホストシステム２の内部構成を示すブロック図である。2 is a block diagram illustrating an internal configuration of an imaging processing unit 10 and an internal configuration of a host system 2. FIG. 第１のＡＦＥ(Analog Front End)１０ｂの内部構成を示す図である。It is a figure which shows the internal structure of 1st AFE (Analog Front End) 10b. 領域別走査対応型撮像素子１０ａの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the scanning corresponding imaging device 10a according to area | region. （ａ）は、走査ラインスキャナ５４の内部構成を示す図であり、（ｂ）は、ライン制御ロジック５４ｉの内部構成を示す図である。(A) is a figure which shows the internal structure of the scanning line scanner 54, (b) is a figure which shows the internal structure of the line control logic 54i. センサセルアレイ５６の詳細構成を示す図である。2 is a diagram illustrating a detailed configuration of a sensor cell array 56. FIG. 領域別走査対応型撮像素子１０ａのセンサセルアレイ５６の各領域における、各画素のライン毎の露光、及び各画素からの画素信号の非破壊読み出し動作の一例を示す図である。It is a figure which shows an example of the non-destructive readout operation | movement of the exposure for every line of each pixel in each area | region of the sensor cell array 56 of the scanning corresponding imaging element 10a according to area | region, and the pixel signal from each pixel. （ａ）は、特定光源の光が被写体に未到達時の蓄積電荷量（輝度レベル）の推移を示す図であり、（ｂ）は、特定光源の光が被写体に到達時の蓄積電荷量（輝度レベル）の推移を示す図である。(A) is a figure which shows transition of the accumulation charge amount (luminance level) when the light of a specific light source has not reached the subject, and (b) is the accumulated charge amount when the light of the specific light source reaches the subject ( It is a figure which shows transition of a luminance level. 映像処理部１２の内部構成を示すブロック図である。3 is a block diagram showing an internal configuration of a video processing unit 12. FIG. （ａ）は、サンプル画像データ生成部１２ｃの内部構成を示す図であり、（ｂ）は、領域１サンプル画像生成部６０の内部構成を示す図である。(A) is a figure which shows the internal structure of the sample image data generation part 12c, (b) is a figure which shows the internal structure of the area | region 1 sample image generation part 60. （ａ）は、投光画像データ生成部１２ｅの内部構成を示すブロック図であり、（ｂ）は、領域１投光画像生成部７０の内部構成を示すブロック図である。(A) is a block diagram showing an internal configuration of the projection image data generation unit 12e, and (b) is a block diagram showing an internal configuration of the region 1 projection image generation unit 70. 撮像環境を示す図である。It is a figure which shows an imaging environment. 特定光源１６の点灯タイミングに対する読み出しラインの位相及び信号出力の関係を示す図である。It is a figure which shows the relationship of the phase of a reading line with respect to the lighting timing of the specific light source 16, and a signal output.

符号の説明Explanation of symbols

１００は撮像システム、１は撮像装置、２はホストシステム、２ａはシステムコントロー
ラ、２ｂは表示装置、１０は領域走査対応撮像処理部、１２は映像処理部、１４はフレー
ムメモリ、１０ａは撮像素子、１０ｂ〜１０ｅは第１〜第４のＡＦＥ、５０は基準タイミ
ング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルア
レイ、５６ａはセンサセル、５８は水平転送部、５４ａ〜５４ｄは第１〜第４非破壊走査
カウンタ、５４ｅ〜５４ｈは第１〜第４非破壊走査アドレスデコーダ、５４ｉはライン制
御ロジック、５４ｉ1はリセットライン制御部、５４ｉ2は読み出しライン制御部、１２ａ
は通信器・ＤＳＰ動作制御部、１２ｂはタイミング制御部、１２ｃはサブサンプル画像デ
ータ生成部、１２ｄは投光画像データ生成部、１２ｅはメモリアクセス調停器、１２ｆは
出力読出器 100 is an imaging system, 1 is an imaging device, 2 is a host system, 2a is a system controller, 2b is a display device, 10 is an area scanning compatible imaging processing unit, 12 is a video processing unit, 14 is a frame memory, 10a is an imaging device, 10b to 10e are first to fourth AFEs, 50 is a reference timing generator, 52 is a drive pulse generator, 54 is a scanning line scanner, 56 is a sensor cell array, 56a is a sensor cell, 58 is a horizontal transfer unit, and 54a to 54d. the first to fourth non-destructive scanning counter, 54E～54h the first to fourth non-destructive scanning address decoder, 54i are line control logic, 54i 1 is reset line controller, 54i 2 is read line control unit, 12a
Is a communication device / DSP operation control unit, 12b is a timing control unit, 12c is a sub-sample image data generation unit, 12d is a projection image data generation unit, 12e is a memory access arbitrator, and 12f is an output reader.

Claims (8)

露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、前記各光電変換素子のフレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
所定露光時間の露光期間において、前記光電変換素子の構成する各画素からの複数種類の露光時間で露光時の各蓄積電荷の構成する画素信号の読み出しを、当該各蓄積電荷のリセットを伴わない非破壊読み出し方式で行う画素信号読出手段と、
被写体に対して特定の光を照射する特定光源と、
前記特定光源の点灯及び消灯を制御する特定光源制御手段と、
前記画素信号読出手段で読み出された画素信号に対応する画素データに基づき、前記複数種類の露光時間にそれぞれ対応する画像データを生成する画像データ生成手段と、
前記画像データ生成手段で生成された画像データを出力する画像データ出力手段と、
前記光電変換部の露光領域をＮ個（Ｎは２以上の自然数）の領域に分割し、
前記分割後の領域数Ｎと少なくとも同数の、前記画素信号読出手段で読み出された画素信号に対応する画素データを順次記憶すると共に、当該記憶した画素データを順次出力する第１〜第Ｎ出力チャンネルを備え、
前記画素信号読出手段は、前記複数種類の露光時間で露光時の前記画素信号の読み出しを、前記各領域毎に独立に且つ当該各領域に対して並列に行い、
前記画素信号読出手段によって読み出される画素信号に対応する画素データを、前記各領域毎に、前記第１〜第Ｎ出力チャンネルにおけるそれぞれ別々の出力チャンネルから出力することを特徴とする請求項２記載の撮像装置。 An image pickup device having a photoelectric conversion portion in which a plurality of photoelectric conversion devices that convert exposed light into electric charges and store them in a matrix form, and an electronic shutter function that controls an exposure time for each frame of each photoelectric conversion device An imaging device comprising:
In the exposure period of a predetermined exposure time, readout of the pixel signal constituting each accumulated charge at the time of exposure with a plurality of types of exposure time from each pixel constituting the photoelectric conversion element is performed without resetting each accumulated charge. Pixel signal readout means for performing destructive readout;
A specific light source that emits specific light to the subject;
Specific light source control means for controlling turning on and off of the specific light source;
Image data generating means for generating image data corresponding to each of the plurality of types of exposure time based on pixel data corresponding to the pixel signal read by the pixel signal reading means;
Image data output means for outputting the image data generated by the image data generation means;
The exposure area of the photoelectric conversion unit is divided into N areas (N is a natural number of 2 or more),
First to Nth outputs for sequentially storing the pixel data corresponding to the pixel signals read by the pixel signal reading means at least as many as the number N of the divided areas and sequentially outputting the stored pixel data With channels,
The pixel signal reading means performs reading of the pixel signals at the time of exposure with the plurality of types of exposure times, independently for each of the regions and in parallel for each of the regions,
3. The pixel data corresponding to a pixel signal read by the pixel signal reading means is output from a separate output channel in each of the first to Nth output channels for each region. Imaging device. 前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の画素信号を読み出し、
前記画像データ生成手段は、前記読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴とする請求項１に記載の撮像装置。 The pixel signal reading means reads a pixel signal of each pixel immediately after reset of accumulated charge by the electronic shutter function,
The image data generation means includes a pixel value indicated by each pixel data corresponding to the pixel signal immediately after reset read by the reading means, and another exposure other than immediately after the reset at the same pixel position as the pixel data. A difference value with a pixel value indicated by each pixel data corresponding to time is calculated for each exposure time, and image data corresponding to an exposure time other than immediately after the reset is generated based on the calculated difference value. The imaging apparatus according to claim 1 , wherein 請求項１又は２に記載の撮像装置を備え、
前記画像データ出力手段から出力される前記画像データに基づき、前記特定光源と前記被写体との間の距離を推定する距離推定手段を備えることを特徴とする撮像システム。 An imaging device according to claim 1 or 2 ,
An imaging system comprising distance estimation means for estimating a distance between the specific light source and the subject based on the image data output from the image data output means. 前記画素信号読出手段における前記画素信号の読み出し動作と、前記特定光源の点灯動作及び消灯動作とを同期させることを特徴とする請求項３に記載の撮像システム。 The imaging system according to claim 3, wherein the pixel signal readout operation of the pixel signal readout unit is synchronized with a lighting operation and an extinguishing operation of the specific light source. 前記画素信号読出手段は、前記電子シャッタ機能による蓄積電荷のリセット直後の前記各画素の蓄積電荷の構成する画素信号を読み出し、
前記画像データ生成手段は、前記画素信号読出手段で読み出した前記リセット直後の画素信号に対応する各画素データの示す画素値と、当該各画素データと同じ画素位置で、且つ前記リセット直後以外の他の露光時間に対応する各画素データの示す画素値との差分値を各露光時間毎にそれぞれ算出し、当該算出した差分値に基づき前記リセット直後以外の露光時間にそれぞれ対応する画像データを生成することを特徴とする請求項３又は４に記載の撮像システム。 The pixel signal reading means reads a pixel signal constituting the accumulated charge of each pixel immediately after reset of accumulated charge by the electronic shutter function,
The image data generation means includes a pixel value indicated by each pixel data corresponding to the pixel signal immediately after reset read by the pixel signal reading means, the same pixel position as the pixel data, and other than immediately after the reset. A difference value from a pixel value indicated by each pixel data corresponding to the exposure time is calculated for each exposure time, and image data corresponding to an exposure time other than immediately after the reset is generated based on the calculated difference value. The imaging system according to claim 3 or 4 , wherein 前記特定光源以外の光である通常光のみによる被写体からの反射光の露光によって前記各画素に蓄積された蓄積電荷の構成する画素信号と、前記通常光及び前記特定光源からの光による被写体からの反射光の露光によって前記各画素に蓄積された少なくとも２種類以上の露光時間にそれぞれ対応する蓄積電荷の構成する画素信号とを、前記画素信号読出手段で読み出すことを特徴とする請求項３乃至請求項５のいずれか１項に記載の撮像システム。 A pixel signal composed of accumulated charges accumulated in each pixel by exposure of reflected light from the subject only by normal light that is light other than the specific light source, and from the subject by the normal light and light from the specific light source. and a pixel signal constituting the accumulated charges corresponding respectively to at least two or more types of exposure time accumulated in each pixel by the exposure of the reflected light, according to claim 3 or claims, characterized in that reading in the pixel signal reading unit 6. The imaging system according to any one of items 5 . 前記複数種類の露光時間にそれぞれ対応する画像データに基づき、前記特定光源を点灯したときの露光量の増加率を算出する増加率算出手段を備え、
前記距離推定手段は、前記増加率算出手段で算出した増加率に基づき、前記特定光源と前記被写体との間の距離を推定することを特徴とする請求項３乃至請求項６のいずれか１項に記載の撮像システム。 Based on the image data corresponding to each of the plurality of types of exposure time, comprising an increase rate calculating means for calculating an increase rate of the exposure amount when the specific light source is turned on,
Said distance estimation means, based on the increase rate calculated by the increase rate calculation means, any one of claims 3 to 6, characterized in that for estimating the distance between said specified source object The imaging system described in 1. 前記距離推定手段の推定結果に基づく情報をシステム利用者に通知する通知手段を備えることを特徴とする請求項３乃至請求項７のいずれか１項に記載の撮像システム。 The imaging system according to any one of claims 3 to 7, characterized in that it comprises a notifying means for notifying information based on an estimation result of the distance estimation unit to the system user.
JP2006101653A 2006-04-03 2006-04-03 Imaging apparatus and imaging system Active JP4793059B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006101653A JP4793059B2 (en) 2006-04-03 2006-04-03 Imaging apparatus and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006101653A JP4793059B2 (en) 2006-04-03 2006-04-03 Imaging apparatus and imaging system

Publications (2)

Publication Number Publication Date
JP2007281556A JP2007281556A (en) 2007-10-25
JP4793059B2 true JP4793059B2 (en) 2011-10-12

Family

ID=38682604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006101653A Active JP4793059B2 (en) 2006-04-03 2006-04-03 Imaging apparatus and imaging system

Country Status (1)

Country Link
JP (1) JP4793059B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI388218B (en) 2007-10-30 2013-03-01 Nippon Telegraph & Telephone Image encoding method and decoding method, programs therefor, and storage media for storing the programs
JP4556993B2 (en) 2007-12-07 2010-10-06 セイコーエプソン株式会社 Condition inspection system
JP5022923B2 (en) * 2008-01-23 2012-09-12 富士フイルム株式会社 Imaging device and method for correcting captured image signal thereof
JP5211938B2 (en) * 2008-08-28 2013-06-12 日産自動車株式会社 Irradiation light extraction apparatus and method
DE112015005163T5 (en) * 2014-11-14 2017-07-27 Denso Corporation FLIGHT TIME DISTANCE MEASURING DEVICE
JP6539990B2 (en) * 2014-11-14 2019-07-10 株式会社デンソー Optical flight type distance measuring device
JP6424581B2 (en) * 2014-11-21 2018-11-21 株式会社デンソー Optical flight type distance measuring device
WO2021019973A1 (en) * 2019-08-01 2021-02-04 パナソニックＩｐマネジメント株式会社 Imaging device
JP2021082907A (en) * 2019-11-18 2021-05-27 富士フイルムビジネスイノベーション株式会社 Information processing device, lighting device, program, and information processing system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4049897B2 (en) * 1998-07-09 2008-02-20 オリンパス株式会社 Image input device
JP4830270B2 (en) * 2004-06-14 2011-12-07 ソニー株式会社 Solid-state imaging device and signal processing method for solid-state imaging device

Also Published As

Publication number Publication date
JP2007281556A (en) 2007-10-25

Similar Documents

Publication Publication Date Title
JP4793059B2 (en) Imaging apparatus and imaging system
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
JP4998056B2 (en) Imaging apparatus, imaging system, and imaging method
JP3748267B2 (en) Imaging device
RU2570354C2 (en) Real-time image capture and display
JP6016412B2 (en) Imaging apparatus and signal processing method
JP4792976B2 (en) Imaging device
CN104010128A (en) Image capturing apparatus and method for controlling the same
JP5979961B2 (en) FOCUS DETECTION DEVICE, FOCUS DETECTION METHOD, AND IMAGING DEVICE
CN101072303A (en) Image pickup device and image pickup apparatus
JP2005295442A (en) Image pickup device and image pickup method
JP2007194687A (en) Imaging apparatus
JP6839089B2 (en) Endoscope device, how to operate the endoscope device, and recording medium
JP5140939B2 (en) Image recording / playback device
JP2010068049A (en) Image device
JP2007174266A (en) Imaging apparatus
JP5147652B2 (en) Imaging apparatus, control method thereof, and program
JP7325211B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
KR20220075020A (en) Imaging apparatus and method for controlling the same
JP2010268271A (en) Imaging device
JP5127510B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2010156596A (en) Measuring device and measuring method
JP2008172606A (en) Solid-state imaging apparatus and camera system
JP5874473B2 (en) Electronic camera
JP6223166B2 (en) Image composition device, image composition method, imaging device, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

R150 Certificate of patent or registration of utility model

Ref document number: 4793059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250