WO2021181868A1 - 測距センサ及び距離測定方法 - Google Patents

測距センサ及び距離測定方法 Download PDF

Info

Publication number
WO2021181868A1
WO2021181868A1 PCT/JP2021/001281 JP2021001281W WO2021181868A1 WO 2021181868 A1 WO2021181868 A1 WO 2021181868A1 JP 2021001281 W JP2021001281 W JP 2021001281W WO 2021181868 A1 WO2021181868 A1 WO 2021181868A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
unit
distance measuring
pixel
interest
Prior art date
Application number
PCT/JP2021/001281
Other languages
English (en)
French (fr)
Inventor
久美子 馬原
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2021181868A1 publication Critical patent/WO2021181868A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes

Definitions

  • FIG. 5 is a block diagram showing another example in the case of allocating a region other than the ROI region to the sampling circuit and the histogram generation circuit according to the angle of view in the sixth embodiment of the present technology. It is a figure which shows an example of the case where the pixel is processed by the sampling circuit and the histogram generation circuit on the surface in the three-layer structure in the seventh embodiment of this technique. It is a figure which shows an example of the case where the pixel is processed by the sampling circuit and the histogram generation circuit on the surface in the two-layer structure in the seventh embodiment of this technique. It is a figure which shows an example of the case of outputting one region at a time in the eighth embodiment of this technique.
  • the light emitting unit 20 emits pulsed light such as infrared light (IR) toward the target area.
  • the light emitting timing adjusting unit 30 is a circuit for adjusting the light emitting timing of the light emitting unit 20.
  • the light emitting timing adjusting unit 30 outputs a trigger pulse so as to synchronize with the reading timing for each line from the light receiving unit 40, which will be described later, and drives the light emitting unit 20.
  • the sampling circuit 51 is a component that samples an electric signal output from a specific pixel group at a predetermined sampling frequency in response to the emission of pulsed light.
  • the sampling circuit 51 outputs a High or Low value (sampling value) according to the value of the electric signal output from each of the activated pixel groups, for example.
  • the communication interface unit 60 is an interface circuit for outputting the calculated ranging data to an external host IC.
  • the communication interface unit 60 is an interface circuit compliant with MIPI (Mobile Industry Processor Interface), but is not limited to this.
  • MIPI Mobile Industry Processor Interface
  • SPI Serial Peripheral Interface
  • LVDS LVDS
  • SLVS-EC SLVS-EC
  • FIG. 2 illustrates a pixel 41 of one of a plurality of pixels arranged in a two-dimensional matrix in the light receiving unit 40, and a power supply 42 that supplies electric power to the pixels 41.
  • the pixel 41 has a photoelectric conversion element that photoelectrically converts the received light and generates an electric charge according to the amount of light.
  • the pixel drive unit 70 is connected to the light receiving unit 40 via the pixel drive line 43.
  • the pixel driving unit 70 drives each pixel of the light receiving unit 40 at the same time for all pixels, in units of rows, or the like.
  • the pixel signals output from each pixel of the pixel line (pixel line) selectively scanned by the pixel drive unit 70 are supplied to the sampling circuit 51 through each of the vertical signal lines 44.
  • FIG. 3 is a flowchart for explaining a distance measuring processing method by the distance measuring device 1A in the first embodiment of the present technology.
  • a plurality of sampling circuits (1, 2, 3, 3) can simultaneously process pixel signals output from the plurality of pixels 41 in one line (one line) in the imaging frame. Since 4, 5) 51 are fixedly prepared, sampling processing can be performed with high accuracy.
  • the system control unit 10 turns off the power supply 42 of the light receiving element 45 belonging to the pixel 41a, and the light receiving element 46 belonging to the pixels 41b and 41c via the pixel drive line 43. Is driven, and the pixel signal output from the light receiving element 46 via each of the vertical signal lines 441, 442, 443, 444, 445, 446 is simultaneously input to the sampling circuit 51.
  • the sampling circuit 51 and the histogram generation circuit 52 simultaneously process electrical signals output from a plurality of pixels 41 corresponding to the ROI region on one line in the imaging frame.
  • a possible number for example, 7 in FIG. 13 is provided (hereinafter, sampling circuit (2,3,4,5,6,7,8) 51 and histogram generation circuit (2,3,4,5,6). 7, 8) 52).
  • Two sampling circuits 51 and a histogram generation circuit 52 are provided except for the ROI region (hereinafter, referred to as a sampling circuit (1,9) 51 and a histogram generation circuit (1,9) 52).
  • the system control unit 10 uses the sampling circuit (1,3,4,5,6,7,8) 51. 9) Turn off the power gate cell 56 to the power supply 55 of the module belonging to 51 and the histogram generation circuit (1, 9) 52.
  • the power may be cut off as needed during the set or read-out use case of all pixels 41.
  • four sampling circuits 51 and four histogram generation circuits 52 are provided in order to reduce the particle size of the region other than the ROI (hereinafter, sampling circuits (1-1, 1-2, 2-1, 1). -2) 51 and the histogram generation circuit (referred to as 1-1, 1-2, 2-1, 1-2) 52).
  • the system control unit 10 uses the sampling circuit (1-1, 1-2, 2-).
  • the power gate cell 56 to the power supply 55 of the module belonging to 1, 1-2) 51 and the histogram generation circuit (1-1, 1-2, 2-1, 1-2) 52 is turned off.
  • the system control unit 10 uses a sampling circuit (1-1, 1-2) 51 and a histogram generation circuit (1-1, 1-2).
  • the power gate cell 56 to the power supply 55 of the module belonging to 52 can also be turned off.
  • FIG. 19 is a diagram showing an example in which a region to which light is applied is narrowed down to an ROI region when measuring a distance on a surface in a ninth embodiment of the present technology.
  • the communication interface unit 60 when reading different regions in the V direction at the same time, arranges the distance measurement data of the frame 1, the frame 2, and the frame 3 on one line, and arranges the distance measurement data of each frame 1, each frame 1. PH and PF are added to the distance measurement data of the frames 2 and 3.
  • the light receiving unit 40 is a CMOS image sensor including a plurality of light receiving elements (SPADs) arranged in a two-dimensional array. That is, each SPAD detects incoming light (photons) and converts the carriers generated thereby into electrical signal pulses using avalanche multiplication.
  • a specific SPAD group for example, a SPAD group in the one-line direction in the imaging frame
  • an electric signal is activated.
  • the pulse is read out.
  • the SPAD group of each line is sequentially activated in one frame time, and one imaging frame for the target area is formed by the electric signal pulses output from each of the activated SPAD groups.
  • FIG. 24 is a block diagram showing an example of the configuration of the distance measuring device 1C according to the twelfth embodiment of the present technology.
  • the distance measuring device 1C emits light from a light emitting element, the reflected light from an object OBJ (object or subject) is photoelectrically converted by a photoelectric conversion unit, and the electric charge generated by the photoelectric conversion unit is generated by a plurality of transfer transistors.
  • It is a distance measuring sensor that is distributed to a plurality of charge storage units and measures the distance to the object OBJ based on the amount of charges accumulated in the plurality of charge storage units.
  • the ROI area determination unit 80 determines, for example, the ROI area including the object OBJ based on the calculated distance measurement data. This determination result is output to the system control unit 10.
  • the system control unit 10 controls the pixel drive unit 70 provided in the light receiving unit 40 based on the determination result of the ROI region by the ROI area determination unit 80.
  • the system control unit 10 may use the V (vertical) control determination unit 100 that determines skipping of the read region or the like.
  • the first to eighth pixels 411 from the left end of the third line from the upper end are connected by the pixel drive line 431, and the ninth from the left end.
  • the twelfth pixel 412 is connected by the pixel drive line 432.
  • the 13th to 16th pixels 413 from the left end are connected by the pixel drive line 433, and the 17th to 20th pixels 414 from the left end are connected by the pixel drive line 434.
  • the pixel drive unit 70 drives the pixel 416 via the pixel drive line 436 and outputs the pixel 416 from the pixel 416.
  • the pixel signal is input to the AD conversion unit 91.
  • the pixel 4111 in the first row of the frame 1 is connected by the pixel drive line 4311 and is connected by the vertical signal line 4411.
  • the pixels 4112 in the second row of the frame 1 are connected by the pixel drive line 4312 and are connected by the vertical signal line 4412.
  • the pixel 4131 in the first line of the frame 3 is connected by the pixel drive line 4331 and is connected by the vertical signal line 4431.
  • the pixels 4132 in the second row of the frame 3 are connected by the pixel drive line 4332 and are connected by the vertical signal line 4432.
  • the pixel drive unit 70 drives the pixels 4121 and 4122 via the pixel drive lines 4321 and 4322, and from the pixels 4121 and 4122.
  • the output pixel signal is input to the AD conversion unit 91 via the vertical signal lines 4421 and 4422.
  • a switch can be interposed between the vertical signal line 44 and the AD conversion unit 91. In this way, the system control unit 10 can control the switch on / off according to the ROI region.
  • the distance calculation circuit 92 shown in FIG. 24 and the ROI area determination unit 80 shown in FIG. 24 are provided in the host IC 2 instead of being provided in the distance measuring device 1C.
  • the host IC 2 includes a corresponding communication interface unit. Similar to the first embodiment, the distance measurement calculation circuit of the host IC 2 calculates the distance to the object OBJ when the distance measurement data is received from the distance measurement processing unit 94 via the communication interface unit 60. Then, the ROI area determination unit of the host IC 2 determines the ROI area based on the distance measurement data. The ROI area determination unit of the host IC 2 transmits the determination result to the system control unit 10 via the communication interface unit 60.
  • the host IC 2 may include a frame buffer (not shown) capable of holding distance measurement data for one imaging frame.
  • the ROI area determination unit of the host IC 2 refers to the frame buffer and determines the ROI area for each read line in the next imaging frame.
  • the distance measuring processing unit includes a sampling circuit that samples the electric signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
  • the distance measuring processing unit A sampling circuit that samples the electrical signal output for each pixel at a predetermined sampling frequency and outputs a sampling value.
  • a histogram generation unit that generates a histogram showing the intensity of the reflected light for each time based on a plurality of the sampling values obtained by performing the light reception is provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Light Receiving Elements (AREA)

Abstract

高解像度化しても消費電力を削減し、データ出力帯域律速の緩和を図ることが可能な測距センサを提供する。距離測定装置は、行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、画素ごとに出力される電気信号に基づいて信号処理を行い対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、入力信号に応じて、複数の信号処理モジュールの電源供給制御を実行する制御部とを備える。

Description

測距センサ及び距離測定方法
 本開示に係る技術(本技術)は、測距センサ及び距離測定方法に関する。
 光飛行時間に基づいて物体(対象物)までの距離を測定するTime of Flight(ToF)方式として、パルス波を利用して直接的に計測される光飛行時間から距離を測定する直接ToF(dToF)方式の測距センサと、変調光の位相を利用して間接的に算出される光飛行時間から距離を測定する間接ToF(iToF)方式の測距センサが知られている。
 ところで、上記dToF方式の測距センサでは、単一のパルス光の発光に対する反射光(フォトン)を受光素子で受けて受光素子により反射光を検出するため、物体までの距離や環境光(外乱光)の影響により、フォトンが到来するかしないかは確率的な事象である。従って、受光素子を用いた測距センサは、所定単位時間内における複数回の発光による受光素子の反応を時間ごとに累積したヒストグラムを作成することで、測距精度を高めている。このような測距センサは、ライン状に配置された画素列ごとにフォトンを読み出すことにより、画素ごとに距離情報を持った撮像フレーム(距離画像)をリアルタイムに得ることができる。
 なお、外乱光が多くかつ変動する環境であっても、測距精度を高めるために、複数の受光素子の中から、フォトンの測定に用いる受光領域を形成する受光素子を選択可能な測距センサも提案されている(例えば、特許文献1参照)。
特開2018-44923号公報
 ところで、上記測距センサにあっても、高解像度化が強く望まれている。この高解像度化に伴い1度で読み出すデータが増加することになる。
 また、測距を行う時間内(短時間)でデータを処理するために、ロジック回路の並列処理化が必要なための回路規模、消費電力が大きくなる。
 さらに、データの出力帯域が増加し、出力帯域律速で測距の間隔が空いてしまう。
 本開示はこのような事情に鑑みてなされたもので、高解像度化しても消費電力を削減し、データ出力帯域律速の緩和を図ることが可能な測距センサ及び距離測定方法を提供することを目的とする。
 本開示の一態様は、行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、前記画素ごとに出力される電気信号に基づいて信号処理を行い前記対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、入力信号に応じて、前記複数の信号処理モジュールの電源供給制御を実行する制御部とを備える測距センサである。
 本開示の他の態様は、行列状に配置され受光素子をそれぞれ有する複数の画素を備える受光部により対象領域からの反射光を受光し、電気信号に変換して出力することと、前記複数の画素によって形成される撮像フレームにおいて、測距処理部により前記画素ごとに出力される前記電気信号に基づいて、前記撮像フレーム中の関心領域までの距離を算出するための測距処理を実行することと、前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力することと、前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行することと、を含む、距離測定方法である。
本技術の第1の実施形態における距離測定装置の構成の一例を示すブロック図である。 本技術の第1の実施形態における受光部の構成の一例を示すブロック図である。 本技術の第1の実施形態における距離測定装置による測距処理方法を説明するためのフローチャートである。 本技術の第1の実施形態における距離測定装置による撮像フレームの形成中の測距処理を説明するための図である。 本技術の第1の実施形態において、ROI領域のみデータを出力するために、サンプリング回路の個数を減らす場合の一例を示すブロック図である。 本技術の第1の実施形態において、領域全面のデータを出力するために、サンプリング回路を切り替える場合の一例を示すブロック図である。 上記図6に続き、本技術の第1の実施形態において、領域全面のデータを出力するために、サンプリング回路を切り替える場合の一例を示すブロック図である。 本技術の第2の実施形態におけるROI領域以外の画素の電源をオフにする場合の一例を示すブロック図である。 本技術の第3の実施形態におけるヒストグラム生成回路の個数を減らす場合の一例を示すブロック図である。 本技術の第4の実施形態において、走査方向に重ならない領域を同時に読み出す場合の一例を示すブロック図である。 本技術の第4の実施形態において、受光部がアレイ型であり、複数の受光素子の出力端子を画素ごとに共通化する場合の一例を示すブロック図である。 本技術の第5の実施形態におけるROI領域以外の領域に属するサンプリング回路及びヒストグラム生成回路の電源をオフにする場合の一例を示すブロック図である。 本技術の第6の実施形態において、画角に合わせてROI領域をサンプリング回路及びヒストグラム生成回路に割り当てる場合の一例を示すブロック図である。 本技術の第6の実施形態いて、画角に合わせてROI領域以外の領域をサンプリング回路及びヒストグラム生成回路に割り当てる場合の他の一例を示すブロック図である。 本技術の第7の実施形態における3層構造で画素に対して面でサンプリング回路及びヒストグラム生成回路による処理を行う場合の一例を示す図である。 本技術の第7の実施形態における2層構造で画素に対して面でサンプリング回路及びヒストグラム生成回路による処理を行う場合の一例を示す図である。 本技術の第8の実施形態における1領域づつ出力する場合の一例を示す図である。 本技術の第9の実施形態において、ライン単位で測距する場合に、光を充てる領域をROI領域に絞る一例を示す図である。 本技術の第9の実施形態において、ライン単位で測距する場合に、光を充てる領域を複数の領域に分割し、分割した領域に絞る場合の一例を示す図である。 本技術の第10の実施形態における1領域づつ出力する場合の一例を示す図である。 本技術の第10の実施形態における通信インタフェース部が測距データを読み出す場合の一例を説明するために示す図である。 本技術の第10の実施形態における通信インタフェース部が測距データを読み出す場合の他の一例を説明するために示す図である。 本技術の第11の実施形態における距離測定装置の構成の一例を示すブロック図である。 本技術の第12の実施形態における距離測定装置の構成の一例を示すブロック図である。 本技術の第12の実施形態における受光部の構成の一例を示すブロック図である。 本技術の第12の実施形態において、ROI領域のみデータを出力するために、AD変換部の個数を減らす場合の一例を示すブロック図である。 本技術の第13の実施形態において、Vスキャン(読み出しラインの指定)を領域ごとに行えるようにする場合の一例を示す図である。 以前における、画素に対しラインごとに画素駆動線で接続する場合の一例を示す図である。 本技術の第13の実施形態において、1ライン中の領域に分けて、領域ごとに異なる画素駆動線で接続する場合の一例を示す図である。 本技術の第14の実施形態において、ROI領域が3つの枠に分けられる一例を示す図である。 本技術の第14の実施形態において、ROI領域の3つの枠それぞれが異なる垂直信号線により接続される一例を示す図である。 本技術の第15の実施形態における1領域づつ出力する場合の一例を示す図である。 本技術の第15の実施形態において、通信インタフェース部が測距データを読み出す場合の一例を説明するために示す図である。 本技術の第15の実施形態において、通信インタフェース部が測距データを読み出す場合の他の一例を説明するために示す図である。 本技術の第16の実施形態における距離測定装置の構成の一例を示すブロック図である。
 以下において、図面を参照して本開示の実施形態を説明する。以下の説明で参照する図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。但し、図面は模式的なものであり、厚みと平面寸法との関係、各装置や各部材の厚みの比率等は現実のものと異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判定すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
 なお、本明細書中に記載される効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
 <第1の実施形態> 
 <距離測定装置の構成> 
 図1は、本技術の第1の実施形態における距離測定装置1Aの構成の一例を示すブロック図である。距離測定装置1Aは、発光素子からパルス光を発射し、パルス光が照射された物体OBJ(対象物または被写体)からの反射光を受光素子で受けることにより得られる電気信号に基づいて、物体OBJまでの距離を測定する測距センサである。
 同図に示すように、距離測定装置1Aは、例えば、システム制御部10と、発光部20と、発光タイミング調整部30と、受光部40と、測距処理部50といったコンポーネントを備える。これらのコンポーネントは、例えば、CMOS LSIのようなシステム・オン・チップ(SoC)として一体的に構成され得るが、例えば、発光部20や受光部40といったいくつかのコンポーネントが別体のLSIとして構成されてもよい。距離測定装置1Aは、図示しない動作クロックに従って動作する。また、距離測定装置1Aは、測距処理部50により算出された距離に係るデータ(測距データ)を外部に出力するための通信インタフェース部60を含む。図示されていないが、距離測定装置1Aは、通信インタフェース部60を介して、外部に配置されたホストICとの通信可能に構成されている。
 システム制御部10は、距離測定装置1Aの動作を統括的に制御するコンポーネントである。典型的には、システム制御部10は、マイクロプロセッサを含み構成される。
 発光部20は、対象エリアに向けて赤外光(IR)等のパルス光を発光する。発光タイミング調整部30は、発光部20の発光タイミングを調整する回路である。例えば、発光タイミング調整部30は、後述する受光部40からのラインごとの読み出しタイミングに同期するようにトリガパルスを出力し、発光部20を駆動する。
 受光部40は、対象エリアから入射する光に反応して、電気信号を出力するセンサである。入射光は、物体OBJからの反射光を含む。本開示において、受光部40は、2次元の行列状に配置された複数の受光素子を含む複数の画素により構成されたCMOSイメージセンサである。本開示では、例えば、システム制御部10の制御の下、特定の画素群(例えば撮像フレームにおける1ライン方向の画素群)が有効化され、これによって、電気信号が読み出される。また、1フレーム時間において順次に各ラインの画素群が有効化され、有効化された画素群のそれぞれから出力される電気信号によって、対象エリアに対する1撮像フレームが形成される。
 測距処理部50は、発光部20により出射したパルス光と受光部40により受光した反射光とに基づいて、物体OBJまでの距離を算出するコンポーネントである。測距処理部50は、典型的には、信号処理プロセッサにより構成される。本開示では、測距処理部50は、サンプリング回路51と、ヒストグラム生成回路52と、距離演算回路53とを含み構成されている。
 サンプリング回路51は、パルス光の出射に応答して特定の画素群から出力される電気信号を所定のサンプリング周波数でサンプリングするコンポーネントである。サンプリング回路51は、例えば、有効化された画素群のそれぞれから出力される電気信号の値に従って、High又はLowの値(サンプリング値)を出力する。
 ヒストグラム生成回路52は、サンプリング回路51により出力される、サンプリング時間ごとのサンプリング値の合計値に基づいて、時間ごとの反射光の強さを示すヒストグラムを生成するコンポーネントである。ヒストグラムは、例えば、図示しないメモリ上に、ある種のデータ構造ないしはテーブルとして保持される。ヒストグラムは、撮像フレームにおける読み出しラインごとに発光されるパルス光に基づいて、画素の数に対応する数だけ生成される。ヒストグラム生成回路52により生成されたヒストグラムは、距離演算回路53により参照される。
 距離演算回路53は、生成されたヒストグラムを参照して、ヒストグラム中のピーク値を検出し、ピーク値に対応する時間(すなわち到来時間)から距離を算出するコンポーネントである。すなわち、出射されたパルス光が物体OBJに照射したときの反射光が受光されたとすれば、該時間は、物体OBJまでの往復時間であるから、これにc/2(cは光速)を乗算することにより、画素ごとに物体OBJまでの距離を算出することができる。したがって、撮像フレームを構成する全ての画素に対して算出された距離により、距離画像を得ることができる。距離演算回路53は、各撮像フレームにおける画素ごとに算出した距離に係るデータ(測距データ)を、通信インタフェース部60及び関心(ROI(Region of Interest))領域判定部80に順次に出力する。
 通信インタフェース部60は、算出された測距データを外部のホストICに出力するためのインタフェース回路である。例えば、通信インタフェース部60は、MIPI(Mobile Industry Processor Interface)に準拠したインタフェース回路であるが、これに限らない。例えば、SPI(Serial Peripheral Interface)やLVDS、SLVS-EC等であってもよいし、これらのインタフェース回路のうちのいくつかを実装していてもよい。
 ROI領域判定部80は、算出された測距データに基づいて、例えば物体OBJを含むROI領域を判定する。この判定結果は、システム制御部10に出力される。システム制御部10は、ROI領域判定部80によるROI領域の判定結果に基づいて、ROI領域に対応する画素からの電気信号を処理するように、測距処理部50及び受光部40に設けられる画素駆動部70を制御する。
 <受光部の構成> 
 図2は、受光部40において、2次元の行列状に配置された複数の画素のうちの1つの画素41、及び画素41に電力を供給する電源42を例示している。画素41は、受光した光を光電変換し、光量に応じた電荷を生成する光電変換素子を有する。
 受光部40には、画素駆動線43を介して画素駆動部70が接続されている。画素駆動部70は、受光部40の各画素を、全画素同時あるいは行単位等で駆動する。画素駆動部70によって選択走査された画素ライン(画素行)の各画素から出力される画素信号は、垂直信号線44の各々を通してサンプリング回路51に供給される。
 サンプリング回路51は、受光部40の画素列ごとに、選択ライン(選択行)の各画素単位から垂直信号線44を通して出力される画素信号に対して、所定のサンプリング周波数でサンプリングする。
 <測距処理方法> 
 図3は、本技術の第1の実施形態における距離測定装置1Aによる測距処理方法を説明するためのフローチャートである。
 すなわち、距離測定装置1Aは、測距処理を開始すると、まず、撮像フレーム中の読み出しラインを選択する(ステップST1a)。例えば、測距処理の開始直後であれば、撮像フレーム中の最上行のラインが選択される。
 続いて、距離測定装置1Aは、選択中の読み出しラインにおける画素41に対する測距を行う(ステップST1b)。これにより、受光部40は、画素41から画素信号を測距処理部50に出力する。
 測距処理部50は、各画素41の画素信号を、所定のサンプリング周波数に従ってサンプリングしながらサンプリング値を決定し、サンプリング時間ごとのサンプリング値の合計値に基づいて、ヒストグラムを生成する(ステップST1c)。
 続いて、測距処理部50は、生成されたヒストグラムにおけるピーク値を検出し、該ピーク値に対応する時間から距離を算出する(ステップST1d)。そして、距離測定装置1Aは、ROI領域判定部80により、算出された測距データから物体OBJがあるか否かの判定を行い(ステップST1e)、物体OBJがある場合に(Yes)、画素駆動部70を制御してROI領域のみ電源42をオンし、またはサンプリング回路51を制御してROI領域のみ画素信号のサンプリングを実行する(ステップST1f)。なお、上記ステップST1fの処理については、ROI領域判定部80による判定結果以外に、例えば外部カメラ画像を用いて画像認識であっても、外部から物体OBJがある旨の信号を受信するようにしてもよい。さらに、物体OBJがある旨の信号を用いなくても、予めエリアの切り分けとエリアごとの電源オンを決めて、インプットさせておいてもよい。
 以後、距離測定装置1Aは、選択したラインが終了したか否かの判定を行い(ステップST1g)、ライン終了でない場合(No)、上記ステップST1bの処理に移行するが、ライン終了の場合(Yes)、上記ステップST1aの処理に移行して次の読み出しラインを選択する。
 このようにして、距離測定装置1Aは、図4に示すように、例えば、車両前方のシーンにおいて、近くの障害物(例えば他の車両)については、より高い測距精度での測距により、衝突等の回避をより正確に行えるようになる。一方、測距の結果、近くに障害物(例えば他の車両)がない場合、画素41に電力を供給する電源42のオフ、もしくは画素41から出力される画素信号のマスクを行うことで、画素の駆動電圧やプロセッサによる演算負荷を下げ、消費電力を抑えることができるようになる。
 <サンプリング回路の削減> 
 図5は、本技術の第1の実施形態において、ROI領域のみデータを出力するために、サンプリング回路51の個数を減らす場合の一例を示すブロック図である。高解像度のデータを高いフレームレートで処理するために、サンプリング回路51は、複数の画素41から出力される画素信号を同時にサンプリングする必要がある。図5の例では、サンプリング回路51は、撮像フレーム中の1ライン上でROI領域に対応する複数の画素41から出力される電気信号を同時に処理可能な個数(図5では、例えば3個)のモジュールが備えられる(以下、サンプリング回路(2,3,4)51と称する)。なお、1ライン上の全ての画素41から出力される電気信号を同時に処理する場合、図5の例では、例えば5個のサンプリング回路51が必要となる。また、1つの画素41には、複数の受光素子が含まれる。また、サンプリング回路51の複数のモジュールは、それぞれ独立に電源供給の制御が可能である。
 受光部40とサンプリング回路(2,3,4)51との間には、セレクタ54が介在される。セレクタ54は、システム制御部10からの切替指示に従って、受光部40とサンプリング回路(2,3,4)51との間を選択的に接続する。
 システム制御部10は、例えばROI領域判定部80による判定結果に基づいて、ROI領域に対応する複数の画素41と複数のサンプリング回路51とを接続するようにセレクタ54を切替制御する。
 図5中の太枠で示すラインにおいて、ROI領域に対応し右端から3番目から6番目の画素41から出力される画素信号はセレクタ54を介してサンプリング回路(4)51に入力され、右端から7番目の画素41から出力される画素信号はセレクタ54を介してサンプリング回路(3)51に入力される。
 図6及び図7は、本技術の第1の実施形態において、領域全面のデータを出力するために、サンプリング回路51を切り替える場合の一例を示すブロック図である。
 まず、図6中の太枠で示すラインにおいて、左端から1番目から10番目の画素41から出力される画素信号は、セレクタ54を介してサンプリング回路(2,3,4)51に入力される。そして、システム制御部10は、セレクタ54を切り替えて、図7に示すように、残りの画素41(左端から11番目から20番目の画素41)から出力される画素信号をサンプリング回路(2,3,4)51に入力する。
 <第1の実施形態の作用効果> 
 以上のように上記第1の実施形態によれば、サンプリング回路51の回路規模を撮像フレームのライン(行)方向の画素41の数に対して減らして、セレクタ54で測距する領域をサンプリング回路51に割り振ることで、1ライン(行)方向において、少数のサンプリング回路51をそれよりも多数の画素41で共用する場合に、サンプリング回路51の回路規模を減らせる分、消費電力を削減できる。
 従って、必要な箇所だけ活性化することにより、高解像度化しても消費電力を削減し、データ出力帯域律速の緩和を図ることができる。
 また、上記第1の実施形態によれば、距離測定装置1A内に、ROI領域判定部80を設けているので、リアルタイムで撮像フレーム中のROIに関する処理が可能となる。
 <第2の実施形態> 
 次に、第2の実施形態について説明する。第2の実施形態は、第1の実施形態の変形であり、ROI領域以外の画素41の電源42をオフにする場合について説明する。
 図8は、本技術の第2の実施形態におけるROI領域以外の画素41の電源42をオフにする場合の一例を示すブロック図である。図8の例では、上端から3番目のライン(行)において、システム制御部10は、同じタイミングで読み出す領域のうち、ROI領域以外(図8中では、灰色の領域)の画素41の電源42をオフにする。すると、左端から8番目から12番目の画素41から出力される画素信号が、サンプリング回路51に入力される。
 また、上端から10番目のライン(行)において、システム制御部10は、ROI領域以外の画素41の電源42をオフにする。すると、左端から5番目から7番目、12番目から15番目の画素41から出力される画素信号が、サンプリング回路51に入力される。
 <第2の実施形態の作用効果> 
 以上のように上記第2の実施形態によれば、ROI領域以外の画素41の電源42をオフにすることで、サンプリング回路51及びヒストグラム生成回路52の回路規模を変更することなく、消費電力を削減できる。
 <第3の実施形態> 
 次に、第3の実施形態について説明する。第3の実施形態は、第1の実施形態の変形であり、ROI領域のみデータを出力するために、ヒストグラム生成回路52のモジュールの個数を減らす場合について説明する。
 図9は、本技術の第3の実施形態におけるヒストグラム生成回路52のモジュールの個数を減らす場合の一例を示すブロック図である。図9の例では、サンプリング回路(1,2,3,4,5)51とヒストグラム生成回路(2,3,4)52との間には、セレクタ54が介在される。セレクタ54は、システム制御部10からの切替指示に従って、サンプリング回路(1,2,3,4,5)51とヒストグラム生成回路(2,3,4)52との間を選択的に接続する。ヒストグラム生成回路52の複数のモジュールは、それぞれ独立に電源供給の制御が可能である。
 システム制御部10は、例えばROI領域判定部80による判定結果に基づいて、サンプリング回路(1,2,3,4,5)51とヒストグラム生成回路(2,3,4)52とを接続するようにセレクタ54を切替制御する。
 <第3の実施形態の作用効果> 
 以上のように上記第3の実施形態によれば、ヒストグラム生成回路52の回路規模を撮像フレームのライン(行)方向の画素41の数に対して減らして、セレクタ54で測距する領域をヒストグラム生成回路52に割り振ることで、1ライン(行)方向において、少数のヒストグラム生成回路52をそれよりも多数のサンプリング回路51で共用する場合に、ヒストグラム生成回路52の回路規模を減らせる分、消費電力を削減できる。
 また、上記第3の実施形態では、撮像フレーム中の1ライン(1行)において、複数の画素41から出力される画素信号を同時に処理できるように複数個のサンプリング回路(1,2,3,4,5)51が固定的に用意されるので、精度良くサンプリング処理を行うことができる。
 <第4の実施形態> 
 次に、第4の実施形態について説明する。第4の実施形態は、第1の実施形態の変形であり、アレイ型でROIデータを読み出す場合、走査方向(V方向)に重ならない領域を同時に読み出す例について説明する。
 図10は、本技術の第4の実施形態において、走査方向に重ならない領域を同時に読み出す場合の一例を示すブロック図である。
 受光部40はアレイ型であり、図11に示すように、複数の受光素子の出力端子を画素41ごとに共通化する。図10に示す画素41aには、図11に示すように、例えば12個の受光素子45が備えられる。画素41bには、例えば12個の受光素子46が備えられる。画素41cには、例えば12個の受光素子46が備えられる。なお、受光素子45は同時に読みださない受光素子であり、受光素子46は同時に読み出す受光素子である。
 受光素子45の出力端子は、垂直信号線44のうち垂直信号線444,445,446に接続される。画素41bに属する受光素子46の出力端子は、垂直信号線44のうち垂直信号線441,442,443に接続される。画素41cに属する受光素子46の出力端子は、垂直信号線44のうち垂直信号線444,445,446に接続される。垂直信号線444,445,446は、受光素子45,46で共通化される。
 ここで、ROIデータのみをサンプリング回路51に出力する場合、システム制御部10は画素41aに属する受光素子45の電源42をオフし、画素駆動線43を介して画素41b,41cに属する受光素子46を駆動し、垂直信号線441,442,443,444,445,446それぞれを介して受光素子46から出力される画素信号をサンプリング回路51に同時に入力する。
 <第4の実施形態の作用効果> 
 以上のように第4の実施形態によれば、配線数削減のために、複数の受光素子45,46の出力端子を画素41ごとに共通化することで、読み出したい受光素子46以外の受光素子45を電源オフあるいは出力マスクを行うことで、同時に異なるV方向に重ならない領域を読み出し可能となる。
 <第5の実施形態> 
 次に、第5の実施形態について説明する。第5の実施形態は、第1の実施形態の変形であり、ROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源をオフにする場合について説明する。
 図12は、本技術の第5の実施形態におけるROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源をオフにする場合の一例を示すブロック図である。
 図12の例では、サンプリング回路51及びヒストグラム生成回路52は、撮像フレーム中の1ライン上の複数の画素41から出力される電気信号を同時に処理可能な個数のモジュールが備えられる。サンプリング回路51及びヒストグラム生成回路52は、モジュール化され、モジュールごとに電源55との間にパワーゲート(登録商標)セル56が介在される。なお、1つの電源55に限らず、複数の電源と複数のモジュールとの間が、パワーゲートセル56が介して接続される構成であってもよい。
 システム制御部10は、ライン(行)において、ROI領域以外の画素41に属するモジュール(図12では、モジュール1)の電源55へのパワーゲートセル56をオフにする。そして、ROI領域の画素41に属するモジュール(図12では、モジュール2,3)の電源55へのパワーゲートセル56をオンにし、画素41から出力される画素信号を、サンプリング回路51に入力する。なお、パワーゲートセル56以外に、クロックゲーティングセルを用いてもよい。
 <第5の実施形態の作用効果> 
 第5の実施形態によれば、ROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源55をオフ制御することで、回路規模を変更することなく、消費電力を削減できる。
 <第6の実施形態> 
 次に、第6の実施形態について説明する。第6の実施形態は、第5の実施形態の変形であり、電源遮断、クロックゲーティング領域が等間隔でない場合について説明する。
 図13は、本技術の第6の実施形態におけるROI領域以外の領域に属するサンプリング回路51及びヒストグラム生成回路52の電源をオフにする場合の一例を示すブロック図である。
 図13の例では、中央の粒度を細かくするため、サンプリング回路51及びヒストグラム生成回路52は、撮像フレーム中の1ライン上でROI領域に対応する複数の画素41から出力される電気信号を同時に処理可能な個数(図13では、例えば7個)備えられる(以下、サンプリング回路(2,3,4,5,6,7,8)51及びヒストグラム生成回路(2,3,4,5,6,7,8)52と称する)。サンプリング回路51及びヒストグラム生成回路52は、ROI領域以外では、2個備えられる(以下、サンプリング回路(1,9)51及びヒストグラム生成回路(1,9)52と称する)。
 1ライン上のROI領域の画素41から出力される画素信号をサンプリング回路(2,3,4,5,6,7,8)51に入力する場合、システム制御部10は、サンプリング回路(1,9)51及びヒストグラム生成回路(1,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
 また、1ライン上のROI領域の顔の箇所の画素41から出力される画素信号をサンプリング回路(3,4,5,6,7)51に入力する場合、システム制御部10は、サンプリング回路(1,2,8,9)51及びヒストグラム生成回路(1,2,8,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
 また、1ライン上のROI領域の右手の箇所の画素41から出力される画素信号をサンプリング回路(2,3)51に入力する場合、システム制御部10は、サンプリング回路(1,4,5,6,7,8,9)51及びヒストグラム生成回路(1,4,5,6,7,8,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
 さらに、1ライン上のROI領域の右手の箇所の画素41から出力される画素信号をサンプリング回路(6,7,8)51に入力する場合、システム制御部10は、サンプリング回路(1,2,3,4,5,9)51及びヒストグラム生成回路(1,2,3,4,5,9)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。
 これにより、撮像フレーム中の1ライン上の両端を一般的な画角に合わせて遮断可能となる。
 なお、図14に示すように、ROIの他に、セットや全画素41の読み出しのuse case時の必要に応じて電源遮断をできるように構成してもよい。図14の例では、ROI以外の領域の粒度を細かくするため、サンプリング回路51及びヒストグラム生成回路52は、4個備えられる(以下、サンプリング回路(1-1,1-2,2-1,1-2)51及びヒストグラム生成回路(1-1,1-2,2-1,1-2)52と称する)。
 1ライン上のROI領域の画素41から出力される画素信号をサンプリング回路(3,4,5)51に入力する場合、システム制御部10は、サンプリング回路(1-1,1-2,2-1,1-2)51及びヒストグラム生成回路(1-1,1-2,2-1,1-2)52に属するモジュールの電源55へのパワーゲートセル56をオフにする。また、VGAの画角を、HVGAやQVGAの画角にするときに、システム制御部10は、サンプリング回路(1-1,1-2)51及びヒストグラム生成回路(1-1,1-2)52に属するモジュールの電源55へのパワーゲートセル56をオフにすることもできる。
 <第7の実施形態> 
 次に、第7の実施形態について説明する。第7の実施形態は、第1の実施形態の変形であり、例えば積層構造で画素41に対して面でサンプリング回路51及びヒストグラム生成回路52による処理を行う場合について説明する。
 図15は、本技術の第7の実施形態における3層構造で画素41に対して面でサンプリング回路51及びヒストグラム生成回路52による処理を行う場合の一例を示す図である。
 図15の例では、受光部40の面と測距処理部50の面との間に、パルス変化回路200の面が介在される。パルス変化回路200は、受光部40の面内に配置される画素41ごと、またはいくつかの画素41により構成される画素群ごとに設けられ受光素子に電力を供給する複数の電源部を備える。また、パルス変化回路200は、任意の画素41に対し、LowレベルからHighレベルに変化する画素出力パルスを供給して、画素41内に蓄積された電荷を画素信号として出力させる。画素41内の受光素子は、パルス変化回路200から供給される画素出力パルスがLowレベルからHighレベルに変化すると、クエンチ電圧が下がり、これにより蓄積していた電荷を放電する。
 システム制御部10は、パルス変化回路200を制御して、ROI領域以外のロジックの電源遮断またはクロック停止を行うことができる。
 なお、3層構造以外に2層構造であってもよい。図16は、本技術の第7の実施形態における2層構造で画素41に対して面でサンプリング回路51及びヒストグラム生成回路52による処理を行う場合の一例を示す図である。
 図16の例では、パルス変化回路200は、測距処理部50の面に設けられる。なお、パルス変化回路200は、受光部40の面に設けられてもよい。
 <第7の実施形態の作用効果> 
 以上のように第7の実施形態によれば、積層構造で画素41に対して面で測距処理を行う場合に、受光部40の面内でROI領域以外の領域に属する電源42をオフ制御することができる。
 <第8の実施形態> 
 次に、第8の実施形態について説明する。第8の実施形態は、第1の実施形態の変形であり、1撮像フレーム中に全ての領域を出力するのではなく、1領域づつ出力する場合について説明する。
 図17は、本技術の第8の実施形態における1領域づつ出力する場合の一例を示す図である。
 図17の例では、システム制御部10は、ROI領域を、例えば「顔」と「右手」と「左手」に分割し、撮像フレームごとに分割した領域を読み出すように受光部40を制御する。なお、「右手」と「左手」は、読み出し時に重なる領域であるとする。
 システム制御部10は、1フレーム目で「右手」を読み出すように受光部40を制御する。続いて、システム制御部10は、2フレーム目で「顔」を読み出すように受光部40を制御する。3フレーム目で、システム制御部10は、「左手」を読み出すように受光部40を制御する。 
 なお、上記読み出し処理は、指定してもシーン変化まで複数回測距してもよい。
 <第8の実施形態の作用効果> 
 以上のように第8の実施形態によれば、1撮像フレーム中に全ての領域を出力するのではなく分割した1領域づつ出力することで、領域が重なる場合、同時に読み出すサイズを削減することで温度上昇を制限したり、領域内のみ光を照射することで測距精度を上げることができる。
 <第9の実施形態> 
 次に、第9の実施形態について説明する。第9の実施形態は、第1の実施形態の変形であり、光を充てる領域をROI領域に絞る場合について説明する。
 図18は、本技術の第9の実施形態において、ライン単位で測距する場合に、光を充てる領域をROI領域に絞る一例を示す図である。
 図18(a)の例では、システム制御部10は、ROI領域判定部80による判定結果に基づいて、撮像フレームの1ライン上で、ROI領域に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。
 また、図18(b)の例では、システム制御部10は、ROI領域判定部80による判定結果に基づいて、ROI領域に絞って発光強度を上げて発光するように、発光タイミング調整部30により発光部20を制御する。
 図19は、本技術の第9の実施形態において、面で測距する場合に、光を充てる領域をROI領域に絞る一例を示す図である。
 図19の例では、システム制御部10は、ROI領域判定部80による判定結果に基づいて、ROI領域を、例えば「顔」と「右手」と「左手」に分割し、分割した領域に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。
 例えば、図19(a)に示すように、システム制御部10は、「顔」に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。また、図19(b)に示すように、システム制御部10は、「右手」に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。さらに、図19(c)に示すように、システム制御部10は、「左手」に絞って発光するように、発光タイミング調整部30に指示信号を送って発光タイミング調整部30により発光部20を制御する。
 なお、ROI領域を、例えば「顔」と「右手」と「左手」に分割し、分割した領域に絞って発光する以外にも、ROI領域全体に絞って発光するようにしてもよい。
 <第9の実施形態の作用効果> 
 以上のように第9の実施形態によれば、光を充てる領域をROI領域に絞ることで、光量の強化、発光部20の低消費、無駄な領域に光を照射しないことによるセーフティ機能の向上が期待できる。
 <第10の実施形態> 
 次に、第10の実施形態について説明する。第10の実施形態は、第1の実施形態の変形であり、MIPI規格に従って、ラインごとにデータにパケットヘッダ(PH)及びパケットフッタ(PF)を付加する場合について説明する。dToFの場合、1画素あたりのデータ情報が多いため、複数画素単位でPH及びPFを付加したり、ヒストグラムデータを出力する場合に、画素ごとにPH及びPFを付加する場合もある。PH及びPFは、ラインごとに異なる値を示す。
 図20は、本技術の第10の実施形態における1領域づつ出力する場合の一例を示す図である。
 図20の例では、システム制御部10は、ROI領域を、例えば枠1(顔)と枠2(右手)と枠3(左手)に分割し、枠1、枠2、枠3のデータを読み出すように受光部40を制御する。
 通信インタフェース部60は、図21に示すように、測距処理部50から出力される枠1の測距データに対しラインごとに識別されたPH及びPFを付加し、続いて、枠2及び枠3の測距データに対しラインごとに識別されたPH及びPFを付加する。
 また、通信インタフェース部60は、図22に示すように、異なるV方向の領域を同時に読み出す場合、枠1、枠2、枠3の測距データを1ライン上に並べるとともに、それぞれの枠1、枠2、枠3の測距データにPH及びPFを付加する。
 <第10の実施形態の作用効果> 
 以上のように第10の実施形態によれば、ROI領域について撮像フレームの1ラインごとにPH及びPFを付加することで、例えばホストICといった外部装置側でラインごとに識別されたPH及びPFに基づいて、ROI領域の測距データを管理することが可能となる。
 <第11の実施形態> 
 次に、第11の実施形態について説明する。第11の実施形態では、上記測距処理部50から上記距離演算回路53を削除した測距処理部57とし、測距処理部57により算出された測距データを受信した外部のホストICを用いて、ROI領域を判定することを可能とする距離測定装置1Bが開示される。ここで、外部のホストICとは、上記第1の実施形態で説明したSoCとしての距離測定装置1Bの外部に設けられるという意味で用いられている。
 図23は、本技術の第11の実施形態における距離測定装置1Bの構成の一例を示すブロック図である。同図に示すように、ホストIC2が、測距処理部57から通信インタフェース部60を介して受信した測距データに基づいて、上記距離演算回路53による処理を実行し、ROI領域を判定するように構成されている点で、上記第1の実施形態において図示したものと異なっている。なお、図23中、既に図示したコンポーネントと同一の機能ないし構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
 同図に示すように、本例では、図1に示した距離演算回路53及び図1に示したROI領域判定部80が、距離測定装置1A内に設けられる代わりに、ホストIC2に設けられている。図示していないが、ホストIC2は、対応する通信インタフェース部を含み構成される。ホストIC2の測距演算回路は、上記第1の実施形態と同様、測距処理部50から通信インタフェース部60を介して測距データを受信すると、物体OBJまでの距離を算出する。そして、ホストIC2のROI領域判定部は、該測距データに基づいて、ROI領域を判定する。ホストIC2のROI領域判定部は、該判定結果を、通信インタフェース部60を介して、システム制御部10に送信する。
 一例として、ホストIC2は、1撮像フレーム分の測距データを保持し得るフレームバッファ(図示せず)を備え得る。ホストIC2のROI領域判定部は、フレームバッファを参照し、次の撮像フレームにおける読み出しラインごとにROI領域を判定する。
 <第11の実施形態の作用効果> 
 このようにして、上記第11の実施形態によっても、上記第1の実施形態と同様の作用効果ないしは利点を奏し得る。また、上記第11の実施形態によれば、距離測定装置1B内で測距演算回路による処理及びROI領域の判定処理を省略できる分、高度な処理が可能となる。特に、現在の撮像フレームの形成中に、該ROI領域の判定結果に基づいて、ROI領域以外の領域に属する電源42をオフ制御すること、ROI領域に対応する画素信号を入力するように測距処理部50を制御することの少なくとも一方を実行できる。
 <第1から第11の実施形態で使用されるSPADの説明> 
 本開示の第1から第11の実施形態において、受光部40は、2次元アレイ状に配置された複数の受光素子(SPAD)を含み構成されたCMOSイメージセンサである。すなわち、各SPADは、飛来した光(フォトン)を検出し、これにより発生したキャリアをアバランシェ増倍を用いて電気信号パルスに変換する。本開示の第1から第11の実施形態では、例えば、システム制御部10の制御の下、特定のSPAD群(例えば撮像フレームにおける1ライン方向のSPAD群)が有効化され、これによって、電気信号パルスが読み出される。また、1フレーム時間において順次に各ラインのSPAD群が有効化され、有効化されたSPAD群のそれぞれから出力される電気信号パルスによって、対象エリアに対する1撮像フレームが形成される。
 <第12の実施形態> 
 <距離測定装置の構成> 
 図24は、本技術の第12の実施形態における距離測定装置1Cの構成の一例を示すブロック図である。距離測定装置1Cは、発光素子から光を発射し、物体OBJ(対象物または被写体)からの反射光が光電変換部により光電変換され、光電変換部により生成された電荷は、複数の転送トランジスタにより複数の電荷蓄積部へ振り分けられ、複数の電荷蓄積部に蓄積された電荷量に基づいて、物体OBJまでの距離を測定する測距センサである。
 同図に示すように、距離測定装置1Cは、測距処理部90に、AD(アナログ・デジタル)変換部91及び距離演算回路92を備えて構成されている点で、上記第1の実施形態において図示したものと異なっている。なお、図24中、既に図示したコンポーネントと同一の機能ないし構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
 AD変換部91は、画素41ごとに出力され蓄積された電荷量に応じた画素信号を、アナログ信号からデジタル信号に変換する。画素41ごとの画素信号は、距離演算回路92に出力される。距離演算回路92は、画素41ごとの画素信号に基づき、物体OBJまでの距離を算出する。距離演算回路92では、撮像フレームを構成する全ての画素に対して算出された距離により、距離画像を得ることができる。距離演算回路92は、各撮像フレームにおける画素ごとに算出した距離に係るデータ(測距データ)を、通信インタフェース部60及びROI領域判定部80に順次に出力する。
 ROI領域判定部80は、算出された測距データに基づいて、例えば物体OBJを含むROI領域を判定する。この判定結果は、システム制御部10に出力される。システム制御部10は、ROI領域判定部80によるROI領域の判定結果に基づいて、受光部40に設けられる画素駆動部70を制御する。なお、画素駆動部70を制御する際、システム制御部10は、読み出し領域のスキップ等を判定するV(垂直)制御判定部100を用いてもよい。
 <受光部の構成> 
 図25は、受光部40において、2次元の行列状に配置された複数の画素のうちの1つの画素41を例示している。画素41は、受光した光を光電変換し、光量に応じた電荷を生成する光電変換素子を有する。
 受光部40には、画素駆動線43を介して画素駆動部70が接続されている。画素駆動部70は、受光部40の各画素を、全画素同時あるいは行単位等で駆動する。画素駆動部70によって選択走査された画素ライン(画素行)の各画素から出力される画素信号は、垂直信号線44の各々を通してAD変換部91に供給される。
 AD変換部91は、受光部40の画素列ごとに、選択ライン(選択行)の各画素単位から垂直信号線44を通して出力される画素信号に対して、アナログ信号からデジタル信号に変換する。
 <AD変換部の削減> 
 図26は、本技術の第12の実施形態において、ROI領域のみデータを出力するために、AD変換部91の個数を減らす場合の一例を示すブロック図である。高解像度のデータを高いフレームレートで処理するために、AD変換部91は、複数の画素41から出力される画素信号を同時にアナログ信号からデジタル信号に変換する必要がある。図26の例では、AD変換部91は、撮像フレーム中の1ライン上でROI領域に対応する複数の画素41から出力される画素信号を同時に処理可能な個数(図26では、例えば3個)備えられる(以下、AD変換部(2,3,4)91と称する)。なお、1ライン上の全ての画素41から出力される電気信号を同時に処理する場合、図26の例では、例えば5個のAD変換部(1,2,3,4,5)91が必要となる。また、1つの画素41には、複数の受光素子が含まれる。
 受光部40とAD変換部(1,2,3,4,5)91との間には、セレクタ93が介在される。セレクタ93は、システム制御部10からの切替指示に従って、例えば受光部40とAD変換部(2,3,4)91との間を選択的に接続する。
 システム制御部10は、例えばROI領域判定部80による判定結果に基づいて、ROI領域に対応する複数の画素41とAD変換部(2,3,4)91とを接続するようにセレクタ93を切替制御する。
 図26中の太枠で示すラインにおいて、ROI領域に対応し左端から4番目から6番目の画素41から出力される画素信号はセレクタ93を介してAD変換部(2)91に入力され、左端から11番目から14番目の画素41から出力される画素信号はセレクタ93を介してAD変換部(4)91に入力される。
 <第12の実施形態の作用効果> 
 以上のように第12の実施形態によれば、AD変換部91の個数を撮像フレームのライン方向の受光素子数や画素数に対して減らして、セレクタ93で測距する領域をAD変換部91に割り振ることで、1ライン(行)方向において、少数のAD変換部91をそれよりも多数の画素41で共用でき、AD変換部91の個数を減らせる分、消費電力を削減できる。
 <第13の実施形態> 
 次に、第13の実施形態について説明する。第13の実施形態は、第12の実施形態の変形であり、Vスキャン(読み出しラインの指定)を領域ごとに行えるようにする場合の構成について説明する。
 図27は、本技術の第13の実施形態において、Vスキャン(読み出しラインの指定)を領域ごとに行えるようにする場合の一例を示す図である。
 図27の例では、上端から3ライン目のROI領域(図27では、1行目を図示)の画素41から画素信号を出力する場合、図28に示す画素駆動線43(1)により3ライン目の全画素41から画素信号は同じタイミングで出力されることになる。また、上端から4ライン目のROI領域(図27では、2行目を図示)の画素41から画素信号を出力する場合、図28に示す画素駆動線43(2)により4ライン目の全画素41から画素信号は同じタイミングで出力されることになる。
 そこで、本技術の第13の実施形態では、図29に示すように、1ライン中の領域を分けて異なるタイミングで読み出し可能にする。
 図27に戻って、本技術の第13の実施形態では、画素41のうち、上端から3ライン目の左端から1番目から8番目の画素411を画素駆動線431により接続し、左端から9番目から12番目の画素412を画素駆動線432により接続する。そして、左端から13番目から16番目の画素413を画素駆動線433により接続し、左端から17番目から20番目の画素414を画素駆動線434により接続する。
 また、本技術の第13の実施形態では、画素41のうち、上端から4ライン目の左端から1番目から8番目の画素415を画素駆動線435により接続し、左端から9番目から12番目の画素416を画素駆動線436により接続する。そして、左端から13番目から16番目の画素417を画素駆動線437により接続し、左端から17番目から20番目の画素418を画素駆動線438により接続する。
 3ライン目のROI領域の画素412(図27では、顔部分の1行目)を読み出す場合、画素駆動部70は、画素駆動線432を介して画素412を駆動し、画素412から出力される画素信号をAD変換部91に入力させる。
 4ライン目のROI領域の画素416(図27では、顔部分の2行目)を読み出す場合、画素駆動部70は、画素駆動線436を介して画素416を駆動し、画素416から出力される画素信号をAD変換部91に入力させる。
 <第13の実施形態の作用効果> 
 以上のように上記第13の実施形態によれば、読み出しラインの指定を領域ごとに行えるように構成することで、撮像フレームのV(走査)方向に重なっていない領域の複数の画素41から出力される画素信号を同時に読み出してAD変換部91に入力することで、AD変換部91の処理時間を短縮でき、その分消費電力を削減できる。
 <第14の実施形態> 
 次に、第14の実施形態について説明する。第14の実施形態は、第12の実施形態の変形であり、AD変換部91に対して垂直信号線44を多く持つ場合の構成について説明する。
 図30は、本技術の第14の実施形態において、ROI領域が枠1、枠2、枠3に分けられる一例を示す図である。図31は、枠1、枠2、枠3それぞれが異なる垂直信号線44により接続される一例を示す図である。
 図31の例では、画素41のうち、例えば、枠1の1行目の画素4111は、画素駆動線4311により接続され、垂直信号線4411により接続される。枠1の2行目の画素4112は、画素駆動線4312により接続され、垂直信号線4412により接続される。
 枠2の1行目の画素4121は、画素駆動線4321により接続され、垂直信号線4421により接続される。枠2の2行目の画素4122は、画素駆動線4322により接続され、垂直信号線4422により接続される。
 枠3の1行目の画素4131は、画素駆動線4331により接続され、垂直信号線4431により接続される。枠3の2行目の画素4132は、画素駆動線4332により接続され、垂直信号線4432により接続される。
 枠1(図30では、顔部分の1行目及び2行目)を読み出す場合、画素駆動部70は、画素駆動線4311,4312を介して画素4111,4112を駆動し、画素4111,4112から出力される画素信号を垂直信号線4411,4412を介してAD変換部91に入力させる。
 枠2(図30では、右手部分の1行目及び2行目)を読み出す場合、画素駆動部70は、画素駆動線4321,4322を介して画素4121,4122を駆動し、画素4121,4122から出力される画素信号を垂直信号線4421,4422を介してAD変換部91に入力させる。
 枠3(図30では、左手部分の1行目及び2行目)を読み出す場合、画素駆動部70は、画素駆動線4331,4332を介して画素4131,4132を駆動し、画素4131,4132から出力される画素信号を垂直信号線4431,4432を介してAD変換部91に入力させる。
 <第14の実施形態の作用効果> 
 以上のように第14の実施形態によれば、AD変換部91に対して垂直信号線44を多く持つことで、ROI領域を例えば枠1,枠2,枠3に分割して設定し、V方向重ならない場合に、枠1,枠2,枠3ごとに異なる垂直信号線44を用いて複数の画素信号を同時にAD変換部91に入力することが可能になり、これにより処理時間を短縮でき、その分消費電力を削減できる。
 <第14の実施形態の変形例> 
 なお、本技術の第14の実施形態の変形例として、垂直信号線44と、AD変換部91との間に、スイッチを介在させることができる。このようにすれば、システム制御部10は、ROI領域に合わせてスイッチをオン・オフ制御することができる。
 <第15の実施形態> 
 次に、第15の実施形態について説明する。第15の実施形態は、第12の実施形態の変形であり、異なるラインにあるデータを同時に連続して出力する場合について説明する。
 図32は、本技術の第15の実施形態における1領域づつ出力する場合の一例を示す図である。
 図32の例では、システム制御部10は、ROI領域を、例えば枠1(顔)と枠2(右手)と枠3(左手)に分割し、枠1、枠2、枠3のデータを読み出すように受光部40を制御する。
 通信インタフェース部60は、図33に示すように、測距処理部50から出力される枠1及び枠2及び枠3の測距データに対しラインごとに並べて出力する。
 また、通信インタフェース部60は、図34に示すように、異なるV方向の領域を同時に読み出す場合、枠1、枠2、枠3の測距データを1ライン上に並べて出力する。
 <第16の実施形態> 
 次に、第16の実施形態について説明する。第16の実施形態では、測距処理部90により算出された測距データを受信した外部のホストICを用いて、ROI領域を判定することを可能とする距離測定装置1Dが開示される。ここで、外部のホストICとは、上記第12の実施形態で説明したSoCとしての距離測定装置1Dの外部に設けられるという意味で用いられている。
 図35は、本技術の第16の実施形態における距離測定装置1Dの構成の一例を示すブロック図である。同図に示すように、距離測定装置1Dは、上記測距処理部90から上記距離演算回路92を削除した測距処理部94とし、ホストIC2が、測距処理部94から通信インタフェース部60を介して受信した測距データに基づいて、ROI領域を判定するように構成されている点で、上記第12の実施形態において図示したものと異なっている。なお、図35中、既に図示したコンポーネントと同一の機能ないし構成のコンポーネントについては、同一の符号を付し、適宜、その説明を省略する。
 同図に示すように、本例では、図24に示した距離演算回路92及び図24に示したROI領域判定部80が、距離測定装置1C内に設けられる代わりに、ホストIC2に設けられている。図示していないが、ホストIC2は、対応する通信インタフェース部を含み構成される。ホストIC2の測距演算回路は、上記第1の実施形態と同様、測距処理部94から通信インタフェース部60を介して測距データを受信すると、物体OBJまでの距離を算出する。そして、ホストIC2のROI領域判定部は、該測距データに基づいて、ROI領域を判定する。ホストIC2のROI領域判定部は、該判定結果を、通信インタフェース部60を介して、システム制御部10に送信する。
 一例として、ホストIC2は、1撮像フレーム分の測距データを保持し得るフレームバッファ(図示せず)を備え得る。ホストIC2のROI領域判定部は、フレームバッファを参照し、次の撮像フレームにおける読み出しラインごとにROI領域を判定する。
 <第16の実施形態の作用効果> 
 このようにして、上記第16の実施形態によっても、上記第11の実施形態及び上記第12の実施形態と同様の作用効果ないしは利点を奏し得る。また、上記第16の実施形態によれば、距離測定装置1D内で測距演算回路による処理及びROI領域の判定処理を省略できる分、高度な処理が可能となる。
 <その他の実施形態> 
 上記のように、本技術は第1から第16の実施形態によって記載したが、この開示の一部をなす論述及び図面は本技術を限定するものであると理解すべきではない。上記の実施形態が開示する技術内容の趣旨を理解すれば、当業者には様々な代替実施形態、実施例及び運用技術が本技術に含まれ得ることが明らかとなろう。また、第1から第16の実施形態及び第1から第16の実施形態の変形例がそれぞれ開示する構成を、矛盾の生じない範囲で適宜組み合わせることができる。例えば、複数の異なる実施形態がそれぞれ開示する構成を組み合わせてもよく、同一の実施形態の複数の異なる変形例がそれぞれ開示する構成を組み合わせてもよい。
 なお、本開示は以下のような構成も取ることができる。 
(1)
 行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、
 画素ごとまたはいくつかの画素により構成される画素群ごとに設けられ前記受光素子に電力を供給する複数の電源部と、
 前記複数の画素によって形成される撮像フレームにおいて、前記画素ごとに出力される前記電気信号に基づいて、前記撮像フレーム中の関心領域までの距離を算出するための測距処理を実行する測距処理部と、
 前記測距処理部により出力され、前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力する出力インタフェース部と、
 前記複数の電源部のオン・オフ制御、前記受光素子の出力マスク及び前記測距処理部による測距処理の制御の少なくとも1つを実行する制御部と、
を備え、
 前記制御部は、前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、
測距センサ。
(2)
 前記測距処理部は、
 前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
 前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、
 前記ヒストグラムにおけるピーク値を検出し、前記ピーク値から前記関心領域までの距離を算出する距離算出部と、
を備える前記(1)に記載の測距センサ。
(3)
 前記受光部と前記サンプリング回路との間に接続される選択回路を備え、
 前記サンプリング回路は、撮像フレーム中の1ライン上で前記関心領域に対応する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
 前記制御部は、前記関心領域に対応する複数の画素と複数の前記サンプリング回路とを接続するように前記選択回路を切替制御する前記(2)に記載の測距センサ。
(4)
 前記サンプリング回路と前記ヒストグラム生成部との間に接続される選択回路を備え、
 前記サンプリング回路は、前記撮像フレーム中の1ラインを構成する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
 前記ヒストグラム生成部は、前記撮像フレーム中の1ライン上で前記関心領域に対応する複数のサンプリング回路の出力を同時に処理可能な複数個備えられ、
 前記制御部は、前記関心領域に対応する複数の画素からの電気信号を処理するべく、複数の前記サンプリング回路と複数の前記ヒストグラム生成部とを接続するように前記選択回路を切替制御する前記(2)に記載の測距センサ。
(5)
 前記受光部はアレイ型であり、
 複数の前記受光素子の出力端子を前記画素ごとに共通化する、前記(1)に記載の測距センサ。
(6)
 前記サンプリング回路及び前記ヒストグラム生成部は、前記撮像フレーム中の1ラインを構成する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
 前記制御部は、前記関心領域以外の領域に属する前記サンプリング回路及び前記ヒストグラム生成部の電源をオフ制御する、前記(2)に記載の測距センサ。
(7)
 前記受光部と、前記測距処理部とが互いに異なる層に属する積層構造であり、
 前記制御部は、前記複数の画素から構成する面における前記関心領域以外の領域に属する電源部をオフ制御する、前記(1)に記載の測距センサ。
(8)
 前記制御部は、前記関心領域を複数の領域に分割し、前記撮像フレームごとに分割した領域を読み出すように前記受光部を制御する、前記(1)に記載の測距センサ。
(9)
 前記対象領域に対して光を照射する発光部を備え、
 前記制御部は、前記関心領域の判定結果に基づいて、前記光を前記関心領域のみに照射するように前記発光部を制御する、前記(1)に記載の測距センサ。
(10)
 前記測距処理部は、
 前記画素ごとに出力される前記電気信号を、アナログ信号からデジタル信号に変換するアナログ/デジタル変換部と、
 前記デジタル信号に基づいて、前記関心領域までの距離を算出する距離算出部と、
を備える前記(1)に記載の測距センサ。
(11)
 前記受光部と前記アナログ/デジタル変換部との間に接続される選択回路を備え、
 前記アナログ/デジタル変換部は、前記撮像フレーム中の1ライン上で前記関心領域に対応する複数の画素から出力される電気信号を同時に処理可能な複数個備えられ、
 前記制御部は、前記関心領域に対応する複数の画素と複数の前記アナログ/デジタル変換部とを接続するように前記選択回路を切替制御する前記(10)に記載の測距センサ。
(12)
 前記制御部は、前記関心領域において読み出しラインを指定し、かつ前記撮像フレームの走査方向に重なっていない領域の複数の画素から出力される電気信号を同時に前記アナログ/デジタル変換部に入力する、前記(10)に記載の測距センサ。
(13)
 前記画素と前記アナログ/デジタル変換部との間は、前記撮像フレームのラインごとに異なる複数の信号線により接続され、
 前記制御部は、前記関心領域を複数の枠に分割して設定し、枠ごとに異なる信号線を用いて前記電気信号を前記アナログ/デジタル変換部に転送する、前記(10)に記載の測距センサ。
(14)
 前記複数の信号線と前記アナログ/デジタル変換部との間に接続されるスイッチを備え、
 前記制御部は、前記関心領域に合わせて前記スイッチをオン・オフ制御する、前記(13)に記載の測距センサ。
(15)
 測距処理部からの出力から前記関心領域を判定する関心領域判定部を備え、
 前記制御部は、前記関心領域判定部による前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、前記(1)から前記(14)のいずれか1項に記載の測距センサ。
(16)
 前記制御部は、外部装置から提供される前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、前記(1)から前記(14)のいずれか1に記載の測距センサ。
(17)
 出力インタフェース部は、前記関心領域について前記撮像フレームの1ラインごとにヘッダ情報及びフッタ情報を付加する、前記(1)から前記(10)のいずれか1に記載の測距センサ。
(18)
 行列状に配置され受光素子をそれぞれ有する複数の画素を備える受光部により対象領域からの反射光を受光し、電気信号に変換して出力することと、
 前記複数の画素によって形成される撮像フレームにおいて、測距処理部により前記画素ごとに出力される前記電気信号に基づいて、前記撮像フレーム中の関心領域までの距離を算出するための測距処理を実行することと、
 前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力することと、
 前記関心領域の判定結果に基づいて、前記関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行することと、を含む、
距離測定方法。
(19)
 行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、
 前記画素ごとに出力される電気信号に基づいて信号処理を行い前記対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、
 入力信号に応じて、前記複数の信号処理モジュールの電源供給制御を実行する制御部とを備える測距センサ。
(20)
 前記測距処理部は、前記複数の画素によって形成される撮像フレームにおいて、前記画素ごとに出力される前記電気信号に基づいて、撮像フレーム中の関心領域までの距離を算出するための測距処理を実行し、
 前記制御部は、前記関心領域に対応する複数の画素に対応した前記信号処理モジュールに電源を供給する
前記(19)に記載の測距センサ。
(21)
 前記受光部と前記複数の信号処理モジュールとの間に接続される選択回路を備え、
 前記制御部は、前記関心領域に対応する複数の画素と、前記関心領域に対応する複数の画素に対応した信号処理モジュールとを接続するように前記選択回路を切替制御する
前記(20)に記載の測距センサ。
(22)
 前記受光素子は、アバランシェフォトダイオードである前記(21)に記載の測距センサ。
(23)
 前記測距処理部は、前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路を備え、
 前記選択回路は、前記受光部と前記サンプリング回路との間に配置される
前記(22)に記載の測距センサ。
(24)
 前記測距処理部は、
 前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
 前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、を備え、
 前記選択回路は、前記サンプリング回路と前記ヒストグラム生成部との間に配置される前記(22)に記載の測距センサ。
 1A,1B,1C,1D…距離測定装置、2…ホストIC、10…システム制御部、20…発光部、30…発光タイミング調整部、40…受光部、41,41a,41b,41c,411,412,413,414,415,416,417,418,4111,4112,4121,4122,4131,4132…画素、42…電源部、43,431,432,433,434,435,436,437,438,4311,4312,4321,4322,4331,4332…画素駆動線、44,441,442,443,444,445,446,4411,4412,4421,4422,4431、4432…垂直信号線、45,46…受光素子、50,90…測距処理部、51…サンプリング回路、52…ヒストグラム生成回路、53,63,92…距離演算回路、54,93…セレクタ、55…電源、56…パワーゲートセル、60…通信インタフェース部、70…画素駆動部、80…ROI領域判定部、91…AD変換部、100…V(垂直)制御判定部、200…パルス変化回路

Claims (20)

  1.  行列状に配置され、受光した対象領域からの反射光を電気信号に変換する受光素子をそれぞれ有する複数の画素を備える受光部と、
     前記画素ごとに出力される電気信号に基づいて信号処理を行い前記対象領域までの距離を算出し、それぞれ独立に電源供給の制御が可能な複数の信号処理モジュールを有する測距処理部と、
     入力信号に応じて、前記複数の信号処理モジュールの電源供給制御を実行する制御部とを備える測距センサ。
  2.  前記測距処理部は、前記複数の画素によって形成される撮像フレームにおいて、前記画素ごとに出力される前記電気信号に基づいて、撮像フレーム中の関心領域までの距離を算出するための測距処理を実行し、
     前記制御部は、前記関心領域に対応する複数の画素に対応した前記信号処理モジュールに電源を供給する
    請求項1に記載の測距センサ。
  3.  前記受光部と前記複数の信号処理モジュールとの間に接続される選択回路を備え、
     前記制御部は、前記関心領域に対応する複数の画素と、前記関心領域に対応する複数の画素に対応した信号処理モジュールとを接続するように前記選択回路を切替制御する
    請求項2に記載の測距センサ。
  4.  前記受光素子は、アバランシェフォトダイオードである請求項3に記載の測距センサ。
  5.  前記測距処理部は、前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路を備え、
     前記選択回路は、前記受光部と前記サンプリング回路との間に配置される
    請求項4に記載の測距センサ。
  6.  前記測距処理部は、
     前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
     前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、を備え、
     前記選択回路は、前記サンプリング回路と前記ヒストグラム生成部との間に配置される請求項4に記載の測距センサ。
  7.  前記測距処理部は、
     前記画素ごとに出力される前記電気信号を、所定のサンプリング周波数でサンプリングして、サンプリング値を出力するサンプリング回路と、
     前記受光が行われることにより得られる複数の前記サンプリング値に基づいて、時間ごとの前記反射光の強さを示すヒストグラムを生成するヒストグラム生成部と、
     前記ヒストグラムにおけるピーク値を検出し、前記ピーク値から前記関心領域までの距離を算出する距離算出部と、
    を備える請求項4に記載の測距センサ。
  8.  前記受光部はアレイ型であり、
     複数の前記受光素子の出力端子を前記画素ごとに共通化する、
    請求項1に記載の測距センサ。
  9.  画素ごとまたはいくつかの画素により構成される画素群ごとに設けられ前記受光素子に電力を供給する複数の電源部をさらに備え、
     前記受光部と、前記測距処理部とが互いに異なる層に属する積層構造であり、
     前記制御部は、前記複数の画素から構成する面における関心領域以外の領域に属する電源部をオフ制御する、
    請求項1に記載の測距センサ。
  10.  前記制御部は、前記関心領域を複数の領域に分割し、前記撮像フレームごとに分割した領域を読み出すように前記受光部を制御する、
    請求項2に記載の測距センサ。
  11.  前記対象領域に対して光を照射する発光部を備え、
     前記制御部は、前記関心領域の判定結果に基づいて、前記光を前記関心領域のみに照射するように前記発光部を制御する、
    請求項2に記載の測距センサ。
  12.  前記測距処理部は、
     前記画素ごとに出力される前記電気信号を、アナログ信号からデジタル信号に変換するアナログ/デジタル変換部と、
     前記デジタル信号に基づいて、前記関心領域までの距離を算出する距離算出部と、
    を備える請求項2に記載の測距センサ。
  13.  前記受光部と前記アナログ/デジタル変換部との間に接続される選択回路を備え、
     前記制御部は、前記関心領域に対応する複数の画素と前記アナログ/デジタル変換部とを接続するように前記選択回路を切替制御する
    請求項12に記載の測距センサ。
  14.  前記制御部は、前記関心領域において読み出しラインを指定し、かつ前記撮像フレームの走査方向に重なっていない領域の複数の画素から出力される電気信号を同時に前記アナログ/デジタル変換部に入力する、
    請求項12に記載の測距センサ。
  15.  前記画素と前記アナログ/デジタル変換部との間は、前記撮像フレームのラインごとに異なる複数の信号線により接続され、
     前記制御部は、前記関心領域を複数の枠に分割して設定し、枠ごとに異なる信号線を用いて前記電気信号を前記アナログ/デジタル変換部に転送する、
    請求項12に記載の測距センサ。
  16.  前記複数の信号線と前記アナログ/デジタル変換部との間に接続されるスイッチを備え、
     前記制御部は、前記関心領域に合わせて前記スイッチをオン・オフ制御する、
    請求項15に記載の測距センサ。
  17.  測距処理部からの出力から関心領域を判定する関心領域判定部を備え、
     前記制御部は、前記関心領域判定部による前記関心領域の判定結果に基づいて、関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、
    請求項1から請求項16のいずれか1項に記載の測距センサ。
  18.  前記制御部は、外部装置から提供される関心領域の判定結果に基づいて、関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行する、
    請求項1から請求項16のいずれか1項に記載の測距センサ。
  19.  前記関心領域について前記撮像フレームの1ラインごとにヘッダ情報及びフッタ情報を付加する出力インタフェース部を備える、
    請求項2に記載の測距センサ。
  20.  行列状に配置され受光素子をそれぞれ有する複数の画素を備える受光部により対象領域からの反射光を受光し、電気信号に変換して出力することと、
     前記複数の画素によって形成される撮像フレームにおいて、測距処理部により前記画素ごとに出力される前記電気信号に基づいて、撮像フレーム中の関心領域までの距離を算出するための測距処理を実行することと、
     前記撮像フレームに対する前記画素ごとの前記距離に関するデータを出力することと、
     前記関心領域の判定結果に基づいて、関心領域以外の領域に属する電源部をオフ制御すること、及び前記関心領域に対応する前記電気信号を入力するように前記測距処理部を制御することの少なくとも一方を実行することと、を含む、
    距離測定方法。
PCT/JP2021/001281 2020-03-09 2021-01-15 測距センサ及び距離測定方法 WO2021181868A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020039697A JP7382858B2 (ja) 2020-03-09 2020-03-09 測距センサ
JP2020-039697 2020-03-09

Publications (1)

Publication Number Publication Date
WO2021181868A1 true WO2021181868A1 (ja) 2021-09-16

Family

ID=77669499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001281 WO2021181868A1 (ja) 2020-03-09 2021-01-15 測距センサ及び距離測定方法

Country Status (2)

Country Link
JP (1) JP7382858B2 (ja)
WO (1) WO2021181868A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145261A1 (ja) * 2022-01-26 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距装置の制御方法
WO2024095626A1 (ja) * 2022-10-31 2024-05-10 ソニーセミコンダクタソリューションズ株式会社 測距装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013046232A (ja) * 2011-08-24 2013-03-04 Nippon Hoso Kyokai <Nhk> 固体撮像装置
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
JP2018205288A (ja) * 2017-05-31 2018-12-27 ソニーセミコンダクタソリューションズ株式会社 距離計測装置、距離計測方法、およびプログラム
US10445896B1 (en) * 2016-09-23 2019-10-15 Apple Inc. Systems and methods for determining object range

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013046232A (ja) * 2011-08-24 2013-03-04 Nippon Hoso Kyokai <Nhk> 固体撮像装置
JP2016161438A (ja) * 2015-03-03 2016-09-05 株式会社デンソー 演算装置
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
US10445896B1 (en) * 2016-09-23 2019-10-15 Apple Inc. Systems and methods for determining object range
JP2018205288A (ja) * 2017-05-31 2018-12-27 ソニーセミコンダクタソリューションズ株式会社 距離計測装置、距離計測方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145261A1 (ja) * 2022-01-26 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距装置の制御方法
WO2024095626A1 (ja) * 2022-10-31 2024-05-10 ソニーセミコンダクタソリューションズ株式会社 測距装置

Also Published As

Publication number Publication date
JP2021139836A (ja) 2021-09-16
JP7382858B2 (ja) 2023-11-17

Similar Documents

Publication Publication Date Title
WO2021181868A1 (ja) 測距センサ及び距離測定方法
WO2020145035A1 (ja) 距離測定装置及び距離測定方法
JP2012217059A (ja) 固体撮像装置
US11513222B2 (en) Image sensors for measuring distance including delay circuits for transmitting separate delay clock signals
WO2022085555A1 (ja) 光電変換装置、光電変換システム
US20220003876A1 (en) Distance image obtaining method and distance detection device
US10818471B2 (en) Charged particle beam device
JP2003247809A (ja) 距離情報入力装置
US11243310B2 (en) Solid-state imaging device, solid-state imaging system, and method of driving the solid-state imaging device
US20210160446A1 (en) Imaging device and solid-state imaging element and imaging method used therein
EP4053501A1 (en) Object recognition system, signal processing method for object recognition system, and electronic device
JP7433819B2 (ja) 距離計測装置、及び距離計測方法
CN114829969A (zh) 飞行时间传感器、飞行时间***和***
US20230122042A1 (en) Device, system, mobile object, and apparatus
US20220011437A1 (en) Distance measuring device, distance measuring system, distance measuring method, and non-transitory storage medium
JPWO2019054102A1 (ja) 固体撮像装置、及びそれを備える撮像装置
WO2021187124A1 (en) Imaging with ambient light subtraction
US8614411B2 (en) 2D/3D dual-mode image sensing circuitry with a pull-down unit
CN113597534A (zh) 测距成像***、测距成像方法和程序
US20240210534A1 (en) Photoelectric conversion device and signal processing device
US20230086374A1 (en) Image capturing apparatus
WO2021181882A1 (ja) 撮像装置及び撮像方法
US20220115366A1 (en) Photoelectric conversion apparatus, photo-detection system, and movable body
US20230384432A1 (en) Distance image generation device and distance image generation method
US20230204727A1 (en) Distance measurement device and distance measurement method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767133

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21767133

Country of ref document: EP

Kind code of ref document: A1