WO2015182135A1 - センシングシステム及び運転支援システム - Google Patents

センシングシステム及び運転支援システム Download PDF

Info

Publication number
WO2015182135A1
WO2015182135A1 PCT/JP2015/002678 JP2015002678W WO2015182135A1 WO 2015182135 A1 WO2015182135 A1 WO 2015182135A1 JP 2015002678 W JP2015002678 W JP 2015002678W WO 2015182135 A1 WO2015182135 A1 WO 2015182135A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
subject
sensing system
light
information
Prior art date
Application number
PCT/JP2015/002678
Other languages
English (en)
French (fr)
Inventor
伊藤　順治
高橋　和也
幸司 下村
福島　奨
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201580027457.4A priority Critical patent/CN106415312B/zh
Priority to JP2016523151A priority patent/JP6731135B2/ja
Priority to CN201910573744.5A priority patent/CN110293973B/zh
Publication of WO2015182135A1 publication Critical patent/WO2015182135A1/ja
Priority to US15/347,083 priority patent/US11397248B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Definitions

  • This disclosure relates to a sensing system and a driving support system.
  • a conventional imaging device 140 disclosed in Patent Document 1 includes a control unit 141 that controls each unit in an integrated manner, and an IR light emitting unit 142 that emits IR (Infrared) light toward a subject.
  • a lens 143 that collects subject light and makes it incident on the solid-state image sensor 110, a solid-state image sensor 110, and a timing generator (TG) 144 that generates various drive pulses for driving the solid-state image sensor 110,
  • the imaging signal output from the solid-state imaging device 110 is signal-processed, and a signal processing unit 145 that calculates a visible light image and an IR image, and a visible light image and an IR image calculated by the signal processing unit 145 are recorded.
  • a memory 146 that stores data to calculate the signal from the solid-state imaging device 110.
  • Patent Document 1 visible light and infrared light can be received with a single plate configuration, a shutter device is not required, and the infrared light exposure time is independent of the visible light exposure time.
  • an imaging device 140 including the solid-state imaging device 110 that can be controlled.
  • the conventional imaging device 140 disclosed in Patent Document 1 discloses a so-called stand-alone system (a visible light image and a distance image (IR image) calculated by the solid-state imaging device 110 are recorded in the memory 146).
  • the sensing performance is low.
  • a sensing system and a driving support system that perform high sensing accuracy and set control are provided.
  • a sensing system is a sensing system that outputs a subject signal, and is different from a first physical object from the subject and the first physical object.
  • a calculation unit calculates a subject signal using a reference signal from a device on which the sensing system is mounted.
  • the device is a transport device
  • the reference signal includes (a) location information of the transport device, (b) cloud information, and (c) operation information of the transport device, or It may be at least one of operation information.
  • the cloud information is at least one of (b1) horizontal and / or vertical map information, and (b2) environmental information of a travel location or a planned travel location. There may be.
  • the operation information or operation information of the transport device includes (c1) information related to travel speed, travel acceleration, and stop of the transport device, (c2) operation information of the transport device, ( It may be at least one of c3) load balance information of transport equipment and (c4) information on load balance of transport equipment.
  • the operation information of the transport device is at least one of (c21) depression information of an accelerator pedal, a brake pedal, and the like, and (c22) transmission gear position information. Also good.
  • the sensing system selectively outputs the subject signal to the device and, when not outputting the subject signal, erases the subject signal, temporarily records, or temporarily You may memorize.
  • the calculation unit includes (d) detection and recognition of a subject or a specific subject, (e) a distance to the subject or the specific subject, (f) a size of the subject or the specific subject, It is also possible to calculate at least one subject signal of (g) the shape of the subject or the specific subject, (h) the speed of the subject or the specific subject, and (i) the calculation cannot be performed.
  • the first physical object may be visible light
  • the second physical object may be infrared light
  • the first physical target may be passive light from a subject or a specific subject
  • the second physical target may be active light from the subject or the specific subject. Good.
  • the sensing system may calculate the subject signal by time-of-flight calculation using active light.
  • the sensing system may calculate the subject signal by comparing the current frame using passive light with the previous frame.
  • the sensing system includes a signal generation unit that generates a light emission signal that instructs light irradiation and an exposure signal that instructs exposure, and a pulse light source that emits pulsed light according to the light emission signal
  • the sensor element may be a single-plate solid-state image sensor, and the solid-state image sensor may perform exposure and imaging according to an exposure signal.
  • the sensing system selects the first signal or the second signal according to the state of the sensing environment and calculates the subject signal, or the first signal or the second signal.
  • One of the signals may be corrected by the other of the first signal or the second signal, and the subject signal may be calculated.
  • the sensing system selects the first signal or the second signal based on the storage information or the record information of the sensing system and calculates the subject signal, or the first The subject signal may be calculated by correcting one of the signal and the second signal with the other of the first signal and the second signal.
  • an operation control system includes a sensing system according to an aspect of the present disclosure and a set control unit that controls an apparatus using a subject signal from the sensing system.
  • the sensing system may be a main sensing system including the operation control system, and the operation control system may include at least one sub-sensing system.
  • the sub-sensing system provides information when the main sensing system determines the output of the main subject signal when the sub-sensing system outputs the sub-subject signal. Also good.
  • the device is a transportation device, and the device is controlled by (a) automatic brake control while the device is traveling, and (b) automatic start / stop control when the device is stopped. , (C) emergency brake signal control, (d) automatic steering control, and (e) automatic driving operation control may be performed.
  • the operation control system may include an information acquisition unit for outputting an information signal.
  • FIG. 2 is a functional block diagram illustrating a schematic configuration example of a sensing system and a driving support system according to Embodiment 1.
  • FIG. 3 is a schematic mounting diagram illustrating a first mounting example of the sensing system and the driving support system according to the first embodiment.
  • FIG. 6 is a schematic mounting diagram illustrating a second mounting example of the sensing system and the driving support system according to the first embodiment.
  • FIG. 3 is a functional block diagram of a configuration example of a calculation unit mounted on the sensing system and the driving support system according to Embodiment 1.
  • FIG. It is a functional block diagram of another example of composition of an operation part carried in a sensing system and a driving support system concerning Embodiment 1.
  • FIG. 12 is a functional block diagram of still another configuration example of a calculation unit mounted on the sensing system and the driving support system according to the first embodiment.
  • FIG. 12 is a functional block diagram of still another configuration example of a calculation unit mounted on the sensing system and the driving support system according to the first embodiment.
  • 1 is a flowchart of a sensing system and a driving support system according to Embodiment 1.
  • FIG. 6 is a functional block diagram illustrating a schematic configuration example of a sensing system and a driving support system according to Embodiment 2.
  • FIG. 6 is a functional block diagram illustrating a schematic configuration example of a sensing system and a driving support system according to Embodiment 2.
  • FIG. 10 is a schematic mounting diagram illustrating a first mounting example of a sensing system and a driving support system according to a second embodiment.
  • FIG. 10 is a schematic mounting diagram illustrating a second mounting example of the sensing system and the driving support system according to the second embodiment. It is a flowchart figure of the sensing system and driving assistance system concerning Embodiment 2. It is a functional block diagram which shows schematic structure of the imaging device of a prior art.
  • the set (equipment) on which the sensing system or the driving support system (operation support system) according to the embodiment of the present disclosure is mounted will be described focusing on automobiles (transportation equipment).
  • the type is not limited to automobiles.
  • other transportation equipment bicycles, motorcycles, rail cars, airplanes, spacecrafts, etc.
  • transportation equipment and infrastructure equipment heavy equipment (excavators, bulldozers, etc.)
  • housing equipment It can be installed in any device such as a communication information terminal.
  • the sensing system or the driving support system (operation support system) focusing on the use for sensing outside the vehicle (transportation equipment). It can also be used for sensing for the purpose of preventing the driver (subject, specific subject) from falling asleep and preventing side-by-side driving).
  • FIG. 1 is a functional block diagram illustrating an outline of a basic configuration example of a sensing system 10 or a driving support system (operation support system) 30 according to the basic configuration of the embodiment.
  • the sensing system 10 includes a solid-state image sensor (image sensor, sensor element) 20 and a calculation unit 21.
  • the solid-state imaging device 20 performs imaging (sensing) using incident first light (first physical object) and second light (second physical object), and outputs a first imaging signal (first) from the first light.
  • a second imaging signal (second signal) from the second light is, for example, light, radio waves (radar), sound, pressure, heat, and the like.
  • the first light and the second light received by the solid-state imaging device 20 will be described below.
  • the first light may be normal subject light by outside light such as sunlight or indoor illumination light, in other words, may be radiated light emitted from the subject without being caused by the irradiation active light.
  • the second light may be reflected light (reflected active light) of irradiation active light from a pulse light source unit 25 described later. Details of passive light and reflected active light will be described later.
  • the first light and the second light are not limited to the above example.
  • the first light is passive light of visible region light
  • the second light is reflected active light of infrared region light, and the like. Also good.
  • the first physical object and the second physical object are not necessarily light, and may be heat or radar, for example.
  • FIGS. 2A to 2D are plan structural views of a configuration example of the solid-state imaging device 20 according to the basic configuration of the embodiment.
  • the solid-state imaging device 20 includes a pixel that receives the first light (first light pixel) and a pixel that receives the second light (second light pixel).
  • the solid-state imaging device 20 receives pixels that receive passive light as the first light pixels (hereinafter referred to as passive light pixels) and reflected active light as the first light pixels.
  • passive light pixels receive passive light as the first light pixels
  • active light pixel receives reflected active light as the first light pixels.
  • Each pixel hereinafter referred to as an active light pixel
  • FIG. 2C is a plan structural view showing a specific example of the solid-state imaging device of FIG. 2B.
  • the solid-state imaging device 20 includes a pixel provided with filters that transmit R (red), G (green), and B (blue) as passive light pixels, and an IR ( And a pixel provided with a filter that transmits infrared rays). That is, when the solid-state imaging device 20 shown in FIG. 2C is mounted on the sensing system 10, the active light pixel can receive IR light that is light other than visible light.
  • FIG. 2D is a plan structural view showing a modification of the solid-state imaging device of FIG. 2A.
  • the solid-state imaging device 20 is not configured as shown in FIGS. 2B and 2C, but as shown in FIG. 2D, a pixel that can be used as both a passive light pixel and an active light pixel (passive light active light combined pixel). May be provided. That is, the passive light pixel may further receive reflected active light, and the active light pixel may further receive passive light.
  • the solid-state imaging device 20 can receive passive light and reflected active light, the light receiving area (pixel area) in the solid-state imaging device 20 is increased, and high-sensitivity imaging (high-sensitivity imaging) can be performed.
  • an infrared cut filter may be mounted on each of the R, G, and B filters.
  • the R, G, and B filters may be composed of R + IR, G + IR, B + IR, and IR filters.
  • infrared light included in the passive light can also be received.
  • each of R + IR, G + IR, and B + IR pixels receives the R component and the partial infrared component, the G component and the partial infrared component, and the B component and the partial infrared component.
  • One imaging signal can be output. That is, in this case, a visible light image can be captured by receiving passive light with a passive light pixel, and for example, an infrared light image that can be imaged in the dark can also be captured.
  • the passive light pixels constituting the solid-state imaging device 20 may not include R, G, and B color filters.
  • the solid-state imaging device 20 can capture an image as a monochrome (BW) image.
  • the passive light pixel has a pixel structure that can form a color image without forming each filter (for example, a change in the depth of an impurity region constituting a pixel (photodiode), or a change in the type or concentration of an impurity). ).
  • the arrangement of the passive light pixels and the active light pixels, the pixel number ratio, and the light receiving area are not limited to the above examples.
  • the unit area of the active light pixel may be larger than the unit area of the passive light pixel, or the passive light pixel may have a larger number of pixels than the active light pixel.
  • the active light pixel has a pixel structure that can be exposed to reflected passive light without forming a filter (for example, a change in the depth of an impurity region constituting a pixel (photodiode), or a change in impurity type or concentration). , Etc.).
  • the calculation unit 21 includes a subject calculation unit 22 and a signal processing unit 23, and receives a reference signal (reference signal) from the set side. Details of the reference signal will be described later.
  • the subject computation unit 22 is a unit that performs computations for sensing a subject (or a specific subject that is important in the subject).
  • the subject calculation unit 22 calculates a subject signal as information about the subject using the first imaging signal, the second imaging signal, and the reference signal. Examples of information regarding the subject include (a) specific subject detection, that is, detection of a specific subject from the subject, and (b) subject recognition or specific subject recognition, that is, what kind of object is the subject or the specific subject. Recognition, (c) the distance to the specific subject (or subject), the size of the specific subject (or subject), the shape of the specific subject (or subject), the speed of the specific subject (or subject), etc.
  • the signal processing unit 23 is a part that performs signal processing before and after the calculation by the subject calculation unit 22. Details thereof will be described later.
  • the arithmetic unit 21 may be realized as an LSI (Large Scale Integration) in which some or all of the plurality of processing units are integrated circuits. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI Large Scale Integration
  • each component (the subject calculation unit 22 and the signal processing unit 23) of the calculation unit 21 may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. .
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the calculation unit 21 (subject calculation unit 22, signal processing unit 23) includes, as an example, (a) a configuration in which a DSP (digital signal processor) is combined with a general-purpose processor, and (b) a plurality of DSPs in the general-purpose processor.
  • a configuration in which an FPGA is combined, a configuration in which a dedicated accelerator is combined with a general-purpose processor, or the like can be used as appropriate.
  • the set control unit 40 of the driving support system 30 includes (a) an MCU (main control unit), (b) an ECU (electronic control unit) on which the MCU is mounted, (c ) Infotainment system (information system) equipped with navigation, location information service, voice communication, internet connection, multimedia playback such as music and video, news, e-mail access and search functions, etc.
  • MCU main control unit
  • ECU electronic control unit
  • Infotainment system information system equipped with navigation, location information service, voice communication, internet connection, multimedia playback such as music and video, news, e-mail access and search functions, etc.
  • the set control unit 40 receives a subject signal and performs set control based on the subject signal. Details of the control will be described later.
  • the description will focus on the case where passive light is used for the first light and active light (reflected active light) is used for the second light.
  • active light reflected active light
  • the selection of the first light and the second light is not limited to these. It is not limited.
  • FIG. 3 is a functional block diagram showing an outline of the sensing system 10 and the driving support system (operation support system) 30 according to the first embodiment.
  • FIG. 4A is a schematic mounting diagram showing a first mounting example of the sensing system and the driving support system according to Embodiment 1
  • FIG. 4B is a second mounting example of the sensing system and the driving support system according to Embodiment 1.
  • FIG. 4A is a schematic mounting diagram showing a first mounting example of the sensing system and the driving support system according to Embodiment 1
  • FIG. 4B is a second mounting example of the sensing system and the driving support system according to Embodiment 1.
  • the sensing system 10 includes a pulse light source unit 25 and an exposure / light emission control unit 24 in addition to the solid-state imaging device 20 and the calculation unit 21.
  • the sensing system 10 can be installed in the upper part of the windshield (near the rearview mirror), but is not limited thereto.
  • the sensing system 10 can be installed in, for example, a front grill or a front bumper. That is, although the details will be described later, the sensing system 10 according to the first embodiment is superior to a sensing system such as a stereo camera in size, and can be installed in various places without being limited in place. It has the advantage of being able to.
  • the pulse light source unit 25 irradiates the subject with light according to the timing of receiving the light emission signal generated by the exposure / light emission control unit 24.
  • the pulse light source unit 25 includes a drive circuit, a capacitor, a light emitting element, and the like, and emits pulsed light (hereinafter referred to as irradiation active light) by supplying the charge held in the capacitor to the light emitting element.
  • the irradiation active light is infrared light (IR light) including near infrared light.
  • IR light infrared light
  • various light emitting elements such as a laser diode and a light emitting diode (LED) can be used.
  • the light emitting element may not be a monochromatic light emitting element.
  • the light emitting element may selectively emit light (for example, infrared light) from a light emitting element that oscillates visible light. That is, by combining a plurality of types of light emitting elements such as a red light emitting element, a blue light emitting element, and a yellow light emitting element, selective light (for example, infrared light) is selected from the wavelength range of the oscillated light. ) Can also be irradiated.
  • Irradiation active light is not only light that is dispersed in various directions (so-called general light), but also laser light that has excellent directivity and convergence, and can keep the wavelength of the generated electromagnetic wave constant.
  • radar light can be irradiated as irradiation active light.
  • the pulse light source unit 25 includes a headlight 25a, 25b or fog lights 26a, 26b mounted on the vehicle when the driving support system 30 is mounted on an automobile. It can also be used with existing lights.
  • the exposure / light emission control unit 24 generates a light emission signal that instructs the pulse light source unit 25 to irradiate irradiation active light. Further, the exposure / light emission control unit 24 is the second light (second physical object), which is an exposure signal instructing exposure of reflected light (reflected active light) of irradiation active light, and first light (first light). Physical subject) and normal subject light from outside light such as sunlight or indoor illumination light, in other words, the first light that is emitted from the subject (or a specific subject) not caused by the irradiation active light An exposure signal for instructing exposure of (passive light) is generated. Thus, the exposure / light emission control unit 24 has a function as a signal generation unit that generates a light emission signal instructing light irradiation and an exposure signal instructing exposure.
  • the sensing system 10 includes a solid-state imaging device 20 that performs exposure and imaging according to an exposure signal, receives passive light from the subject, and reflects the first imaging signal and active irradiation light from the pulse light source unit 25 on the subject. The reflected active light thus received is received and a second imaging signal is output.
  • the reference signal or information signal includes, as an example of its content (information), (a) GPS (Global Positioning System) sensor or other set (car) location information, (b) cloud information (in other words, network, particularly the Internet Information (network information), and so-called big data (data (information) born by the spread of the Internet and the evolution of IT technology), whose characteristics are quantity, frequency (update speed), diversity (data (C) including the data represented by type)), and (c) a signal relating to operation / operation information of the set (automobile) itself.
  • GPS Global Positioning System
  • car location information
  • cloud information in other words, network, particularly the Internet Information (network information), and so-called big data (data (information) born by the spread of the Internet and the evolution of IT technology), whose characteristics are quantity, frequency (update speed), diversity (data (C) including the data represented by type)
  • C data including the data represented by type
  • the operation / operation information of the above (c) set (automobile) itself is, for example, (c1) information on travel speed, travel acceleration, and stop of the set (automobile) itself, (c2) accelerator pedal, brake pedal, etc. Depression information (driving operation information), (c3) position of transmission gear (transmission) (selection of forward travel gear, rearward travel gear, etc.), (c4) information such as trunk load capacity (that is, load balance of automobile) Information), etc.
  • the exposure / light emission control unit 24 may receive a control reference signal based on the information signal.
  • the subject computation unit 22 in the computation unit 21 is a unit that performs computation for subject (or specific subject) sensing, and from the first imaging signal and the second imaging signal from the solid-state imaging device 20, the specific subject (or , Subject) is calculated.
  • subject signals include (a) subject detection (hereinafter referred to as detection processing), (b) subject (or specific subject) recognition (hereinafter referred to as recognition processing), and (c) subject ( Or the distance to a specific subject), the size (height, width) of the subject (or specific subject), the shape of the subject (or specific subject), the speed of the subject (or specific subject), and the like.
  • the sensing system 10 can calculate the subject signal by calculation using the second imaging signal (reflected active light) alone.
  • the calculation method there is a TOF (time of flight) method.
  • the active light in the solid-state imaging device 20 is reflected in two patterns at different timings of the first exposure signal and the second exposure signal as the exposure signal with respect to the light emission signal as reflected active light from the measurement object.
  • the distance to the measurement object (subject) can be calculated based on the ratio of the amounts of light exposed by the light pixels.
  • the subject can be exposed multiple times in accordance with the timing indicated by the exposure signal generated by the exposure / light emission control unit 24, and an imaging signal corresponding to the sum of the multiple exposure amounts can be output.
  • exposure is performed so as to include all of the reflected light from the measurement object by the first exposure signal, and the reflected light from the measurement object is delayed with respect to the light emission timing by the second exposure signal. Exposure is performed so that the exposure amount increases. Further, in order to detect an offset component such as background light, the light emission signal is stopped, and exposure is performed under the same conditions as the first exposure signal and the second exposure signal.
  • the light emission signal and the first exposure signal are repeatedly output a plurality of times, and then the light emission signal and the second exposure signal are output. Repeatedly output the same number of times, then stop the light emission signal, and repeatedly output the same number of exposure signals under the same conditions as the first exposure signal and the second exposure signal.
  • the series of timings may be set as one set, and after a plurality of sets are repeatedly output, the accumulated exposure amount may be output and the distance to the subject may be calculated by (Equation 1).
  • the sensing system 10 of the present embodiment can also use arithmetic processing other than the TOF method.
  • the sensing system 10 can use a pattern irradiation method in which irradiation active light is applied to a subject and arithmetic processing is performed using distortion of reflected active light.
  • the signal processing unit 23 in the calculation unit 21 is a unit that performs signal processing for the purpose of improving the accuracy of subject (or specific subject) sensing and performance and reducing the signal amount, and includes a first imaging signal, a second imaging signal, For example, signal processing shown below as an example is performed from a reference signal, a processing signal, a primary subject signal, and a processing signal, which will be described later.
  • the imaging information is processed in high definition or clear (image enlargement / high definition processing, super-resolution processing), (e) taking multiple images while changing the exposure, By synthesizing them, an image with a wide dynamic range (high dynamic range image) with little overexposure and underexposure is calculated, and / or the created imaging information (image) is tone-mapped (as a method, the contrast of the whole image) Image with a standard dynamic range by reducing the dynamic range by the method of lowering the image and the method of reducing the local contrast of the image) So-called HDR (high dynamic range) processing, (f) processing for reducing extra portions from imaging information and reducing the total signal amount, so-called compression processing, (g) selection processing for first imaging signal and second imaging signal (one Part selection),
  • the detection process and the recognition process can be performed by either the subject calculation unit 22 or the signal processing unit 23.
  • lossless compression and lossy compression for example, MPEG, JPEG
  • MPEG for example, MPEG, JPEG
  • lossless compression for example, MPEG, JPEG
  • FIG. 5A to 5D are functional block diagrams of a configuration example of a calculation unit mounted on the sensing system and the driving support system according to Embodiment 1.
  • FIG. 5A to 5D are functional block diagrams of a configuration example of a calculation unit mounted on the sensing system and the driving support system according to Embodiment 1.
  • the calculation unit 21 includes a signal processing unit 23 and signal processing units 23a and 23b.
  • the signal processing unit 23a may be mounted on the preceding stage of the subject calculation unit 22 as shown in FIG. More preferred.
  • a signal processing unit 23b may be mounted on the subsequent stage of the subject calculation unit 22 as shown in FIG. 5A.
  • the subject calculation unit 22, the signal processing unit, and the arrangement are not limited to FIG. 5A or FIG. 5B.
  • the signal processing units 23a and 23b may be arranged at the front and rear stages of the subject processing unit. In this case, calculation optimization can be performed more precisely and accurately.
  • a primary subject signal is formed by the subject calculation unit 22 using the processing signal processed by the signal processing unit 23, and then returned to the signal processing unit 23 to perform signal processing again (further. These may be repeated), and the subject signal may be output. In this case, it is possible to achieve high accuracy in calculation and downsizing of the calculation unit 21 at a high level.
  • calculation unit 21 performs calculation by selecting (or complementing) the most suitable first imaging signal and second imaging signal under the operating environment conditions (the driving situation in a car or the transition situation from stop to start).
  • the first usage is a method of selecting the first imaging signal or the second imaging signal by day and night.
  • the first imaging signal is mainly used in this embodiment.
  • the second imaging signal is mainly used. Thereby, sensing can be performed accurately regardless of day and night.
  • the second usage is a method of selecting an image pickup signal or an image pickup signal according to the weather or environmental conditions to be handled.
  • the second imaging signal is mainly used when receiving strong sunlight such as evening or when it is raining, and the first imaging signal is mainly used in other environments. Thus, sensing can be performed with high accuracy in any weather and situation.
  • the third usage is a method of selecting the first imaging signal or the second imaging signal according to the distance to the subject. That is, the second image pickup signal is mainly used at a short distance where a wide-angle image is likely to be obtained, and the first image pickup signal is mainly used at a middle distance. As a result, sensing can be performed with high accuracy regardless of the distance to the subject.
  • the fourth usage is a method of selecting the first imaging signal or the second imaging signal according to the moving speed of the transportation device (for example, automobile) on which the present system is mounted or the subject.
  • the transportation device for example, automobile
  • the fifth usage is a method for measuring the distance to a subject (or a specific subject) when a transportation device (for example, a car) on which the present system is mounted starts running (starting forward or starting backward). And the first imaging signal is mainly used.
  • the first imaging signal or the second imaging signal is selected according to the state of the ranging environment (sensing environment).
  • the present invention is not limited to this.
  • the other signal can be used for correction according to the state of the environment.
  • the speed of the transport device is a low speed of, for example, 30 km / h
  • either the calculation result of the second imaging signal or the calculation result of the first imaging signal is calculated.
  • the final distance may be calculated using the supplemental information.
  • the second image pickup signal and the first image pickup signal may be used for each frame at medium speeds of 30 to 100 km / h, and the second image pickup signal may be used at high speeds of, for example, 100 km / h or higher. Thereby, it is possible to measure the distance with high accuracy at any distance to the subject.
  • the calculation unit 21 outputs a subject signal to the set control unit 40, and the set control unit 40 performs set control.
  • this subject signal includes, for example, a result that the imaging signal cannot be sufficiently obtained and the calculation cannot be performed, as will be described later.
  • FIG. 6 is a flowchart of the sensing system and the driving support system according to the first embodiment.
  • the sensing system 10 receives a reference signal from the set side (S10).
  • the solid-state imaging device 20 calculates a first imaging signal and a second imaging signal based on the first light and the second light, respectively (S11).
  • the calculation unit 21 performs subject calculation processing and signal processing based on the first imaging signal and the second imaging signal to calculate a subject signal (S13). Note that the calculation unit 21 may directly receive the reference signal and calculate the subject signal using the reference information.
  • the set control as described above is performed using the subject signal (S16).
  • the subject signal For example, when the distance, size, and shape to the subject can be grasped by calculation and the subject is detected, automatic brake operation, emergency brake signal operation, automatic handling operation, automatic acceleration operation, etc. are performed using the subject signal.
  • the subject signal is not limited to the case where the distance, size and shape to the subject can be grasped and the subject can be detected / recognized. Signal).
  • a signal (subject signal) indicating that the distance to the subject cannot be calculated is output, and the set (automobile) side Performs set control such that a warning sound or a display is generated to indicate to the driver that the field of view is poor and that the subject signal cannot be calculated by the sensing system 10.
  • the determination whether to output the calculated subject signal to the subsequent stage is No (that is, if it is determined that the signal output is not useful as information for performing vehicle control and the subject signal is not output) ( No in S14), and in the first case, the signal is deleted (or temporarily accumulated (recorded or stored)) in the sensing system 10, but the recording / storage capacity is insufficient due to the calculation of a new subject signal, etc.
  • the old signal is deleted by overwriting the signal, or the information is temporarily stored, but the signal is deleted after a predetermined time elapses).
  • the determination as to whether the calculated subject signal is output to the subsequent stage is No (No in S14) and in the second case, for example, (a) a new reference signal is input (acquired) and then imaged again. And newly acquiring the first imaging signal and the second imaging signal, re-execution of subject calculation processing and / or signal processing, and (b) new first imaging signal and second imaging by a new imaging operation. Signal acquisition, again subject calculation processing, signal processing re-execution, (c) new reference signal input (acquisition), subject calculation processing, signal processing re-execution, (d) again One of subject calculation processing and signal processing re-execution is performed.
  • the present embodiment while avoiding an increase in the size and cost of the sensing system 10, it is possible to perform sensing and sensing computation (subject signal of a subject signal) with higher accuracy than a general sensing system (in other words, a stand-alone system). Calculation).
  • the subject signal by calculating a subject signal by appropriately using a plurality of types of imaging signals (a first imaging signal by reflected active light, a second imaging signal by passive light) and a reference signal, for example, In an automobile, the subject signal can always be calculated with high accuracy even when the environment changes while driving.
  • a plurality of types of imaging signals a first imaging signal by reflected active light, a second imaging signal by passive light
  • a reference signal for example, In an automobile
  • the solid-state imaging device 20 that outputs the first imaging signal and the second imaging signal is the same, that is, a single-plate solid-state image sensor.
  • An image sensor 20 is used. Therefore, the imaging centers (optical center, optical axis center), etc. of each imaging signal are the same, the phase difference between the imaging signals is small, and the accuracy of synchronization of the imaging signals is high, so the first imaging signal and the second imaging signal It is possible to calculate a subject signal with higher compatibility and correlation with calculation results based on each of the signals, and with higher accuracy.
  • the sensing system 10 includes the calculation unit 21 and uses reference signals from the set side, in other words, reference signals based on information from various sensors (such as GPS sensors) and the cloud. .
  • reference signals based on information from various sensors (such as GPS sensors) and the cloud.
  • the vehicle equipped with the system when it is determined from the reference information that the vehicle equipped with the system is traveling on a pedestrian vehicle road having a narrow road width (in other words, the vehicle equipped with the system is relatively A wide range of subjects or specific subjects (for example, pedestrians, bicycles, animals, obstacles that have entered the roadway, in addition to the vehicle ahead) Etc.) can be output, and the set control unit 40 can perform set control suitable for the situation.
  • the sensing system 10 can realize continuous imaging and continuous calculation without applying a heavy load to the calculation unit 21 by selectively outputting a subject signal.
  • the calculation result (subject signal) from the calculation unit 21 is selectively sent (at an appropriate timing) to the set side control unit, so that the calculation load is reduced on the set side (set control unit 40). It is possible to achieve high accuracy of calculation, high speed calculation, high speed processing, and low power consumption.
  • the set control unit 40 (integrated circuit) is highly integrated (for example, the number of general-purpose processors (CPUs) is increased) in order to perform numerous controls.
  • the entire set leads to an increase in power consumption and an increase in cost, that is, there is a problem that the load becomes extremely large.
  • the present embodiment can solve this problem.
  • FIGS. 7A and 7B are functional block diagrams illustrating schematic configuration examples of the sensing system and the driving support system according to Embodiment 2.
  • the driving support system 30 according to the present embodiment shown in FIGS. 7A and 7B is subordinate to the main sensing system 10a. And a sensing system 10b.
  • the main sensing system 10a may be a system different from FIG.
  • the sub-sensing system 10b shown in FIGS. 7A and 7B includes, for example, (a) a process for detecting a specific subject from subjects, (b) a process for recognizing a subject (or a specific subject), and (c) a specific subject (or subject). ), Distance, size, shape and speed are calculated.
  • the sub-sensing system 10b can be the same as the main sensing system 10a. However, the sub-sensing system 10b is different from the main sensing system 10a with an emphasis on function narrowing, cost reduction, downsizing, etc. (an example) For example, a millimeter wave radar, a sensing system using a laser radar, or the like can be used.
  • 7A and 7B show one sub-sensing system 10b, but a plurality of sub-sensing systems 10b may be installed.
  • FIGS. 8A and 8B The details will be described with reference to FIGS. 8A and 8B.
  • FIG. 8A is a schematic mounting diagram showing a first mounting example of the sensing system and the driving support system according to Embodiment 2
  • FIG. 8B is a second mounting example of the sensing system and the driving support system according to Embodiment 2.
  • FIG. 8A is a schematic mounting diagram showing a first mounting example of the sensing system and the driving support system according to Embodiment 2
  • FIG. 8B is a second mounting example of the sensing system and the driving support system according to Embodiment 2.
  • FIG. 8A is a schematic mounting diagram showing a first mounting example of the sensing system and the driving support system according to Embodiment 2
  • FIG. 8B is a second mounting example of the sensing system and the driving support system according to Embodiment 2.
  • the main sensing system 10a is installed for use in forward sensing, which is most important in traveling, and the sub-sensing system 10b is installed so as to sense the side and rear of the vehicle. Thereby, sensing can be performed in all directions of the vehicle.
  • the sub-sensing system 10b may be installed to perform sensing in the same direction as the main sensing system 10a. Thereby, sensing accuracy in the same direction (forward direction) can be performed with higher accuracy.
  • the installation of the main sensing system 10a and the sub-sensing system 10b is not limited to the above, and can be installed in other places, or the installations of FIGS. 8A and 8B can be combined.
  • FIG. 7A shows a case where the main sensing system 10a is normal and abnormal, and the sub-sensing system 10b is normal, and FIG. 7B shows a case where the sub-sensing system 10b is abnormal.
  • the non-ordinary time is when the device (transportation device) may collide with an obstacle.
  • the sub-sensing system 10b normally does not output the calculation result to the set control unit 40.
  • the sub-sensing system 10b side outputs a sub-subject signal to the set side (set control unit 40) when subject information that is not normal and should be noted is obtained.
  • the set control is performed when the set is an automobile (transport equipment) (particularly when used as a system for sensing the front), for example, (a) there is an obstacle during the stop. Regardless, if the brake pedal is mistaken and the accelerator is depressed, etc., automatic start and stop, (b) emergency brake signal operation to visually indicate that the following vehicle is suddenly braked, (c ) If it is judged that the automatic brake alone is not enough, set control such as automatic steering operation is performed.
  • the set operation is not limited to that described above.
  • FIG. 9 is a flowchart of the sensing system and the driving support system according to the second embodiment.
  • the main sensing system 10a receives a reference signal from the set side (S21).
  • the first imaging signal and the second imaging signal are calculated by the solid-state imaging device 20 based on the first light and the second light, respectively (S22).
  • the first imaging signal and / or the second imaging signal is output to the calculation unit 21 (S23).
  • the calculation unit 21 performs subject calculation processing and signal processing based on the first imaging signal and the second imaging signal to calculate a main subject signal (S24). Note that the calculation unit 21 may directly receive the reference signal and calculate the main subject signal using the reference information.
  • the sub-sensing system 10b calculates a sub subject signal (S31).
  • S32 it is determined whether the sub-subject signal is to be output in the subsequent stage (that is, if the sub-subject signal is not output because it is not useful information for performing the set control even if the sub-subject signal is output). In this case (No in S32), the sub-subject signal is erased (or information is temporarily stored, but the old signal is overwritten by sub-subject signal overwriting due to insufficient recording / storage capacity due to calculation of a new sub-subject signal. Is deleted or information is temporarily stored, but the signal is deleted after a certain period of time, etc.) (S35).
  • the main sensing system 10a determines whether to output the main subject signal to the subsequent stage in consideration of the output determination signal (S25). However, this determination does not require waiting for an output determination signal to be input.
  • the set control is performed as described above using the sub subject signal or the main subject signal (S27).
  • the risk avoidance can be performed while considering the situation in the direction (forward) monitored by the main sensing system 10a. it can.
  • the driving support system can perform set control with respect to danger in a plurality of directions.
  • the set control appropriately uses a case where only the sub subject signal is used and a case where the sub subject signal and the main subject signal are used, and the risk of the direction (backward) monitored by the sub sensing system 10b is determined.
  • danger avoidance set control
  • the case where only the sub subject signal is used and the case where the sub subject signal and the main subject signal are used are properly used, that is, the main subject signal and the sub subject signal are not always output.
  • the set side set control unit 40
  • the sub-sensing system 10b may receive a reference signal from the set control unit 40, similarly to the main sensing system 10a. In this case, the sub-sensing system 10b can make a determination more suitable for the driving environment.
  • sensing system and the driving support system according to the present invention are not limited to the above embodiment.
  • Examples and various devices incorporating the sensing system and the driving support system according to the present embodiment are also included in the present invention.
  • the sensing system and the driving support system according to the present disclosure can realize high-precision sensing of an object to be measured, and are useful for mounting on transportation equipment, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

　高いセンシング精度とセット制御を行うセンシングシステム等を提供する。被写体信号を出力するセンシングシステムであって、被写体からの第１の物理的対象及び当該第１の物理的対象と異なる第２の物理的対象をセンシングする固体撮像素子と、第１の物理的対象からの第１信号と第２の物理的対象からの第２信号を用いて被写体信号を算出する演算部とを備え、演算部は、センシングシステムが搭載される機器からの参照信号を用いて被写体信号を算出する。

Description

センシングシステム及び運転支援システム
　本開示は、センシングシステム及び運転支援システムに関する。
　被写体情報を習得する様々なセンシングシステム（撮像装置）が提案されている。
　例えば特許文献１に開示された従来技術の撮影装置１４０は、図１０に示すように、各部を統括的に制御する制御部１４１と、被写体に向けてＩＲ（Ｉｎｆｒａｒｅｄ）光を発するＩＲ発光部１４２と、被写体光を集光して固体撮像素子１１０に入射させるレンズ１４３と、固体撮像素子１１０と、固体撮像素子１１０を駆動するための各種の駆動パルスを発生するタイミングジェネレータ（ＴＧ）１４４と、固体撮像素子１１０から出力された撮像信号を信号処理して、可視光画像とＩＲ画像とを算出する信号処理部１４５と、信号処理部１４５によって算出された可視光画像とＩＲ画像とを記録するメモリ１４６とから構成されている。
　特許文献１によれば、単板構成にて可視光および赤外光を受光することができるとともに、シャッタ装置を必要とせず、赤外光の露光時間を、可視光の露光時間とは独立して制御を行うことができる固体撮像素子１１０を備える撮像装置１４０を提供することができる。
特開２００８－８７００号公報
　しかしながら、特許文献１に開示された従来技術の撮像装置１４０は、いわゆるスタンドアロン型のシステム（固体撮像素子１１０で算出された可視光画像と距離画像（ＩＲ画像）はメモリ１４６に記録されると開示している）であり、センシング性能が低いという問題を有している。
　上記問題に鑑み、高いセンシング精度とセット制御を行うセンシングシステム及び運転支援システムを提供する。
　上記問題を解決するために、本開示の一態様に係るセンシングシステムは、被写体信号を出力するセンシングシステムであって、被写体からの第１の物理的対象及び当該第１の物理的対象と異なる第２の物理的対象をセンシングするセンサ素子と、第１の物理的対象に基づき算出された第１信号と第２の物理的対象に基づき算出された第２信号を用いて被写体信号を算出する演算部とを備え、演算部は、センシングシステムが搭載される機器からの参照信号を用いて被写体信号を算出する。
　また、本開示の一態様に係るセンシングシステムにおいて、機器は、輸送機器であり、参照信号は、（ａ）輸送機器の位置情報、（ｂ）クラウド情報、及び（ｃ）輸送機器の動作情報または操作情報、の少なくとも１つであるとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、クラウド情報は、（ｂ１）水平方向及び／または垂直方向の地図情報、及び（ｂ２）走行箇所または走行予定箇所の環境情報、の少なくとも１つであるとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、輸送機器の動作情報または操作情報は、（ｃ１）輸送機器の走行速度、走行加速度、及び停止に関する情報、（ｃ２）輸送機器の操作情報、（ｃ３）輸送機器の荷重バランス情報、並びに（ｃ４）輸送機器の荷重バランスに関する情報、の少なくとも１つであるとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、輸送機器の操作情報は、（ｃ２１）アクセルペダル、ブレーキペダル等の踏込み情報、及び（ｃ２２）トランスミッションのギヤ位置情報、の少なくとも１つであるとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、被写体信号を選択的に機器に出力し、被写体信号を出力しない場合は、当該被写体信号の消去、または、一時的記録あるいは一時的記憶を行うとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、演算部は、（ｄ）被写体または特定被写体の検出及び認識、（ｅ）被写体または特定被写体までの距離、（ｆ）被写体または特定被写体の寸法、（ｇ）被写体または特定被写体の形状、（ｈ）被写体または特定被写体の速度、及び（ｉ）演算実行不可、の少なくとも１つの被写体信号を算出するとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、演算部は、（ｊ）ノイズ減算処理、（ｋ）映像拡大高精細化処理または超解像処理、（ｌ）ハイダイナミックレンジ処理、（ｍ）信号圧縮処理、及び（ｎ）被写体信号の一部またはすべての出力判断処理、の少なくとも１つの信号処理を行うとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、第１の物理的対象は可視光であり、第２の物理的対象は赤外光であるとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、第１の物理的対象は被写体または特定被写体からのパッシブ光であり、第２の物理的対象は被写体または特定被写体からのアクティブ光であるとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、アクティブ光を用いたタイムオブフライト（Ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ）演算により被写体信号を算出するとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、パッシブ光を用いた現在のフレームと前のフレームを比較することにより被写体信号を算出するとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部と、発光信号に従ってパルス光を照射するパルス光源部と、を備え、センサ素子は、単板の固体撮像素子であり、当該固体撮像素子は露光信号に従って露光および撮像を行うとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、センシング環境の状態に応じ、第１信号もしくは第２信号を選択して被写体信号を算出する、または、第１信号もしくは第２信号の一方を第１信号もしくは第２信号の他方により補正して被写体信号を算出するとしてもよい。
　また、本開示の一態様に係るセンシングシステムにおいて、センシングシステムは、当該センシングシステムの記憶情報または記録情報に基づき、第１信号もしくは第２信号を選択して被写体信号を算出する、または、第１信号もしくは第２信号の一方を第１信号もしくは第２信号の他方により補正して被写体信号を算出するとしてもよい。
　また、本開示の一態様に係る運転制御システムは、本開示の一態様に係るセンシングシステムと、センシングシステムからの被写体信号を用いて機器の制御を行うセット制御部を備える。
　また、本開示の一態様に係る運転制御システムにおいて、センシングシステムは運転制御システムを備えたメインセンシングシステムであり、運転制御システムは少なくとも１つのサブセンシングシステムを備えるとしてもよい。
　また、本開示の一態様に係る運転制御システムにおいて、サブセンシングシステムは、当該サブセンシングシステムがサブ被写体信号を出力する場合、メインセンシングシステムがメイン被写体信号の出力を判断する際に情報を与えるとしてもよい。
　また、本開示の一態様に係る運転制御システムにおいて、機器は輸送機器であり、機器の制御は、（ａ）機器が走行中の自動ブレーキ制御、（ｂ）機器が停車中の自動発進停止制御、（ｃ）緊急ブレーキシグナル制御、（ｄ）自動ステアリング制御、及び（ｅ）自動運転操作制御、の少なくとも１つを行うとしてもよい。
　また、本開示の一態様に係る運転制御システムにおいて、運転制御システムは、情報信号を出力するための情報入手部を備えるとしてもよい。
　本開示に係るセンシングシステム及び運転支援システムによれば、高いセンシング精度とセット制御を実現することができる。
実施の形態の基本構成に係るセンシングシステム及び運転支援システムの基本構成例の概略を示す機能ブロック図である。 実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。 実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。 実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。 実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。 実施の形態の基本構成に係るセンシングシステム及び運転支援システムに搭載される固体撮像素子（イメージセンサ）の構成例の平面構造図である。 実施の形態１に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。 実施の形態１に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図である。 実施の形態１に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。 実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部の一構成例の機能ブロック図である。 実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部の他の一構成例の機能ブロック図である。 実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部のさらに他の一構成例の機能ブロック図である。 実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部のさらに他の一構成例の機能ブロック図である。 実施の形態１に係るセンシングシステム及び運転支援システムのフローチャート図である。 実施の形態２に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。 実施の形態２に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。 実施の形態２に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図である。 実施の形態２に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。 実施の形態２に係るセンシングシステム及び運転支援システムのフローチャート図である。 従来技術の撮像装置の概略構成を示す機能ブロック図である。
　以下、本開示の実施の形態に係るセンシングシステム、運転支援システム（操作支援システム）について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定するものではない。
　また、以下、説明する際に使用した、一例として（ａ）、（ｂ）、（ｃ）等の表現は、少なくとも１つの場合、少なくとも２つを組み合せた場合、等の意味を含むものである。
　また、以下の説明では、本開示の実施の形態に係るセンシングシステムまたは運転支援システム（操作支援システム）が搭載されるセット（機器）は、自動車（輸送機器）を中心に説明するが、セットの種類は自動車に限定されるものではなく、例えば、その他の輸送機器（自転車、オートバイ、鉄道車両、飛行機、宇宙機等）、輸送機器とインフラ設備、重機（ショベルカー、ブルドーザー等）、住宅設備機器、通信情報端末、等のあらゆる機器に搭載することが可能である。
　また、以下の説明では、本開示の実施の形態に係るセンシングシステムまたは運転支援システム（操作支援システム）は、自動車（輸送機器）の車外センシング用途を中心に説明するが、車室内センシング用途（例えば、運転者（被写体、特定被写体）の居眠り防止、わき見運転防止を目的とするセンシング、等）に用いることも可能である。
　（実施の形態の基本構成）
　図１は、実施の形態の基本構成に係るセンシングシステム１０または運転支援システム（操作支援システム）３０の基本構成例の概略を示す機能ブロック図である。
　図１に示すように、センシングシステム１０は、固体撮像素子（イメージセンサ、センサ素子）２０と、演算部２１とを備えている。
　固体撮像素子２０は、入射する第１光（第１の物理的対象）及び第２光（第２の物理的対象）により撮像（センシング）を行い、第１光から第１撮像信号（第１信号）を、第２光から第２撮像信号（第２信号）を出力する。ここで、物理的対象とは、一例として、光、電波（レーダー）、音、圧力、熱、等である。
　また、固体撮像素子２０が受光する第１光及び第２光の一例を以下に説明する。（ａ）第１光及び第２光は異なる波長領域光であっても、例えば、第１光は可視領域の光であっても、第２光は可視以外領域（一例として、赤外領域の波長光）であってもよい。（ｂ）第１光は、太陽光、室内照明光などの外光による通常の被写体光であっても、言い換えると、照射アクティブ光に起因せず被写体から発せられる放射光であってもよい。また、第２光は、後述するパルス光源部２５からの照射アクティブ光の反射光（反射アクティブ光）であってもよい。なお、パッシブ光、反射アクティブ光の詳細については後述する。
　なお、第１光及び第２光は、上記の一例に限定されるものではなく、例えば、第１光は可視領域光のパッシブ光、第２光は赤外領域光の反射アクティブ光、等としてもよい。また、第１の物理的対象及び第２の物理的対象は必ずしも光である必要はなく、例えば熱またはレーダー等であってもよい。
　次に、図２Ａ～図２Ｄは、実施の形態の基本構成に係る固体撮像素子２０の構成例の平面構造図である。
　図２Ａに示すように固体撮像素子２０は、第１光を受光する画素（第１光用画素）と、第２光を受光する画素（第２光用画素）をそれぞれ備えている。
　更に、図面を用いて、第１画素でパッシブ光を受光し、第２画素で反射アクティブ光を受光する場合の詳細を説明する。すなわち、図２Ｂに示すように、固体撮像素子２０は、第１光用画素としてパッシブ光を受光する画素（以下、パッシブ光用画素と呼ぶ）と、第１光用画素として反射アクティブ光を受光する画素（以下、アクティブ光用画素と呼ぶ）をそれぞれ備えるとしてもよい。
　また、図２Ｃは、図２Ｂの固体撮像素子の具体的な一例を示す平面構造図である。図２Ｃに示すように、固体撮像素子２０は、パッシブ光用画素としてＲ（赤）、Ｇ（緑）、Ｂ（青）を透過する各フィルタを設置した画素と、アクティブ光用画素としてＩＲ（赤外線）を透過するフィルタを設置した画素とを備えるとしてもよい。つまり、図２Ｃに示す固体撮像素子２０をセンシングシステム１０に搭載した場合は、アクティブ光用画素は可視光以外の光であるＩＲ光を受光することができる。
　なお、図２Ｄは、図２Ａの固体撮像素子の変形例を示す平面構造図である。本実施の形態では、固体撮像素子２０は、図２Ｂ及び図２Ｃの構成ではなく、図２Ｄに示すようにパッシブ光用画素とアクティブ光用画素とが兼用できる画素（パッシブ光アクティブ光兼用画素）を備えていてもよい。すなわち、パッシブ光用画素はさらに反射アクティブ光を受光してもよく、アクティブ光用画素は、さらにパッシブ光を受光してもよい。この場合は、固体撮像素子２０は、パッシブ光および反射アクティブ光を受光できるので、固体撮像素子２０内の受光面積（画素面積）が大きくなり、高感度撮像（高感度撮影）ができる等の利点を有する。
　また、パッシブ光用画素では、Ｒ、Ｇ、Ｂの各々の画素にはフィルタ透過により、パッシブ光を受光する。つまり、Ｒ、Ｇ、Ｂの各々の画素にＲ成分、Ｇ成分、Ｂ成分として第１撮像信号を出力する。一方、ＩＲ画素は反射アクティブ光を受光し、第２撮像信号を出力する。
　なお、パッシブ光用画素において、Ｒ、Ｇ、Ｂの各フィルタには赤外線カットフィルタを搭載してもよい。
　また、パッシブ光用画素において、Ｒ、Ｇ、Ｂ各フィルタは、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、ＩＲの各フィルタで構成されるとしてもよい。この場合は、パッシブ光に含まれる赤外光も受光することができる。言い換えると、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲの各々の画素にＲ成分と上記一部の赤外成分、Ｇ成分と上記一部の赤外成分、Ｂ成分と上記一部の赤外成分を受光し、第１撮像信号を出力することができる。つまり、この場合は、パッシブ光をパッシブ光用画素で受光することで、可視光画像を撮像できると共に、例えば、暗闇の中でも画像撮像可能な赤外光画像を撮像することもできる。
　なお、図２Ｅに示すように、固体撮像素子２０を構成するパッシブ光用画素は、Ｒ、Ｇ、Ｂの各色フィルタが構成されていないとしてもよい。この場合、固体撮像素子２０は、モノクローム（ＢＷ）画像として撮像することができる。
　また、パッシブ光用画素は、各フィルタを形成せずにカラー画像ができる画素構造（例えば、画素（フォトダイオード）を構成する不純物領域深さの変更、または、不純物の種類あるいは濃度の変更、等）としてもよい。
　また、パッシブ光用画素、アクティブ光用画素の配置、画素数比率及び受光面積は、上記の例に限定されるものはない。例えば、アクティブ光用画素の単位面積は、パッシブ光用画素の単位面積より大きくしてもよいし、パッシブ光用画素はアクティブ光用画素よりも画素数を多くしてもよい。
　また、アクティブ光用画素は、フィルタを形成せずに反射パッシブ光が露光できる画素構造（例えば、画素（フォトダイオード）を構成する不純物領域の深さの変更、または、不純物の種類あるいは濃度の変更、等）としてもよい。
　再び、図１を用いて、センシングシステム１０が備える演算部２１の詳細を説明する。
　演算部２１は、被写体演算部２２と信号処理部２３とを備え、参照信号（リファレンス信号）をセット側より受け取る。なお、参照信号の詳細については後述する。
　被写体演算部２２は、被写体（または被写体のなかで重視する特定被写体）のセンシングのための演算を行う部である。被写体演算部２２は、第１撮像信号、第２撮像信号、参照信号を用いて、被写体に関する情報として被写体信号を算出する。被写体に関する情報としては、例えば（ａ）特定被写体検出、つまり、被写体の中から特定被写体の検出、（ｂ）被写体認識または特定被写体認識、つまり被写体または特定被写体がどのような物体等であるかの認識、（ｃ）特定被写体（または被写体）までの距離、特定被写体（または被写体）の寸法、特定被写体（または被写体）の形状、特定被写体（または被写体）の速度の算出など、等である。
　なお、特定被写体は一つとは限らず、複数及び／または複種類であってよい。
　また、被写体演算部２２では、被写体信号を算出するため、第１撮像信号、第２撮像信号をそれぞれ単独で被写体信号の演算および算出することができると共に、各状況に合わせ、被写体信号を演算および算出することができる。各状況の一例としては、（ａ）第１撮像信号を補完するため第２撮像信号の一部を使用する場合、（ｂ）第２撮像信号を補完するため第１撮像信号の一部を使用する場合、（ｃ）第１撮像信号、第２撮像信号のそれぞれ一部を使用する場合、等がある。なお、第１撮像信号、第２撮像信号の使い方の詳細については、後述する。
　信号処理部２３は、被写体演算部２２の演算の前後に、信号処理を行う部分である。なお、その詳細については後述する。
　なお、演算部２１は、複数の処理部の一部または全ては集積回路であるＬＳＩ（Ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、演算部２１の各構成要素（被写体演算部２２、信号処理部２３）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（セントラルプロセッシングユニット）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。言い換えると、演算部２１（被写体演算部２２、信号処理部２３）は、一例として（ａ）汎用プロセッサにＤＳＰ（デジタルシグナルプロセッサ）を組み合せる構成、（ｂ）汎用プロセッサに複数個のＤＳＰを備えるＦＰＧＡを組み合せる構成、（ｃ）汎用プロセッサに専用アクセラレータを組み合せた構成、等を適宜用いることができる。
　運転支援システム３０のセット制御部４０は、運転支援システム３０が自動車用途の場合は、一例として（ａ）ＭＣＵ（メインコントロールユニット）、（ｂ）ＭＣＵを搭載するＥＣＵ（エレクトロニックコントロールユニット）、（ｃ）ナビゲーション、位置情報サービス、音声通信、インターネット接続のほか、音楽や動画などのマルチメディア再生、ニュース、電子メールなどへのアクセス・検索機能を備えたインフォテイメントシステム（Ｉｎｆｏｔａｉｎｍｅｎｔ　ｓｙｓｔｅｍ）、等である。
　セット制御部４０は、被写体信号を受け取り、その被写体信号に基づいて、セット制御を行う。なお、その制御の詳細については後述する。
　以上が実施の形態の基本構成であり、以下に実施の形態の更なる詳細を説明する。なお、後述する実施の形態では、第１光にパッシブ光、第２光にアクティブ光（反射アクティブ光）を用いた場合を中心に説明するが、第１光、第２光の選択はこれらに限定されるものではない。
　（実施の形態１）
　以下、図面を参照しながら、実施の形態１に係るセンシングシステム１０及び運転支援システム（操作支援システム）３０の構成及び動作について、これまでに説明した基本構成から異なる点を中心に詳細を説明する。
　図３は、実施の形態１に係るセンシングシステム１０及び運転支援システム（操作支援システム）３０の概略を示す機能ブロック図である。図４Ａは実施の形態１に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図であり、図４Ｂは実施の形態１に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。
　図３に示すように、実施の形態１に係るセンシングシステム１０は、固体撮像素子２０と、演算部２１とに加えて、パルス光源部２５と、露光／発光制御部２４とを備える。
　ここで、センシングシステム１０は、例えば図４Ａに示すように、フロントガラス内上部（バックミラー付近）に設置することができるが、それに限定されるものではない。センシングシステム１０は、例えば、フロントグリル内、フロントバンパー内、等に設置することも可能である。つまり、詳細は後述するが実施の形態１に係るセンシングシステム１０は、ステレオカメラ等のセンシングシステムよりも小型化に優れており、設置場所を限定されることなく、様々な場所に設置することができるという利点を有している。
　パルス光源部２５は、露光／発光制御部２４で発生する発光信号を受信するタイミングに従って被写体に対して光照射を行う。また、パルス光源部２５は、駆動回路、コンデンサ及び発光素子等を有し、コンデンサに保持した電荷を発光素子へ供給することでパルス光（以下、照射アクティブ光と呼ぶ）を発する。
　ここで、例えば、照射アクティブ光は、近赤外光を含む赤外光（ＩＲ光）である。また、発光素子としては、レーザーダイオードや発光ダイオード（ＬＥＤ）等の様々な発光素子を用いることができる。発光素子は、単色の発光素子でなくてもよい。発光素子は、例えば、可視光を発振する発光素子から選択的に光（例えば、赤外光）を照射してもよい。つまり、赤色の発光素子、青色の発光素子、黄色の発光素子等による複数種類色の発光素子を組み合わせることにより、発振される光の波長領域の中から、選択的な光（例えば、赤外光）を照射することもできる。
　なお、照射アクティブ光は、様々な方向に分散する光（いわゆる、一般的な光）の他に、指向性や収束性に優れ、また、発生する電磁波の波長を一定に保つことができるレーザー光またはレーダー光を照射アクティブ光として照射することもできる。
　また、パルス光源部２５は、例えば図４Ｂに示すように、運転支援システム３０が搭載されるセットが自動車の場合は、車両に搭載されたヘッドライト２５ａ、２５ｂ、あるいはフォグライト２６ａ、２６ｂ等の既存ライトと兼用させることもできる。
　露光／発光制御部２４は、パルス光源部２５に対して照射アクティブ光の照射を指示する発光信号を発生する。さらに、露光／発光制御部２４は、第２光（第２の物理的対象）であり照射アクティブ光の反射光（反射アクティブ光）の露光を指示する露光信号と、第１光（第１の物理的対象）であり太陽光、室内照明光などの外光による通常の被写体光であり、言い換えると、第１光であり照射アクティブ光に起因せず被写体（または特定被写体）から発せられる放射光（パッシブ光）の露光を指示する露光信号とを発生する。このように、露光／発光制御部２４は、光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部としての機能を有する。
　また、センシングシステム１０は、固体撮像素子２０を備え、露光信号に従って露光および撮像し、被写体からのパッシブ光を受光して第１撮像信号と、パルス光源部２５からの照射アクティブ光が被写体で反射した反射アクティブ光を受光して第２撮像信号を出力する。
　また、演算部２１は、セット側（図３ではセット制御部４０）から参照信号を受け取る。この参照信号は、セット側に搭載されている情報入手部（各種センサ等）４１からの情報信号を元にしてセット側で作成され、センシング環境の状況（センシング環境の変化）を表す信号である。
　また、参照信号または情報信号は、その内容（情報）の一例として（ａ）ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサ等からセット（自動車）の位置情報、（ｂ）クラウド情報（言い換えると、ネットワーク、特にインターネットから得られる情報（ネットワーク情報）であり、いわゆる、ビッグデータ（インターネットの普及とＩＴ技術の進化によって生まれたデータ（情報）であり、その特性は量、頻度（更新速度）、多様性（データの種類）により表されるデータ）も含む）、（ｃ）セット（自動車）自体の動作／操作情報、等に関する信号である。
　また、上記の（ｂ）通信回線（インターネット回線）から得られるクラウド情報は、例えば、（ｂ１）最新更新の地図情報（なお、この地図情報は、平面上（水平方向）の情報と共に、地図上の物体（例えば、ビル、トンネルなどの建築物等）の高さ方向（垂直方向）に関する情報も含む）、（ｂ２）走行箇所（または走行予定箇所）の逐次変化する情報（時系列性、リアルタイム性のある情報）であり、例えば、走行経路上の工事情報、渋滞情報等、（ｂ３）一般道、高速道との違いや、道幅等までの含む高精細（地図）情報、（ｂ４）ＧＰＳセンサからの情報と組み合せることによる地図上のセット（自動車）位置情報、等である。
　また、上記の（ｃ）セット（自動車）自体の動作／操作情報は、例えば、（ｃ１）セット（自動車）自体の走行速度、走行加速度、停止に関する情報、（ｃ２）アクセルペダル、ブレーキペダル等の踏込み情報（運転操作情報）、（ｃ３）変速ギヤ（トランスミッション）の位置（前進走行用ギヤ、後方走行用ギヤの選択等）、（ｃ４）トランク荷物積載量などの情報（つまり、自動車の荷重バランスに関する情報）、等に関する信号である。
　なお、情報信号（及び、情報信号の情報を元とする参照信号）はこれらに限定されるものではない。また、本実施の形態は、情報信号に基づく制御用参照信号を露光／発光制御部２４が受け取ってもよい。
　また、演算部２１内の被写体演算部２２は、被写体（または特定被写体）センシングのための演算を行う部であり、固体撮像素子２０からの第１撮像信号、第２撮像信号から特定被写体（または、被写体）に関する被写体信号を算出する。ここで、被写体信号の一例としては、（ａ）被写体の検出（以下、検出処理と呼ぶ）、（ｂ）被写体（または特定被写体）の認識（以下、認識処理と呼ぶ）、（ｃ）被写体（または特定被写体）までの距離、被写体（または特定被写体）の寸法（高さ、幅）、被写体（または特定被写体）の形状、被写体（または特定被写体）の速度、等である。
　また、本実施の形態のセンシングシステム１０は、第２撮像信号（反射アクティブ光）を単独に用いた演算により、被写体信号を算出できる。その演算方法の一例として、ＴＯＦ（タイムオブフライト）方式がある。ＴＯＦ方式によれば、発光信号に対して、測定対象物からの反射アクティブ光を、露光信号として第一の露光信号と第二の露光信号の異なるタイミングの２パターンで固体撮像素子２０内のアクティブ光用画素で露光したそれぞれの光量の比に基づいて測定対象物（被写体）までの距離を算出することができる。言い換えると、被写体に対して、露光／発光制御部２４で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応した撮像信号を出力することができる。
　例えば、第一の露光信号によって、測定対象物からの反射光の全てを含むように露光を行い、第二の露光信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号、第二の露光信号と同じ条件の露光を行う。
　そして、第一の露光信号による露光量の総和Ｓ１、第二の露光信号による露光量の総和Ｓ０、背景光の露光量の総和ＢＧ、照射する直接光の発光信号の時間幅Ｔ０、光速度ｃの各値から被写体までの距離Ｌを、下記の（式１）を用いて算出する。
Figure JPOXMLDOC01-appb-M000001
　また、１画面における発光信号、第一の露光信号、第二の露光信号のタイミングでは、発光信号と第一の露光信号とを複数回繰り返し出力し、その後発光信号と第二の露光信号とを同じ回数だけ繰り返し出力し、その後発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号を同じ回数だけ繰り返し出力する。この一連のタイミングを１セットとし、これを複数セット繰り返し出力した後、蓄積された露光量を出力して被写体までの距離を（式１）により算出するようにしてもよい。
　なお、本実施の形態のセンシングシステム１０は、ＴＯＦ方式以外の演算処理を用いることも可能である。一例として、センシングシステム１０は、照射アクティブ光を被写体に当てて、反射アクティブ光のひずみで、演算処理を行うパターン照射方式、等を用いることも可能である。
　さらに、本実施の形態のセンシングシステム１０は、第１撮像信号（パッシブ光）を単独に用いた演算により、被写体信号を算出できる。この演算方法の一例としては、第１撮像信号による連続画像を撮影して、その連続画像の信号（画像撮像信号）を演算部２１に出力し、演算部２１では、現在のフレーム（画像）と前のフレーム（画像）を比較し、被写体信号の算出を行う方法がある。
　このように、参照信号と、第１撮像信号及び／または第２撮像信号を用いて、操作環境条件（自動車では運転状況、または停止から始動への移行状況）において最も適した演算方法により、被写体信号の演算（算出）を行うことができる。
　また、演算部２１内の信号処理部２３は、被写体（または特定被写体）センシング精度及び性能向上や信号量低減を目的とした信号処理を行う部であり、第１撮像信号、第２撮像信号、参照信号と共に、後述する処理信号または一次被写体信号、処理信号より、例えば以下に一例として示す信号処理を行う。
　信号処理の一例としては、（ａ）検出処理、（ｂ）認識処理、（ｃ）ノイズとなりうる信号を減らすノイズ減算処理、（ｄ）低解像度の撮像を単数、あるいは他の複数の撮像を元に推定した値を使って、撮像情報（撮像画像）を高精細やクリアにする処理（映像拡大高精細化処理、超解像処理）、（ｅ）露出を変えつつ複数枚の撮像を行い、それらを合成することで白飛びや黒つぶれの少ない幅広いダイナミックレンジを持つ画像（ハイダイナミックレンジイメージ）を算出し、及び／または作成した撮像情報（画像）をトーンマッピング（手法としては画像全体のコントラストを下げる方法や、画像の局所的なコントラストを下げる方法）によりダイナミックレンジを縮小することで標準的なダイナミックレンジを持つ画像の算出を行う、いわゆるＨＤＲ（ハイダイナミックレンジ）処理、（ｆ）撮像情報から余分な部分を減らし、全体の信号量を減らす処理、いわゆる圧縮処理、（ｇ）第１撮像信号、第２撮像信号の選択処理（一部選択も含む）、（ｈ）被写体信号を後段（後述するセット制御部４０）に出力するかの判断処理、（ｉ）被写体信号を後段（後述するセット制御部４０）に出力する場合に、複種類の情報（特定被写体の種類、特定被写体までの距離、特定被写体の寸法、特定被写体の形状、特定被写体の速度、等）から、その一部またはすべてを出力するかの選択判断処理などである。
　なお、信号処理は上述したものに限定されるものではない。
　また、本実施の形態では、上述したように検出処理と認識処理は、被写体演算部２２と信号処理部２３のいずれでも行うことができる。
　また、上記（ｆ）の圧縮処理については、可逆圧縮、非可逆圧縮（一例として、ＭＰＥＧ，ＪＰＥＧ）を用いることができる。特に、演算部２１からセット制御部４０へ非被写体信号の転送速度を重視する場合は可逆圧縮を用いることがより好ましく、一方、後述するセット制御部４０の信号処理負荷の低減を重視する場合は非可逆圧縮がより好ましい。
　図５Ａ～図５Ｄは、実施の形態１に係るセンシングシステム及び運転支援システムに搭載される演算部の構成例の機能ブロック図である。
　演算部２１は、信号処理部２３を信号処理部２３ａ、２３ｂを搭載している。
　演算部２１は、上記（ｆ）、（ｇ）、（ｈ）及び（ｉ）の信号処理を重視する場合は、図５Ａに示すように、被写体演算部２２の後段に信号処理部２３ｂを搭載することがより好ましい。一方、演算部２１は、上記（ｃ）、（ｄ）、（ｅ）及び（ｆ）の信号処理を重視する場合は、図５Ｂに示すように被写体演算部２２の前段に信号処理部２３ａを搭載することがより好ましい。
　更に、演算部２１において、上記（ｆ）の信号処理において被写体演算部２２の負荷低減を重視すれば、図５Ｂのように、被写体演算部２２の前段に信号処理部２３ａに搭載されることがより好ましい。一方、演算部２１において、後段のセット（セット制御部４０）の負荷低減を重視すれば、図５Ａのように、被写体演算部２２の後段に信号処理部２３ｂを搭載するとしてもよい。
　なお、被写体演算部２２と信号処置部と配置は、図５Ａまたは図５Ｂに限定されるものではない。例えば、図５Ｃのように、被写体処理部の前段および後段に信号処理部２３ａ、２３ｂを配置するとしてもよい。この場合は、演算の最適化を、より細やかに、正確に実施できる。
　また、図５Ｄに示すように、信号処理部２３で処理された処理信号を用いて、被写体演算部２２で一次被写体信号を形成し、さらに信号処理部２３に戻して再度信号処理を行い（更に、これらを繰り返す場合もある）、被写体信号を出力するようにしてもよい。この場合は、演算の高精度化、演算部２１の小型化等が高い次元で実現できる。
　また、演算部２１は、操作環境条件（自動車では運転状況、または停止から始動への移行状況）において、最も適した第１撮像信号、第２撮像信号の選択（または補完）により演算を行う。
　この演算方法の使い分け（使い方）の一例について説明する。
　（ａ）第１の使い方は、昼夜により、第１撮像信号または第２撮像信号を選択する方法であり、例えば、昼間などの場合、本実施の形態では第１撮像信号を主に用いる。一方、夜間などで明瞭な可視画像撮像ができない場合は、第２撮像信号を主に用いる。これにより、昼夜を問わずに正確にセンシングを行うことができる。
　（ｂ）第２の使い方は、扱われる天候や環境条件などにより、画像撮像信号または撮像信号を選択する方法である。例えば、夕方等の強い日差しを受けている場合、雨が降っている場合などは第２撮像信号を主に用い、それ以外の環境では、主に第１撮像信号を用いる。これによって、どのような天候、状況でも高い精度でセンシングを行うことができる。
　（ｃ）第３の使い方は、被写体までの距離により、第１撮像信号または第２撮像信号を選択する方法である。すなわち、広角画像となりやすい近距離では第２撮像信号を主に用い、中遠距離では主として第１撮像信号を主に用いる。これにより、どのような被写体までの距離の場合でも高い精度でセンシングを行うことができる。
　（ｄ）第４の使い方は、本システムが搭載された輸送機器（例えば、自動車）、または被写体の動き速度によって、第１撮像信号または第２撮像信号を選択する方法である。例えば輸送機器の速度が、例えば１００ｋｍ／ｈ以上の高速度では第２撮像信号を主に用いるのが、より好ましい。
　（ｅ）第５の使い方は、本システムが搭載された輸送機器（例えば、自動車）が停止中から走行発進（前方発進または後方発進）する際は、被写体（または特定被写体）までの距離測定精度を優先し、第１撮像信号を主に用いる。
　なお、本実施の形態では、上記測距環境（センシング環境）の状態に応じて第１撮像信号または第２撮像信号を選択したが、それに限定されない。例えば、一方の信号による演算結果を正確にするため、環境の状態に応じてもう片方の信号を補正に用いることも可能である。
　例えば、（ｄ）第４の使い方の詳細として、輸送機器の速度が、例えば３０ｋｍ／ｈまでの低速度では第２撮像信号の演算結果と第１撮像信号の演算結果のいずれかの演算結果を補完情報として用いて最終的な距離を算出するとしてもよい。また、例えば３０～１００ｋｍ／ｈまでの中速度では第２撮像信号と第１撮像信号とをフレームごとに使い分け、例えば１００ｋｍ／ｈ以上の高速度では第２撮像信号を用いるとしてもよい。これにより、どのような被写体までの距離でも高い精度で測距することができる。
　（ｆ）第６の使い方としては、画像撮像信号（第１撮像信号）を用い被写体（または特定被写体）のエッジ線部を取得して検出処理（いわゆる、エッジ検出処理）を行う際に圧縮処理もあわせて行った結果、画像の輪郭（被写体のエッジ）がぼやけてエッジ線部の情報が十分に得られない場合、ＴＯＦ信号（第２撮像信号）を補完信号として（言い換えると、圧縮画像を用いた演算に対してＴＯＦによる演算を補完演算として）用いる場合である。これにより、被写体検知及びに被写体認識の精度を落とすことなく、信号量削減（信号圧縮、データ圧縮）を行うことができる。
　また、演算部２１は、被写体信号をセット制御部４０へ出力し、セット制御部４０はセット制御を行う。なお、この被写体信号は、例えば、後述するように撮像信号を十分に得ることができず、演算ができなかった結果も被写体信号として含まれるものである。
　また、センシングシステム１０から出力した被写体信号によるセット制御（セット操作）は、運転支援システム３０が搭載されるセットが自動車の場合、例えば（ａ）走行中に前方に障害物がある場合に衝突を回避する自動ブレーキ操作、（ｂ）停止中に障害物があるにも係らず、ブレーキペダルと間違えてアクセルペダルを踏んでいるとの場合に車両発進を止める発進停止操作、（ｃ）後続車両に対し、急ブレーキを行っていることを視覚で示すために緊急ブレーキシグナル操作、（ｄ）自動ブレーキのみでは間に合わないと判断した場合の自動ステアリング操作、（ｅ）車道の白線等に関する被写体信号を用い、運転者がステアリング操作等を行わずに走行できる、いわゆる自動運転操作、等などのセット制御を行う。なお、セット操作は上述したものに限定されるものではない。
　次に、図６を用いて、実施の形態１に係るセンシングシステム１０のプロセスフローについて説明する。ここで、図６は、実施の形態１に係るセンシングシステム及び運転支援システムのフローチャート図である。
　始めに、センシングシステム１０は、セット側より参照信号を受け取る（Ｓ１０）。
　次に、固体撮像素子２０は、第１光及び第２光それぞれに基づき、第１撮像信号及び第２撮像信号を算出する（Ｓ１１）。
　次に、第１撮像信号及び／または第２撮像信号を演算部２１に出力する（Ｓ１２）。
　次に、演算部２１は、第１撮像信号及び第２撮像信号に基づき、被写体演算処理及び信号処理を行い、被写体信号を算出する（Ｓ１３）。なお、演算部２１が参照信号を直接受け取り、その参照情報も用いて被写体信号を算出する場合もある。
　次に、算出した被写体信号を後段に出力するか判断を行う（Ｓ１４）。
　Ｓ１４において、算出した被写体信号を後段に出力するかの判断がｙｅｓの場合（つまり、被写体信号を出力すると判断した場合）は（Ｓ１４でＹｅｓ）、被写体信号をセット側に出力する（Ｓ１５）。
　次に、セット側では、被写体信号を用いて上述したようなセット制御を行う（Ｓ１６）。例えば、演算により被写体まで距離、寸法及び形状が把握でき、被写体が検知できた場合、被写体信号を使用して、自動ブレーキ操作、緊急ブレーキシグナル操作、自動ハンドリング操作、自動加速操作、等を行う。
　なお、被写体信号は、被写体まで距離、寸法及び形状が把握でき、被写体検出／認識ができた場合に限らず、被写体まで距離、寸法及び形状が演算できず、被写体検出／認識できない等の情報（信号）も含まれる。この場合、例えば、大雨、霧などの天候悪化、非常に混雑した場所での走行中の場合、被写体までの距離等を算出できないことを表す信号（被写体信号）を出力し、セット（自動車）側は、運転者に対して、視界が悪いこと、センシングシステム１０で被写体信号が算出できないような状態であることを示す警告音またはディスプレイ表示等が生じるようなセット制御を行う。
　以上で、被写体信号を後段に出力するかの判断がｙｅｓの場合は終了である。
　なお、算出した被写体信号を後段に出力するか判断がＮｏ（つまり、信号出力しても自動車制御を行うための情報として有益ではないとし、被写体信号を出力しないと判断した場合）である場合（Ｓ１４でＮｏ）、かつ、第１の場合、センシングシステム１０内で信号消去（または、一時的に情報を蓄積（記録あるいは記憶）するが、新たな被写体信号の算出により記録／記憶容量が不足等により、信号上書きにより旧信号を消去、または、一時的に情報を蓄積したが、一定の時間経過等により信号消去）などを行う。
　以上で、被写体信号を後段に出力するかの判断がＮｏの場合かつ第１の場合は終了である。
　また、算出した被写体信号を後段に出力するか判断がＮｏである場合（Ｓ１４でＮｏ）、かつ、第２の場合、例えば（ａ）新たに参照信号の入力（獲得）したうえで、再度撮像を行い、新たに第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理及び／または信号処理の再実行、（ｂ）新たな撮像動作による新たな第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理、信号処理の再実行、（ｃ）新たな参照信号の入力（獲得）した上で、再度、被写体演算処理、信号処理の再実行、（ｄ）再度、被写体演算処理、信号処理の再実行、のいずれかの動作を行う。
　その後、被写体信号を出力するかの再度判断を行いｙｅｓとなった場合は、被写体信号を出力し、その被写体信号に基づきセット制御を行う。
　以上で、被写体信号を後段に出力するかの判断がＮｏの場合かつ第２の場合は終了である。
　以上のように、図面を用いて説明した本実施の形態のセンシングシステム１０は、以下のような効果を備えている。
　本実施の形態によれば、センシングシステム１０の装置大型化、高コスト化を避けつつ、一般的なセンシングシステム（言い換えると、スタンドアロン型システム）よりも、高精度なセンシング及びセンシング演算（被写体信号の算出）を行うことができる。
　また、本実施の形態では、複数類の撮像信号（反射アクティブ光による第１撮像信号、パッシブ光による第２撮像信号）と参照信号を適宜用いて、被写体信号の算出を行うことにより、例えば、自動車では走行中は逐次変わる環境の変化に対しても、常に高精度に被写体信号を算出することができる。
　特に、図２Ａ～図２Ｅで示したように、本実施の形態のセンシングシステム１０では、第１撮像信号と第２撮像信号とを出力する固体撮像素子２０が同じであり、つまり単板の固体撮像素子２０を用いている。そのため、各撮像信号の撮像中心（光学中心、光軸中心）等が同じであり、撮像信号間の位相差が少なく、撮像信号の同期などの精度が高いため、第１撮像信号と第２撮像信号とのそれぞれに基づく演算結果との互換性及び相関性が高く、より精度の高い被写体信号を算出することができる。
　また、本実施の形態では、センシングシステム１０は、演算部２１を備え、セット側からの参照信号、言い換えると、各種センサ（ＧＰＳセンサ、等）やクラウド等の情報を元とする参照信号を用いる。これにより、時間軸で逐次変化する環境状況（渋滞情報、工事情報）に対しても、常に最も適した撮像、演算を高精度に行うことができ、あらゆる場合でも高精度なセット制御（運転制御、操作制御）を行うことができる。
　例えば、本実施の形態のセンシングシステム１０を搭載する車両である本システム搭載車両は、高速道路を走行していることを参照信号（ＧＰＳセンサ、クラウド情報等と組み合せることによる地図上のセット（自動車）位置情報、セット（自動車）自体の動作／操作情報としての速度情報等）から判断した場合、前方物として高速移動を行っている前方車両に重視する被写体信号を算出し、その被写体信号をセット制御部４０に送ることで、セット制御部４０はその状況に適したセット制御を行うことができる。
　また、その他の例としては、本システム搭載車両は、参照情報から、例えば道幅が狭いような歩行者車両兼用道路を走行していると判断した場合は（言い換えると、本システム搭載車両は比較的低速で走行していることとなる）、被写体までが比較的近距離な範囲において多様な被写体または特定被写体（例えば、前方車両に加えて歩行者、自転車、動物、車道に入り込んできた障害物、など）を検出及び認識を重視した被写体信号を出力することができ、セット制御部４０はその状況に適したセット制御を行うことができる。
　また、本実施の形態では、信号処理部で信号処理を行うことにより、常に最適な撮像、演算を高精度に行うことができ、あらゆる環境条件でも高精度なセット制御（運転制御、操作制御）を行うことができる。
　また、本実施の形態では信号処理部で信号処理を行うことにより、被写体信号がギガビットオーダーの容量となり高速データ転送が必要となることを防ぐことが可能となる。
　また、本実施の形態では、センシングシステム１０は、被写体信号を選択的に出力することにより、演算部２１に対して大きな負荷をかけることなく連続撮像、連続演算を実現できる。
　さらに、本実施の形態では、演算部２１からの演算結果（被写体信号）は選択的に（適切なタイミングで）セット側制御部に送るため、セット側（セット制御部４０）に演算負荷を低減でき、演算の高精度化、高速演算、高速処理、低電力消費化を行うことができる。
　特に、自動車用途では、近年では、数多くの制御を行うためにセット制御部４０（集積回路）を高集積化（一例として、汎用プロセッサ（ＣＰＵ）の数を増やしていくこと）することになる。このようになると、セット全体で、消費電力の増加やコスト増加につながることになり、つまり、極めて負荷が大きくなるという問題を有するが、本実施の形態はこの問題を解決することができる。
　（実施の形態２）
　以下、図面を参照しながら、実施の形態２に係るセンシングシステム（測距撮像システム）の構成及び動作について、基本構成から異なる点、及び、これまでの実施の形態で説明した内容との相違点を中心に詳細を説明する。
　図７Ａ及び図７Ｂは、実施の形態２に係るセンシングシステム及び運転支援システムの概略構成例を示す機能ブロック図である。
　図１の基本構成から異なる点、及び、図３との構成との違いを中心に説明すると、図７Ａ及び図７Ｂに示す本実施の形態に係る運転支援システム３０は、メインセンシングシステム１０ａとサブセンシングシステム１０ｂとを備える。
　図７Ａ及び図７Ｂに示すメインセンシングシステム１０ａは、図３で示したセンシングシステム１０と基本構成は同じである。但し、プロセスフローについては一部異なる点があり、この詳細は後述する。なお、メインセンシングシステム１０ａは、図３とは異なるシステムであってもよい。
　一方、図７Ａ及び図７Ｂのサブセンシングシステム１０ｂは、例えば（ａ）被写体の中から特定被写体の検出処理、（ｂ）被写体（または特定被写体）の認識処理、（ｃ）特定被写体（または、被写体）に関する距離、寸法、形状及び速度の算出、等を行う。
　なお、このサブセンシングシステム１０ｂは、メインセンシングシステム１０ａと同じもの用いることができるが、機能の絞込み、低コスト化、小型化等を重視してメインセンシングシステム１０ａとは異なる方式のセンシングシステム（一例として、ミリ波レーダー、レーザーレーダーを用いたセンシングシステム、等）を用いることもできる。
　さらに、図７Ａ及び図７Ｂでは、１台のサブセンシングシステム１０ｂを示したが、複数台のサブセンシングシステム１０ｂを設置することもできる。
　その詳細について、図８Ａ及び図８Ｂを用いて説明する。
　図８Ａは実施の形態２に係るセンシングシステム及び運転支援システムの第１の搭載例を示す概略搭載図であり、図８Ｂは実施の形態２に係るセンシングシステム及び運転支援システムの第２の搭載例を示す概略搭載図である。
　図８Ａに示すように、メインセンシングシステム１０ａは、走行において最も重視する前方センシングに用いるために設置され、サブセンシングシステム１０ｂは、車両の側面、後方をセンシングするように設置される。これによって、車両の全方向についてセンシングを行うことができる。
　一方、図８Ｂに示すように、サブセンシングシステム１０ｂをメインセンシングシステム１０ａと同じ方向のセンシングを行うために設置してもよい。これにより、同じ方向（前方方向）におけるセンシング精度がより高精度で行うことができる。
　なお、メインセンシングシステム１０ａとサブセンシングシステム１０ｂとの設置は、上記に限定されるものではなく、その他の箇所に設置することもでき、または、図８Ａと図８Ｂの設置を組み合わせることもできる。
　再び、図７Ａ及び図７Ｂを用いて説明する。図７Ａは、メインセンシングシステム１０ａが通常及び非通常時であり、サブセンシングシステム１０ｂが通常時である場合を表し、図７Ｂは、サブセンシングシステム１０ｂが非通常時である場合を表している。なお、非通常時とは、機器（輸送機器）が障害物と衝突する恐れがある場合、等である。
　図７Ａに示すように、サブセンシングシステム１０ｂは、通常時、演算結果をセット制御部４０に非出力とする。一方、図７Ｂに示すように、サブセンシングシステム１０ｂ側は、非通常時でありかつ注意すべき被写体情報を得た場合、セット側（セット制御部４０）にサブ被写体信号を出力する。
　また、サブ被写体信号が出力された場合、セット制御は、セットが自動車（輸送機器）の場合（特に、前方をセンシングするシステムとして用いた場合）、例えば（ａ）停止中に障害物があるにも係らず、ブレーキペダルを間違えてアクセルを踏んでいる等の場合は自動発進停止、（ｂ）後続車両に対し、急ブレーキを行っていることを視覚で示すために緊急ブレーキシグナル動作、（ｃ）自動ブレーキのみでは間に合わないと判断した場合、自動ステアリング操作、等などのセット制御を行う。ただし、セット操作は上述したものに限定されるものではない。
　なお、上記制御では、場合によっては、前方車両と衝突することも考えられるが、本実施の形態ではその回避することができる。その詳細について図９を用いて説明する。
　図９は、実施の形態２に係るセンシングシステム及び運転支援システムのフローチャート図である。
　以下、図９を用いて、実施の形態２に係るセンシングシステム１０のプロセスフローについて説明する。
　まず、メインセンシングシステム１０ａは、セット側より参照信号を受け取る（Ｓ２１）。
　次に、固体撮像素子２０により、第１光及び第２光それぞれに基づき、第１撮像信号及び第２撮像信号を算出する（Ｓ２２）。
　次に、第１撮像信号及び／または第２撮像信号を演算部２１に出力する（Ｓ２３）。
　次に、演算部２１は、第１撮像信号及び第２撮像信号に基づき、被写体演算処理及び信号処理を行い、メイン被写体信号を算出する（Ｓ２４）。なお、演算部２１が参照信号を直接受け取り、その参照情報も用いてメイン被写体信号を算出する場合もある。
　ここで、メインセンシングシステム１０ａと同タイミングに行うサブセンシングシステム１０ｂについて説明する。
　まずサブセンシングシステム１０ｂはサブ被写体信号を算出する（Ｓ３１）。
　次に、サブ被写体信号をセット側に出力するかを判断する（Ｓ３２）。なお、サブセンシングシステム１０ｂでは、Ｓ３３においてメイン被写体信号の出力停止を指示するどうかに係らず、サブ被写体信号をセット側（セット制御部４０）に出力する。
　Ｓ３２において、サブ被写体信号を後段に出力するか判断がＮｏ（つまり、サブ被写体信号を出力してもセット制御を行うための有益な情報ではないとし、サブ被写体信号を出力しないと判断した場合）の場合は（Ｓ３２でＮｏ）、サブ被写体信号の消去（または、一時的に情報を蓄積するが、新たなサブ被写体信号の算出により記録／記憶容量が不足等により、サブ被写体信号上書きにより旧信号を消去、または、一時的に情報を蓄積したが、一定の時間経過等により信号消去）等を行う（Ｓ３５）。
　以上で、サブ被写体信号を後段に出力するかの判断がＮｏの場合は終了である。
　一方、Ｓ３２において、サブ被写体信号を後段に出力するかの判断がｙｅｓ（つまり、サブ被写体信号を出力すると判断した場合）の場合は（Ｓ３２でＹｅｓ）、サブ被写体信号をセット側（セット制御部４０）に出力すると共に（Ｓ３３）、この判断に関する信号（出力判断信号）をメインセンシングシステム１０ａに出力する（Ｓ３３でＹｅｓ）。
　次に、メインセンシングシステム１０ａでは、出力判断信号も考慮して、メイン被写体信号を後段に出力するか判断を行う（Ｓ２５）。但し、この判断は、出力判断信号が入力されることを待つ必要はない。
　Ｓ２５において、メイン被写体信号を後段に出力するか判断がＮｏ（メイン被写体信号を出力しても自動車制御を行うための有益な情報ではない判断した場合、または、サブ被写体信号はメイン被写体信号よりも優先度が高いと判断した場合）の場合（Ｓ２５でＮｏ）、かつ、第１の場合、センシングシステム内でメイン被写体信号の消去（または、一時的に情報を蓄積するが、新たな被写体信号の算出により記録／記憶容量が不足等により、メイン被写体信号上書きにより旧信号を消去、または、一時的に情報を蓄積したが、一定の時間経過等により信号消去）等を行う（Ｓ２８）。
　また、Ｓ２５において、メイン被写体信号を後段に出力するか判断がＮｏの場合（Ｓ２５でＮｏ）、かつ、第２の場合、実施の形態１と同様に、例えば（ａ）新たに参照信号の入力（獲得）したうえで、再度撮像を行い、新たに第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理及び／または信号処理の再実行、（ｂ）新たな撮像動作による新たな第１撮像信号、第２撮像信号を獲得し、再度、被写体演算処理、信号処理の再実行、（ｃ）新たな参照信号の入力（獲得）した上で、再度、被写体演算処理、信号処理の再実行、（ｄ）被写体演算処理、信号処理の再実行、のいずれかの動作を行うこともできる。
　以上で、メイン被写体信号を後段に出力するかの判断がＮｏの場合（Ｓ２５でＮｏ）、かつ、第２の場合は終了である。
　一方、Ｓ２５において、メイン被写体信号を後段に出力するか判断がｙｅｓの場合は（Ｓ２５でＹｅｓ）、メイン被写体信号をセット側に出力する（Ｓ２６）。
　次に、セット側では、サブ被写体信号、またはメイン被写体信号を用いて、上述したようにセット制御を行う（Ｓ２７）。これにより、サブセンシングシステム１０ｂが監視する方向（後方）の危険を回避する際に、メインセンシングシステム１０ａが監視する方向（前方）の状況を考慮しながら、危険回避（セット制御）を行うことができる。
　以上、図面を用いて説明したように、本実施の形態に係る運転支援システムでは、複数方向に対する危険に対してセット制御を行うことができる。
　さらに、本実施の形態では、セット制御は、サブ被写体信号のみを使う場合と、サブ被写体信号とメイン被写体信号を使う場合を適切に使い分け、サブセンシングシステム１０ｂが監視する方向（後方）の危険を回避する際に、メインセンシングシステム１０ａが監視する方向（前方）の状況を考慮しながら、危険回避（セット制御）を行うことができる。
　また、本実施の形態では、サブ被写体信号のみを使う場合と、サブ被写体信号とメイン被写体信号を使う場合を適切に使い分ける、つまり、メイン被写体信号とサブ被写体信号を常に出力しない。これにより、複数方向のセンシングを行いつつも、セット側（セット制御部４０）に高負荷がかかることが防ぐことができ、演算の高制度化、高速演算、高速処理、低電力消費化を行うことができる。
　特に、自動車（輸送機器）用途では、近年では、数多くの制御を行うためにセット制御部４０（集積回路）を高集積化（一例として、汎用プロセッサ（ＣＰＵ）の数を増やしていくこと）することになる。このような場合、セット全体で、消費電力の増加やコスト増加につながることになり、つまり、極めて負荷が大きく、演算エラーや、演算の遅延を起こすことになるが、本実施の形態はこの問題を解決することができる。
　なお、本実施の形態ではサブセンシングシステム１０ｂは、メインセンシングシステム１０ａと同様に、セット制御部４０から参照信号を受け取るようにしてもよい。この場合、サブセンシングシステム１０ｂはより走行環境に適した判断を行うことができる。
　なお、本発明に係るセンシングシステム及び運転支援システムは、上記実施の形態に限定されるものではない。各実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、各実施の形態に対して本発明の趣旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本実施の形態に係るセンシングシステム及び運転支援システムを内蔵した各種機器も本発明に含まれる。
　本開示に係るセンシングシステム、運転支援システムは、測定対象物の高精度なセンシングが実現できるため、例えば、輸送機器への搭載に有用である。
１０　センシングシステム
１０ａ　メインセンシングシステム
１０ｂ　サブセンシングシステム
２０　固体撮像素子（イメージセンサ、センサ素子）
２１　演算部
２２　被写体演算部
２３，２３ａ，２３ｂ　信号処理部
２４　露光／発光制御部
２５　パルス光源部
２５ａ，２５ｂ　ヘッドライト
２６ａ，２６ｂ　フォグライト
３０　運転支援システム（操作支援システム）
４０　セット制御部
４１　情報入手部

Claims (21)

  1. 　被写体信号を出力するセンシングシステムであって、
    　被写体からの第１の物理的対象及び当該第１の物理的対象と異なる第２の物理的対象をセンシングするセンサ素子と、
    　前記第１の物理的対象に基づき算出された第１信号と前記第２の物理的対象に基づき算出された第２信号を用いて前記被写体信号を算出する演算部とを備え、
    　前記演算部は、前記センシングシステムが搭載される機器からの参照信号を用いて前記被写体信号を算出する
    　センシングシステム。
  2. 　前記機器は、輸送機器であり、
    　前記参照信号は、
    　（ａ）前記輸送機器の位置情報、（ｂ）クラウド情報、及び（ｃ）前記輸送機器の動作情報または操作情報、の少なくとも１つである
    　請求項１に記載のセンシングシステム。
  3. 　前記クラウド情報は、
    　（ｂ１）水平方向及び／または垂直方向の地図情報、及び（ｂ２）走行箇所または走行予定箇所の環境情報、の少なくとも１つである
    　請求項２に記載のセンシングシステム。
  4. 　前記輸送機器の動作情報または操作情報は、
    　（ｃ１）前記輸送機器の走行速度、走行加速度、及び停止に関する情報、（ｃ２）前記輸送機器の操作情報、（ｃ３）前記輸送機器の荷重バランス情報、並びに（ｃ４）前記輸送機器の荷重バランスに関する情報、の少なくとも１つである
    　請求項２または３に記載のセンシングシステム。
  5. 　前記輸送機器の操作情報は、
    　（ｃ２１）アクセルペダル、ブレーキペダル等の踏込み情報、及び（ｃ２２）トランスミッションのギヤ位置情報、の少なくとも１つである
    　請求項４に記載のセンシングシステム。
  6. 　前記センシングシステムは、
    　前記被写体信号を選択的に前記機器に出力し、
    　前記被写体信号を出力しない場合は、当該被写体信号の消去、または、一時的記録あるいは一時的記憶を行う
    　請求項１～５のいずれか１項に記載のセンシングシステム。
  7. 　前記演算部は、
    　（ｄ）被写体または特定被写体の検出及び認識、（ｅ）前記被写体または前記特定被写体までの距離、（ｆ）前記被写体または前記特定被写体の寸法、（ｇ）前記被写体または前記特定被写体の形状、（ｈ）前記被写体または前記特定被写体の速度、及び（ｉ）演算実行不可、の少なくとも１つの前記被写体信号を算出する
    　請求項１～６のいずれか１項に記載のセンシングシステム。
  8. 　前記演算部は、
    　（ｊ）ノイズ減算処理、（ｋ）映像拡大高精細化処理または超解像処理、（ｌ）ハイダイナミックレンジ処理、（ｍ）信号圧縮処理、及び（ｎ）前記被写体信号の一部またはすべての出力判断処理、の少なくとも１つの信号処理を行う
    　請求項１～７のいずれか１項に記載のセンシングシステム。
  9. 　前記第１の物理的対象は可視光であり、
    　前記第２の物理的対象は赤外光である
    　請求項１～８のいずれか１項に記載のセンシングシステム。
  10. 　前記第１の物理的対象は被写体または特定被写体からのパッシブ光であり、
    　前記第２の物理的対象は前記被写体または前記特定被写体からのアクティブ光である
    　請求項１～９のいずれか１項に記載のセンシングシステム。
  11. 　前記センシングシステムは、
    　前記アクティブ光を用いたタイムオブフライト演算により前記被写体信号を算出する
    　請求項１０に記載のセンシングシステム。
  12. 　前記センシングシステムは、
    　前記パッシブ光を用いた現在のフレームと前のフレームを比較することにより前記被写体信号を算出する
    　請求項１０または１１に記載のセンシングシステム。
  13. 　前記センシングシステムは、
    　光照射を指示する発光信号と露光を指示する露光信号とを発生する信号発生部と、前記発光信号に従ってパルス光を照射するパルス光源部と、を備え、
    　前記センサ素子は、単板の固体撮像素子であり、
    　当該固体撮像素子は前記露光信号に従って露光および撮像を行う
    　請求項１～１２のいずれか１項に記載のセンシングシステム。
  14. 　前記センシングシステムは、
    　センシング環境の状態に応じ、第１信号もしくは第２信号を選択して前記被写体信号を算出する、または、前記第１信号もしくは前記第２信号の一方を第１信号もしくは前記第２信号の他方により補正して前記被写体信号を算出する
    　請求項１～１３のいずれか１項に記載のセンシングシステム。
  15. 　前記センシングシステムは、
    　当該センシングシステムの記憶情報または記録情報に基づき、第１信号もしくは第２信号を選択して前記被写体信号を算出する、または、前記第１信号もしくは前記第２信号の一方を第１信号もしくは前記第２信号の他方により補正して前記被写体信号を算出する
    　請求項１～１３のいずれか１項に記載のセンシングシステム。
  16. 　請求項１～１５のいずれか１項に記載のセンシングシステムと、
    　前記センシングシステムからの前記被写体信号を用いて前記機器の制御を行うセット制御部とを備える
    　運転支援システム。
  17. 　前記センシングシステムは、運転制御システムを備えたメインセンシングシステムであり、
    　前記運転制御システムは、少なくとも１つのサブセンシングシステムを備える
    　請求項１６に記載の運転支援システム。
  18. 　前記サブセンシングシステムは、
    　当該サブセンシングシステムがサブ被写体信号を出力する場合、前記メインセンシングシステムがメイン被写体信号の出力を判断する際に情報を与える
    　請求項１７に記載の運転支援システム。
  19. 　前記機器は輸送機器であり、
    　前記機器の制御は、（ａ）前記機器が走行中の自動ブレーキ制御、（ｂ）前記機器が停車中の自動発進停止制御、（ｃ）緊急ブレーキシグナル制御、（ｄ）自動ステアリング制御、及び（ｅ）自動運転操作制御、の少なくとも１つを行う
    　請求項１６～１８のいずれか１項に記載の運転支援システム。
  20. 　前記運転制御システムは、情報信号を出力するための情報入手部を備える
    　請求項１６～１９のいずれか１項に記載の運転支援システム。
  21. 　前記セット制御部は、前記情報信号から、前記参照信号を作成する
    　請求項２０に記載の運転支援システム。
PCT/JP2015/002678 2014-05-30 2015-05-27 センシングシステム及び運転支援システム WO2015182135A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580027457.4A CN106415312B (zh) 2014-05-30 2015-05-27 感应***及驾驶支援***
JP2016523151A JP6731135B2 (ja) 2014-05-30 2015-05-27 センシングシステム及び運転支援システム
CN201910573744.5A CN110293973B (zh) 2014-05-30 2015-05-27 驾驶支援***
US15/347,083 US11397248B2 (en) 2014-05-30 2016-11-09 Sensing system and driving support system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014112895 2014-05-30
JP2014-112895 2014-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/347,083 Continuation US11397248B2 (en) 2014-05-30 2016-11-09 Sensing system and driving support system

Publications (1)

Publication Number Publication Date
WO2015182135A1 true WO2015182135A1 (ja) 2015-12-03

Family

ID=54698481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002678 WO2015182135A1 (ja) 2014-05-30 2015-05-27 センシングシステム及び運転支援システム

Country Status (4)

Country Link
US (1) US11397248B2 (ja)
JP (1) JP6731135B2 (ja)
CN (2) CN106415312B (ja)
WO (1) WO2015182135A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105476A1 (ja) * 2016-12-05 2018-06-14 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747405B2 (ja) * 2017-08-25 2020-08-26 トヨタ自動車株式会社 自車位置自信度演算装置
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
CN112654952A (zh) * 2018-12-25 2021-04-13 株式会社和冠 输入***
CN113138393B (zh) * 2020-01-17 2024-05-31 浙江菜鸟供应链管理有限公司 环境感测***、控制装置以及环境感测数据融合装置
KR20210149954A (ko) * 2020-06-02 2021-12-10 현대자동차주식회사 전기 모터를 구비한 자동차 및 그를 위한 충돌 방지 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JPH08339498A (ja) * 1995-06-09 1996-12-24 Yazaki Corp 車両周辺監視装置
JP2001008195A (ja) * 1999-06-24 2001-01-12 Mitsubishi Motors Corp 車両後方監視装置
JP2001091619A (ja) * 1999-09-27 2001-04-06 Mazda Motor Corp 車両の表示装置
JP2004123061A (ja) * 2002-10-07 2004-04-22 Toyota Motor Corp 撮影システム
JP2006516507A (ja) * 2003-02-06 2006-07-06 バイエリッシェ　モートーレン　ウエルケ　アクチエンゲゼルシャフト 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11306498A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd 車載カメラシステム
US6654593B1 (en) 2000-10-30 2003-11-25 Research In Motion Limited Combined discrete automatic gain control (AGC) and DC estimation
JP4530571B2 (ja) * 2001-04-16 2010-08-25 Ｈｏｙａ株式会社 ３次元画像検出装置
JP2003339498A (ja) 2002-05-24 2003-12-02 Iris Ohyama Inc 鉢植え保持具
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
JP2005001467A (ja) * 2003-06-10 2005-01-06 Suzuki Motor Corp 車両用障害物検出装置及び方法
JP4043416B2 (ja) * 2003-07-30 2008-02-06 オリンパス株式会社 安全移動支援装置
JP4609076B2 (ja) * 2005-01-20 2011-01-12 トヨタ自動車株式会社 移動物体検出装置及び移動物体検出方法
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
JP2008252327A (ja) * 2007-03-29 2008-10-16 Toyota Motor Corp 車両周辺監視装置
JP4434234B2 (ja) * 2007-05-30 2010-03-17 トヨタ自動車株式会社 車両用撮像システム、及び車両用制御装置
JP2009175848A (ja) * 2008-01-22 2009-08-06 Nec Corp ドライブレコーダ装置、ドライブレコード方法、プログラム、及び記録媒体
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
JP5698065B2 (ja) 2011-04-22 2015-04-08 株式会社小糸製作所 障害物検出装置
CN103858155B (zh) * 2011-09-26 2017-10-03 丰田自动车株式会社 车辆的驾驶支援***
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
CN103434538A (zh) * 2013-08-15 2013-12-11 王元知 高速、动车运行安全车载指示装置
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
CN103593658A (zh) * 2013-11-22 2014-02-19 中国电子科技集团公司第三十八研究所 一种基于红外图像识别的三维空间定位***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JPH08339498A (ja) * 1995-06-09 1996-12-24 Yazaki Corp 車両周辺監視装置
JP2001008195A (ja) * 1999-06-24 2001-01-12 Mitsubishi Motors Corp 車両後方監視装置
JP2001091619A (ja) * 1999-09-27 2001-04-06 Mazda Motor Corp 車両の表示装置
JP2004123061A (ja) * 2002-10-07 2004-04-22 Toyota Motor Corp 撮影システム
JP2006516507A (ja) * 2003-02-06 2006-07-06 バイエリッシェ　モートーレン　ウエルケ　アクチエンゲゼルシャフト 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105476A1 (ja) * 2016-12-05 2018-06-14 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JPWO2018105476A1 (ja) * 2016-12-05 2019-06-24 パナソニックＩｐマネジメント株式会社 撮像装置
CN110050171A (zh) * 2016-12-05 2019-07-23 松下知识产权经营株式会社 摄像装置和该摄像装置中使用的固体摄像元件
US11200688B2 (en) 2016-12-05 2021-12-14 Nuvoton Technology Corporation Japan Imaging apparatus and solid-state imaging device used therein

Also Published As

Publication number Publication date
CN106415312B (zh) 2019-07-02
CN106415312A (zh) 2017-02-15
JPWO2015182135A1 (ja) 2017-04-20
CN110293973A (zh) 2019-10-01
US11397248B2 (en) 2022-07-26
CN110293973B (zh) 2022-10-04
US20170052257A1 (en) 2017-02-23
JP6731135B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
WO2015182135A1 (ja) センシングシステム及び運転支援システム
JP6536984B2 (ja) 測距撮像システム、固体撮像素子及び測距撮像方法
JP6176028B2 (ja) 車両制御システム、画像センサ
US20190351842A1 (en) In-vehicle camera and vehicle control system
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020175117A1 (ja) 測距装置、測距方法、並びにプログラム
JP7172603B2 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2020175118A1 (ja) 測距装置、測距方法、並びにプログラム
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
JP7138265B1 (ja) 物体検知装置、物体検知方法およびプログラム
WO2022176532A1 (ja) 受光装置、測距装置及び受光装置の信号処理方法
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法
WO2022264894A1 (ja) 物体検知装置、物体検知方法およびプログラム
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
WO2023032298A1 (ja) 固体撮像装置
JP2023080024A (ja) 強い背景光からの飽和を回避し、方向制御を達成するために回転カメラ上のフレーム時間を能動的に調整する、制御ウィンドウカメラの方向付け
JP2023122396A (ja) 測距装置
KR20240022343A (ko) 차량 및 그 제어 방법
JP2023076345A (ja) 光検出装置、撮像装置および測距装置
JP2020160878A (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800340

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016523151

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15800340

Country of ref document: EP

Kind code of ref document: A1