CN110293973B - 驾驶支援*** - Google Patents

驾驶支援*** Download PDF

Info

Publication number
CN110293973B
CN110293973B CN201910573744.5A CN201910573744A CN110293973B CN 110293973 B CN110293973 B CN 110293973B CN 201910573744 A CN201910573744 A CN 201910573744A CN 110293973 B CN110293973 B CN 110293973B
Authority
CN
China
Prior art keywords
signal
information
driving support
support system
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910573744.5A
Other languages
English (en)
Other versions
CN110293973A (zh
Inventor
伊藤顺治
高桥和也
下村幸司
福岛奖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of CN110293973A publication Critical patent/CN110293973A/zh
Application granted granted Critical
Publication of CN110293973B publication Critical patent/CN110293973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

提供一种实现较高的感应精度和装置控制的驾驶支援***，具有：感应***，具有按照发光信号照射红外光的光源、进行摄像的固体摄像元件和运算部；以及装置控制部，所述固体摄像元件输出图像摄像信号和TOF信号，所述运算部使用所述摄像信号和所述TOF信号，将针对从所述被摄体中检测到的特定被摄体计算出的多种信息的一部分或者全部作为被摄体信号向所述装置控制部输出，所述装置控制部使用所述被摄体信号，进行搭载了所述驾驶支援***的运输设备的驾驶控制。

Description

驾驶支援***
本申请是中国专利申请号201580027457.4的分案申请。
技术领域
本发明涉及驾驶支援***。
背景技术
学习被摄体信息的各种各样的感应***(摄像装置)已被提出。
例如在专利文献1中公开的现有技术的摄影装置140如图10所示，由综合控制各部的控制部141、朝向被摄体发出IR(Infrared：红外线)光的IR发光部142、将被摄体光聚光而向固体摄像元件110入射的透镜143、固体摄像元件110、产生用来驱动固体摄像元件110的各种驱动脉冲的定时发生器(TG)144、将从固体摄像元件110输出的摄像信号进行信号处理并计算可视光图像和IR图像的信号处理部145、和将由信号处理部145计算出的可视光图像和IR图像记录的存储器146构成。
根据专利文献1，能够提供一种能用单板结构接受可视光及红外光、并且不需要快门装置能够将红外光的曝光时间与可视光的曝光时间独立地进行控制的具备固体摄像元件110的摄像装置140。
现有技术文献
专利文献
专利文献1：日本特开2008－8700号公报
发明内容
但是，专利文献1所公开的现有技术的摄像装置140是所谓的单机型(stand-alone)的***(公开了由固体摄像元件110计算出的可视光图像和距离图像(IR图像)被记录到存储器146中)，具有感应性能较低的问题。
鉴于上述问题，本发明提供一种进行较高的感应精度和装置控制的感应***及驾驶支援***。
为了解决上述问题，有关本发明的一技术方案的驾驶支援***，具有：感应***，具有按照发光信号照射红外光的光源、进行摄像的固体摄像元件和运算部；以及装置控制部，所述固体摄像元件输出图像摄像信号和TOF信号，所述运算部使用所述摄像信号和所述TOF信号，将针对从所述被摄体中检测到的特定被摄体计算出的多种信息的一部分或者全部作为被摄体信号向所述装置控制部输出，所述装置控制部使用所述被摄体信号，进行搭载了所述驾驶支援***的运输设备的驾驶控制。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述特定被摄体为多个被摄体和/或多种被摄体。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述运算部具备被摄体运算部和信号处理部，所述被摄体运算部进行所述特定被摄体的检测和所述多种信息的计算，作为一次被摄体信号向所述信号处理部输出，所述信号处理部进行根据所述一次被摄体信号判断所述多种信息的一部分或者全部的输出的选择判断处理，并作为所述被摄体信号向所述装置控制部输出。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述多种信息是所述特定被摄体的种类、到所述特定被摄体的距离、所述特定被摄体的尺寸、所述特定被摄体的形状以及所述特定被摄体的速度的信息中的至少2种。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述TOF信号是按照第1曝光信号和与所述第1曝光信号的定时不同的第2曝光信号，根据与所述红外光对应的反射光的曝光和在用于检测背景光的偏移分量而使所述发光信号停止的状态下的曝光，生成的信号。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述设置控制部进行自动制动操作、紧急制动信号操作、自动转向操作或自动加速操作作为所述驾驶操作。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述驾驶支援***用于车室内感应的用途。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述特定被摄体是所述运输设备的驾驶者，所述车室内感应是用于防止所述驾驶者打瞌睡或防止驾驶中走神的感应。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述运算部选择所述图像摄像信号或者所述TOF信号，或者，根据所述图像摄像信号和所述TOF信号中的一方对所述图像摄像信号和所述TOF信号中的另一方进行修正。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，使用所述TOF信号生成距离图像。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述固体摄像元件是单板的固体摄像元件，所述图像摄像信号由R、G、B及BW中的至少1个像素生成，所述TOF信号由IR像素生成。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述感应***使用从所述运输设备送来的所述运输设备的位置信息、云信息以及所述运输设备的动作信息或操作信息中的至少1个参照信号进行感应。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述感应***根据所述参照信号变更感应的范围，并进行与包含于该范围的所述被摄体有关的感应。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述云信息是水平方向和/或垂直方向的地图、以及行驶地点或计划行驶地点的逐次环境中的至少1个信息。
此外，在有关本发明的一技术方案的驾驶支援***中，也可以是，所述运算部进行降噪处理、超分辨率处理、高动态范围合成处理以及压缩处理中的至少1个信号处理。
另外，有关本发明的一技术方案的感应***，是输出被摄体信号的感应***，具备：传感器元件，对来自被摄体的第1物理对象及与该第1物理对象不同的第2物理对象进行感应；运算部，使用基于第1物理对象计算出的第1信号和基于第2物理对象计算出的第2信号，计算被摄体信号；运算部使用来自搭载感应***的设备的参照信号计算被摄体信号。
此外，在有关本发明的一技术方案的感应***中，也可以是，设备是运输设备；参照信号是(a)运输设备的位置信息、(b)云信息、及(c)运输设备的动作信息或操作信息中的至少1个。
此外，在有关本发明的一技术方案的感应***中，也可以是，云信息是(b1)水平方向及/或垂直方向的地图信息、及(b2)行驶地点或计划行驶地点的环境信息中的至少1个。
此外，在有关本发明的一技术方案的感应***中，也可以是，运输设备的动作信息或操作信息是(c1)关于运输设备的行驶速度、行驶加速度及停止的信息、(c2)运输设备的操作信息、(c3)运输设备的载重平衡信息、以及(c4)关于运输设备的载重平衡的信息中的至少1个。
此外，在有关本发明的一技术方案的感应***中，也可以是，运输设备的操作信息是(c21)加速踏板、制动踏板等的踏入信息、及(c22)变速器的齿轮位置信息中的至少1个。
此外，在有关本发明的一技术方案的感应***中，也可以是，感应***将被摄体信号有选择地向设备输出，在不输出被摄体信号的情况下，进行该被摄体信号的消除、或暂时的记录或暂时的存储。
此外，在有关本发明的一技术方案的感应***中，也可以是，运算部计算(d)被摄体或特定被摄体的检测及识别、(e)到被摄体或特定被摄体的距离、(f)被摄体或特定被摄体的尺寸、(g)被摄体或特定被摄体的形状、(h)被摄体或特定被摄体的速度、及(i)运算不可执行，中的至少1个被摄体信号。
此外，在有关本发明的一技术方案的感应***中，也可以是，运算部进行(j)降噪处理、(k)影像放大高精细化处理或超分辨率处理、(l)高动态范围处理、(m)信号压缩处理、及(n)被摄体信号的一部分或全部的输出判断处理，中的至少1个信号处理。
此外，在有关本发明的一技术方案的感应***中，也可以是，第1物理对象是可视光；第2物理对象是红外光。
此外，在有关本发明的一技术方案的感应***中，也可以是，第1物理对象是来自被摄体或特定被摄体的无源光；第2物理对象是来自被摄体或特定被摄体的有源光。
此外，在有关本发明的一技术方案的感应***中，也可以是，感应***通过使用有源光的飞行时间(Time off light)运算，计算被摄体信号。
此外，在有关本发明的一技术方案的感应***中，也可以是，感应***通过将使用无源光的当前的帧与之前的帧比较，计算被摄体信号。
此外，在有关本发明的一技术方案的感应***中，也可以是，感应***具备产生指示光照射的发光信号和指示曝光的曝光信号的信号发生部、和按照发光信号照射脉冲光的脉冲光源部；传感器元件是单板的固体摄像元件；该固体摄像元件按照曝光信号进行曝光及摄像。
此外，在有关本发明的一技术方案的感应***中，也可以是，感应***根据感应环境的状态，选择第1信号或第2信号而计算被摄体信号，或将第1信号或第2信号的一方用第1信号或第2信号的另一方修正来计算被摄体信号。
此外，在有关本发明的一技术方案的感应***中，也可以是，感应***基于该感应***的存储信息或记录信息，选择第1信号或第2信号而计算被摄体信号，或将第1信号或第2信号的一方用第1信号或第2信号的另一方修正来计算被摄体信号。
此外，有关本发明的一技术方案的驾驶控制***具备：有关本发明的一技术方案的感应***；装置控制部，使用来自感应***的被摄体信号进行设备的控制。
此外，在有关本发明的一技术方案的驾驶控制***中，也可以是，感应***是具备驾驶控制***的主感应***；驾驶控制***具备至少1个子感应***。
此外，在有关本发明的一技术方案的驾驶控制***中，也可以是，子感应***在该子感应***输出子被摄体信号的情况下，当主感应***判断主被摄体信号的输出时给出信息。
此外，在有关本发明的一技术方案的驾驶控制***中，也可以是，设备是运输设备；设备的控制进行(a)设备行驶中的自动制动控制、(b)设备停车中的自动起步停止控制、(c)紧急制动信号控制、(d)自动转向控制、及(e)自动驾驶操作控制中的至少1个。
此外，在有关本发明的一技术方案的驾驶控制***中，也可以是，驾驶控制***具备用来输出信息信号的信息获得部。
根据有关本发明感应***及驾驶支援***，能够实现较高的感应精度和装置控制。
附图说明
图1是表示有关实施方式的基本结构的感应***及驾驶支援***的基本结构例的概略的功能框图。
图2A是在有关实施方式的基本结构的感应***及驾驶支援***中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2B是在有关实施方式的基本结构的感应***及驾驶支援***中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2C是在有关实施方式的基本结构的感应***及驾驶支援***中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2D是在有关实施方式的基本结构的感应***及驾驶支援***中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图2E是在有关实施方式的基本结构的感应***及驾驶支援***中搭载的固体摄像元件(图像传感器)的结构例的平面构造图。
图3是表示有关实施方式1的感应***及驾驶支援***的概略结构例的功能框图。
图4A是表示有关实施方式1的感应***及驾驶支援***的第1搭载例的概略搭载图。
图4B是表示有关实施方式1的感应***及驾驶支援***的第2搭载例的概略搭载图。
图5A是在有关实施方式1的感应***及驾驶支援***中搭载的运算部的一结构例的功能框图。
图5B是在有关实施方式1的感应***及驾驶支援***中搭载的运算部的另一结构例的功能框图。
图5C是在有关实施方式1的感应***及驾驶支援***中搭载的运算部的又一结构例的功能框图。
图5D是在有关实施方式1的感应***及驾驶支援***中搭载的运算部的又一结构例的功能框图。
图6是有关实施方式1的感应***及驾驶支援***的流程图。
图7A是表示有关实施方式2的感应***及驾驶支援***的概略结构例的功能框图。
图7B是表示有关实施方式2的感应***及驾驶支援***的概略结构例的功能框图。
图8A是表示有关实施方式2的感应***及驾驶支援***的第1搭载例的概略搭载图。
图8B是表示有关实施方式2的感应***及驾驶支援***的第2搭载例的概略搭载图。
图9是有关实施方式2的感应***及驾驶支援***的流程图。
图10是表示现有技术的摄像装置的概略结构的功能框图。
具体实施方式
以下，参照附图对有关本发明的实施方式的感应***、驾驶支援***(操作支援***)进行说明。另外，以下的实施方式均表示本发明的一具体例，数值、形状、材料、构成要素、构成要素的配置位置及连接形态等只是一例，并非限定本发明。
此外，作为在以下说明时使用的一例，(a)、(b)、(c)等的表现包括至少1个的情况、至少将两个组合的情况等的意义。
此外，在以下的说明中，搭载有关本发明的实施方式的感应***或驾驶支援***(操作支援***)的装置(set，设备)以汽车(运输设备)为中心进行说明，但装置的种类并不限定于汽车，例如可以搭载到其他运输设备(自行车、摩托车、铁路车辆、飞机、航天器等)、运输设备和基础设施设备、重机(挖掘机、推土机等)、住宅设备、通信信息终端等的所有设备中。
此外，在以下的说明中，有关本发明的实施方式的感应***或驾驶支援***(操作支援***)以汽车(运输设备)的车外感应用途为中心进行说明，但也可以用于以车室内感应用途(例如，驾驶者(被摄体、特定被摄体)的防止瞌睡、防止驾驶中走神为目的的感应等)。
(实施方式的基本结构)
图1是表示有关实施方式的基本结构的感应***10或驾驶支援***(操作支援***)30的基本结构例的概略的功能框图。
如图1所示，感应***10具备固体摄像元件(图像传感器、传感器元件)20和运算部21。
固体摄像元件20通过入射的第1光(第1物理对象)及第2光(第2物理对象)进行摄像(感应)，根据第1光输出第1摄像信号(第1信号)，根据第2光输出第2摄像信号(第2信号)。这里，所谓物理对象，作为一例，是光、电波(雷达)、声音、压力、热等。
此外，以下说明固体摄像元件20受光的第1光及第2光的一例。(a)第1光及第2光也可以是不同波长域的光，例如，第1光也可以是可视域的光，第2光也可以是可视以外域(作为一例，是红外域的波长光)。(b)第1光也可以是由太阳光、室内照明光等的外光形成的通常的被摄体光，换言之，也可以是非起因于照射有源光而从被摄体发出的放射光。此外，第2光也可以是来自后述的脉冲光源部25的照射有源光的反射光(反射有源光)。另外，关于无源光、反射有源光的详细情况后述。
另外，第1光及第2光并不限定于上述一例，例如，第1光也可以是可视域光的无源光，第2光也可以是红外域光的反射有源光等。此外，第1物理对象及第2物理对象并不需要一定是光，例如也可以是热或雷达等。
接着，图2A～图2D是有关实施方式的基本结构的固体摄像元件20的结构例的平面构造图。
如图2A所示，固体摄像元件20分别具备接受第1光的像素(第1光用像素)和接受第2光的像素(第2光用像素)。
进而，使用附图说明由第1像素接受无源光、由第2像素接受反射有源光的情况下的详细情况。即，如图2B所示，固体摄像元件20也可以分别作为第1光用像素而具备接受无源光的像素(以下称作无源光用像素)、作为第1光用像素而具备接受反射有源光的像素(以下称作有源光用像素)。
此外，图2C是表示图2B的固体摄像元件的具体的一例的平面构造图。如图2C所示，固体摄像元件20也可以作为无源光用像素而具备设置有使R(红)、G(绿)、B(蓝)透过的各滤光器的像素、作为有源光用像素而具备设置有使IR(红外线)透过的滤光器的像素。即，在将图2C所示的固体摄像元件20搭载在感应***10中的情况下，有源光用像素能够接受作为可视光以外的光的IR光。
另外，图2D是表示图2A的固体摄像元件的变形例的平面构造图。在本实施方式中，固体摄像元件20也可以不是图2B及图2C的结构，而是如图2D所示那样具备能够兼用作无源光用像素和有源光用像素的像素(无源光有源光兼用像素)。即，无源光用像素也可以还接受反射有源光，有源光用像素也可以还接受无源光。在此情况下，固体摄像元件20由于能够接受无源光及反射有源光，所以固体摄像元件20内的受光面积(像素面积)变大，有能够进行高感光度摄像(高感光度摄影)等的优点。
此外，在无源光用像素中，在R、G、B的各自的像素中，通过滤光器透过而接受无源光。即，向R、G、B的各自的像素作为R成分、G成分、B成分而输出第1摄像信号。另一方面，IR像素接受反射有源光，输出第2摄像信号。
另外，在无源光用像素中，也可以在R、G、B的各滤光器中搭载红外线截止滤光器。
此外，在无源光用像素中，R、G、B各滤光器也可以由R+IR、G+IR、B+IR、IR的各滤光器构成。在此情况下，也能够接受无源光中包含的红外光。换言之，在R+IR、G+IR、B+IR的各个像素中，接受R成分和上述一部分的红外成分、G成分和上述一部分的红外成分、B成分和上述一部分的红外成分，能够输出第1摄像信号。即，在此情况下，通过用无源光用像素接受无源光，能够将可视光图像摄像，并且能够将例如即使是暗处也能够进行图像摄像的红外光图像摄像。
另外，如图2E所示构成，固体摄像元件20的无源光用像素也可以没有构成R、G、B的各色滤光器。在此情况下，固体摄像元件20能够作为单色(BW)图像进行摄像。
此外，无源光用像素也可以做成不形成各滤光器而能够得到彩色图像的像素构造(例如，构成像素(光电二极管)的杂质区域深度的变更、或杂质的种类或浓度的变更等)。
此外，无源光用像素、有源光用像素的配置、像素数比率及受光面积并不限定于上述例子。例如，有源光用像素的单位面积也可以比无源光用像素的单位面积大，无源光用像素也可以使像素数比有源光用像素多。
此外，有源光用像素也可以做成不形成滤光器而能够将反射无源光曝光的像素构造(例如，构成像素(光电二极管)的杂质区域的深度的变更、或杂质的种类或浓度的变更等)。
再次使用图1，说明感应***10具备的运算部21的详细情况。
运算部21具备被摄体运算部22和信号处理部23，从装置侧接受参照信号(参考信号)。另外，关于参照信号的详细情况后述。
被摄体运算部22是进行用于被摄体(或被摄体中重视的特定被摄体)的感应的运算的单元。被摄体运算部22使用第1摄像信号、第2摄像信号、参照信号，计算被摄体信号作为关于被摄体的信息。作为关于被摄体的信息，例如是(a)特定被摄体检测，即从被摄体中检测特定被摄体，(b)被摄体识别或特定被摄体识别，即被摄体或特定被摄体是怎样的物体等的识别，(c)到特定被摄体(或被摄体)的距离、特定被摄体(或被摄体)的尺寸、特定被摄体(或被摄体)的形状、特定被摄体(或被摄体)的速度的计算等等。
另外，特定被摄体并不限于1个，也可以是多个及/或多种。
此外，在被摄体运算部22中，为了计算被摄体信号，能够对第1摄像信号、第2摄像信号分别单独地进行被摄体信号的运算及计算，并且能够匹配于各状况而运算及计算被摄体信号。作为各状况的一例，有(a)为了将第1摄像信号补全而使用第2摄像信号的一部分的情况，(b)为了将第2摄像信号补全而使用第1摄像信号的一部分的情况，(c)使用第1摄像信号、第2摄像信号的各自一部分的情况等。另外，关于第1摄像信号、第2摄像信号的使用方式的详细情况后述。
信号处理部23是在被摄体运算部22的运算的前后进行信号处理的部分。另外，关于其详细情况后述。
另外，运算部21也可以是多个处理部的一部分或全部作为集成电路即LSI(Largescale integration)实现。它们既可以分别地单芯片化，也可以包含一部分或全部而单芯片化。
此外，集成电路化并不限于LSI，也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA(现场可编程门阵列)或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。
此外，运算部21的各构成要素(被摄体运算部22、信号处理部23)也可以由专用的硬件构成，或通过执行与各构成要素适应的软件程序来实现。各构成要素也可以通过CPU(中央处理单元)或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。换言之，运算部21(被摄体运算部22、信号处理部23)作为一例，可以适当采用(a)在通用处理器中组合DSP(数字信号处理器)的结构，(b)在通用处理器中组合具备多个DSP的FPGA的结构，(c)在通用处理器中组合专用加速器的结构等。
驾驶支援***30的装置控制部40在驾驶支援***30是汽车用途的情况下，作为一例，是除了(a)MCU(主控制单元)、(b)搭载MCU的ECU(电子控制单元)、(c)导航、位置信息服务、声音通信、因特网连接以外，还具备音乐及运动图像等的多媒体再现、向新闻、电子邮件等的访问/检索功能的信息娱乐***(Infotainment system)等。
装置控制部40接受被摄体信号，基于该被摄体信号进行装置控制。另外，关于该控制的详细情况后述。
以上是实施方式的基本结构，以下说明实施方式的进一步的详细情况。另外，在后述的实施方式中，以在第1光中使用无源光、在第2光中使用有源光(反射有源光)的情况为中心进行说明，但第1光、第2光的选择并不限定于这些。
(实施方式1)
以下，参照附图，关于有关实施方式1的感应***10及驾驶支援***(操作支援***)30的结构及动作，以与到此为止说明的基本结构不同的点为中心说明详细情况。
图3是表示有关实施方式1的感应***10及驾驶支援***(操作支援***)30的概略的功能框图。图4A是表示有关实施方式1的感应***及驾驶支援***的第1搭载例的概略搭载图，图4B是表示有关实施方式1的感应***及驾驶支援***的第2搭载例的概略搭载图。
如图3所示，有关实施方式1的感应***10除了固体摄像元件20和运算部21以外，还具备脉冲光源部25和曝光/发光控制部24。
这里，感应***10例如如图4A所示，能够设置在前挡玻璃内上部(后视反射镜附近)，但并不限定于此。感应***10例如也可以设置在前格栅内、前保险杠内等。即，详细情况后述，但有关实施方式1的感应***10相比立体照相机等的感应***在小型化上更好，不限定设置场所，具有能够设置到各种各样的场所的优点。
脉冲光源部25按照接收由曝光/发光控制部24产生的发光信号的定时对被摄体进行光照射。此外，脉冲光源部25具有驱动电路、电容器及发光元件等，通过将保持在电容器中的电荷向发光元件供给而发出脉冲光(以下称作照射有源光)。
这里，例如照射有源光是包括近红外光的红外光(IR光)。此外，作为发光元件，可以使用激光二极管或发光二极管(LED)等的各种各样的发光元件。发光元件也可以是单色的发光元件。发光元件例如也可以从振荡出可视光的发光元件有选择地照射光(例如红外光)。即，也可以通过将红色的发光元件、蓝色的发光元件、黄色的发光元件等的多种颜色的发光元件组合，从振荡的光的波长域中照射有选择的光(例如红外光)。
另外，照射有源光除了向各种各样的方向分散的光(所谓的一般性的光)以外，还能够照射指向性及集束性良好、此外能够将产生的电磁波的波长保持为一定的激光或雷达光作为照射有源光照射。
此外，脉冲光源部25例如如图4B所示，在搭载驾驶支援***30的装置是汽车的情况下，也可以与搭载在车辆中的头灯25a、25b或雾灯26a、26b等的已有的灯兼用。
曝光/发光控制部24产生对脉冲光源部25指示照射有源光的照射的发光信号。进而，曝光/发光控制部24产生指示作为第2光(第2物理对象)、照射有源光的反射光(反射有源光)的曝光的曝光信号，和指示作为第1光(第1物理对象)、作为由太阳光、室内照明光等的外光形成的通常的被摄体光，换言之是作为第1光、非起因于照射有源光而从被摄体(或特定被摄体)发出的放射光(无源光)的曝光的曝光信号。这样，曝光/发光控制部24具有作为产生指示光照射的发光信号和指示曝光的曝光信号的信号发生部的功能。
此外，感应***10具备固体摄像元件20，按照曝光信号进行曝光及摄像，接受来自被摄体的无源光，输出第1摄像信号，接受来自脉冲光源部25的照射有源光被被摄体反射的反射有源光，输出第2摄像信号。
此外，运算部21从装置侧(在图3中是装置控制部40)接受参照信号。该参照信号基于来自搭载在装置侧的信息获得部(各种传感器等)41的信息信号在装置侧制作，是表示感应环境的状况(感应环境的变化)的信号。
此外，参照信号或信息信号作为其内容(信息)的一例，是关于(a)来自GPS(GlobalPositioning System)传感器等的装置(汽车)的位置信息、(b)云信息(换言之，是从网络特别是因特网得到的信息(网络信息)，是所谓的大数据(通过因特网的普及和IT技术的进步而产生的数据(信息)，也包括其特性被用量、频度(更新速度)、多样性(数据的种类)表示的数据))，(c)关于装置(汽车)自身的动作/操作信息等的信号。
此外，从上述的(b)通信线路(因特网线路)得到的云信息，例如是(b1)最新更新的地图信息(另外，该地图信息包括平面上(水平方向)的信息，也包括关于地图上的物体(例如，大厦、隧道等的建筑物等)的高度方向(垂直方向)的信息)，(b2)行驶地点(或计划行驶地点)的依次变化的信息(有时间序列性、实时性的信息)，例如行驶路径上的施工信息、拥堵信息等，(b3)普通道路和高速公路的差异、及包括到道宽等的高精细(地图)信息，(b4)由与来自GPS传感器的信息组合得到的地图上的装置(汽车)位置信息等。
此外，上述的(c)装置(汽车)自身的动作/操作信息例如是，(c1)关于装置(汽车)自身的行驶速度、行驶加速度、停止的信息，(c2)加速踏板、制动踏板等的踏入信息(驾驶操作信息)，(c3)变速齿轮(变速器)的位置(前进行驶用齿轮、后方行驶用齿轮的选择等)，(c4)关于行李箱货物积载量等的信息(即，关于汽车的载重平衡的信息)等的信号。
另外，信息信号(及以信息信号的信息为基础的参照信号)并不限定于这些。此外，本实施方式也可以是曝光/发光控制部24接受基于信息信号的控制用参照信号。
此外，运算部21内的被摄体运算部22是进行用于被摄体(或特定被摄体)感应的运算的单元，根据来自固体摄像元件20的第1摄像信号、第2摄像信号计算关于特定被摄体(或被摄体)的被摄体信号。这里，作为被摄体信号的一例，是(a)被摄体的检测(以下称作检测处理)，(b)被摄体(或特定被摄体)的识别(以下称作识别处理)，(c)到被摄体(或特定被摄体)的距离、被摄体(或特定被摄体)的尺寸(高度、宽度)、被摄体(或特定被摄体)的形状、被摄体(或特定被摄体)的速度等。
此外，本实施方式的感应***10通过单独使用第2摄像信号(反射有源光)的运算，能够计算被摄体信号。作为该运算方法的一例，有TOF(飞行时间)方式。根据TOF方式，作为发光信号，能够将来自测量对象物的反射有源光作为曝光信号，基于第1曝光信号和第2曝光信号的以不同的定时的两个样式用固体摄像元件20内的有源光用像素曝光的各自的光量的比，计算到测量对象物(被摄体)的距离。换言之，对于被摄体，按照由曝光/发光控制部24产生的曝光信号表示的定时进行多次曝光，能够输出与多次的曝光量的总和对应的摄像信号。
例如，通过第1曝光信号，以包含来自测量对象物的反射光的全部的方式进行曝光，通过第2曝光信号，进行来自测量对象物的反射光相对于发光定时越延迟、曝光量越增加那样的曝光。此外，为了检测背景光等的偏移成分，使发光信号停止，进行与第1曝光信号、第2曝光信号相同条件的曝光。
并且，使用下述的(式1)计算基于第1曝光信号的曝光量的总和S1、基于第2曝光信号的曝光量的总和S0、背景光的曝光量的总和BG、照射的直接光的发光信号的时间幅度T0、从光速度c的各值到被摄体的距离L。
[数式1]
Figure BDA0002111531910000141
此外，按照1画面的发光信号、第1曝光信号、第2曝光信号的定时，将发光信号和第1曝光信号多次反复输出，然后将发光信号和第2曝光信号以相同次数反复输出，然后使发光信号停止，将与第1曝光信号及第2曝光信号相同条件的曝光信号以相同次数反复输出。也可以将该一系列的定时作为1个组，将其反复输出多个组后，将储存的曝光量输出，通过(式1)计算到被摄体的距离。
另外，本实施方式的感应***10也可以使用TOF方式以外的运算处理。作为一例，也可以采用感应***10将照射有源光照在被摄体上、用反射有源光的畸变进行运算处理的图案照射方式等。
进而，本实施方式的感应***10能够通过单独使用第1摄像信号(无源光)的运算来计算被摄体信号。作为该运算方法的一例，有对基于第1摄像信号的连续图像进行摄影、将该连续图像的信号(图像摄像信号)向运算部21输出并在运算部21中将当前的帧(图像)与之前的帧(图像)比较来进行被摄体信号的计算的方法。
这样，使用参照信号和第1摄像信号及/或第2摄像信号，在操作环境条件(在汽车中是驾驶状况、或从停止向启动的转移状况)下，通过最适合的运算方法，能够进行被摄体信号的运算(计算)。
此外，运算部21内的信号处理部23是进行以被摄体(或特定被摄体)感应精度及性能提高、信号量减少为目的的信号处理的单元，与第1摄像信号、第2摄像信号、参照信号一起，由后述的处理信号或一次被摄体信号、处理信号进行例如以下作为一例表示的信号处理。
作为信号处理的一例，是：(a)检测处理；(b)识别处理；(c)降噪处理，减少可能成为噪声的信号；(d)使用单个低分辨率的摄像，或使用基于其他多个摄像推测的值，使摄像信息(摄像图像)变得高精细或清晰的处理(影像放大高精细化处理、超分辨率处理)；(e)所谓的HDR(高动态范围)处理，一边改变曝光一边进行多张的摄像，通过将它们合成而计算泛白及泛黑较少的具有较宽的动态范围的图像(高动态范围图像)，及/或通过将制作出的摄像信息(图像)用色调映射(作为方法，有降低图像整体的对比度的方法、或降低图像的局部性的对比度的方法)缩小动态范围，来进行拥有标准的动态范围的图像的计算；(f)所谓的压缩处理，从摄像信息中减少多余的部分、减少整体的信号量的处理；(g)第1摄像信号、第2摄像信号的选择处理(也包括一部分选择)；(h)是否将被摄体信号向后段(后述的装置控制部40)输出的判断处理；(i)在将被摄体信号向后段(后述的装置控制部40)输出的情况下根据多种信息(特定被摄体的种类、到特定被摄体的距离、特定被摄体的尺寸、特定被摄体的形状、特定被摄体的速度等)进行的是否将其一部分或全部输出的选择判断处理；等等。
另外，信号处理并不限定于上述。
此外，在本实施方式中，如上述那样，检测处理和识别处理在被摄体运算部22和信号处理部23的哪个中都能够进行。
此外，关于上述(f)的压缩处理，可以使用可逆压缩、非可逆压缩(作为一例是MPEG、JPEG)。特别是，在重视从运算部21向装置控制部40的非被摄体信号的传输速度的情况下，更优选的是使用可逆压缩，另一方面，在重视后述的装置控制部40的信号处理负荷的降低的情况下更优选的是非可逆压缩。
图5A～图5D是在有关实施方式1的感应***及驾驶支援***中搭载的运算部的结构例的功能框图。
运算部21将信号处理部23搭载有信号处理部23a、23b。
运算部21在重视上述(f)、(g)、(h)及(i)的信号处理的情况下，如图5A所示，更优选的是在被摄体运算部22的后段搭载信号处理部23b。另一方面，运算部21在重视上述(c)、(d)、(e)及(f)的信号处理的情况下，更优选的是如图5B所示那样在被摄体运算部22的前段搭载信号处理部23a。
进而，在运算部21中，如果在上述(f)的信号处理中重视被摄体运算部22的负荷降低，则更优选的是如图5B那样在被摄体运算部22的前段搭载信号处理部23a。另一方面，在运算部21中，如果重视后段的装置(装置控制部40)的负荷降低，则更优选的是如图5A那样在被摄体运算部22的后段搭载信号处理部23b。
另外，被摄体运算部22和信号处置部的配置并不限定于图5A或图5B。例如，也可以如图5C那样在被摄体处理部的前段及后段配置信号处理部23a、23b。在此情况下，能够更细致及正确地实施运算的最优化。
此外，也可以如图5D所示那样，使用由信号处理部23处理后的处理信号，用被摄体运算部22形成一次被摄体信号，再回到信号处理部23，再次进行信号处理(还有将这些反复进行的情况)，来输出被摄体信号。在此情况下，能够以较高的维度实现运算的高精度化、运算部21的小型化等。
此外，运算部21在操作环境条件(在汽车时是驾驶状况、或从停止向启动的转移状况)下，通过最适合的第1摄像信号、第2摄像信号的选择(或补全)进行运算。
对该运算方法的使用区分(使用方式)的一例进行说明。
(a)第1使用方式是根据昼夜选择第1摄像信号或第2摄像信号的方法，例如在白天等的情况下，在本实施方式中主要使用第1摄像信号。另一方面，在夜间等不能进行清晰的可视图像摄像的情况下，主要使用第2摄像信号。由此，不论昼夜如何都能够正确地进行感应。
(b)第2使用方式是根据处置的天气及环境条件等选择图像摄像信号或摄像信号的方法。例如，在傍晚等的受到较强的日照的情况下、在降雨的情况下等主要使用第2摄像信号，在其以外的环境下主要使用第1摄像信号。由此，不论是怎样的天气状况都能够以较高的精度进行感应。
(c)第3使用方式是根据到被摄体的距离选择第1摄像信号或第2摄像信号的方法。即，在容易成为广角图像的近距离下主要使用第2摄像信号，在中远距离下主要使用第1摄像信号。由此，在怎样的到被摄体的距离的情况下都能够以较高的精度进行感应。
(d)第4使用方式是根据搭载本***的运输设备(例如汽车)或被摄体的运动速度来选择第1摄像信号或第2摄像信号的方法。例如在运输设备的速度是例如100km/h以上的高速度时，更优选的是主要使用第2摄像信号。
(e)第5使用方式是当搭载本***的运输设备(例如汽车)从停止中行驶起步(前方起步或后方起步)时，以到被摄体(或特定被摄体)的距离测量精度为优先，主要使用第1摄像信号。
另外，在本实施方式中，根据上述测距环境(感应环境)的状态选择第1摄像信号或第2摄像信号，但并不限定于此。例如，为了使根据一方的信号的运算结果正确，根据环境的状态也可以将单方的信号用于修正。
例如，作为(d)第4使用方式的详细情况，也可以是，在运输设备的速度为例如30km/h以内的低速度下，使用第2摄像信号的运算结果和第1摄像信号的运算结果中的某个的运算结果作为补全信息来计算最终的距离。此外，也可以例如在30～100km/h以内的中速度下将第2摄像信号和第1摄像信号按每个帧区分使用，例如在100km/h以上的高速度下使用第2摄像信号。由此，不论是怎样的到被摄体的距离都能够以较高的精度测距。
(f)作为第6使用方式，在使用图像摄像信号(第1摄像信号)取得被摄体(或特定被摄体)的边缘线部而进行检测处理(所谓的边缘检测处理)时也一起进行压缩处理，结果，在图像的轮廓(被摄体的边缘)模糊而不能充分得到边缘线部的信息的情况下，使用TOF信号(第2摄像信号)作为补全信号(换言之，对于使用压缩图像的运算使用根据TOF的运算作为补全运算)。由此，能够不降低被摄体检测及被摄体识别的精度而进行信号量削减(信号压缩、数据压缩)。
此外，运算部21将被摄体信号向装置控制部40输出，装置控制部40进行装置控制。另外，该被摄体信号例如也包含如后述那样不能充分地得到摄像信号、不能运算的结果作为被摄体信号。
此外，根据从感应***10输出的被摄体信号进行的装置控制(装置操作)在搭载驾驶支援***30的装置是汽车的情况下，例如进行以下的装置控制：(a)自动制动操作，在行驶中在前方有障碍物的情况下避免碰撞；(b)起步停止操作，在停止中，在尽管有障碍物、但弄错制动踏板而踩踏了加速踏板的情况下停止车辆起步；(c)紧急制动信号操作，用于对后续车辆在视觉上表示正在进行急制动；(d)判断为仅通过自动制动来不及的情况下的自动转向操作；(e)所谓的自动驾驶操作，使用关于车道的白线等的被摄体信号，驾驶者能够不进行转向操作等而行驶，等等。另外，装置操作并不限定于上述的操作。
接着，使用图6对有关实施方式1的感应***10的处理流程进行说明。这里，图6是有关实施方式1的感应***及驾驶支援***的流程图。
首先，感应***10从装置侧接受参照信号(S10)。
接着，固体摄像元件20分别基于第1光及第2光计算第1摄像信号及第2摄像信号(S11)。
接着，将第1摄像信号及/或第2摄像信号向运算部21输出(S12)。
接着，运算部21基于第1摄像信号及第2摄像信号进行被摄体运算处理及信号处理，计算被摄体信号(S13)。另外，也有运算部21直接接受参照信号、也使用该参照信息计算被摄体信号的情况。
接着，进行是否将计算出的被摄体信号向后段输出的判断(S14)。
在S14中，在计算出的是否将被摄体信号向后段输出的判断为是的情况下(即，判断为将被摄体信号输出的情况下)(S14中是)，将被摄体信号向装置侧输出(S15)。
接着，在装置侧，使用被摄体信号进行上述那样的装置控制(S16)。例如，在通过运算能够掌握到被摄体的距离、尺寸及形状、能够检测到被摄体的情况下，使用被摄体信号，进行自动制动操作、紧急制动信号操作、自动操纵操作、自动加速操作等。
另外，被摄体信号并不限于能够掌握到被摄体的距离、尺寸及形状、能够进行被摄体检测/识别的情况，也包括不能运算到被摄体的距离、尺寸及形状、不能进行被摄体检测/识别等的信息(信号)。在此情况下，例如在大雨、雾等的天气恶化、在非常混乱的场所的行驶中的情况下，进行输出表示不能计算到被摄体的距离等的信号(被摄体信号)、装置(汽车)侧对驾驶者产生表示视野较差、是不能用感应***10计算被摄体信号那样的状态的警告音或显示器显示等那样的装置控制。
以上，在是否将被摄体信号向后段输出的判断为是的情况下结束。
另外，在是否将计算出的被摄体信号向后段输出的判断为否(即，即使信号输出、作为用来进行汽车控制的信息也不是有益的，判断为不将被摄体信号输出的情况)的情况下(S14中否)，并且在第1情况下，在感应***10内进行信号消除(或，虽然暂时将信息储存(记录或存储)，但因为通过新的被摄体信号的计算而记录/存储容量不足等，通过信号覆盖而将旧信号消除，或者，虽然暂时地存储信息，但通过一定的时间经过等进行信号消除)等。
以上，在是否将被摄体信号向后段输出的判断为否的情况且第1情况下结束。
此外，在是否将计算出的被摄体信号向后段输出的判断为否的情况下(S14中否)，并且在第2情况下，例如进行以下的某个动作：(a)在新进行参照信号的输入(获得)后，再次进行摄像，新获得第1摄像信号、第2摄像信号，再次进行被摄体运算处理及/或信号处理的再执行；(b)获得由新的摄像动作得到的新的第1摄像信号、第2摄像信号，再次进行被摄体运算处理、信号处理的再执行；(c)在新的参照信号的输入(获得)后，再次进行被摄体运算处理、信号处理的再执行；(d)再次进行被摄体运算处理、信号处理的再执行的某个动作。
然后，进行是否输出被摄体信号的再次判断，在为是的情况下输出被摄体信号，基于该被摄体信号进行装置控制。
以上，在是否将被摄体信号向后段输出的判断为否的情况下且第2情况下结束。
如以上这样使用附图说明的本实施方式的感应***10具备以下这样的效果。
根据本实施方式，能够在避免感应***10的装置大型化、高成本化的同时，进行比通常的感应***(换言之单机型***)更高精度的感应及感应运算(被摄体信号的计算)。
此外，在本实施方式中，通过适当使用多种摄像信号(基于反射有源光的第1摄像信号、基于无源光的第2摄像信号)和参照信号进行被摄体信号的计算，例如对于在汽车中在行驶中依次变化的环境的变化，也能够总是以高精度计算被摄体信号。
特别是，如图2A～图2E所示，在本实施方式的感应***10中，输出第1摄像信号和第2摄像信号的固体摄像元件20是相同的，即使用单板的固体摄像元件20。因此，各摄像信号的摄像中心(光学中心、光轴中心)等相同，摄像信号间的相位差较少，摄像信号的同步等的精度较高，所以与基于第1摄像信号和第2摄像信号的各自的运算结果的互换性及相关性较高，能够计算精度更高的被摄体信号。
此外，在本实施方式中，感应***10具备运算部21，使用来自装置侧的参照信号，换言之，使用以各种传感器(GPS传感器等)或云等的信息为基础的参照信号。由此，对于在时间轴上依次变化的环境状况(拥堵信息、施工信息)也能够总是高精度地进行最适合的摄像、运算，在所有的情况下都能够进行高精度的装置控制(驾驶控制、操作控制)。
例如，作为搭载本实施方式的感应***10的车辆的本***搭载车辆在根据参照信号(通过与GPS传感器、云信息等组合得到的地图上的装置(汽车)位置信息、作为装置(汽车)自身的动作/操作信息的速度信息等)判断出正在高速道路上行驶的情况下，计算重视作为前方物正进行高速移动的前方车辆的被摄体信号，通过将该被摄体信号向装置控制部40发送，装置控制部40能够进行适合于该状况的装置控制。
此外，作为其他例，本***搭载车辆在根据参照信息判断为正在例如道宽较窄那样的行人车辆兼用道路中行驶的情况下(换言之，本***搭载车辆以比较低速行驶)，能够输出重视在到被摄体比较近距离的范围中检测及识别多种多样的被摄体或特定被摄体(例如，除了前方车辆以外，还有行人、自行车、动物、进入车道中的障碍物等)的被摄体信号，装置控制部40能够进行能适合于该状况的装置控制。
此外，在本实施方式中，通过用信号处理部进行信号处理，能够总是以高精度进行最优的摄像、运算，在所有的环境条件都能够进行高精度的装置控制(驾驶控制、操作控制)。
此外，在本实施方式中，通过用信号处理部进行信号处理，能够防止被摄体信号成为千兆比特(Giga bit)量级的容量而需要高速数据传输的情况。
此外，在本实施方式中，感应***10通过将被摄体信号有选择地输出，能够不对运算部21作用较大的负荷而实现连续摄像、连续运算。
进而，在本实施方式中，来自运算部21的运算结果(被摄体信号)有选择地(以适当的定时)向装置侧控制部发送，所以在装置侧(装置控制部40)能够降低运算负荷，能够进行运算的高精度化、高速运算、高速处理、低耗电化。
特别是，在汽车用途中，近年来为了进行数量较多的控制而将装置控制部40(集成电路)高集成化(作为一例，增加了通用处理器(CPU)的数量)。如果这样，则在装置整体中带来耗电的增加及成本增加，即，有负荷变得极大的问题，而本实施方式能够解决该问题。
(实施方式2)
以下，参照附图对有关实施方式2的感应***(测距摄像***)的结构及动作，以与基本结构不同的点、以及与在到此为止的实施方式中说明的内容的差异点为中心说明详细情况。
图7A及图7B是表示有关实施方式2的感应***及驾驶支援***的概略结构例的功能框图。
如果以与图1的基本结构不同的点、以及与图3的结构的差异为中心进行说明，则图7A及图7B所示的有关本实施方式的驾驶支援***30具备主感应***10a和子感应***10b。
图7A及图7B所示的主感应***10a基本结构与在图3中表示的感应***10相同。但是，关于处理流程一部分有不同的点，其详细情况后述。另外，主感应***10a也可以是与图3不同的***。
另一方面，图7A及图7B的子感应***10b例如进行(a)被摄体的中的特定被摄体的检测处理、(b)被摄体(或特定被摄体)的识别处理、(c)关于特定被摄体(或被摄体)的距离、尺寸、形状及速度的计算等。
另外，该子感应***10b可以使用与主感应***10a相同的结构，但也可以使用重视功能的缩减、低成本化、小型化等而与主感应***10a不同方式的感应***(作为一例，使用微波雷达、激光雷达的感应***等)。
进而，在图7A及图7B中表示了1台子感应***10b，但也可以设置多台子感应***10b。
使用图8A及图8B对其详细情况进行说明。
图8A是表示有关实施方式2的感应***及驾驶支援***的第1搭载例的概略搭载图，图8B是表示有关实施方式2的感应***及驾驶支援***的第2搭载例的概略搭载图。
如图8A所示，主感应***10a为了用于在行驶中最重视的前方感应而设置，子感应***10b设置为，对车辆的侧面、后方进行感应。由此，能够对车辆的全方向进行感应。
另一方面，如图8B所示，也可以将子感应***10b为了进行与主感应***10a相同方向的感应而设置。由此，能够更高精度地进行相同方向(前方方向)上的感应精度。
另外，主感应***10a和子感应***10b的设置并不限定于上述，也可以设置在其他地点，或者也可以将图8A和图8B的设置组合。
再次使用图7A及图7B进行说明。图7A表示主感应***10a是通常状态及非通常状态时、子感应***10b是通常状态时的情况，图7B表示子感应***10b是非通常状态时的情况。另外，所谓非通常状态时，是设备(运输设备)有可能与障碍物碰撞的情况等。
如图7A所示，子感应***10b在通常状态时不将运算结果向装置控制部40输出。另一方面，如图7B所示，子感应***10b侧在非通常状态时且得到了应注意的被摄体信息的情况下，向装置侧(装置控制部40)输出子被摄体信号。
此外，在输出了子被摄体信号的情况下，装置控制在装置是汽车(运输设备)的情况下(特别是作为对前方进行感应的***使用的情况下)，例如进行以下的装置控制：(a)在停止中尽管有障碍物、但弄错制动踏板而踩踏了加速器等的情况下自动起步停止；(b)为了对于后续车辆用视觉表示正进行急制动而紧急制动信号动作；(c)在判断为仅通过自动制动来不及的情况下自动转向操作，等等。但是，装置操作并不限定于上述。
另外，在上述控制中，也可以想到根据情况会与前方车辆碰撞，但在本实施方式中能够避免该问题。使用图9对其详细情况进行说明。
图9是有关实施方式2的感应***及驾驶支援***的流程图。
以下，使用图9对有关实施方式2的感应***10的处理流程进行说明。
首先，主感应***10a从装置侧接受参照信号(S21)。
接着，由固体摄像元件20分别基于第1光及第2光计算第1摄像信号及第2摄像信号(S22)。
接着，将第1摄像信号及/或第2摄像信号向运算部21输出(S23)。
接着，运算部21基于第1摄像信号及第2摄像信号进行被摄体运算处理及信号处理，计算主被摄体信号(S24)。另外，也有运算部21直接接受参照信号、也使用该参照信息计算主被摄体信号的情况。
这里，说明以与主感应***10a相同定时进行的子感应***10b。
首先，子感应***10b计算子被摄体信号(S31)。
接着，判断是否将子被摄体信号向装置侧输出(S32)。另外，在子感应***10b中，不论在S33中是否指示主被摄体信号的输出停止，都将子被摄体信号向装置侧(装置控制部40)输出。
在S32中，在是否将子被摄体信号向后段输出的判断为否(即，即使输出子被摄体信号也不是用来进行装置控制的有益的信息、判断为不将子被摄体信号输出的情况下)的情况下(S32中否)，进行子被摄体信号的消除(或者，虽然暂时将信息储存，但因为通过新的子被摄体信号的计算而记录/存储容量不足等，通过子被摄体信号覆盖而将旧信号消除，或者，虽然暂时储存信息，但通过一定的时间经过等而将信号消除)等(S35)。
以上，在是否将子被摄体信号向后段输出的判断为否的情况下结束。
另一方面，在S32中，在是否将子被摄体信号向后段输出的判断为是(即，判断为输出了子被摄体信号的情况下)的情况下(S32中是)，将子被摄体信号向装置侧(装置控制部40)输出(S33)，并将关于该判断的信号(输出判断信号)向主感应***10a输出(S33中是)。
接着，在主感应***10a中，也考虑输出判断信号，进行是否将主被摄体信号向后段输出的判断(S25)。但是，该判断不需要等待输出判断信号被输入。
在S25中，在是否将主被摄体信号向后段输出的判断为否(在判断为即使输出主被摄体信号也不是用来进行汽车控制的有益的信息的情况下，或在判断为子被摄体信号优先级比主被摄体信号高的情况下)的情况下(S25中否)，并且在第1情况下，在感应***内进行主被摄体信号的消除(或者，虽然暂时将信息储存，但因为通过新的被摄体信号的计算而记录/存储容量不足等，通过主被摄体信号覆盖而将旧信号消除，或者，虽然暂时储存信息，但通过一定的时间经过等而将信号消除)等(S28)。
此外，在S25中，在是否将主被摄体信号向后段输出的判断为否的情况下(S25中否)，并且在第2情况下，与实施方式1同样，例如也可以进行以下的某个动作：(a)在新进行参照信号的输入(获得)后，再次进行摄像，新获得第1摄像信号、第2摄像信号，再次执行被摄体运算处理及/或信号处理；(b)获得由新的摄像动作带来的新的第1摄像信号、第2摄像信号，再次执行被摄体运算处理、信号处理；(c)在新的参照信号的输入(获得)后，再次执行被摄体运算处理、信号处理；(d)被摄体运算处理、信号处理的再执行。
以上，在是否将主被摄体信号向后段输出的判断为否的情况下(S25中否)，并且在第2情况下结束。
另一方面，在S25中，在是否将主被摄体信号向后段输出的判断为是的情况下(S25中是)，将主被摄体信号向装置侧输出(S26)。
接着，在装置侧，使用子被摄体信号或主被摄体信号如上述那样进行装置控制(S27)。由此，当避免子感应***10b监视的方向(后方)的危险时，能够在考虑主感应***10a监视的方向(前方)的状况的同时进行危险避免(装置控制)。
以上，如使用附图说明那样，在有关本实施方式的驾驶支援***中，能够对于对多个方向的危险进行装置控制。
进而，在本实施方式中，装置控制适当区分仅使用子被摄体信号的情况、和使用子被摄体信号和主被摄体信号的情况而使用，当避免子感应***10b监视的方向(后方)的危险时，能够在考虑主感应***10a监视的方向(前方)的状况的同时进行危险避免(装置控制)。
此外，在本实施方式中，适当区分仅使用子被摄体信号的情况、和使用子被摄体信号和主被摄体信号的情况而使用，即，不总是输出主被摄体信号和子被摄体信号。由此，能够在进行多方向的感应的同时，防止在装置侧(装置控制部40)施加高负荷，能够进行运算的高精度化、高速运算、高速处理、低耗电化。
特别是，在汽车(运输设备)用途中，近年来为了进行数量较多的控制而将装置控制部40(集成电路)高集成化(作为一例，增加了通用处理器(CPU)的数量)。在这样的情况下，在装置整体中带来耗电的增加及成本增加，即，负荷很大，引起运算错误及运算的延迟，而本实施方式能够解决该问题。
另外，在本实施方式中，子感应***10b与主感应***10a同样，也可以从装置控制部40接受参照信号。在此情况下，子感应***10b能够进行更适合于行驶环境的判断。
另外，有关本发明的感应***及驾驶支援***并不限定于上述实施方式。将各实施方式的任意的构成要素组合而实现的其他实施方式、或对各实施方式实施本领域技术人员在不脱离本发明的主旨的范围内想到的各种变形而得到的变形例、及内置了有关本实施方式的感应***及驾驶支援***的各种设备也包含在本发明中。
产业上的可利用性
有关本发明的感应***、驾驶支援***由于能够实现测量对象物的高精度的感应，所以例如对于向运输设备的搭载来说是有用的。
标号说明
10 感应***
10a 主感应***
10b 子感应***
20 固体摄像元件(图像传感器、传感器元件)
21 运算部
22 被摄体运算部
23、23a、23b 信号处理部
24 曝光/发光控制部
25 脉冲光源部
25a、25b 头灯
26a、26b 雾灯
30 驾驶支援***(操作支援***)
40 装置控制部
41 信息获得部

Claims (13)

1.一种驾驶支援***，具有：
感应***，具有按照发光信号照射红外光的光源、进行摄像的固体摄像元件和运算部；以及
装置控制部，
所述固体摄像元件输出图像摄像信号和TOF信号，
所述运算部使用所述摄像信号和所述TOF信号，将针对从被摄体中检测到的特定被摄体计算出的多种信息的一部分或者全部作为被摄体信号向所述装置控制部输出，
所述装置控制部使用所述被摄体信号，进行搭载了所述驾驶支援***的运输设备的驾驶控制，
所述TOF信号是按照第1曝光信号和与所述第1曝光信号的定时不同的第2曝光信号，根据与所述红外光对应的反射光的曝光和在为了检测背景光的偏移分量而使所述发光信号停止的状态下的曝光，来生成的信号。
2.根据权利要求1所述的驾驶支援***，其特征在于，
所述特定被摄体为多个被摄体和/或多种被摄体。
3.根据权利要求1所述的驾驶支援***，其特征在于，
所述运算部具备被摄体运算部和信号处理部，
所述被摄体运算部进行所述特定被摄体的检测和所述多种信息的计算，作为一次被摄体信号向所述信号处理部输出，
所述信号处理部进行根据所述一次被摄体信号判断所述多种信息的一部分或者全部的输出的选择判断处理，并作为所述被摄体信号向所述装置控制部输出。
4.根据权利要求1所述的驾驶支援***，其特征在于，
所述多种信息是所述特定被摄体的种类、到所述特定被摄体的距离、所述特定被摄体的尺寸、所述特定被摄体的形状以及所述特定被摄体的速度的信息中的至少2种。
5.根据权利要求1所述的驾驶支援***，其特征在于，
所述装置控制部进行自动制动操作、紧急制动信号操作、自动转向操作或自动加速操作作为驾驶操作。
6.根据权利要求1所述的驾驶支援***，其特征在于，
所述驾驶支援***用于车室内感应的用途。
7.根据权利要求6所述的驾驶支援***，其特征在于，
所述特定被摄体是所述运输设备的驾驶者，
所述车室内感应是用于防止所述驾驶者打瞌睡或防止驾驶中走神的感应。
8.根据权利要求1所述的驾驶支援***，其特征在于，
所述运算部选择所述图像摄像信号或者所述TOF信号，或者，根据所述图像摄像信号和所述TOF信号中的一方对所述图像摄像信号和所述TOF信号中的另一方进行修正。
9.根据权利要求1所述的驾驶支援***，其特征在于，
使用所述TOF信号生成距离图像。
10.根据权利要求1所述的驾驶支援***，其特征在于，
所述固体摄像元件是单板的固体摄像元件，
所述图像摄像信号由R、G、B及BW中的至少1个像素生成，所述TOF信号由IR像素生成。
11.根据权利要求1所述的驾驶支援***，其特征在于，
所述感应***使用从所述运输设备送来的所述运输设备的位置信息、云信息以及所述运输设备的动作信息或操作信息中的至少1个参照信号进行感应，
所述云信息是水平方向和/或垂直方向的地图信息、以及行驶地点或计划行驶地点的逐次环境信息中的至少1个信息，
所述动作信息是关于运输设备的行驶速度、行驶加速度及停止的信息、运输设备的载重平衡信息、以及关于运输设备的载重平衡的信息中的至少1个信息，
所述操作信息是加速踏板、制动踏板的踏入信息、以及变速器的齿轮位置信息中的至少1个信息。
12.根据权利要求11所述的驾驶支援***，其特征在于，
所述感应***根据所述参照信号变更感应的范围，并进行与包含于该范围的所述被摄体有关的感应。
13.根据权利要求1所述的驾驶支援***，其特征在于，
所述运算部进行降噪处理、超分辨率处理、高动态范围合成处理以及压缩处理中的至少1个信号处理。
CN201910573744.5A 2014-05-30 2015-05-27 驾驶支援*** Active CN110293973B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014112895 2014-05-30
JP2014-112895 2014-05-30
PCT/JP2015/002678 WO2015182135A1 (ja) 2014-05-30 2015-05-27 センシングシステム及び運転支援システム
CN201580027457.4A CN106415312B (zh) 2014-05-30 2015-05-27 感应***及驾驶支援***

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580027457.4A Division CN106415312B (zh) 2014-05-30 2015-05-27 感应***及驾驶支援***

Publications (2)

Publication Number Publication Date
CN110293973A CN110293973A (zh) 2019-10-01
CN110293973B true CN110293973B (zh) 2022-10-04

Family

ID=54698481

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580027457.4A Active CN106415312B (zh) 2014-05-30 2015-05-27 感应***及驾驶支援***
CN201910573744.5A Active CN110293973B (zh) 2014-05-30 2015-05-27 驾驶支援***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580027457.4A Active CN106415312B (zh) 2014-05-30 2015-05-27 感应***及驾驶支援***

Country Status (4)

Country Link
US (1) US11397248B2 (zh)
JP (1) JP6731135B2 (zh)
CN (2) CN106415312B (zh)
WO (1) WO2015182135A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6541119B2 (ja) 2016-12-05 2019-07-10 パナソニックＩｐマネジメント株式会社 撮像装置
JP6747405B2 (ja) * 2017-08-25 2020-08-26 トヨタ自動車株式会社 自車位置自信度演算装置
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
JP7293648B2 (ja) * 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
JP7319297B2 (ja) * 2018-12-25 2023-08-01 株式会社ワコム 入力システム
CN113138393B (zh) * 2020-01-17 2024-05-31 浙江菜鸟供应链管理有限公司 环境感测***、控制装置以及环境感测数据融合装置
KR20210149954A (ko) * 2020-06-02 2021-12-10 현대자동차주식회사 전기 모터를 구비한 자동차 및 그를 위한 충돌 방지 제어 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296766A (ja) * 1992-04-16 1993-11-09 Canon Inc 障害物検出装置
JPH08339498A (ja) * 1995-06-09 1996-12-24 Yazaki Corp 車両周辺監視装置
JPH11306498A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd 車載カメラシステム
JP2001008195A (ja) * 1999-06-24 2001-01-12 Mitsubishi Motors Corp 車両後方監視装置
JP3912472B2 (ja) * 1999-09-27 2007-05-09 マツダ株式会社 車両の表示装置
US6654593B1 (en) 2000-10-30 2003-11-25 Research In Motion Limited Combined discrete automatic gain control (AGC) and DC estimation
JP4530571B2 (ja) * 2001-04-16 2010-08-25 Ｈｏｙａ株式会社 ３次元画像検出装置
JP2003339498A (ja) 2002-05-24 2003-12-02 Iris Ohyama Inc 鉢植え保持具
JP4075559B2 (ja) * 2002-10-07 2008-04-16 トヨタ自動車株式会社 撮影システム
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
JP2005001467A (ja) * 2003-06-10 2005-01-06 Suzuki Motor Corp 車両用障害物検出装置及び方法
JP4043416B2 (ja) * 2003-07-30 2008-02-06 オリンパス株式会社 安全移動支援装置
JP4609076B2 (ja) * 2005-01-20 2011-01-12 トヨタ自動車株式会社 移動物体検出装置及び移動物体検出方法
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
JP4395150B2 (ja) 2006-06-28 2010-01-06 富士フイルム株式会社 距離画像センサ
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
JP2008252327A (ja) * 2007-03-29 2008-10-16 Toyota Motor Corp 車両周辺監視装置
JP4434234B2 (ja) 2007-05-30 2010-03-17 トヨタ自動車株式会社 車両用撮像システム、及び車両用制御装置
JP2009175848A (ja) * 2008-01-22 2009-08-06 Nec Corp ドライブレコーダ装置、ドライブレコード方法、プログラム、及び記録媒体
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
JP5698065B2 (ja) * 2011-04-22 2015-04-08 株式会社小糸製作所 障害物検出装置
US9008914B2 (en) * 2011-09-26 2015-04-14 Toyota Jidosha Kabushiki Kaisha Driving support system for a vehicle
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
CN103434538A (zh) * 2013-08-15 2013-12-11 王元知 高速、动车运行安全车载指示装置
US9315192B1 (en) * 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法
WO2015075926A1 (ja) * 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム
CN103593658A (zh) * 2013-11-22 2014-02-19 中国电子科技集团公司第三十八研究所 一种基于红外图像识别的三维空间定位***

Also Published As

Publication number Publication date
US11397248B2 (en) 2022-07-26
WO2015182135A1 (ja) 2015-12-03
US20170052257A1 (en) 2017-02-23
CN106415312B (zh) 2019-07-02
CN110293973A (zh) 2019-10-01
JPWO2015182135A1 (ja) 2017-04-20
CN106415312A (zh) 2017-02-15
JP6731135B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
CN110293973B (zh) 驾驶支援***
JP6536984B2 (ja) 測距撮像システム、固体撮像素子及び測距撮像方法
TWI814804B (zh) 距離測量處理設備，距離測量模組，距離測量處理方法及程式
US10377322B2 (en) In-vehicle camera and vehicle control system
JP6176028B2 (ja) 車両制御システム、画像センサ
JP5680573B2 (ja) 車両の走行環境認識装置
US9827956B2 (en) Method and device for detecting a braking situation
JP2017005678A (ja) 車載カメラ・システム並びに画像処理装置
US10771711B2 (en) Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject
US20220317269A1 (en) Signal processing device, signal processing method, and ranging module
WO2020175117A1 (ja) 測距装置、測距方法、並びにプログラム
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
WO2020175118A1 (ja) 測距装置、測距方法、並びにプログラム
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
WO2023281810A1 (ja) 測距装置及び測距方法
KR20240022343A (ko) 차량 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200603

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: Nuvoton Technology Corporation Japan

Address before: Kyoto Japan

Applicant before: Panasonic semiconductor solutions Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant