具体实施方式
下面,参考附图来说明本申请的实施方式涉及的测距摄像***。另外,以下的实施方式都是表示本申请的一个具体例子,数值、形状、材料、构成要素、构成要素的配置位置以及连接形式等都是一个例子,主旨不是限制本申请。
而且,以下的实施方式1~5涉及的测距摄像***,可以进行组合后利用。
(实施方式的基本构成)
图1是表示实施方式的基本构成涉及的测距摄像***10的基本构成例的概略的功能框图。
如图1所示,测距摄像***10具备摄像部30、脉冲光源部20、控制部60、运算部50。
脉冲光源部20,按照接收由控制部60产生的发光信号的定时,向被摄体照射用于测距的光。而且,脉冲光源部20具有驱动电路、电容器及发光元件等,将电容器保持的电荷提供给发光元件,从而发出脉冲光(以下称为照射有源光)。照射有源光作为一例是包含近红外光的红外光(IR光)。而且,作为发光元件,也能采用激光二极管和发光二极管(LED)等各种发光元件。
而且,发光元件可以不必是单色的发光元件。例如,从发出振荡的可见光的发光元件有选择地照射光(例如,近红外光)。换言之,通过组合红色的发光元件、蓝色的发光元件、黄色的发光元件等多种颜色的发光元件,能够从发出的振荡的光的波长区域中,有选择地照射光(例如,近红外光)。
而且,作为照射有源光,可以采用向各个方向分散的光(所谓一般的光),除此之外还可以将指向性和收敛性出色并且能够使产生的电磁波的波长保持为一定的激光作为照射有源光来照射。
而且,控制部60产生指示脉冲光源部20照射照射有源光的发光信号。加之,控制部60产生如下两种曝光信号,一种是对摄像部30指示照射有源光的反射光(以下称为反射有源光)的曝光的信号,另一种是指示由太阳光、室内照明光等外光引起的通常的被摄体光的曝光,换句话说不由照射有源光引起而从被摄体发出的放射光(以下称为无源光)的曝光的信号。这样,控制部60具有作为信号产生部的功能,即产生指示光照射的发光信号和指示曝光的曝光信号。
而且,摄像部30具备摄像机透镜、固体摄像元件40(图像传感器)等,按照曝光信号进行曝光以及摄像。
固体摄像元件40,根据曝光信号,接受来自被摄体的无源光并且输出图像摄像信号。
而且,固体摄像元件40,根据曝光信号,接受从脉冲光源部20发出的照射有源光在被摄体反射后的反射有源光,并且输出摄像信号。
而且,运算部50,根据来自摄像部30的图像摄像信号、摄像信号的双方的信号,输出与被摄体有关的距离信息。详细内容利用后述的实施方式来说明。
另外,本实施方式还包括在固体摄像元件40搭载模数转换器等电路的情况,该模数转换器将图像摄像信号、摄像信号进行数字化并输出。
另外,本实施方式还包括控制部60、摄像部30以及运算部50的一部分或者全部,以单片搭载在半导体基板的情况。
而且,本实施方式涉及的测距图像***中,能够进行距离测量的信息,不局限为到被摄体的距离,例如,能够输出被摄体的尺寸(高度,宽度)等各种距离(尺寸)。详细内容利用后述的实施方式说明。
图2A是实施方式的基本构成涉及的固体摄像元件40的构成例的平面构造图。
如图2A,固体摄像元件40分别具备接受无源光的像素(以下称为第一像素或者无源光用像素)和接受反射有源光的像素(以下称为第二像素或者有源光用像素)。
图2B是表示图2A的固体摄像装置的具体的一例的平面构造图。在图2B的例子中具备无源光用像素和有源光用像素,在无源光用像素设置了透过R,G,B的各个滤波器、在有源光用像素设置了透过IR的滤波器。换言之,在测距摄像***10装载图2B的固体摄像元件40的情况下,从脉冲光源部20照射作为可见光以外的光的IR光,有源光用像素接受作为可见光以外的光的IR光。
另外,图2C是表示图2A的固体摄像装置的变形例的平面构造图。在本实施方式,固体摄像元件40,可以改变图2A、图2B的构成,可以是如图2C所示无源光用像素和有源光用像素的兼用像素。即,无源光用像素(第一像素)还可以接受脉冲光(照射有源光)的反射光(反射有源光)。有源光用像素(第二像素),还可以接受来自被摄体的放射光(无源光)。在这个情况下,能够接受无源光及反射有源光的固体摄像元件40内的接受面积(像素面积)变大,具有能够进行高灵敏度摄像(高灵敏度摄影)等的优点。
而且,在无源光用像素中,R、G、B的每一个像素由滤波器透过来接受无源光。换言之,R、G、B的每一个像素,作为R成分、G成分、B成分输出图像摄像信号。另一方面,IR像素接受反射有源光,输出摄像信号。
另外,在无源光用像素中,R,G,B的各滤波器可以搭载红外线截止滤波器。
另外,无源光用像素的R、G、B的各个滤波器,可以是R+IR、G+IR、B+IR、IR的各个滤波器。在这个情况下,也接受无源光中包含的红外光,换句话说,R+IR、G+IR、B+IR的每一个像素接受R成分和所述一部分红外成分、G成分和所述一部分红外成分,B成分和所述一部分红外成分,并输出图像摄像信号。
换言之,在这个情况下,通过无源光用像素接受无源光,不仅能够拍摄可见光图像,还能够进行拍摄红外光图像,例如在黑暗中进行图像摄像。
另外,无源光用像素可以是由IR光来输出图像摄像信号的像素。
另外,在无源光用像素可以没有R、G、B的各个滤波器。换言之,在这个情况下,能够拍摄单色图像。或者可以是不形成各个滤波器而生成彩色图像的像素构造(例如,构成像素(光电二极管)的杂质区域深度的变更,或者杂质的种类或者浓度的变更等)。
另外,有源光用像素可以是不形成滤波器而能够曝光反射无源光的像素构造(例如,构成像素(光电二极管)的杂质区域的深度的变更,或者杂质的种类或者浓度的变更等)。
接着图3是实施方式的基本构成涉及的发光信号及曝光信号的动作例的时间图。该图是表示本实施方式涉及的测距摄像***的动作,尤其表示从控制部60赋予脉冲光源部20、摄像部30(固体摄像元件40)的控制信号(发光信号、曝光信号)以及反射有源光的定时的图。
首先,摄像部30(固体摄像元件40),在图3的曝光期间A,根据曝光信号进行无源光的曝光。接着,在图3的曝光期间B,脉冲光源部20根据发光信号发出照射有源光,并且摄像部30(固体摄像元件40),根据曝光信号进行反射有源光的曝光。
另外,无源光,反射有源光的曝光顺序,不仅限于图3,例如,也可以反复进行无源光、反射有源光的曝光。
并且,在图3中示出了曝光期间A结束之后,空出一定期间开始曝光期间B的例子,不过不受上述例子的限定,例如可以采用如下各种动作方法,在曝光期间A的期间开始曝光期间B(换言之,曝光期间A和曝光期间B重叠)的情况、或者在曝光期间A结束的同时开始曝光期间B的情况等。
(实施方式1)
下面参考附图说明实施方式1涉及的测距摄像***10的构成及动作,以其与上述说明的基本构成的不同之处为中心详细说明。
图4是表示实施方式1涉及的测距摄像***10的概略构成例的功能框图。此外,图5是实施方式1涉及的发光信号及曝光信号的动作例的时间图。该图表示本实施方式涉及的测距摄像***的动作,尤其表示从控制部60赋予脉冲光源部20、摄像部30(固体摄像元件40)的控制信号以及反射有源光的定时的图。
根据其与图1、图2A~图2C、图3的基本构成的不同之处为中心进行说明。控制部60向摄像部30(摄像控制部35)和运算部50输出摄像控制信号。该摄像控制信号为了测量后述的被摄体尺寸,根据无源光进行被摄体的尺寸测量的区域作为图像显示在显示部70,例如,经由摄像部30内的摄像控制部35等,进行光学放大率或电子放大率的控制(换言之,摄像控制部35的动作,作为一例包含摄像机的变焦距透镜等的光学元件的控制)。
而且,摄像部30,在图5的曝光期间A输出拍摄被摄体的图像摄像信号。
加之,摄像部30,在图5的曝光期间B作为摄像信号,针对包含对象物体(被摄体)的区域,按照在控制部60(信号发生部)产生的曝光信号表示的定时,进行多次曝光(受光),并作为摄像信号输出TOF(TimeOfFlight,飞行时间)信号,该TOF信号是与多次曝光量的总和对应的距离信号。
下面说明本实施方式涉及的测距运算***以及测距摄像***的动作方法和测距运算的详细。在本测距摄像***10,除了到被摄体的距离,还能够测量被摄体的高度、宽度等的被摄体尺寸。
首先,利用图5来说明关于到被摄体的距离的测量及运算的详细,根据从投射光到对象物的往返花费的时间来测量距离的TOF方式为基本原理,将针对发光信号从测量对象物发出的反射有源光,根据作为曝光信号的第一曝光信号和第二曝光信号的不同定时的两个模式,在固体摄像元件40内的有源光用像素进行了曝光时的各自的光量的比,来算出到测量对象物(被摄体)的距离。换句话说,针对被摄体,按照在控制部60产生的曝光信号所示的定时进行多次曝光,输出与多次曝光量的总和对应的摄像信号。
例如,根据第一曝光信号,以包含来自测量对象物的反射光的全部的方式进行曝光,根据第二曝光信号进行如下曝光,来自测量对象物的反射光相对于发光定时越延迟,曝光量就越增加。而且为了检测背景光等的偏移成分,使发光信号停止,以与第一曝光信号、第二曝光信号相同的条件进行曝光。
而且,根据由第一曝光信号的曝光量的总和S1、由第二曝光信号的曝光量的总和S0、背景光的曝光量的总和BG、照射的直接光的发光信号的时间宽度T0、以及光速c的各个值,利用式1算出到被摄体的距离L(以下将该测距运算,称为TOF测距运算)。
[数1]
而且,一个画面的发光信号、第一曝光信号、第二曝光信号的定时中,多次反复输出发光信号和第一曝光信号,之后以相同的次数反复输出发光信号和第二曝光信号,之后使发光信号停止,以相同的次数反复输出与第一曝光信号和第二曝光信号相同的条件的曝光信号。可以将该一连串的定时为一组,反复输出多组之后,输出被存储的曝光量,根据(式1)来算出到被摄体的距离。
另外,在本实施方式涉及的测距摄像***10中,也可以利用所述的TOF方式以外的方式(作为一例,将照射有源光照射到被摄体,根据反射有源光的失真,来进行测距运算的图样照射方式等)。
下面说明被摄体尺寸的测量及运算的详细。
首先,射入了无源光的固体摄像元件40,根据来自控制部60的曝光信号,拍摄被摄体,将图像信号(图像摄像信号)输出到运算部50。
在运算部50中,检测进行尺寸测量的被摄体,根据显示部70的显示尺寸和测距摄像***10中存储(或记录)的初始值等,算出第一被摄体尺寸。
接着,利用算出的第一被摄体尺寸、以及根据上述的TOF测距运算算出的到被摄体的距离(根据情况,利用上述的图像放大率系数(摄像控制信号)进行运算校正),算出被摄体的高度,宽度等的被摄体尺寸。
这样,本实施方式涉及的测距摄像***10,不仅是到被摄体的距离,还能够测量被摄体尺寸(被摄体的高度,宽度等)等各种距离(尺寸)。
而且,本实施方式的测距摄像***10,输出图像信号(图像摄像信号)和输出TOF信号(摄像信号)的固体摄像元件40是相同的元件,换言之,利用单板的固体摄像元件40,因为各个摄像信号的摄像中心(光学中心、光轴中心)等相同,摄像信号之间的相位差小,摄像信号的同步等的精度提高,能够测量高精度的被摄体尺寸。
但是,即使本实施方式涉及的测距摄像***10搭载了多个固体摄像元件的情况下(所谓摄像部30是立体摄像机),也能够测量到被摄体的距离,还能够测量被摄体的高度、宽度等被摄体尺寸。
下面说明搭载了本实施方式涉及的测距摄像***10的例子。
图6是表示图4的测距摄像***10的第一搭载例的概略搭载图。在图6中,作为便携设备的一例,示出了搭载在智能手机(便携通信终端)的例子。
在图6的情况下,智能手机的显示部70,以动物(被摄体)显示在显示部70的方式,将便携设备朝向被摄体,从而能够测量(测距)被摄体尺寸(高度,宽度等)。换言之,利用从接受了无源光的固体摄像元件40(无源光用像素)输出的图像信号(图像摄像信号)和从接受来自脉冲光源部20的照射有源光的反射有源光的固体摄像元件40(有源光用像素)输出的TOF信号(摄像信号),由运算部50进行上述的运算,从而能够测量(测距)被摄体的尺寸(高度,宽度等)。
另外,与被摄体的尺寸(高度、宽度等)有关的距离信息的保存,优选的是将被摄体与用无源光拍摄的无源信号(换言之,图像)建立关联地进行保存。在这个情况下,将保存图像再次显示在显示部的情况下,通过指定作为信息想知道的被摄体的尺寸区域,能够再次确认各种被摄体的尺寸。
另外,包括图6所示的搭载例,例如,更重视测距摄像***10的小型化,测量时间的缩短,低功耗等的情况下,脉冲光源部20照射的照射有源光优选的是激光。
换言之,利用激光向被摄体以点的方式发出照射有源光,来自被摄体内的一个点(一部分区域)的反射有源光来测量到被摄体的距离,利用该距离信息,能够测量被摄体尺寸(高度、宽度等)。
这样,固体摄像元件40的摄像速度变短,而且信号量变少,从而能够实现***的小型化和缩短测量时间、低功耗等。加之,摄像信号因为都是来自被摄体的信号信息,所以能够减少摄像信号内的噪声成分,能够测量高精度的被摄体尺寸。
而且,从脉冲光源部20照射激光的情况下,可以使显示部70显示照射有源光(激光)照射被摄体的何处。在图6的画面显示例中显示了标记,该标记表示照射有源光照射被摄体的照射点。而且,如图6一样,可以在显示部70上显示被摄体尺寸(高度、宽度等)。
而且,从脉冲光源部20照射激光的情况下,通过目视等容易确认脉冲光照射到被摄体的何处,搭载与脉冲光源部20同步地被光轴调整的可见激光光源,可以将可见激光与照射有源光(激光)一起,照射到被摄体。换句话说,测距摄像***10,可以具备照射与脉冲光联动的光(一个例子是可见激光)的其他光源。
图7是表示图4的测距摄像***10的第二搭载例的概略搭载图。在图7示出搭载在作为便携设备的一例的智能手机(携带通信终端)的另外的例子。
与图6的搭载例的不同点是,图7中在脉冲光源部20搭载了行透镜,能够将照射有源光作为直线状的光照射到被摄体。换言之,由行透镜照射的照射区域,成为直线状或者细长带状。图7的显示画面例子中,表示照射区域的点划线显示在画面上。
一边照射该直线光,绕着被摄体整体一圈地摄像,从而能够以高精度及高速地测量(测距)被摄体的三维尺寸。而且,利用这个三维尺寸,用三维打印机(3D打印机),高精度及高速地进行数据输出。
通常,通过三维打印机进行数据输出时,需要庞大的数据量,需要长时间的运算时间和输出时间。但是,利用本实施方式涉及的测距摄像***10,如上所述既能实现高精度而且能缩短运算时间和输出时间,能够高速且简单地进行来自三维打印机的数据输出。
另外,图8是示出在第二搭载例的动作的一例的图。如图8所示,绕被摄体整体一圈地摄像(扫描)的情况下,在便携设备内的显示部,使已扫描的区域显示在显示部上的图像发生变化(例如,附有颜色),不仅扫描的确认变得容易,并且能够提高扫描精度。在图8的显示画面例中,在画面上显示表示照射区域的点划线,以及表示扫描完毕的区域的影线。
图9是表示图4的测距摄像***10的第三搭载例的概略搭载图。在图9中示出了搭载在汽车(运输设备)的例子。
在图9中,在前格栅内设置脉冲光源部20,在车室内上部(后视镜周围)上设置摄像部30。
另外,测距摄像***10的设置不被所述所限定,脉冲光源部20可以设置在前照灯内、雾灯内,摄像部30例如设置在前格栅内、前保险扛内等。
图9的被摄体是成为障碍物的高架下通道或者隧道(以下,统称为隧道)等,设想汽车通过这个隧道内。
在这个情况下,通过搭载本实施方式涉及的测距摄像***10,利用从接受了无源光的固体摄像元件40(无源光用像素)输出的图像信号(图像摄像信号)、以及从接受反射有源光的固体摄像元件40(有源光用像素)输出的TOF信号(摄像信号),不仅测量到隧道的距离,还能测量隧道尺寸(高度,宽度等)。
这样,汽车的驾驶者,能够判断到可能成为障碍物的隧道为止的距离,并且判断驾驶的汽车是否能够通过该障碍物内即隧道(被摄体)等。
而且,预先将运行的汽车的车辆尺寸等作为初始值(初始信息、存储信息、记录信息)存储(或者记录)在***中,除了距离接近障碍物(被摄体)之外,***识别出车辆通过困难的情况下,能够进行警报等的发送、自动速度控制、自动停止等,更容易避免危险。
另外,在图9中,以测量汽车车辆前方为目的,设置了本实施方式涉及的测距摄像***10,但不受其限制,例如,为了测量车辆的后方将测距摄像***10设置在后方牌照周围的情况,为了测量车辆的侧方,例如,也可以将测距摄像***10设置在外后视镜部等。
而且,利用图7、图8、图9说明了本实施方式涉及的测距摄像***10的搭载例,但并不限制为搭载在便携设备,汽车的例子,例如,其他的运输设备(摩托车,铁路车辆、飞机、宇航机等)、其他的便携设备(笔记本电脑、平板电脑、便携信息设备,便携通信终端)、运输设备和基础设备、重机(挖掘机、推土机等),住宅设备装置等,可以搭载在各种设备和装置。
(实施方式2)
下面,一边参考附图,一边对实施方式2涉及的测距摄像***10的构成及动作与基本构成的不同之处、以及与上述的实施方式中说明的内容的不同之处为中心进行详细说明。
图10是表示实施方式2涉及的测距摄像***10的概略构成的功能框图。
根据其与图1、图2A~图2C、以及图3的基本构成的不同之处,和与图4的构成的不同之处为中心进行说明,测距摄像***10具备检测部80,检测部80,根据无源图像信号的被摄体整体,检测成为测距对象物的特定体。而且,根据检测部80的检测结果,控制部60发出使脉冲光源部20发光的指示。
换言之,检测部80,发送瞄准被摄体照射照射有源光的信号,控制部60接受该信号,以脉冲光源部20内的光源可动部25照射特定体的方式,改变照射有源光的照射方向。另外,为了改变照射有源光的照射方向,也可以设为脉冲光源部20能够从检测部80直接输入信号。
另外,在本实施方式,也包括控制部60、摄像部30、检测部80及运算部50的一部分或者全部,在半导体基板单片搭载的情况。
下面说明本实施方式涉及的测距运算***的测距运算的详细内容。
首先,检测部80,根据从接受无源光的固体摄像元件40(无源光用像素)输出的无源图像信号,从被拍摄的被摄体整体中,检测需要进行测距的被摄体。另外,被摄体不需要拣选为一个,可以是多个。
接着,检测部80,根据与被摄体的位置有关的检测信息,将用于确定从脉冲光源部20照射的脉冲光的方向的信号(光源可动指示信号),经由控制部60,向脉冲光源部20(脉冲光源部20内的光源可动部25)输出。另外,该光源可动指示信号,也可以不经由控制部60,从检测部80直接输出到脉冲光源部20(脉冲光源部20内的光源可动部25)。
脉冲光源部20,朝向被摄体照射照射有源光,由固体摄像元件40(有源光用像素)接受(曝光)其反射有源光,将TOF信号输出到运算部50。
在运算部50,利用TOF信号,根据实施方式1中所述的TOF测距运算,测量(测距)到被摄体的距离。
如以上说明,通过利用本实施方式涉及的测距摄像***10,因为检测要进行测距的被摄体并输出TOF信号,所以能够减少噪声成分,从而能够高精度且高速地测量到被摄体的距离。
图11是表示将图10的将测距摄像***10搭载在汽车(运输设备)的情况下的显示部70的显示图像例的图。在图11显示汽车的前方风景。
在图11中作为被摄体整体映出如下,多种行道树、以及打算横穿行车线内的道路(车道)的人物、动物。另外,行道树的一部分,位于比人物、动物近的位置。
在本实施方式涉及的测距摄像***10,预先存储(或者记录)与优先测距的被摄体换言之特定体有关的初始信息,尤其将人物、动物或在道路内被检测的物体等,以作为特定体优先进行测距的方式来进行检测。换言之,从被摄体整体检测特定体。
这样,对反射有源光的固体摄像元件40的摄像时间变短,而且信号量也变少,能够实现***的小型化和测量时间缩短、低功耗等。加之,摄像信号是来自被摄体(特定体)的信号信息,能够减少摄像信号内的噪声成分,能够测量高精度的被摄体(特定体)尺寸。
图12是表示将图10的测距摄像***10搭载在汽车(运输设备)的搭载例以及显示部70的显示图像例的图。图12的显示部70显示汽车的前方风景。
作为被摄体与行道树一起映出前方车辆。在本实施方式涉及的测距摄像***10,预先存储(或者记录)与优先进行测距的被摄体有关的初始信息,优先检测前方车辆。换言之,从被摄体整体检测被摄体(特定体)。
而且,在测量到前方车辆(被摄体)为止的距离的同时,将那个距离保持为一定距离地进行汽车的运行控制(报警等的发送、自动速度控制、自动停止等),就能够更安全地运行。
另外,本实施方式涉及的固体摄像元件40的无源光用像素,由R、G、B的每一个像素作为R成分、G成分、B成分输出图像摄像信号,换言之,输出彩色图像。因此,来自被摄体整体的被摄体的检测,不只是根据其形状,根据其他的检测基准也能够进行判断。
图13A、图13B是显示部70的显示图像例的说明图。如图13A、图13B所示,其检测基准的一例是颜色,图13A中的信号机是绿灯(表示前进)的情况下,不检测为被摄体(或者从多个被摄体中降低优先顺序),图13B中的红灯(表示停止)或黄灯(表示注意)的信号机,检测为被摄体等,能够进行高度的检测。
另外,包括如图12表示的搭载例,例如,在重视测距摄像***10的小型化,测量时间的缩短,低功耗等的情况下,脉冲光源部20照射的照射有源光优选的是激光。
另外,在图12,以测量汽车车辆的前方为目的设置了本实施方式涉及的测距摄像***10,但不被其所限定,也可以例如为了测量车辆的后方,而将测距摄像***10设置在后方牌照周围,也可以为了测量车辆的侧方,例如将测距摄像***10设置在外后视镜部等。
而且,在图12,以进行汽车(搭载设备)的外观前方的测量为目的设置了测距摄像***10,但不被其所限定,例如可以在汽车的车辆内设置本实施方式涉及的测距摄像***10。例如,将人的头部作为被摄体,作为距离信息测量头部的动作(摇晃),从而能够用于检测驾驶者的瞌睡等。
另外,利用图12,说明了本实施方式涉及的测距摄像***10的搭载例,但不被汽车搭载的例所限定,例如,其他的运输设备(摩托车,铁路车辆、飞机、宇航机等),便携设备(智能手机、笔记本电脑、平板电脑、便携信息设备,便携通信终端)、运输设备和基础设备、重机(挖掘机、推土机等),住宅设备装置等,可以搭载在各种设备和装置。
(实施方式3)
下面参考附图说明实施方式3涉及的测距摄像***10的构成及动作,以其与基本构成的不同之处、以及与上述的实施方式中说明的内容的不同之处为中心详细说明。
图14是表示本实施方式涉及的测距摄像***10的概略构成例的功能框图。该测距摄像***10,兼备实施方式1及实施方式2的两种功能。换言之,能够更高精度且高速地测量被摄体的尺寸,并且也能测量到被摄体的距离。
图15是表示图14的测距摄像***10搭载在汽车的搭载例以及显示部70的显示图像例的图。图15的显示图像例表示汽车的前方风景。图15的被摄体是隧道及隧道附近的行道树等。设想汽车要通过隧道内。
以下,利用图14、图15来说明本实施方式涉及的测距运算***的测距运算的详细。
首先,检测部80,根据从接受无源光的固体摄像元件40(无源光用像素)输出的无源图像信号,从被摄像的被摄体整体中确定需要测距的被摄体。换句话说,对包括隧道、行道树的被摄体整体进行图像摄影(拍摄),从接受了来自被摄体的无源光的固体摄像元件40(无源光用像素)输出图像摄像信号,接受了图像摄像信号的检测部80,检测被摄体。
在本实施方式涉及的测距摄像***10,预先存储(或者记录)与优先进行测距的被摄体的种类等的初始信息,作为汽车用而使用本实施方式的测距摄像***10的情况下,尤其优先前方车辆(汽车、自动二轮车、电动自行车、自行车等)、人物、动物或在道路内被检测的物体等。换言之,从被摄体整体检测被摄体。
在图15进行检测(判断),比起位于汽车通过的道路外侧的行道树,优先隧道的测距。但是,被摄体的检测,不限于这样的情况,在***预先存储(或者记录)各种初始信息,能够以更高度并有效地检测被摄体。
下面,检测部80具有被摄体的位置等信息,将用于确定从脉冲光源部20照射的脉冲光的方向的信号(光源可动指示信号),经由控制部60向脉冲光源部20(脉冲光源部20内的光源可动部25)输出。另外,该光源可动指示信号,也可以不经由控制部60,从检测部80直接输出到脉冲光源部20(脉冲光源部20内的光源可动部25)。
脉冲光源部20,朝向被摄体照射脉冲光,将其反射有源光在固体摄像元件40(无源光用像素)曝光,将TOF信号输出到运算部50。
在运算部50,利用TOF信号,根据实施方式1中所述的TOF测距运算,测量(测距)到被摄体的距离。
并且,在运算部50,检测进行尺寸测量的被摄体,根据存储(或者记录)显示部70等的显示尺寸和测距摄像***10的初始值等,算出第一被摄体尺寸,并且利用该算出的第一被摄体尺寸、以及根据上述的TOF测距运算算出的到被摄体的距离,根据不同情况,以上述的图像放大率系数(摄像控制信号)进行运算校正的方式进行运算,算出被摄体的高度、宽度等的尺寸。
根据以上的运算,本实施方式涉及的测距摄像***10,不仅测量到被摄体的距离,还能测量被摄体的高度、宽度等的被摄体尺寸。
在本实施方式,因为对优先顺序低的被摄体不进行测距,所以不仅能够缩短测量的时间,并且减少在被摄体的测距时有可能成为噪声成分的信号(对图15的行道树的拍摄、距离信息),从而能够对被摄体更准确地测量多个距离(尺寸)。
另外,在图15,以测量汽车车辆的前方为目的设置了本实施方式涉及的测距摄像***10,但不被其所限定,也可以例如为了测量车辆的后方,而将测距摄像***10设置在后方牌照周围,也可以为了测量车辆的侧方,例如将测距摄像***10设置在外后视镜部等。
而且,在图15,以进行汽车(搭载设备)的外侧前方的测量为目的设置了测距摄像***10,但不被其所限定,例如可以在汽车的车辆内设置本实施方式涉及的测距摄像***10。例如,将人的头部作为被摄体,作为距离信息测量头部的动作(摇晃),从而能够用于检测驾驶者的瞌睡等。
另外,利用图15,说明了本实施方式涉及的测距摄像***10的搭载例,但不被汽车搭载的例所限定,例如,其他的运输设备(摩托车,铁路车辆、飞机、宇航机等),便携设备(智能手机、笔记本电脑、平板电脑、便携信息设备,便携通信终端)、运输设备和基础设备、重机(挖掘机、推土机等),住宅设备装置等,可以搭载在各种设备和装置。
(实施方式4)
下面参考附图说明实施方式4涉及的测距摄像***10的构成及动作,以其与基本构成的不同之处、以及与上述的实施方式中说明的内容的不同之处为中心详细说明。
图16是表示实施方式4涉及的测距摄像***10的概略构成例的功能框图。
首先,实施方式4涉及的测距摄像***10,通过直接使用图像摄像信号的运算来进行测距运算(以下称为图像测距运算)。
作为该图像测距运算的一例,由摄像部30的固体摄像元件40(无源光用像素)拍摄连续图像,将该连续图像的信号(图像摄像信号)向运算部50输出,在运算部50,比较当前的帧(图像)和前一个帧(图像),通过运算算出距离。
该图像运算方法,例如,在用于汽车(用于运输设备)时,在具备了一定条件的测距环境的情况下,时时刻刻测量到前方车辆为止的行车距离,从而有如下优点,在以运动图像来存储(或者记录)的各帧之间,距离的变化率大时,能够比较简便地测量突然接近这样的判断。换言之,具有能够以少的计算量来测量到前方车辆为止的距离的优点。
但是另一方面,其图像测距运算,在不具备测距环境的条件的情况下,存在测距精度大幅度降低(或者完全不能测距)这样的缺点,本实施方式的测距摄像***10是解决该缺点的发明。
以下,利用图16,说明本实施方式涉及的测距摄像***的详细。
首先,检测部80,根据从固体摄像元件40输出的无源图像信号,检测测距环境的状态,判断作为进行图像测距运算的测距环境是否满足了条件(该判断的详细内容后述)。
检测部80,在判断为不是进行图像测距运算的测距环境的条件,由图像摄像运算的测距存在困难的情况下,使控制部60进行用于进行TOF测距运算的指示。
脉冲光源部20,从控制部60接受该指示信号,朝向被摄体照射脉冲光,将其反射有源光在固体摄像元件40(无源光用像素)曝光,将TOF信号输出到运算部50。
加之,检测部80向运算部50输出图像控制信号。运算部50,根据该指示进行TOF测距运算,测量(测距)到被摄体的距离。
下面说明在本实施方式涉及的测距摄像***,判断为由图像摄像运算的测距存在困难时,切换测距运算的条件的一例。
图17A、17B是本实施方式涉及的测距摄像***10搭载在汽车的情况下,基于来自固体摄像元件40(无源光用像素)的无源信号进行摄像图像的例子,图17A表示通常拍摄的图像例,图17B表示广角拍摄的图像例。
根据图17B明确知道,广角拍摄即使在到被摄体的距离短的情况下,也能拍摄更广的区域。然而另一方面,广角拍摄在摄像图像的周围区域(图17B的A区域)发生被摄体失真。
换言之,相对于图17A中被摄体(障碍物)没有图像失真地被拍摄,在图17B虽然能够确认障碍物的存在,但是失真很大,所以利用该数据准确地测量距离是有困难的。
尤其,在利用上述的连续拍摄(连续图像)的图像测距运算的情况下,该图像之间的失真,被描绘地过大,图像测距运算误差变大,所以存在困难。
于是,图17B的A区域内的被摄体为对象进行测距的情况下,利用TOF测距运算。本实施方式的测距摄像***,输出图像信号(图像摄像信号)和TOF信号(摄像信号)的固体摄像元件40是同一个,换言之因为使用单板的固体摄像元件40,各个摄像信号的摄像中心(光学中心、光轴中心)等相同,摄像信号之间的相位差少,摄像信号的同步等的精度高,图像摄像运算的测距运算结果(距离信息)与根据TOF运算的运算结果(距离信息)的互换性、相关性高,能够进行精度更高的测距。
但是,即使在本实施方式涉及的测距摄像***10搭载了多个固体摄像元件的情况下(所谓摄像部30是立体摄影机),也能够切换图像摄像运算和TOF运算。
而且,图像测距运算和TOF测距运算的选择(换言之,图像测距运算和TOF测距运算的选择),不被限定为图像失真,也可以根据其他条件进行选择。
第一使用方法是根据昼夜,选择图像摄像信号或摄像信号的方法。图18A、18B是将本实施方式涉及的测距摄像***10用于汽车的情况的摄像图像的例子,图18A表示白天拍摄的图像例,图18B表示傍晚和夜间拍摄的图像例。
例如,如图18A一样是白天等的情况下,在本实施方式通过图像测距运算进行测距。另一方面,如18B一样是夜间等不能拍摄清晰的图像的情况下,通过TOF测距运算进行测距。这样,不论昼夜都能准确地测距。
第二使用方法是根据进行处理的气候和环境条件等,选择图像摄像信号或摄像信号的方法。例如,傍晚等太阳光强烈照射的情况,以及下雨等的情况等(换言之,图像识别困难的情况下)采用TOF测距运算,除此之外的环境,采用图像测距运算。由此,不管是什么样的气候和状况,都能高精度地测距。
第三使用方法是根据到被摄体的距离,来选择图像摄像信号或摄像信号的方法。即,容易成为广角图像的近距离时使用TOF测距运算,中远距离时主要使用图像测距运算。由此,不管是什么样的到被摄体的距离,都能高精度地测距。
第四使用方法是根据搭载了本***的运输设备(例如,汽车)或被摄体的动作速度,来选择图像摄像信号或摄像信号的方法。例如运输设备的速度,例如是100km/h以上的高速度时,优选的是使用TOF测距运算。
另外,在本实施方式,按照所述测距环境的状态选择了图像摄像信号或摄像信号,但并非受此所限,例如,为了使基于一方的信号的运算结果(测距结果)正确,按照所述测距环境的状态,能够将另一方的信号用于校正。
例如,在上述的第四使用方法中,运输设备的速度例如是小于30km/h的低速度时,作为插值信息使用TOF测距运算的结果和图像测距运算的结果的任一结果,算出最终的距离,例如是30~100km/h的中速度时,按每个帧分开使用TOF测距运算和图像测距运算,例如是100km/h以上的高速度时使用TOF测距运算。由此,不管是什么样的到被摄体的距离,都能高精度地测距。
(实施方式5)
下面参考附图说明实施方式5涉及的测距摄像***10的构成及动作,以其与基本构成的不同之处、以及与上述的实施方式中说明的内容的不同之处为中心详细说明。
图19是表示本实施方式涉及的测距摄像***的概略构成例的功能框图。以与实施方式4(图16)的不同之处为中心进行说明,在本实施方式的方法是如下的方法,没有设置检测部80,将成为TOF测距运算与图像测距运算的切换条件(选择条件)的初始值,预先存储(或者记录)在测距摄像***10,并根据摄像条件和初始值,分开使用测距运算的方法。
图19是作为该初始值以放大率控制为中心进行判断的例子,在成为广角拍摄的情况下,不检测无源信号,根据图像选择信号,进行测距运算的切换。
在这个情况下,因为不需要检测图像摄像信号的时间,所以比起实施方式4能够缩短输出摄像信息的时间,换言之,具有能够以短时间测距这样的优点。
另外,图像测距与TOF测距的分开使用并不限定于图像失真,也可以根据其他条件分开使用。
例如,将时间作为初始值,可以将周围变暗的时间(例如,夜间设定为从下午8点到上午3点。但是这个时间优选的是根据夏天冬天等季节,并且根据不同地区,可以更细致地设定初始值)设定为根据TOF测距运算来进行测距。
(实施方式6)
下面参考附图说明实施方式6涉及的测距摄像***10的构成及动作,以其与基本构成的不同之处、以及与上述的实施方式中说明的内容的不同之处为中心详细说明。
图20是表示实施方式6涉及的测距摄像***10的概略构成例的功能框图。
以其与图1的基本构成的不同之处为中心进行说明,测距摄像***10的脉冲光源部20具备:发出振荡的光源光(作为一例,激光)的光源21、以及衍射光栅25a(光源可动部),将上述光源光分割为多个照射有源光(图20中的照射有源光a、照射有源光b)。
另外,在图20的光源可动部的光源可动包含如下情况:使光源21或脉冲光源部20本身移动,来改变光源光或照射有源光的照射方向的情况、选择脉冲光源部20中包含的多个光源21(图26B中的光源21a、21b)改变照射有源光的照射方向的情况、以及通过衍射光栅25a光源光被分割并且改变照射有源光的照射方向的情况、利用衍射光栅25a和检流计来改变照射有源光的照射方向的情况、被衍射光栅25a分割的光,通过反射板(或者安装在检流计的旋转轴的反射板)等改变照射有源光的照射方向的情况、选择脉冲光源部20中包含的多个光源21a、21b(图26B)或者/以及多个衍射光栅25a、25b(图26A,图26B),改变照射有源光的照射方向的情况、以及组合这些的情况(但是光源可动并不限定为所述)。
另外,在图20中,为了容易理解本发明示出了2个照射有源光,不过并不限定为上述,也可以进一步分割为很多照射有源光。
而且,固体摄像元件40,通过曝光信号,接受来自脉冲光源部20的多个照射有源光在被摄体反射后的多个反射有源光(图20中的反射有源光a、反射有源光b),输出摄像信号。
另外,在图20,如果光源光是激光,则光的直进性出色,能够由衍射光栅25a有效地分割。
下面,图21是表示将具有衍射光栅25a的脉冲光源部20适用在图10表示的测距摄像***的例子的详细结构图。但是本实施方式,也可以适用在图4、图14、图16、图19表示的测距摄像***。
根据图21,首先检测部80,通过从接受无源光的固体摄像元件40(无源光用像素)输出的无源图像信号,从被拍摄的被摄体整体中检测(确定)需要测距的被摄体。
下面,检测部80,根据与被摄体的位置有关的检测信息,将用于决定脉冲光源部20的照射有源光的照射方向、照射点的配置、或者照射有源光的形状等的信号(光源可动指示信号),经由控制部60,作为可动控制信号向脉冲光源部20输出。另外,该光源可动指示信号,不经由控制部60,代替图21内的可动控制信号、发光信号,能够从检测部80直接向脉冲光源部20发送信号。
脉冲光源部20,一边通过衍射光栅25a(光源可动部)分割光源光,一边改变照射有源光的照射方向、照射点的配置、或者照射有源光的形状等,将多个照射有源光照射到被摄体,其反射有源光(多个反射有源光)由固体摄像元件40(有源光用像素)接受(曝光),将TOF信号(摄像信号)向运算部50输出。
运算部50,利用TOF信号,通过实施方式1所述的TOF测距运算,测量(测距)到被摄体的距离。
另外,在本实施方式,与上述的实施方式同样,可以利用上述的TOF方式以外的方式(作为一例,将照射有源光照射到被摄体,通过反射有源光的变形,进行测距运算的图样照射方式等)。尤其,本实施方式中,为了向多个照射点照射照射有源光,除了TOF方式,还特别适用图样照射方式。
采用如上说明的本实施方式涉及的测距摄像***10,能够得到以下的优点。
优点之一是不衰减光源光(激光)的整体输出,能够使照射有源光达到位于远方的被摄体。换言之,与利用同样的光输出的光源21且不能分割光的情况相比,无需进行测距摄像***的大型化以及增加电力消耗量,就能够大幅度扩大能够测距距离(照射有源光的到达距离)。
优点之二是通过利用来自被摄体的一部分的反射光(反射有源光),能够充分地确保用于进行到被摄体的测距的信号量,并且能够减少每一个反射有源光的信号量本身,能够高速进行距离运算(运算时间的缩短)。
优点之三是能够充分地确保用于进行到被摄体的测距的信号量,又能减少成为噪声成分的信号,能够提高距离测量的精度。
最后,作为优点之四,通过照射多个照射有源光,尤其图21表示的测距摄像***的情况下确定被摄体的精度(图像识别精度),不需要极度高,能够容易地实现测距摄像***的小型化、低成本等。
下面,图22是表示将图20或图21的测距摄像***10搭载在汽车(运输设备)的情况下的例子的概要图。另外,为了容易理解本实施方式,图示了图22中的照射点(在图22中9个点)中,只有照射有源光a、b照射到照射点a、b,反射有源光a、b到达摄像部30(固体摄像元件40),但实际上是向所有的照射点照射照射有源光,并且反射有源光到达摄像部30(固体摄像元件40)。
而且,如图22所示,脉冲光源部20,可以在光源21和光源可动部(衍射光栅25a)之间具备准直透镜22,而且摄像部30可以在固体摄像元件40之前具备成像透镜41。
根据图22,在本实施方式中,作为被摄体,与汽车一起对其后方的建筑物,照射被分割的多个照射有源光,从而测量到汽车及建筑物为止的各个距离。
换言之,从被摄体整体检测被摄体(特定体),将包含该被摄体(特定体)的区域作为中心区域,并且照射多个照射有源光,测量包含特定体及其周围的距离。
另外,在本实施方式,如示出显示部70的画面显示例的图23一样,可以在显示部70上显示来自脉冲光源部20的多个照射有源光照射到被摄体的何处。在图23的画面显示例中表示了标记,该标记示出向被摄体的照射有源光的照射点。
进一步,如图23一样,可以在显示部70上显示到各照射点(图中的圆点)的距离。而且,在距离变短的情况下,可以使该距离显示发生变化(作为一例,改变显示的颜色、亮灭或者与显示一起发送报警音等等)。这样,运行(操作)搭载了测距摄像***10的汽车(运输设备)的司机(操作者),能够通过视觉对危险引起注意。
下面,利用图24A、图24B、图25A、图25B,对多个照射点的配置例进行详细说明。
图24A是表示在多个照射有源光的照射区域,在中心区域测定点少,在周围区域增加了测定点的数量的配置例的图。这是搭载了本实施方式的测距摄像***10的汽车(运输设备)在行驶中,重视前方的物体(被摄体,例如前方车辆)及其周围物体,测量到该各个物体的距离是最优选的配置例子。换言之,在前方行驶的被摄体的另外的汽车(图24B中是前方车辆)位于较远方,另一方面,能够对到道路周围的对象物(图25B中是信号机)的距离进行有效地测距。
图25B是被分割的照射有源光,不是点状而是作为线状进行照射时的照射区域的配置例。另外,在改变照射有源光(激光)的形状的情况下,作为一例,通过组合上述的行透镜也可以实现。在这样的情况下,在被摄体的形状(尺寸)为在纵向或横向比较长的被摄体(图25B中是信号机或行道树)的情况下,尤其能够高精度地测量到被摄体的距离。
另外,在本实施方式,照射有源光的形状,可以采用在组合图24A与图24B表示的点状和25A与图25B表示的线状的情况,以及其他形状的情况等。
而且,在图21表示的测距摄像***10中,检测部80根据从接受无源光的固体摄像元件40(无源光用像素)输出的无源图像信号检测被摄体,根据该信息,将用于决定(选择)照射有源光的照射方向、照射点的配置的变更、或者多个照射有源光的形状变更的信号(可动控制信号)发送到能脉冲光源部20。
另外,照射点的配置的变更或者激光的形状变更可以由单独的衍射光栅来实现。进一步,作为其他的方法,如图26A所示,设置多个衍射光栅(图26A的衍射光栅25a、25b),适当地进行选择。在这个情况下,作为一例,通过使光源21、衍射光栅25a或衍射光栅25b在物理上可动来实现。
另一方面,如图26B所示,可以设置多个衍射光栅(图26B的衍射光栅25a、25b)和与其对应的多个光源(图26B的光源21a、21b),以选择发光的光源和衍射光栅。在这个情况下有如下优点,即不需要使光源或衍射光栅在物理上可动。
而且,在图26A、图26B,通过上述的选择,能够根据从接受无源光的固体摄像元件40(无源光用像素)输出的无源图像信号检测被摄体,作为可动控制信号,接受该信息,决定(选择)照射点的配置的变更、或者多个照射有源光的形状变更。
另外,利用以上附图说明的本实施方式的测距摄像***,如图27所示,能够设成从摄像部30(固体摄像元件40)只输出摄像信号的构成。
(实施方式6的变形例1)
首先,为了容易理解本实施方式,利用图28,说明利用通常的衍射光栅的例子。图28是在通常的***中的发光信号和针对根据发光信号从光源21振荡的脉冲光被衍射光栅25a分割的情况下的多个照射有源光的时间图。
另外,在图28中,为了容易理解,不考虑从发光信号到光被照射的时延,以及从照射至到达被摄体的时间(时延)等。同样为了容易理解,在图28中作为多个照射有源光只表示2个照射有源光(照射有源光a、b到达图22、图24A或图24B的照射点a、b)。
通过图28,发光信号是一定周期定时,所以被衍射光栅分割的多个光,相互产生干扰,到达照射点产生偏差(在图28,到达多个照射点(照射点a、b)的光,在照射点b产生干扰,与发光信号的定时产生偏差)。
换言之,照射有源光a和照射有源光b在相同时间发光的状态成为干扰,一方成为他方的阻碍光,在同一脉冲间隔的情况下,该干扰在每个脉冲发光上产生。这个偏差会引起这样的问题,即测量到被摄体的距离的准确度大幅度降低。
另一方面,本实施方式能够解决这个问题,详细内容利用附图(图29,图30)来说明。另外,在图29和图30,也与图28相同,为了容易理解本实施方式,不考虑从发光信号到光被照射的时延,以及从照射至到达被摄体的时间(时延)等。同样为了容易理解本实施方式,在图29和图30中作为多个照射有源光只表示2个照射有源光(照射有源光a、b到达图22、图24B的照射点a、b)。
第一方法是如图29所示,将发光信号设为非一定周期定时,照射有源光的照射定时设为非一定周期。这样,即使在照射有源光a和照射有源光b在相同时间发光的状态,也能减少干扰。
另外的方法(第二方法)如图30所示,结合被分割的多个照射有源光将发光信号进行块化,将各个照射有源光以固有定时振荡的方法,其比图28更能减少干扰的发生。换言之,通过以固有定时发光,能够防止照射有源光a和照射有源光b以相同的时间发光的状态,更能减少干扰。
以上,如图29、图30所示,利用衍射光栅,照射多个照射有源光的测距摄像***,能够防止由多个照射有源光之间干扰而导致的测距精度的恶化。
(实施方式6的变形例2)
图31是表示将来自脉冲光源部20的光源光,根据衍射光栅25a分割为多个照射有源光的例子的说明图。
根据图31,利用以分割光(照射有源光a,b)的扩展获得的距离数据,与图6~图8同样的原理,能够算出到被摄体的距离(在图31中示出由衍射光栅的照射有源光的扩展,针对到达距离1m扩展5cm(分散度))。
换言之,设照射点之间的距离为d、光的分散度(扩展角度)为θ时,到被摄体的距离L,利用式2来算出。
[数2]
d=L·tanθ(式2)
或者,将利用了测定点之间的距离等的数据(到被摄体的距离),作为TOF测距运算或者图像测距运算(实施方式4,5)的校正值来使用,从而本实施方式涉及的测距摄像***,可以使测距精度进一步提高。
工业实用性
本申请涉及的测距摄像***,能够实现对测量对象物的高精度的距离测量,有用于例如人物、建筑物等的距离测量。
符号说明
10测距摄像***
20脉冲光源部
21,21a,21b光源
22准直透镜
25光源可动部
25a,25b衍射光栅
30摄像部
35摄像控制部
40固体摄像元件
41成像透镜
50运算部
60控制部
70显示部
80检测部