CN117859323A - 车辆用视觉识别装置 - Google Patents
车辆用视觉识别装置 Download PDFInfo
- Publication number
- CN117859323A CN117859323A CN202280057393.2A CN202280057393A CN117859323A CN 117859323 A CN117859323 A CN 117859323A CN 202280057393 A CN202280057393 A CN 202280057393A CN 117859323 A CN117859323 A CN 117859323A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- visual recognition
- boundary
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 139
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims description 34
- 238000013459 approach Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种车辆用视觉识别装置(10)。在车辆用视觉识别装置(10)中,拍摄部包括:将拍摄车辆后方得到的第1摄影图像输出的后相机(14A)和将以使拍摄区域的局部与第1拍摄单元的拍摄区域重叠的方式从车身侧方拍摄车辆后方侧得到的第2摄影图像输出的侧相机(14L、14R)。在第1摄影图像与第2摄影图像形成的重叠区域设定图像边界,从第1摄影图像中提取第1显示图像并且从第2摄影图像中提取第2显示图像。对第1摄影图像所含的本车的后方车辆的图像进行检测,以后方车辆的图像配置于第1显示图像的方式将拼接第1显示图像和第2显示图像得到的后方图像以能够供乘员视觉识别的方式显示于监视器(16)。
Description
技术领域
本公开的技术涉及对乘员的视觉识别进行辅助的车辆用视觉识别装置。
背景技术
日本特开2019-110492号公报公开有一种车辆显示装置,其对由车辆的后方相机、左后侧方相机和左后侧方相机拍摄到的后方图像、左后侧方图像和右后侧方图像以使它们各自成为预定的视场角的方式进行剪裁,并对剪裁过的图像进行合成而得到的合成图像显示于车室内的显示器。
在该车辆显示装置中,若由后方车辆传感器检测到位于车辆后方的后方车辆,则判定自身与后方车辆之间的车间距,车间距越短,则越是以后方图像视场角为放大视场角,使后方图像在合成图像中占据的区域的比例越大。
然而,在显示于显示器的合成图像中,若与左侧方图像和右侧方图像相比,使后方图像的占比增大,则导致本车的车身的左右后方跟前的死角变大。合成图像中的后方车辆的图像的大小不仅取决于车间距,还取决于后方车辆的大小(车宽方向的大小)。因此,若根据本身与后方车辆之间的车间距来决定合成图像中的后方图像的占比,则要么导致本车的左右后方的死角变大,要么后方车辆的图像被缺损显示,影响图像的外观、车辆后方的可视性。
发明内容
本公开的技术是鉴于上述状况而完成的,目的在于提供抑制后方车辆的可视性降低并且能够对乘员的视觉识别进行辅助的车辆用视觉识别装置。
用于实现上述目的的第1方式的车辆用视觉识别装置包括:拍摄部,其包括将拍摄车辆后方得到的第1摄影图像输出的第1拍摄单元和将以使拍摄区域的局部与上述第1拍摄单元的拍摄区域重叠的方式从车身侧方拍摄车辆后方侧得到的第2摄影图像输出的第2拍摄单元;显示部,其将在上述第1摄影图像与上述第2摄影图像形成的重叠区域中设定的图像边界作为边界,根据上述图像边界从上述第1摄影图像中提取第1显示图像并且从上述第2摄影图像中提取第2显示图像,将拼接上述第1显示图像和上述第2显示图像得到的后方图像以能够供乘员视觉识别的方式显示于显示介质;对象检测单元,其对上述第1摄影图像中所含的本车的后方车辆的图像进行检测;以及设定单元,其以使由上述对象检测单元检测到的上述后方车辆的图像配置于上述第1显示图像的方式根据上述后方车辆的图像位置设定上述图像边界。
对于第2方式的车辆用视觉识别装置而言,在第1方式的基础上,上述对象检测单元根据上述第1摄影图像和上述第2摄影图像来检测上述后方车辆。
对于第3方式的车辆用视觉识别装置而言,在第1或第2方式的基础上,当上述后方车辆在上述后方图像中的上述第1显示图像上的图像尺寸相对于上述后方车辆在上述第1摄影图像上的图像尺寸而言的比例成为预先设定的比例以下的情况下,上述设定单元变更上述图像边界的位置。
对于第4方式的车辆用视觉识别装置而言,在第1或第2方式的基础上,在上述后方图像上的上述后方车辆的图像与上述图像边界之间的间隔成为第1间隔以下的情况下,上述设定单元以使上述图像边界的位置向车宽方向外侧移动至预定位置的方式变更上述图像边界的位置。
对于第5方式的车辆用视觉识别装置而言,在第1~第4中任一个方式的基础上,上述设定单元在使上述图像边界的位置移动时以向车宽方向外侧移动预先设定的量的方式进行变更。
对于第6方式的车辆用视觉识别装置而言,在第1~第5中任一个方式的基础上,上述设定单元在上述第1摄影图像上没有检测到上述后方车辆的图像的情况下,将上述图像边界的位置变更为在上述重叠区域内预先设定的标准位置。
对于第7方式的车辆用视觉识别装置而言,在第1~第6中任一个方式的基础上,上述设定单元在上述后方车辆的图像与上述图像边界之间的间隔超过预先设定的第2间隔的情况下,将上述图像边界的位置以接近在上述重叠区域内预先设定的标准位置的方式进行变更。
对于第8方式的车辆用视觉识别装置而言,在第1~第7中任一个方式的基础上,上述设定单元将上述图像边界的位置变更为以预先设定的量更靠向车宽方向内侧的位置。
在本公开的第1方式的车辆用视觉识别装置中,拍摄部的第1拍摄单元将拍摄车辆后方得到的第1摄影图像输出,第2拍摄单元将以使拍摄区域的局部与第1拍摄单元的拍摄区域重叠的方式从车辆侧部拍摄车辆后方侧得到的第2摄影图像输出。显示部根据在第1摄影图像与第2摄影图像形成的重叠区域设定的图像边界,从第1摄影图像中提取第1显示图像,从第2摄影图像中提取第2显示图像,将在图像边界处拼接第1显示图像和第2显示图像得到的后方图像以能够供乘员视觉识别的方式显示于显示介质。包括设定单元,上述设定单元以使由上述对象检测单元检测到的上述后方车辆的图像配置于上述第1显示图像的方式根据上述后方车辆的图像位置设定上述图像边界。
此处,对象检测单元检测后方车辆,检测第1摄影图像所含的后方车辆的图像。设定单元当在第1摄影图像与第2摄影图像形成的重叠区域内设定图像边界时,以使检测到的后方车辆的图像配置于第1显示图像的方式设定图像边界。
由此,在显示于显示介质的后方图像中,能够抑制在本车的正后方行驶而显示在第1显示图像上的后方车辆的图像上重叠图像边界这种情况,因此,能够抑制后方车辆的可视性降低,并且辅助乘员的视觉识别。
在第2方式的车辆用视觉识别装置中,对象检测单元根据第1摄影图像和第2摄影图像来检测后方车辆。由此,能够有效地检测在本车的后方行驶的后方车辆,能够有效地辅助乘员的视觉识别。
在第3方式的车辆用视觉识别装置中,当后方车辆在后方图像中的第1显示图像上的图像尺寸相对于后方车辆在第1摄影图像上的图像尺寸而言的比例成为预先设定的比例以下的情况下,变更图像边界的位置。由此,能够有效地抑制因显示于后方图像的后方车辆大量缺失引起的可视性的降低。
在第4方式的车辆用视觉识别装置中,在后方图像上的后方车辆的图像与图像边界之间的间隔成为第1间隔以下的情况下,使图像边界的位置向车宽方向外侧移动至预定位置。由此,能够有效地抑制后方车辆的可视性降低。
在第5方式的车辆用视觉识别装置中,在使图像边界的位置移动时,以向车宽方向外侧移动预先设定的量的方式进行变更。由此,在抑制图像边界与后方车辆的图像重叠时,能够抑制图像边界的位置大幅移动,能够抑制在车身附近产生的死角大幅变化,能够更有效地辅助乘员的车辆后方的视觉识别。
在第6方式的车辆用视觉识别装置中,针对图像边界的位置,在重叠区域内设定标准位置。设定单元在没有从第1摄影图像中提取到后方车辆的图像的情况下,将图像边界的位置变更为标准位置。由此,能够抑制尽管没有在本车的正后方检测到后方车辆但图像边界的位置也仍然移动至比标准位置靠车宽方向外侧处这种情况,从而能够抑制在车身附近产生的死角。
在第7方式的车辆用视觉识别装置中,在后方车辆的图像与图像边界之间的间隔超过预先设定的第2间隔的情况下,将图像边界的位置以接近预先设定的标准位置的方式进行变更。由此,能够抑制在后方车辆远离本车等后方车辆的图像与图像边界之间的间隔变大的情况下,图像边界的位置仍然维持远离标准位置这种情况,能够有效地抑制在车身附近产生的死角。
在第8方式的车辆用视觉识别装置中,将图像边界的位置以向车宽方向内侧移动预先设定的量的方式进行变更。由此,在后方车辆的图像与图像边界之间的间隔变大的情况下,能够使图像边界有效地移动,因此,能够有效地抑制在车身附近产生的死角,能够有效地辅助乘员的视觉识别。
附图说明
图1是本实施方式所涉及的车辆用视觉识别装置的概略结构图。
图2是表示车辆的俯视的概略情况的俯视图。
图3是示意性地表示摄影图像和监视器的显示图像的概略图。
图4A是表示显示处理的一个例子的流程图。
图4B是表示边界设定处理的一个例子的流程图。
图5A是表示后方车辆的显示的一个例子的概略图(其1),示出按图5A、图5B、图5C、图5D的顺序依次接近的后方车辆。
图5B是表示后方车辆的显示的一个例子的概略图(其2)。
图5C是表示后方车辆的显示的一个例子的概略图(其3)。
图5D是表示后方车辆的显示的一个例子的概略图(其4)。
图6是表示变形例所涉及的边界设定处理的一个例子的流程图。
图7A是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其1),示出按图7A、图7B、图7C、图7D的顺序依次接近的相邻的车道的后方车辆。
图7B是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其2)。
图7C是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其3)。
图7D是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其4)。
图8A是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其1),示出按图8A、图8B、图8C、图8D的顺序依次远离的相邻的车道的后方车辆。
图8B是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其2)。
图8C是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其3)。
图8D是表示在与本车相同的车道行驶的后方车辆和在相邻的车道行驶的后方车辆的显示的一个例子的概略图(其4)。
具体实施方式
以下,参照附图对本公开的实施方式详细地进行说明。
本实施方式所涉及的车辆用视觉识别装置10设置于车辆12(本车)而对驾驶员等乘员的车辆后方的视觉识别进行辅助。图1中通过框图示出本实施方式所涉及的车辆用视觉识别装置10的概略结构,图2中通过俯视的俯视图示出设置有车辆用视觉识别装置10的车辆12的概略。另外,附图中,通过箭头FR表示车辆前侧,通过箭头RH表示车宽方向右侧。
如图1所示,车辆用视觉识别装置10具备:作为构成拍摄部的拍摄单元的多个相机14、作为构成显示部的显示介质的监视器16、以及构成显示部(显示控制部)的视觉识别处理装置18,上述显示部(显示控制部)用于使与相机14的摄影图像对应的后方图像显示于监视器16。
相机14使用作为第1拍摄单元的后相机14A和作为第2拍摄单元的侧相机14L、14R,相机14通过拍摄元件来拍摄图像(影像)。如图2所示,后相机14A配置于车辆12的后部并且在车宽方向中央部(例如,后保险杠的车宽方向中央部),以预定的视场角(拍摄区域)拍摄车辆12的后方。
对于侧相机14L、14R而言,侧相机14L安装于车辆12的车宽方向左侧的车门12L,侧相机14R安装于车辆12的车宽方向右侧的车门12R。另外,在车辆12具备门镜的情况下,侧相机14L、14R也可以安装于车辆12的门镜(省略图示)。此外,侧相机14L、14R安装于车辆12的车身侧面侧即可,例如,可以安装于前翼子板等。
侧相机14L、14R分别从车辆12侧方(车身侧面外侧)以预定的视场角(摄影区域)拍摄车辆后方。侧相机14L、14R配置为各自的摄影区域的局部与后相机14A的摄影区域重复。因此,通过后相机14A和侧相机14L、14R,以包括车身的左右两侧的紧邻的后方的方式从车身的左斜后方跨度到右斜后方的范围地以广角来拍摄车辆12的后方侧。由此,在车辆用视觉识别装置10中,能够通过后相机14A和侧相机14L、14R拍摄从车辆12的车身的左后方侧至右后方侧的几乎全域。
监视器16为薄型且成为在车宽方向上较长的矩形状,监视器16配置在车室内的车辆前侧的前挡风玻璃的上部附近(与内部后视镜对应的位置)。此外,监视器16显示面朝向车辆后方,能够由车室内的乘员视觉识别,监视器16通过显示有相机14的摄影图像而作为内部后视镜发挥功能。另外,监视器16也可以设置于仪表板,监视器16能够设置于不妨碍乘员的视觉识别并且能够容易供乘员视觉识别的任意位置。
视觉识别处理装置18控制为,将后相机14A和侧相机14L、14R各自的摄影图像合成(接合),生成以广角方式映现车辆后方的后方图像(车外后方图像),并使所生成的后方图像显示于监视器16。另外,在本实施方式中,显示于监视器16的后方图像采用将从后相机14A和侧相机14L、14R的拍摄图像中提取出的显示图像拼接(合成)得到的图像。此外,车辆用视觉识别装置10也可以使由室内相机拍摄到的车室内的图像与后方图像重叠而显示于监视器16。
视觉识别处理装置18具备:CPU、ROM、RAM、作为非易失性的存储介质的储存器和输入输出接口等分别通过总线而相互连接的微型计算机(省略图示)。在视觉识别处理装置18中,存储于ROM、储存器等的程序由CPU读出,且一边被在RAM中展开一边被执行,从而实现与程序对应的功能。另外,视觉识别处理装置18不局限于使用CPU,还能够使用GPU(GraphicProcessing Unit:图形处理单元)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等。
如图1所示,视觉识别处理装置18包括图像处理部20、视点转换部22、图像提取部24和显示处理部26。在视觉识别处理装置18中,通过CPU执行预定的程序,由此作为图像处理部20、视点转换部22、图像提取部24和显示处理部26发挥功能。
视觉识别处理装置18上分别连接有后相机14A、侧相机14L、14R和监视器16,在视觉识别处理装置18中,根据后相机14A和侧相机14L、14R的摄影图像生成由监视器16显示的后方图像。图3中通过示意图示出摄影图像和显示于监视器16的后方图像的概略情况。另外,后相机14A和侧相机14L、14R的摄影图像左右翻转并且左右的侧相机14L与侧相机14R的摄影图像互换(作为整体而左右翻转)而显示于监视器16。
如图3所示,图像处理部20通过读入后相机14A和侧相机14L、14R各自的摄影图像并执行预定的图像处理,输出作为由后相机14A拍摄到的第1摄影图像的摄影图像(图像数据)28A、作为由侧相机14L、14R各自拍摄到的第2摄影图像的摄影图像(图像数据)28L、28R。另外,在图像处理部20中,同一对象物的图像的大小被处理为在摄影图像28A、28L、28R之间相同。
在后相机14A和侧相机14L、14R各自之间,摄影图像28A、28L、28R的视点位置不同。因此,在视点转换部22中,对摄影图像28A、28L、28R进行视点转换处理。在视点转换处理中,例如,在比监视器16的中心位置(车宽方向和上下方向的中心位置)靠车辆前侧处设定假想视点,将摄影图像28A、28L、28R转换为从假想视点观察到的图像。
此外,在视点转换处理中,与假想视点一起设定成为车辆12的后方的预定位置处的假想面的假想屏幕。假想屏幕也可以为平面,也可以为弯曲面,但优选在监视器16朝向车辆后方以凸状弯曲的情况下,假想屏幕采用向车辆后方凸出的弯曲面(从车辆12角度观察,为凹状的弯曲面)。在视点转换处理中,能够应用将摄影图像28A、28L、28R各自转换为从假想视点观察时投影在假想屏幕上的图像的任意的方法。
由此,就摄影图像28A、28L、28R而言,在视点转换部22中应用同一假想视点和假想屏幕进行视点转换处理,故在摄影图像28A、28L和摄影图像28A或摄影图像28R映现有同一对象物的情况下,该对象物看起来重叠。
在图像提取部24中,从摄影图像28A、28L、28R分别提取用于显示于监视器16的显示图像30A、30L、30R。在视觉识别处理装置18中,作为图像边界32而设定摄影图像28A与摄影图像28L之间的图像边界32L和摄影图像28A与摄影图像28R之间的图像边界32R。在图像提取部24中,根据图像边界32(图像边界32L、32R)和监视器16中的显示区域对摄影图像28A、28L、28R分别进行剪裁处理。由此,图像提取部24从摄影图像28A中提取作为第1显示图像的显示图像30A,从摄影图像28L、28R中提取作为第2显示图像的显示图像30L、30R。
图像边界32L、32R成为沿着上下方向的大致线状或大致带状(预定像素数量宽度的带状),在图像提取部24中,通过使图像边界32L、32R的位置在车宽方向上移动(变更),从而变更摄影图像28A、28L、28R各自的剪裁位置而提取显示图像30A、30L、30R。图像边界32L、32R相当于假想屏幕上的显示图像30A、30L和显示图像30A、30R的边界,通过图像边界32L、32R移动而使假想屏幕上的显示图像30A与显示图像30L之间的边界和显示图像30A与显示图像30R之间的边界在车辆宽度方向上移动。
图像边界32L设定于摄影图像28A与摄影图像28L的重叠区域内,图像边界32R设定于摄影图像28A与摄影图像28L的重叠区域内。图像边界32L、32R(图像边界32L和图像边界32R)分别在从车宽方向内侧的位置(位置Lin、Rin)起车宽方向外侧的位置(位置Lout、Rout)的范围内设定。即,图像边界32L的位置采用位置Lin~Lout的范围,图像边界32R的位置采用位置Rin~Rout的范围。
对于显示图像30A而言,通过使图像边界32L、32R为车宽方向内侧的位置Lin、Rin,从而在车宽方向上最窄,通过使图像边界32L、32R为车宽方向外侧的位置Lout、Rout,从而在车宽方向上最宽。
显示处理部26生成在显示图像30A的左右两侧的图像边界32L、32R处使显示图像30L和显示图像30R拼接于显示图像30A而显示于监视器16的后方图像(后方图像的图像数据)。由此,显示于监视器16的后方图像成为显示图像30A、30L、30R在图像边界32L、32R处拼接起来的合成图像。
通常,在图像边界32R(在图像边界32L中也是相同的)的附近,无论是否映现于摄影图像28A、28R的至少一者,均在使通过图像边界32R剪裁出的显示图像30A与显示图像30R拼接而成的合成图像产生不出现图像的区域(所谓死角)。即,在投影于假想屏幕并通过图像边界32R进行了剪裁的情况下,在比假想屏幕靠视点侧(相机14侧)的物体中,从摄影图像28A(显示图像30A)中除去比图像边界32R靠车宽方向外侧(摄影图像28R侧的物体(或物体的局部)的图像,从摄影图像28R(显示图像30R)中除去比图像边界32R靠车宽方向内侧(摄影图像28A侧)的物体(或物体的局部)的图像。因此,通过利用图像边界32R剪裁摄影图像28A、28R,利用剪裁而除去的区域在合成显示图像30A、30R得到的后方图像中成为死角(死角的区域)。
在车辆用视觉识别装置10中,若图像边界32L、32R成为车宽方向的外侧的位置Lout、Rout,则在显示图像30L、30R中,提取摄影图像28L、28R中远离车身的区域。因此,在显示于监视器16的后方图像中,在车身的侧方产生的死角变大(面积变大)。
此外,就车辆用视觉识别装置10而言,若图像边界32L、32R的位置分别从位置Lout、Rout向位置Lin、Rin侧(车宽方向内侧)移动至预定位置,则死角逐渐变小,紧邻车身的左侧后方和右侧后方各自的死角最小。
此处,在车辆用视觉识别装置10中,设定图像边界32L、32R各自的标准位置(原位置、默认位置例如图3所示的位置)L0、R0。图像边界32L、32R的标准位置L0、R0各自采用后方图像上紧邻车身的左侧后方和右侧后方各自的死角变得最小的位置(参照图3)。由此,在显示于监视器16的后方图像中,通过使图像边界32L、32R成为标准位置L0、R0,抑制车身侧方附近成为死角。
另一方面,在车辆用视觉识别装置10中,通过拍摄在车辆12的后方行驶的车辆(后方车辆),从而该后方的车辆显示于监视器16。在车辆用视觉识别装置10中,通过使后方的车辆的图像包含于显示图像30A、30L、30R中任一者地显示于监视器16,从而乘员能够视觉识别后方的车辆。
在车辆用视觉识别装置10设置有对象检测单元。对象检测单元对在车辆12的后方行驶的后方车辆进行检测。对象检测单元能够应用:使用了能够利用被称为毫米波的频率为30GHz~300GHz的电波测量对象物的位置、距离的毫米波雷达这种方式。此外,对象检测单元能够应用:使用红外光等光(激光)来计测光的照射方向和至被对象物反射的光被收到为止的时间的LiDAR(Light Detection Ranging:激光雷达)这种方式等公知的方式。
此外,在车辆用视觉识别装置10中,设置有作为拍摄单元的后相机14A和侧相机14L、14R,在后相机14A与侧相机14L、14R之间,至少一部分拍摄区域重复(重合)。由此,在包括后方车辆34和后方车辆相对于车辆12而言的距离(车间距)地进行检测的情况下,也可以应用立体相机方式。
在本实施方式中,作为对象检测单元的检测对象而应用在车辆12的正后方行驶的后方车辆(以下,成为后方车辆34),成为对象的后方车辆34在车辆12的后方(主要是正后方)行驶,从而由后相机14A拍摄。
对象检测单元至少能够检测后方车辆34即可,在本实施方式中,对象检测单元使用由后相机14A拍摄到的摄影图像28A来检测后方车辆34。另外,对象检测单元也可以应用多个方式,例如,能够将后相机14A的摄影图像28A与毫米波雷达方式并用,或者将后相机14A的摄影图像28A与LiDAR方式并用,由此,能够提高检测精度。
在车辆用视觉识别装置10的视觉识别处理装置18中,形成有构成对象检测单元的对象检测部38、作为图像检测单元的对象提取部40和作为设定单元的边界设定部42。在视觉识别处理装置18中,通过由CPU执行预定的程序,作为对象检测部38、对象提取部40和边界设定部42来发挥功能。
对象检测部38读入后相机14A的摄影图像28A和侧相机14L、14R的摄影图像28L、28R,从摄影图像28A中搜索后方车辆34的图像(车辆图像34A),检测被映现于摄影图像28A的后方车辆34。另外,后方车辆34的检测能够应用:对与针对车辆(后方车辆)而预先存储的多个图案图像近似的图案的图像进行搜索的图案匹配法等公知的各种方法。
此外,在对象提取部40中,读入后相机14A的摄影图像28A和侧相机14L、14R的摄影图像28L、28R,针对对象检测部38中检测到的后方车辆34的车辆图像34A,提取摄影图像28A上的位置(轮廓和轮廓的区域)。此时,在对象提取部40中,在检测多个后方车辆34的情况下,将最接近车辆12的后方车辆34检测为对象物。
此外,在车辆12行驶的道路的路上,在车道44的左右标记有白线(车道线)46L、46R,后相机14A和侧相机14L、14R对包括车道44(白线46L、46R)的车辆后方进行拍摄(参照图3)。由此,对于是否将由对象检测部38检测到的车辆作为为对象的后方车辆34这个判定而言,提取摄影图像28A、28L、28R上的表示车道44的白线46L、46R,在可以视为后方的车辆在与车辆12相同的车道44行驶的情况下,能够将该车辆判定为后方车辆34。
并且,后相机14A的拍摄范围相对于车辆12的车宽方向的中心线预先决定,例如,摄影图像28A上的车宽方向的中心位置与车辆12的中心线重叠。由此,对于是否将由对象检测部38检测到的车辆作为对象的后方车辆34这个判定而言,摄影图像28A上的后方的车辆的图像的大小为预定值以上,摄影图像28A上的后方的车辆的图像的车宽方向中心位置相对于距摄影图像28A的中心位置在预定的范围内(例如,可以视为在同一车道44行驶的范围内)的情况下,能够将该车辆作为后方车辆34。
在边界设定部42中,若设定(确定)成为对象的后方车辆34,则根据摄影图像28A上的后方车辆34的图像位置(车辆图像34A的位置),设定显示图像30A与显示图像30L之间的图像边界32L和显示图像30A与显示图像30L之间的图像边界32R的位置。
在边界设定部42中,分别在位置Lin~Lout和位置Rin~Rout的范围内设定图像边界32L、32R。此时,在车辆12的后方没有行驶有(没有映现有)其他车辆而在相邻的车道中行驶有其他车辆等后方的其他车辆处于不可以视为是车辆12的正后方的位置等的情况下,在边界设定部42中,将图像边界32L、32R的位置设定为标准位置。
此外,在边界设定部42中,在不存在由于与后方车辆34的车辆图像34A重叠而不易看见车辆图像34A这种情况的位置分别设定图像边界32L、32R。例如,对于边界设定部42而言,后方车辆34接近而显示于监视器16的车辆图像34A变大,图像边界32L和图像边界32R中至少一者与车辆图像34A之间的间隔d变窄。
边界设定部42设定为,若间隔d成为作为第1间隔的给定的间隔d1以下(d≤d1),则使对应的图像边界32(图像边界32L和图像边界32R中至少一者)向车宽方向的外侧(位置Lout侧、位置Rout侧)移动预先设定的预定的移动量(预定像素数量大小等监视器16上的预定距离,以下,作为距离dsa)。此外,边界设定部42设定为在后方车辆34的车辆图像34A重叠有图像边界32(图像边界32L和图像边界32R中至少一者)的情况下也使对应的图像边界32向车宽方向的外侧移动距离dsa。
此外,在边界设定部42中,抑制图像边界32L、32R必要程度以上地成为车宽方向的外侧这种情况。例如,因后方车辆34远离而显示于监视器16的车辆图像34A变小等,而使车辆图像34A与图像边界32L、32R之间的间隔d增加。由此,若间隔d成为构成第2间隔的间隔d2以上的大小,则边界设定部42以使图像边界32L、32R接近标准位置L0、R0的方式(成为车宽方向内侧的方式)设定图像边界32L、32R的位置。此时,边界设定部42设定为使图像边界32L、32R移动预定的移动量(预定像素数量大小等在监视器16上的预定距离,下文,将该移动量作为距离dsb)。
这样的间隔d1、间隔d2、距离dsa和距离dsb在显示于监视器16的后方图像中不损害乘员的可视性、后方图像的外观的范围内做预先设定。另外,间隔d、距离dsa等能够应用图像边界32L、32R的中心位置或图像边界32L、32R的靠车辆图像34A侧的端部与车辆图像34A的车宽方向的端部之间的尺寸(像素数量)。
视觉识别处理装置18的图像提取部24基于边界设定部42中设定的图像边界32L、32R而从摄影图像28A、28L、28R中分别提取显示图像30A、30L、30R。由此,在监视器16显示有合成了显示图像30A、30L、30R的后方图像。
接下来对本实施方式的作用进行说明。
例如若车辆12的点火开关(IG开关)接通等,指示开始送向监视器16的图像显示,则车辆用视觉识别装置10开始动作,若IG开关断开等而指示图像显示的结束,则经过预定时间之后,车辆用视觉识别装置10结束动作。在车辆用视觉识别装置10中,若指示开始动作则后相机14A和侧相机14L、14R动作,并且视觉识别处理装置18动作,后相机14A和侧相机14L、14R的摄影图像显示于监视器16。
图4A利用流程图示出因视觉识别处理装置18动作而执行的显示处理的概要,图4B利用流程图示出图像边界设定处理的一个例子。此外,图5A~图5D中作为一个例子而利用概略图示出监视器16的将车辆12的后方车辆34被拍摄到摄影图像28A中的情况下的与车辆图像34A对应的显示。另外,图像边界32L、32R分别设定,但图像边界32L、32R也可以是通过设定一者,从而与设定好的图像边界32L、32R那一者对应地设定图像边界32L、32R中另一者。
对于图4A的流程图而言,若视觉识别处理装置18动作,则以预先设定的时间间隔执行图4A的流程图,在最初的步骤100中,读入各相机14(后相机14A和侧相机14L、14R)的摄影图像而执行预定的图像处理(步骤102)。由此,获取车辆后方的摄影图像28A并从车辆侧方获取后方的摄影图像28L、28R。在接下来的步骤104中,对于摄影图像28A、28L、28R进行预定的视点转换处理。
此外,在视觉识别处理装置18中,在步骤106中设定图像边界32(图像边界32L、32R),在步骤108中,针对被进行了视点转换处理的摄影图像28A、28L、28R各自,与所设定的图像边界32L、32R匹配地进行剪裁处理而提取显示图像30A、30L、30R。接下来,视觉识别处理装置18在步骤110中使显示图像30A、30L、30R在图像边界32L、32R处接合,生成显示于监视器16的后方图像,在步骤112中,使后方图像显示于监视器16。
由此,在车室内安装于乘员的车辆前侧的监视器16中,将从后相机14A和侧相机14L、14R的摄影图像28A、28L、28R得到的车辆12的后方图像作为动态图像显示,通过显示于监视器16的后方图像来辅助车室内的乘员的车辆后方的视觉识别。并且,乘员能够在从车辆左侧后方至车辆右侧后方为止的大范围内进行视觉识别。
另一方面,在车辆用视觉识别装置10中,在视觉识别处理装置18中,对在车辆12的后方(大致正后方)行驶的后方车辆34进行检测,若检测到后方车辆34,则进行与后方车辆34的车辆图像34A对应的图像边界32L、32R的设定。由此,在车辆用视觉识别装置10中,车辆图像34A有效地显示于监视器16。
对于图4B的流程图而言,通过在图4A中转移至步骤106来执行,在最初的步骤120中,在视觉识别处理装置18中,进行在车辆12的后方行驶的车辆的检测,在步骤122中,确认是否检测到在车辆12的大致正后方(被认为是正后方的位置)行驶的后方车辆34。后方车辆34是至少被后相机14A拍摄到的车辆,因此,在后方车辆34的检测中使用摄影图像28A,在视觉识别处理装置18中,搜索摄影图像28A来检测后方车辆34(后方车辆34的车辆图像34A)。
一方面,在视觉识别处理装置18中,在从摄影图像28A中没有检测到后方车辆34的情况下(也包括后方车辆34在后方离得极其远这种情况),在步骤122中进行否定判定,转移至步骤124。
在步骤124中,在视觉识别处理装置18中,将图像边界32(图像边界32L、32R)设定为标准位置L0、R0,此后,转移至接下来的处理。由此,通常,在监视器16显示有图像边界32L、32R采用了标准位置L0、R0的后方图像(省略图示)。
在车辆用视觉识别装置10中,使图像边界32L、32R的标准位置L0、R0分别采用使车辆12的车身侧面附近后侧的死角变小这种位置。因此,监视器16中由于死角变小而显示有车身的左右两侧的紧邻处和左右两侧的紧邻后方处,因此,在显示于监视器16的后方图像中,抑制车身的紧邻处、紧邻后方处成为死角这种情况。由此,在车辆用视觉识别装置10中,能够有效地辅助乘员的后方和车身附近的视觉识别。
另一方面,若检测到在车辆12的正后方(与车辆12相同的车道)行驶的后方车辆34,则视觉识别处理装置18在步骤122中进行肯定判定而转移至步骤126。在步骤126中,视觉识别处理装置18确定出在后方车辆34正映现着的摄影图像28A中的后方车辆34的车辆图像34A。即,确定出车辆图像34A在摄影图像28A上的位置和图像范围(图像尺寸)。
若确定出后方车辆34在摄影图像28A上的车辆图像34A,则在步骤128中,视觉识别处理装置18根据车辆图像34A来设定图像边界32(图像边界32L、32R)。此时,图像边界32采用至少不损害后方车辆34的车辆图像34A的外观的位置。此外,图像边界32优选设定于不与后方车辆34的车辆图像34A重叠的位置(离开后方车辆34的车辆图像34A的位置)。
例如,图像边界32L、32R在摄影图像28A上在相对于后方车辆34的车辆图像34A成为宽度方向(车宽方向)的外侧的位置处,设定于标准位置L0、R0或比标准位置L0、R0靠车宽方向外侧处。此时,在图像边界32L、32R与后方车辆34的车辆图像34A重叠的情况下或在图像边界32L、32R与后方车辆34的车辆图像34A之间的间隔d为间隔d1以下(d≤d1)的情况下,在车辆用视觉识别装置10中,设定为,使相应的图像边界32的位置从当前的位置向车宽方向外侧(远离标准位置L0、R0的方向)移动距离dsa。
图5A~图5D示出后方车辆34一边在与车辆12相同的车道44行驶一边伴随着时间经过(时刻T的经过)时刻T0(参照图5A)、时刻T1(参照图5B)、时刻T2(参照图5C)、时刻T3(参照图5D)接近的情况。
如图5A所示,后方车辆34离车辆12比较远,映现于摄影图像28A(显示图像30A)的后方车辆34的车辆图像34A比较小,纳入标准位置L0、R0的图像边界32L、32R之间(不重叠)的情况下,图像边界32L、32R分别设定于标准位置L0、R0。
此外,若后方车辆34接近,则显示于监视器16的车辆图像34A逐渐变大。由此,如图5B所示,在接近到车辆图像34A也与图像边界32L、32R接触的情况下(例如图像边界32L与车辆图像34A之间的间隔d和图像边界32R与车辆图像34A之间的间隔d中至少任一者成为间隔d1以下大小(d≤d1)的情况下),视觉识别处理装置18设定为使相应的图像边界32(例如图像边界32R)向车宽方向外侧移动距离dsa。
另外,对于视觉识别处理装置18而言,按每个图像边界32L、32R设定为使它们根据它们与车辆图像34A之间的间隔d移动,但也可以设定为使图像边界32L、32R以相同的移动量(距离dsa)并行(相同的时间点)移动。此外,图像边界32的移动也可以是在变化程度根据车辆图像34A的大小的变化程度(每单位时间的变化量)而较大的情况下,与变化程度较小的情况相比,移动时的距离dsa变大,由此,能够抑制图像边界32的位置频繁地变化而使乘员感到繁复。
由此,如图5C所示,图像边界32R向车宽方向的外侧移动预定量(例如,距离dsa)。此时,若不满足为了使图像边界32L移动的条件,则图像边界32L位置不变更而保持原样成为标准位置L0。由此,即便后方车辆34进一步接近车辆12,也能够抑制图像边界32与车辆图像34A重叠而损害车辆图像34A的外观这种情况。
此外,后方车辆34进一步接近车辆12,使车辆图像34A变大,从而例如,车辆图像34A与图像边界32L、32R重叠,或者车辆图像34A与图像边界32L、32R之间的间隔d成为间隔d1以下。在这种情况下,视觉识别处理装置18设定为使图像边界32L、32R分别进一步向车宽方向外侧移动例如距离dsa。
由此,如图5D所示,图像边界32L设定为从标准位置L0朝向位置Lout移动,图像边界32R设定为移动至进一步远离车辆图像34A的位置(例如,位置Rout)。由此,图像边界32L、32R远离车辆图像34A而抑制图像边界32L、32R使乘员的后方车辆34的可视性降低这种情况。
另一方面,若后方车辆34离开车辆12,则显示于监视器16的车辆图像34A逐渐变小,车辆图像34A与图像边界32之间的间隔d变大(变宽)。在视觉识别处理装置18中,若图像边界32与车辆图像34A之间的间隔d成为间隔d2以上,则使相应的图像边界32向车宽方向内侧移动距离dsb。由此,图像边界32L、32R以随着车辆图像34A变小而接近标准位置L0、R0的方式移动(设定)。即,在视觉识别处理装置18中,使远离标准位置L0、R0的图像边界32L、32R阶段性地(也可以连续地)朝向标准位置L0、R0移动至到达标准位置L0、R0为止。
像这样,在车辆用视觉识别装置10中,在显示于监视器16的后方图像中,抑制后方车辆34的车辆图像34A与图像边界32重叠,从而能够抑制车辆图像34A难以看见这种情况。由此,在车辆用视觉识别装置10中,有效地抑制显示于监视器16的后方车辆34的可视性降低,从而能够有效地辅助乘员的后方视野。
此外,在车辆用视觉识别装置10中,从后相机14A和侧相机14L、14R的摄影图像28A、28L、28R中分别提取显示图像30A、30L、30R,生成显示于监视器16的后方图像。此时,在车辆用视觉识别装置10中,从摄影图像28A中检测后方车辆34的车辆图像34A,以不与显示于监视器16的车辆图像34A重叠的方式设定图像边界32。
由此,在车辆用视觉识别装置10中,在显示于监视器16的后方图像中,抑制图像边界32与车辆图像34A重叠,因此,能够抑制显示于监视器16的车辆图像34A(后方车辆34)的可视性降低这种情况,能够抑制因图像边界32与后方车辆34的车辆图像34A重叠引起的外观变差,并且辅助乘员的后方车辆34的视觉识别。
此外,在车辆用视觉识别装置10中,从后相机14A的摄影图像28A中检测后方车辆34(车辆图像34A),因此,不需要与拍摄单元分开另外设置用于检测后方车辆34的检测单元,能够高效地检测后方车辆34。
此外,在车辆用视觉识别装置10中,在设定为图像边界32根据后方车辆34的车辆图像34A移动时,抑制车辆图像34A与图像边界32之间大幅分离。由此,在车辆用视觉识别装置10中,能够抑制图像边界32(图像边界32L、32R)过于远离标准位置L0、R0而导致死角变大这种情况,因此,能够切实地辅助乘员的视觉识别。
另一方面,在以上的说明中,使图像边界32L、32R以图像边界32L、32R不与车辆图像34A重叠的方式在从标准位置L0、R0至位置Lout、Rout的范围内设定(移动)。此时,图像边界32L、32R设定为不过于远离或者不过于接近车辆图像34A。但是,即便在图像边界32L、32R重叠于车辆图像34A的状态下,若重叠较少则对可视性、外观的影响也较少。
例如,由于图像边界32与车辆图像34A重叠,所以显示于监视器16的车辆图像34A(显示图像30A的车辆图像34A)的图像尺寸(例如,是车辆图像34A的车宽方向的尺寸;也可以是车辆图像34A的图像面积)变化。
由此,针对后方车辆34的车辆图像34A,根据显示图像30A上的车辆图像34A的图像尺寸相对于摄影图像28A上的车辆图像34A的图像大小而言的比例,能够判定是否使图像边界32移动。在这种情况下,在显示于监视器16的后方图像中,预先设定即便图像边界32与车辆图像34A重叠也能被判定为不损害乘员的可视性、后方图像的外观的比例(阈值)。在车辆用视觉识别装置10中,该阈值也可以能够变更。
在车辆用视觉识别装置10中,获取车辆图像34A在后相机14A的摄影图像28A中的图像尺寸、车辆图像34A在显示图像30A中的图像尺寸。此外,在车辆用视觉识别装置10中,对车辆图像34A在显示图像30A中的图像尺寸相对于车辆图像34A在后相机14A的摄影图像28A中的图像尺寸而言的比例进行运算。此后,在车辆用视觉识别装置10中,运算出的比例成为阈值以下的情况下,重新设定图像边界32。
由此,通过使运算出的比例成为阈值以下来设定图像边界32,从而能够抑制在显示于监视器16的后方图像中车辆图像34A大量缺失或者图像边界32使乘员感到繁复这种情况,从而能够通过显示于监视器16的后方图像来辅助乘员的视觉识别。
此外,在车辆12的后方行驶的车辆不局限于在与车辆12相同的车道44行驶的车辆,还存在在车辆12的车道44的相邻的车道行驶的车辆、跨车道44和相邻的车道行驶的车辆等。
后方的车辆是否是在车辆12的正后方(相同的车道44)行驶的后方车辆34的判定中,也可以根据后相机14A的摄影图像28A上的图像来进行判定。在这种情况下,例如,即便后方的车辆接近车辆12而难以看见白线46L、46R,也能够准确地判定后方的车辆是否为后方车辆34,能够抑制由于图像边界32L、32R损害后方车辆34的车辆图像34A的外观这种情况。
另一方面,在划分出多个车道44的道路上,有比与车辆12相同的车道44的后方车辆34靠近车辆12的后方车辆(以下,成为后方车辆48)正在行驶这种情况。
此处,作为车辆用视觉识别装置10中的图像边界32的设定处理的变形例,对车辆12的后方车辆34和后方车辆48正在行驶这种情况进行说明。
图6中通过流程图示出变形例所涉及的图像边界设定处理的一个例子。此外,图7A~图7D和图8A~图8D中通过概略图示出后方车辆34在与车辆12相同的车道44行驶、后方车辆48在车辆12的相邻(右邻)的车道44A行驶这种情况下的监视器16的显示。
另外,后方车辆48的检测(后方车辆48的车辆图像48A的检测)中使用摄影图像28L、28R。此外,在图6中,对与图4B相同的处理标注与图4B相同的步骤编号(附图标记)并省略其详细的说明。并且,在变形例中,说明一个图像边界32R的设定,省略另一个图像边界32L的图示和说明,但也可以是,另一个图像边界32L与图像边界32R匹配地设定。
取代图4B而使用图6,通过转移至图4A的步骤106而执行。在图6的流程图的最初的步骤130中,视觉识别处理装置18根据后相机14A和侧相机14R的摄影图像28A、28R(也可以包括侧相机14L的摄影图像28L)进行在车辆12的后方行驶的后方车辆(后方车辆34、48)的检测处理。此外,在车辆用视觉识别装置10中,在步骤132中,确认是否检测到后方的车辆(后方车辆34和后方车辆48中至少一者),在步骤134中,确认是否检测到在与车辆12相同的车道44行驶的后方车辆34。
在后方车辆34和后方车辆48的检测中,视觉识别处理装置18根据车辆12行驶的车道44的左右的白线46L、46R从摄影图像28A、28R,中确定出车道44、44A。此外,视觉识别处理装置18将在车道44(白线46L、46R之间)行驶的车辆确定为后方车辆34,将在隔着白线46R位于与车道44相反侧的车道44A行驶的车辆确定为后方车辆48。
此处,视觉识别处理装置18在没有检测到后方车辆34、48中任一者的情况下(也包括向后方极其远离的情况),在步骤132中进行否定判定,转移至步骤124。由此,图像边界32R分别设定于标准位置R0。
此外,视觉识别处理装置18若检测到的车辆包括在车道44行驶的后方车辆34,则在步骤132中进行肯定判定,并且在步骤134中进行肯定判定,转移至步骤126。视觉识别处理装置18依次执行步骤126和步骤128,进行基于后方车辆34的行驶状态做出的图像边界32R的设定,转移至步骤138。由此,视觉识别处理装置18根据后方车辆34的车辆图像34A,在标准位置R0~位置Rout的范围设定图像边界32R。
若没有检测到后方车辆34,则视觉识别处理装置18在步骤134中进行否定判定并转移至步骤136,将图像边界32R设定于标准位置R0,转移至步骤138。此外,在步骤138中,视觉识别处理装置18确认是否检测到在相邻的车道44A行驶的后方车辆48(后方车辆48的车辆图像48A),在步骤140中,确认车道44A的后方车辆48是否比后方车辆34接近车辆12。此时,若没有检测到后方车辆48,则视觉识别处理装置18在步骤138中进行否定判定,开始接下来的处理。此外,若后方车辆48比后方车辆34远离车辆12,则视觉识别处理装置18在步骤138中进行肯定判定,在步骤140中进行否定判定,转移至接下来的处理。
相对于此,若后方车辆48比后方车辆34接近车辆12,则在监视器16中,比后方车辆34的车辆图像34A更大地显示后方车辆48的车辆图像48A。在这种情况下,视觉识别处理装置18在步骤138和步骤140各自当中进行肯定判定并转移至步骤142。在步骤142中,视觉识别处理装置18确定出将后方车辆48的整个宽度映现出来的摄影图像,在确定出的摄影图像上以不与后方车辆48的车辆图像48A重叠的方式设定图像边界32R的位置。此时,在后方车辆48的车辆图像48A映现于摄影图像28A或跨摄影图像28A、28R映现的状态下,车辆图像48A映现于摄影图像28A的比例较大的情况下,视觉识别处理装置18确定出摄影图像28A,作为后方车辆48所映现的摄影图像。此外,在后方车辆48的车辆图像48A映现于摄影图像28R或跨摄影图像28A、28R映现的状态下,车辆图像48A映现于摄影图像28R的比例较大的情况下,视觉识别处理装置18确定出摄影图像28R,作为后方车辆48所映现的摄影图像。
在接下来的步骤144中,视觉识别处理装置18根据确定出的摄影图像(摄影图像上的车辆图像48A)来设定图像边界32R。此时,在确定出摄影图像28A作为摄影图像的情况下,视觉识别处理装置18将图像边界32R设定于比标准位置R0靠车宽方向外侧的位置(例如,位置Rout)。此外,在确定出摄影图像28R作为摄影图像的情况下,视觉识别处理装置18将图像边界32R设定于标准位置R0。
通过像这样设定图像边界32R,若后方车辆48处于比后方车辆34靠车辆12侧,则图像边界32R如图7A~图7D或图8A~图8D所示那样变化。另外,在图7A~图7D和图8A~图8D中,示出后方车辆48的行驶位置伴随着时间经过时刻T0(参照图7A、图8A)、时刻T4(参照图7B、图8B)、时刻T5(参照图7C、图8C)和时刻T6(参照图7D、图8D)变化的情况。
图7A~图7D示出后方车辆48接近车辆12的情况。如图7A~图7C所示,在后方车辆48相对远离车辆12,显示于监视器16的后方车辆48的车辆图像48A比较小的情况下(车辆图像48A处于摄影图像28A上的情况下),图像边界32R设定于比标准位置R0靠车宽方向的外侧的位置(例如,位置Rout),后方车辆48的车辆图像48A显示于显示图像30A。相对于此,如图7D所示,若后方车辆48接近车辆12,显示于监视器16的后方车辆48的车辆图像48A比较大(若车辆图像48A成为摄影图像28R上),则图像边界32R移动至标准位置R0。
由此,在车辆用视觉识别装置10中,能够抑制图像边界32R与接近车辆12的后方车辆48的车辆图像48A重叠而显示于监视器16这种情况,因此,能够抑制图像边界32R使后方车辆48的车辆图像48A的外观变差(难以看见),能够有效地辅助乘员的后方视觉识别。并且,若后方车辆48接近车辆12,则图像边界32R成为标准位置R0,因此,在显示于监视器16的后方图像中,车身右后侧附近的死角变小,能够有效地辅助乘员的视觉识别。
另一方面,在后方车辆48远离车辆12时,如图8A~图8C所示那样,在后方车辆48映现于摄影图像28R的情况下,在车辆用视觉识别装置10中,图像边界32设定于比位置Rout靠车宽方向内侧(标准位置R0侧)处。由此,在监视器16中,在显示图像30R显示有映现有后方车辆48的车辆图像48A的后方图像。此时,如图8B和图8C所示那样,车辆用视觉识别装置10即便后方车辆48远离车辆12,也在后方车辆48主要映现于摄影图像28R期间,将图像边界32R设定(保持)于比位置Rout靠车宽方向内侧处。
相对于此,如图8D所示,设定为,若后方车辆48远离车辆12而映现于摄影图像28A,则在车辆用视觉识别装置10中,图像边界32移动至位置Rout侧(也可以是位置Rout)。由此,在监视器16中,在显示图像30A显示有映现有后方车辆48的车辆图像48A的后方图像。此时,如图8C所示,在后方车辆48跨摄影图像28A、28R的情况下,在车辆用视觉识别装置10中,也可以将图像边界32R保持于比位置Rout靠车宽方向内侧。
这样,在变形例中,车辆用视觉识别装置10能够有效地抑制后方车辆34、48的车辆图像34A、48A分别与图像边界32R重叠这种情况。由此,能够抑制因图像边界32与后方车辆34、48的车辆图像34A、48A重叠引起的外观变差,能够抑制乘员的可视性的降低,因此,能够有效地辅助乘员的后方车辆34、48的视觉识别。
2021年8月24日申请的日本专利申请特愿2021-136228号的公开其整体通过参照而引入本说明书。
Claims (8)
1.一种车辆用视觉识别装置,其特征在于,包括:
拍摄部,其包括将拍摄车辆后方得到的第1摄影图像输出的第1拍摄单元和将以使拍摄区域的局部与所述第1拍摄单元的拍摄区域重叠的方式从车身侧方拍摄车辆后方侧得到的第2摄影图像输出的第2拍摄单元;
显示部,其将在所述第1摄影图像与所述第2摄影图像形成的重叠区域中设定的图像边界作为边界,根据所述图像边界从所述第1摄影图像中提取第1显示图像并且从所述第2摄影图像中提取第2显示图像,将拼接所述第1显示图像和所述第2显示图像得到的后方图像以能够供乘员视觉识别的方式显示于显示介质;
对象检测单元,其对所述第1摄影图像所含的本车的后方车辆的图像进行检测;以及
设定单元,其以使由所述对象检测单元检测到的所述后方车辆的图像配置于所述第1显示图像的方式根据所述后方车辆的图像位置设定所述图像边界。
2.根据权利要求1所述的车辆用视觉识别装置,其特征在于,
所述对象检测单元根据所述第1摄影图像和所述第2摄影图像检测所述后方车辆。
3.根据权利要求1或2所述的车辆用视觉识别装置,其特征在于,
当所述后方车辆在所述后方图像中的所述第1显示图像上的图像尺寸相对于所述后方车辆在所述第1摄影图像上的图像尺寸而言的比例成为预先设定的比例以下的情况下,所述设定单元变更所述图像边界的位置。
4.根据权利要求1或2所述的车辆用视觉识别装置,其特征在于,
在所述后方图像上的所述后方车辆的图像与所述图像边界之间的间隔成为第1间隔以下的情况下,所述设定单元以使所述图像边界的位置向车宽方向外侧移动至预定位置的方式变更所述图像边界的位置。
5.根据权利要求1~4中任一项所述的车辆用视觉识别装置,其特征在于,
所述设定单元在使所述图像边界的位置移动时以向车宽方向外侧移动预先设定的量的方式进行变更。
6.根据权利要求1~5中任一项所述的车辆用视觉识别装置,其特征在于,
所述设定单元在所述第1摄影图像上没有检测到所述后方车辆的图像的情况下,将所述图像边界的位置变更为在所述重叠区域内预先设定的标准位置。
7.根据权利要求1~6中任一项所述的车辆用视觉识别装置,其特征在于,
所述设定单元在所述后方车辆的图像与所述图像边界之间的间隔超过预先设定的第2间隔的情况下,将所述图像边界的位置以接近在所述重叠区域内预先设定的标准位置的方式进行变更。
8.根据权利要求7所述的车辆用视觉识别装置,其特征在于,
所述设定单元将所述图像边界的位置变更为以预先设定的量更靠向车宽方向内侧的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-136228 | 2021-08-24 | ||
JP2021136228A JP2023030856A (ja) | 2021-08-24 | 2021-08-24 | 車両用視認装置 |
PCT/JP2022/026622 WO2023026696A1 (ja) | 2021-08-24 | 2022-07-04 | 車両用視認装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117859323A true CN117859323A (zh) | 2024-04-09 |
Family
ID=85322720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280057393.2A Pending CN117859323A (zh) | 2021-08-24 | 2022-07-04 | 车辆用视觉识别装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023030856A (zh) |
CN (1) | CN117859323A (zh) |
WO (1) | WO2023026696A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3487172A4 (en) * | 2016-07-13 | 2019-07-10 | Sony Corporation | PICTURE GENERATING DEVICE, PICTURE PRODUCTION PROCESS AND PROGRAM |
JP2018074503A (ja) * | 2016-11-02 | 2018-05-10 | 株式会社東海理化電機製作所 | 車両用視認装置及び車両用視認画像表示方法 |
-
2021
- 2021-08-24 JP JP2021136228A patent/JP2023030856A/ja active Pending
-
2022
- 2022-07-04 CN CN202280057393.2A patent/CN117859323A/zh active Pending
- 2022-07-04 WO PCT/JP2022/026622 patent/WO2023026696A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023026696A1 (ja) | 2023-03-02 |
JP2023030856A (ja) | 2023-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6624105B2 (ja) | 画像表示装置 | |
JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
CN110612562B (zh) | 车载用监视摄像头装置 | |
JP5953824B2 (ja) | 車両用後方視界支援装置及び車両用後方視界支援方法 | |
JP5233583B2 (ja) | 車載用監視装置 | |
JP6744236B2 (ja) | 画像表示装置 | |
JP4943367B2 (ja) | 車両用情報表示装置 | |
CN110857057B (zh) | 车辆用周边显示装置 | |
US20180086271A1 (en) | Vehicular visual recognition device and vehicular visual recognition image display method | |
RU2713262C1 (ru) | Устройство вывода изображения на дисплей | |
JP2002166802A (ja) | 車両周辺モニタ装置 | |
JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
US20180208115A1 (en) | Vehicle display device and vehicle display method for displaying images | |
JP7000383B2 (ja) | 画像処理装置および画像処理方法 | |
US11833968B2 (en) | Imaging system and method | |
WO2016129552A1 (ja) | カメラパラメータ調整装置 | |
US20200361382A1 (en) | Vehicular visual recognition device | |
CN117859323A (zh) | 车辆用视觉识别装置 | |
JP7347330B2 (ja) | 車両周辺監視装置 | |
US20200231099A1 (en) | Image processing apparatus | |
JP2018074503A (ja) | 車両用視認装置及び車両用視認画像表示方法 | |
JP6555240B2 (ja) | 車両用撮影表示装置及び車両用撮影表示プログラム | |
JP2023061207A (ja) | 車両用視認装置 | |
JP6878109B2 (ja) | 画像表示装置 | |
US20240198909A1 (en) | System and method for enhancing occupant awareness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |