CN113841191B - 行人装置和交通安全辅助方法 - Google Patents

行人装置和交通安全辅助方法 Download PDF

Info

Publication number
CN113841191B
CN113841191B CN202080036633.1A CN202080036633A CN113841191B CN 113841191 B CN113841191 B CN 113841191B CN 202080036633 A CN202080036633 A CN 202080036633A CN 113841191 B CN113841191 B CN 113841191B
Authority
CN
China
Prior art keywords
pedestrian
vehicle
user
processor
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080036633.1A
Other languages
English (en)
Other versions
CN113841191A (zh
Inventor
上野刚
菅原雅仁
村松慎太郎
大久保义行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113841191A publication Critical patent/CN113841191A/zh
Application granted granted Critical
Publication of CN113841191B publication Critical patent/CN113841191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

能够通过利用行人车辆间通信和AR设备来有效且适当地辅助确认行人的安全。行人装置具备：ITS通信部(21)(行人车辆间通信部)，其用于在行人装置与车载终端(2)之间进行行人车辆间通信；处理器(32)，其基于在行人装置与车载终端之间发送接收的信息来判定撞击的危险性，控制唤起本装置的用户注意的注意唤起动作；以及AR显示器(26)，其将虚拟对象叠加显示在从用户的角度能够看到的现实空间上，其中，处理器根据撞击的危险性，控制由AR显示器进行的虚拟对象(虚拟终端)的显示来作为注意唤起动作。

Description

行人装置和交通安全辅助方法
技术领域
本公开涉及一种通过行人车辆间通信来在行人装置与车载装置之间交换信息从而辅助行人和车辆的安全的行人装置和交通安全辅助方法。
背景技术
近年来，一边利用智能手机或音乐播放器等便携式设备一边步行的危险性成为问题。当一边利用便携式设备一边步行时，对周围的注意力会下降，无法进行充分的安全确认，因此行人未注意到处于危险的状况而导致事故的情况较多。
另外，以往提出了实现AR(增强现实：Augmented Reality)的各种技术。该AR技术用于将虚拟对象叠加显示在从人物的角度能够看到的现实空间上，能够有效地辅助人物的各种行动。
作为利用这种AR技术来辅助行人的行动的技术，已知一种唤起行人注意的技术(参照专利文献1、2)。另外，已知一种在步行时进行心脏起搏、在发生灾害时引导避难等的技术(参照专利文献3)。
现有技术文献
专利文献
专利文献1：日本特开2012-155655号公报
专利文献2：日本特开2012-155654号公报
专利文献3：日本专利第5346115号公报
发明内容
发明要解决的问题
那么，近年来，进行了头戴式显示器等各种AR设备的开发，期待通过利用这种AR设备能够实现高级的AR，从而能够有效地辅助确认行人的安全。
然而，在如现有的技术那样通过针对摄像机的影像的物体识别等来探测危险的方法中，无法高精度地探测危险的状况，因此存在无法适当地唤起行人注意的问题。
另一方面，近年来，在利用了ITS(Intelligent Transport System：高级道路交通***)的安全驾驶辅助无线***中，为了防止行人的事故，提出了在行人所持的行人终端与车载终端之间进行通信的行人车辆间通信。在该行人车辆间通信中，行人终端与车载终端进行直接通信，由此能够高精度地判定撞击的危险性，从而在适当的时机唤起行人注意。
因此，本公开的主要目的在于提供一种能够通过利用行人车辆间通信和AR设备来有效且适当地辅助确认行人的安全的行人装置和交通安全辅助方法。
用于解决问题的方案
本公开的行人装置构成为具备：行人车辆间通信部，其用于通过行人车辆间通信来在所述行人装置与车载装置之间交换信息；AR显示器，其将虚拟对象叠加显示在从本装置的用户的角度能够看到的现实空间上；以及处理器，其基于在所述行人装置与所述车载装置之间发送接收的信息来判定是否存在撞击的危险性，在存在撞击的危险性的情况下，控制由所述AR显示器进行的所述虚拟对象的显示来作为唤起所述用户注意的注意唤起动作。
另外，本公开的交通安全辅助方法用于在行人装置与车载装置之间交换信息，来辅助行人和车辆的安全，所述交通安全辅助方法构成为：所述行人装置基于通过行人车辆间通信来与所述车载装置之间发送接收的信息来判定撞击的危险性，根据撞击的危险性，控制由AR显示器进行的虚拟对象的显示来作为唤起本装置的用户注意的注意唤起动作，其中，所述AR显示器用于将所述虚拟对象叠加显示在从用户的角度能够看到的现实空间上。
发明的效果
根据本公开，能够基于通过行人车辆间通信来与车载装置之间发送接收的信息来高精度地判定撞击的危险性，从而在适当的时机唤起用户(行人)注意。另外，能够通过控制AR显示器所显示的虚拟对象来有效地唤起用户注意。由此，能够有效且适当地辅助确认行人的安全。
附图说明
图1是第一实施方式所涉及的交通安全辅助***的整体结构图。
图2是示出第一实施方式所涉及的行人终端1中的AR显示的状况的说明图。
图3是示出第一实施方式所涉及的行人终端1的概要结构的框图。
图4是示出在第一实施方式所涉及的行人终端1的处理器32中进行的处理的概要的说明图。
图5是示出在第一实施方式所涉及的行人终端1中进行的处理的过程的流程图。
图6是示出第二实施方式所涉及的行人终端1中的AR显示的状况的说明图。
图7是示出第二实施方式所涉及的行人终端1的概要结构的框图。
图8是示出在第二实施方式所涉及的行人终端1的处理器32中进行的处理的概要的说明图。
图9是第三实施方式所涉及的交通安全辅助***的整体结构图。
图10是示出第三实施方式所涉及的行人终端1中的AR显示的状况的说明图。
图11是示出第三实施方式所涉及的行人终端1的概要结构的框图。
图12是示出在第三实施方式所涉及的行人终端1的处理器32中进行的处理的概要的说明图。
图13是示出在第三实施方式所涉及的行人终端1中进行的视点探测处理P8和注视点测定处理P33的概要的说明图。
图14是示出在第三实施方式所涉及的行人终端1中进行的处理的过程的流程图。
具体实施方式
为了解决所述问题而完成的第一发明构成为具备：行人车辆间通信部，其用于通过行人车辆间通信来在所述行人装置与车载装置之间交换信息；AR显示器，其将虚拟对象叠加显示在从本装置的用户的角度能够看到的现实空间上；以及处理器，其基于与所述车载装置之间发送接收的信息来判定是否存在撞击的危险性，在存在撞击的危险性的情况下，控制由所述AR显示器进行的所述虚拟对象的显示来作为唤起所述用户注意的注意唤起动作。
据此，能够基于通过行人车辆间通信来与车载装置之间发送接收的信息来高精度地判定撞击的危险性，从而在适当的时机唤起用户(行人)注意。另外，能够通过控制AR显示器所显示的虚拟对象来有效地唤起用户注意。由此，能够有效且适当地辅助确认行人的安全。
另外，第二发明构成为：还具备拍摄用户的视场的视场用摄像机，所述处理器进行以下动作：从所述视场用摄像机的影像中探测用户的手的手掌和指尖，将虚拟终端作为所述虚拟对象显示在用户的手的手掌的位置，根据用户的指尖的位置来探测对所述虚拟终端的画面操作，从而控制所述虚拟终端的画面。
据此，能够以与用户(行人)的手的手掌重叠的方式显示虚拟终端，以如同把持着实物的终端(智能手机等)的感觉利用终端，因此用户的便利性提高。
另外，第三发明构成为：还具备拍摄用户的眼球的视线用摄像机，所述处理器进行以下动作：从所述视线用摄像机的影像中获取用户的视点的位置信息，基于该视点的位置信息，判定用户是否正在目视所述虚拟终端，在存在撞击的危险性且用户正在目视所述虚拟终端的情况下，执行所述注意唤起动作。
据此，在用户(行人)正在目视虚拟终端的情况下，其对周围的注意力下降，因此能够通过唤起用户注意来更有效地辅助确认用户的安全。
另外，第四发明构成为：在存在撞击的危险性的情况下，所述处理器预测撞击点，将表示该撞击点的标记图像作为所述虚拟对象来进行显示。
据此，用户(行人)能够识别撞击点、即用户与车辆会发生撞击的地点。
另外，第五发明构成为：在存在撞击的危险性的情况下，所述处理器预测撞击场景，将构成该撞击场景的行人的模拟图像和车辆的模拟图像作为所述虚拟对象来进行显示。
据此，用户(行人)能够识别撞击场景、即用户与车辆会发生撞击的状况。
另外，第六发明构成为：所述处理器将表示存在撞击的危险性的车辆的位置的标记图像和模拟图像中的至少一方作为所述虚拟对象来进行显示。
据此，用户(行人)能够容易地识别存在撞击的危险性的车辆的位置。
另外，第七发明构成为：当探测到用户作为驾驶员乘上了车辆时，所述处理器转变为车载终端模式，以辅助驾驶员的安全驾驶的方式控制所述虚拟对象的显示。
据此，能够辅助用户(驾驶员)的安全驾驶。
另外，第八发明构成为：所述行人车辆间通信部从周边的行人装置接收与周边的行人的视线方向有关的信息，所述处理器基于与所述行人的视线方向有关的信息，将与行人的视线方向有关的图像作为所述虚拟对象来进行显示。
据此，将与周边的行人的视线方向有关的图像(例如注视点)作为虚拟对象来进行显示，因此用户(驾驶员)能够容易地识别周边的行人正在目视哪个方向。
另外，第九发明构成为：所述处理器将表示存在撞击的危险性的行人的位置的标记图像和模拟图像中的至少一方作为所述虚拟对象来进行显示。
据此，用户(驾驶员)能够容易地识别存在撞击的危险性的行人的位置。
另外，第十发明构成为：所述行人车辆间通信部从周边的车载终端接收与周边的车辆的驾驶员的视线方向有关的信息，所述处理器基于与所述驾驶员的视线方向有关的信息，将与驾驶员的视线方向有关的图像作为所述虚拟对象来进行显示。
据此，将与周边的驾驶员的视线方向有关的图像(例如注视点)作为虚拟对象来进行显示，因此用户(行人)能够容易地识别驾驶员正在目视哪个方向。
另外，第十一发明是用于在行人装置与车载装置之间交换信息来辅助行人和车辆的安全的交通安全辅助方法，其中，所述行人装置基于通过行人车辆间通信来与所述车载装置之间发送接收的信息，判定是否存在撞击的危险性，在判定为存在撞击的危险性的情况下，所述行人装置控制由AR显示器进行的虚拟对象的显示来作为唤起本装置的用户注意的注意唤起动作，其中，所述AR显示器用于将所述虚拟对象叠加显示在从用户的角度能够看到的现实空间上。
据此，与第一发明同样地，能够有效且适当地辅助确认行人的安全。
下面一边参照附图一边说明本公开的实施方式。
(第一实施方式)
图1是第一实施方式所涉及的交通安全辅助***的整体结构图。
该交通安全辅助***用于辅助行人和车辆的交通安全，具备行人终端1(行人装置)和车载终端2(车载装置)。
在行人终端1与车载终端2之间进行ITS通信(行人车辆间通信)。该ITS通信是利用了安全驾驶辅助无线***中所采用的频带(例如700MHz频带或5.8GHz频带)的无线通信，该安全驾驶辅助无线***利用了ITS(Intelligent Transport System：高级道路交通***)。
行人终端1由行人持有。在该行人终端1中，通过ITS通信(行人车辆间通信)在该行人终端1与车载终端2之间发送接收包含位置信息等的消息，判定行人与车辆撞击的危险性，在存在撞击的危险性的情况下，进行唤起行人注意的注意唤起动作。在本实施方式中，行人终端1由头戴式显示器构成，佩戴在行人的头部，具备实现AR(增强现实：AugmentedReality)的功能。
车载终端2搭载于车辆。在该车载终端2中，通过ITS通信(行人车辆间通信)在该车载终端2与行人终端1之间发送接收包含位置信息等的消息，判定行人与车辆撞击的危险性，在存在撞击的危险性的情况下，进行唤起驾驶员注意的注意唤起动作。此外，注意唤起动作可以使用汽车导航装置来进行。
接着，说明第一实施方式所涉及的行人终端1中的AR显示。图2是示出行人终端1中的AR显示的状况的说明图。
在本实施方式中，利用AR显示器26将虚拟智能手机(虚拟终端)的图像11作为虚拟对象以叠加于用户(行人)的手的手掌的方式进行AR显示。另外，在与用户的指尖对应的位置进行指针的图像12的AR显示。当用户进行了用指尖对虚拟智能手机的画面进行触摸操作这样的动作时，识别用户的画面操作，根据该画面操作来控制虚拟智能手机的画面。由此，用户能够以实际把持着智能手机来进行操作的感觉利用智能手机的应用程序(电子邮件、浏览器、电话、游戏等)。
另外，在本实施方式中，在存在撞击的危险性的情况下，作为注意唤起动作，禁止应用程序(电子邮件、浏览器、电话、游戏等)的使用，并在虚拟智能手机显示注意唤起画面。在该注意唤起画面中显示有唤起注意的字符(例如“撞击危险”)、图形等。另一方面，当撞击的危险性消失时，结束注意唤起画面并允许应用程序的使用，使得用户能够再次利用应用程序。
此外，在本实施方式中，在存在撞击的危险性的情况下，在AR显示中的虚拟智能手机上显示注意唤起画面作为注意唤起动作，但也可以中止虚拟智能手机本身的显示。
另外，在本实施方式中，显示虚拟智能手机作为虚拟对象，但也可以是平板终端等其它显示设备。另外，也可以不显示智能手机等显示设备的主体而仅将画面作为虚拟对象来进行显示。
另外，在本实施方式中，将虚拟智能手机以叠加于行人的手的手掌的方式进行显示从而形成行人模拟地把持智能手机的状态，但也可以是，与行人的手的位置无关地，在不会成为行人步行的障碍的适当位置、例如视场的下部分将虚拟智能手机的画面作为虚拟对象来进行显示。
另外，在本实施方式中，作为注意唤起动作，将用于向用户通知处于危险状况的注意唤起画面显示于虚拟智能手机，但也可以是，当在该状态下用户进行了规定的操作(例如手的手势动作)时，将俯瞰用户周边的状况而得到的图像显示于虚拟智能手机。由此，能够明确地识别用户周边的状况。
接着，说明第一实施方式所涉及的行人终端1的概要结构。图3是示出行人终端1的概要结构的框图。图4是示出在行人终端1的处理器32中进行的处理的概要的说明图。
如图3所示，行人终端1具备ITS通信部21(行人车辆间通信部)、蜂窝通信部22、定位部23、视场用摄像机24、视线用摄像机25、AR显示器26、方位传感器27、测距传感器28、运动传感器29、存储器31以及处理器32。
ITS通信部21(行人车辆间通信部)通过ITS通信(行人车辆间通信)来与车载终端2之间发送接收消息。
蜂窝通信部22经由构成蜂窝通信网的基站以及与基站连接的网络来与服务器进行通信，该服务器提供与智能手机应用程序(电子邮件、浏览器、电话、游戏)有关的服务。
定位部23利用GPS(Global Positioning System：全球定位***)、QZSS(Quasi-Zenith Satellite System：准天顶卫星***)等卫星定位***来测定本装置的位置，获取本装置的位置信息(纬度、经度)。
视场用摄像机24拍摄用户的前方的视场的范围。
视线用摄像机25拍摄用户的左右的眼球。
AR显示器26将虚拟对象叠加显示在进入用户的现实视场的现实空间上，来实现AR(增强现实：Augmented Reality)。此外，AR显示器26可以是光学透射方式和视频透射方式中的任一种。光学透射方式如下：在能够透过现实空间地看到的透射型的显示器上显示虚拟对象，使得能够通过显示器来实际透视地看到外部的情形。视频透射方式如下：将对用户的视场进行拍摄的摄像机的影像与虚拟对象一起显示在非透射型的显示器上，使得能够模拟透视地看到外部的情形。另外，在光学透射方式中，除了采用透射型的显示器以外，也可以是视网膜投影型的显示器等。
方位传感器27检测地磁方位。能够从该方位传感器27的检测结果中获取佩戴有行人终端1的用户的头部方位(面部朝向)。
测距传感器28测定与相向的物体之间的距离。在该测距传感器28中，例如采用PSD(Position Sensitive Detector：位置敏感探测器)方式即可。此外，在PSD方式中，从发光元件射出的光被对象物反射，利用受光元件来检测该反射光，此时，基于根据与对象物之间的距离而变化的反射光的入射角度，来测定与对象物之间的距离。
运动传感器29由加速度传感器、陀螺仪传感器构成，检测用户的头部的运动。
存储器31存储处理器32中执行的程序等。
处理器32通过执行存储在存储器31中的程序来进行与行人辅助有关的各种处理。在本实施方式中，处理器32进行消息控制处理P1、撞击判定处理P2、手探测处理P3、虚拟终端绘制处理P4、AR显示控制处理P5、虚拟终端操作识别处理P6、虚拟终端控制处理P7、视点探测处理P8、虚拟终端目视判定处理P9以及注意唤起控制处理P10。
在消息控制处理P1中，处理器32控制通过行人车辆间通信来与车载终端2之间进行的消息的发送接收。
如图4所示，在撞击判定处理P2中，处理器32基于从车载终端2获取到的车辆信息中包含的车辆的位置信息以及由定位部23获取到的行人的位置信息等，来判定是否存在车辆撞击行人的危险性。具体来说，处理器32生成表示行人和车辆的移动范围的预报圆，基于行人的预报圆与车辆的预报圆重叠的程度，来判定是否存在撞击的危险性。
在手探测处理P3中，处理器32基于视场用摄像机24的影像来探测行人的手的手掌和指尖，获取手的手掌和指尖的位置信息。
在虚拟终端绘制处理P4中，处理器32生成进行AR显示的虚拟智能手机的绘制信息。此时，处理器32基于在虚拟终端控制处理P7中生成的画面显示信息，来生成虚拟智能手机的绘制信息。另外，处理器32基于在手探测处理P3中获取到的用户的手的手掌的位置信息，来决定虚拟智能手机的显示位置。
在AR显示控制处理P5中，处理器32控制AR显示、即AR显示器26，来将虚拟对象叠加显示在从用户的角度能够看到的现实空间上。在本实施方式中，处理器32将虚拟智能手机的图像11以与用户的手的手掌重叠的方式进行AR显示。另外，处理器32基于在手探测处理P3中获取到的用户的指尖的位置信息，来将与进行画面操作的指尖的位置相对应的指针的图像12在虚拟智能手机上进行AR显示。
在虚拟终端操作识别处理P6中，处理器32基于在手探测处理P3中获取到的用户的指尖的位置以及进行了AR显示的虚拟智能手机的画面的位置，来识别虚拟智能手机的操作。具体来说，处理器32基于虚拟智能手机的画面与指尖的位置关系来探测是否正在进行触摸操作。
在虚拟终端控制处理P7中，处理器32基于在虚拟终端操作识别处理P6中获取到的操作信息来控制虚拟智能手机。具体来说，处理器32执行虚拟智能手机的OS(操作***)和应用程序(电子邮件、浏览器、电话、游戏等)的程序。由此，能够通过虚拟智能手机来实现与现实的智能手机同等的功能。
在视点探测处理P8中，处理器32基于视线用摄像机25的影像来探测用户的视点，获取用户的视点的位置信息、即用户的视点在视场的坐标系中的坐标值。
在虚拟终端目视判定处理P9中，处理器32基于在视点探测处理P8中获取到的用户的视点的位置信息以及在虚拟终端绘制处理P4中获取到的虚拟智能手机的位置信息，来判定用户是否正在目视虚拟智能手机。具体来说，在用户的视点的位置与虚拟智能手机的画面的位置大致一致的情况下，处理器32判定为用户正在目视虚拟智能手机。
在注意唤起控制处理P10中，当在撞击判定处理P2中判定为存在撞击的危险性且在虚拟终端目视判定处理P9中判定为用户正在目视虚拟智能手机的情况下，处理器32进行控制，以进行针对用户的规定的注意唤起动作。在本实施方式中，作为注意唤起动作，处理器32进行注意唤起画面绘制处理P11。在该注意唤起画面绘制处理P11中，处理器32生成显示在虚拟智能手机上的注意唤起画面的绘制信息。在AR显示控制处理P5中，处理器32基于在注意唤起画面绘制处理P11中获取到的注意唤起画面的绘制信息，来在虚拟智能手机上显示注意唤起画面。
此外，行人终端1也可以由佩戴在用户的头部的头戴部以及用户所携带的主体部构成。在该情况下，将视场用摄像机24、视线用摄像机25、AR显示器26、方位传感器27、测距传感器28以及运动传感器29设置于头戴部。另外，可以将ITS通信部21、蜂窝通信部22以及定位部23中的至少天线设置于头戴部。
另外，在本实施方式中，通过进行用指尖操作虚拟智能手机的画面的动作，来进行虚拟智能手机的画面操作，但也可以是，在与虚拟智能手机的画面无关的位置通过手的手势动作来进行虚拟智能手机的画面操作。在该情况下，在虚拟终端操作识别处理P6中，无需将用户的指尖的位置与虚拟智能手机的画面的位置进行比较，因此，即使位置信息的精度低，也能够高精度地识别用户的操作。另外，也可以是，基于在视点探测处理P8中基于视线用摄像机25的影像获取到的用户的视点的位置信息，通过用户的眼睛的运动来进行虚拟智能手机的画面操作。
接着，说明在第一实施方式所涉及的行人终端1中进行的处理的过程。图5是示出在行人终端1中进行的处理的过程的流程图。
如图5的(A)所示，在行人终端1中，首先，在定位部23中，获取用户(行人)的位置信息(ST101)。接着，判定是否处于发送行人信息的状况，具体来说，判定用户是否进入了危险区(ST102)。
在此，如果处于发送行人信息的状况(在ST102中为“是”)，则在ITS通信部21中通过行人车辆间通信来发送包含行人信息(行人ID和位置信息等)的消息(ST103)。
如图5的(B)所示，在行人终端1中，当在ITS通信部21中接收到从周边的车载终端2发送的消息时(在ST111中为“是”)，在处理器32中，基于消息中包含的车辆的位置信息等，来进行是否存在车辆撞击用户的危险性的撞击判定(ST112)。
在此，在存在车辆撞击用户的危险性的情况下(在ST112中为“是”)，接着，在处理器32中，基于视线用摄像机25的影像来获取用户的视点的位置信息(ST113)。然后，基于用户的视点的位置以及在虚拟终端绘制处理P4中绘制出的虚拟智能手机的位置，来判定用户是否正在目视虚拟智能手机(ST114)。
在此，在用户正在目视虚拟智能手机的情况下(在ST114中为“是”)，控制行人终端1以使其进行针对用户的规定的注意唤起动作(ST115)。具体来说，作为注意唤起动作，在虚拟智能手机显示注意唤起画面。
此外，在车载终端2中，与行人终端1同样地(参照图5的(A))，定期地发送包含本装置的位置信息的行人车辆间通信的消息。另外，在车载终端2中，与行人终端1同样地(参照图5的(B))，当接收到行人车辆间通信的消息时，进行撞击判定，在存在撞击的危险性的情况下，实施针对驾驶员的注意唤起。
(第二实施方式)
接着，说明第二实施方式。此外，在此未特别提及的方面与前述的实施方式相同。图6是示出第二实施方式所涉及的行人终端1中的AR显示的状况的说明图。
在本实施方式中，将标记图像41作为虚拟对象来进行AR显示，该标记图像41表示撞击点、即预测行人与车辆会发生撞击的地点。由此，行人能够识别会与车辆发生撞击的地点。
另外，在本实施方式中，将行人的模拟图像42和车辆的模拟图像43作为虚拟对象来进行AR显示，该行人的模拟图像42和车辆的模拟图像43阶段性地表现撞击场景、即行人与车辆逐渐接近并最终发生撞击的状况。由此，行人能够识别会与车辆发生撞击的状况。
此外，在本实施方式中，设为将撞击点和撞击场景进行AR显示，但也可以将行人和车辆的移动预测范围进行AR显示。在该情况下，移动预测范围以从当前位置向撞击点呈扇形状地扩展的方式进行显示。
另外，在本实施方式中，设为将虚拟智能手机进行AR显示，但也可以在存在撞击的危险性的情况下中止虚拟智能手机的显示。由此，用户能够立即识别到某种危险的迫近，并且易于视觉识别到被进行AR显示的撞击点和撞击场景。
接着，说明第二实施方式所涉及的行人终端1的概要结构。图7是示出行人终端1的概要结构的框图。图8是示出在行人终端1的处理器32中进行的处理的概要的说明图。
在本实施方式中，如图7所示，行人终端1的处理器32与第一实施方式同样地，进行消息控制处理P1、撞击判定处理P2、手探测处理P3、虚拟终端绘制处理P4、AR显示控制处理P5、虚拟终端操作识别处理P6、虚拟终端控制处理P7、视点探测处理P8、虚拟终端目视判定处理P9以及注意唤起控制处理P10，特别是，作为注意唤起控制处理P10，进行撞击点预测处理P21、撞击点绘制处理P22、撞击场景预测处理P23以及撞击场景绘制处理P24。
在撞击点预测处理P21中，处理器32预测撞击点、即预测为行人与车辆会发生撞击的地点。具体来说，处理器32基于行人的当前位置和移动速度以及车辆的当前位置和移动速度，来获取撞击点的位置信息(三维信息)。
在撞击点绘制处理P22中，处理器32基于在撞击点预测处理P21中获取到的撞击点的位置信息以及表示周边的道路的状态的三维地图信息，来生成撞击点的三维绘制信息、即在三维空间中的撞击点的位置处绘制有表示撞击点的标记图像41的信息。
此外，三维地图信息例如包含于为了车辆的自动驾驶而构建的动态地图(综合型地图信息)，从动态地图管理服务器发布该三维地图信息。
在撞击场景预测处理P23中，处理器32预测撞击场景、即行人与车辆逐渐接近并会最终发生撞击的状况。具体来说，处理器32获取从当前到发生撞击为止的期间内的每单位时间(例如1秒)的各时刻下的行人和车辆的位置信息(三维信息)。此时，处理器32基于行人的当前位置和移动速度来计算各时刻的行人的位置。另外，处理器32基于车辆的当前位置和移动速度来计算各时刻的车辆的位置。
在撞击场景绘制处理P24中，处理器32基于各时刻的行人的位置信息和车辆的位置信息，来生成构成撞击场景的各时刻下的行人的三维绘制信息和车辆的三维绘制信息、即在三维空间内的各时刻的行人的位置处绘制出行人的模拟图像42的信息以及在三维空间内的各时刻的车辆的位置处绘制出车辆的模拟图像43的信息。此时，处理器32基于本装置的位置信息，来生成从用户(行人)的角度看到的行人的模拟图像42和车辆的模拟图像43。
在AR显示控制处理P5中，处理器32基于在撞击点绘制处理P22中获取到的撞击点的三维绘制信息，来将撞击点的标记图像41进行AR显示。另外，处理器32基于在撞击场景绘制处理P24中获取到的构成撞击场景的各时刻下的行人的三维绘制信息和车辆的三维绘制信息，来将各时刻下的行人的模拟图像42和车辆的模拟图像43进行AR显示。
(第三实施方式)
接着，说明第三实施方式。此外，在此未特别提及的方面与前述的实施方式相同。图9是第三实施方式所涉及的交通安全辅助***的整体结构图。
在前述的实施方式中，通过ITS通信(行人车辆间通信)来在行人终端1与车载终端2之间交换信息，从而辅助确认行人的安全，在本实施方式中，当行人终端1的用户作为车辆的驾驶员乘上车辆时，该驾驶员所佩戴的行人终端1转变为车载终端模式从而作为车载终端2进行动作，通过ITS通信来与周边的行人所持有的行人终端1之间交换信息，辅助车辆的驾驶员的安全驾驶。
接着，说明第三实施方式所涉及的行人终端1中的AR显示。图10是示出行人终端1中的AR显示的状况的说明图。
当行人终端1转变为车载终端模式时，行人终端1作为车载终端2进行动作，在存在与周边的行人发生撞击的危险性的情况下，利用AR显示器26来唤起驾驶员注意。在本实施方式中，作为注意唤起动作，将行人所注视的注视点的标记图像51(标记为“×”的图像)进行AR显示。由此，驾驶员能够明确地识别出行人正在看哪个方向。
另外，在本实施方式中，将标记图像52(标记为箭头的图像)进行AR显示，该标记图像52指示作为撞击的对象的行人的当前位置。由此，即使在由于路口等预料外的环境而无法尽快识别作为撞击的对象的行人的情况下，也能够通过将用户(驾驶员)的视线引导至作为撞击的对象的行人来尽快识别出作为撞击的对象的行人。
另外，在图10所示的例子中，与第二实施方式(参照图6)同样地，将表示撞击点的标记图像41进行AR显示。此外，与第二实施方式同样地，也可以将表示撞击场景的行人的模拟图像42和车辆的模拟图像43进行AR显示。
此外，在本实施方式中，将注视点的标记图像51作为与人物的视线方向有关的图像进行AR显示，但也可以是，将连结人物的头部与注视点的视线(线段)作为与人物的视线方向有关的图像进行AR显示。
接着，说明第三实施方式所涉及的行人终端1的概要结构。图11是示出行人终端1的概要结构的框图。图12是示出在行人终端1的处理器32中进行的处理的概要的说明图。
在本实施方式中，如图11所示，行人终端1的处理器32与第一实施方式同样地，进行消息控制处理P1、撞击判定处理P2、手探测处理P3、虚拟终端绘制处理P4、AR显示控制处理P5、虚拟终端操作识别处理P6、虚拟终端控制处理P7、视点探测处理P8、虚拟终端目视判定处理P9以及注意唤起控制处理P10，除此以外，还进行车内判定处理P31和终端模式切换处理P32。
在车内判定处理P31中，处理器32判定本装置是否在车辆中，即，判定持有本装置的用户是否作为驾驶员乘上了车辆。此时，处理器32例如基于由定位部23观测的卫星电波的接收状况来判定为处于车内。另外，处理器32基于运动传感器29的检测信息，通过探测用户坐在座位上的动作来判定为处于车内。另外，处理器32根据接收到从设置于车内的发报机发送的信标信号来判定为处于车内。
在终端模式切换处理P32中，处理器32根据车内判定处理P31的判定结果，在标准模式与作为车载终端进行动作的车载终端模式之间进行切换。具体来说，在本装置处于车辆外的情况下，即，在持有本装置的用户正在步行的情况下，处理器32变为标准模式，在本装置处于车辆中的情况下，即，在用户作为驾驶员乘上了车辆的情况下，处理器32变为车载终端模式。
另外，在本实施方式中，在行人终端1为标准模式的情况下，处理器32进行注视点测定处理P33。另外，在行人终端1为车载终端模式的情况下，处理器32进行作为注意唤起控制处理P10的注视点绘制处理P34和当前位置绘制处理P35。
如图12所示，在注视点测定处理P33中，处理器32基于三维地图信息以及在视点探测处理P8中获取到的视点的位置信息(行人的视点在视场的坐标系中的坐标值)来测定行人所注视的注视点，获取注视点的位置信息(三维信息)。
在注视点绘制处理P34中，处理器32基于三维地图信息以及从行人终端1获取到的行人信息中包含的注视点的位置信息，来生成行人的注视点的绘制信息。
在当前位置绘制处理P35中，处理器32基于三维地图信息以及从行人终端1获取到的行人信息中包含的行人的位置信息，来生成行人的当前位置的绘制信息，具体来说，生成指示行人的当前位置的箭头的绘制信息。
在AR显示控制处理P5中，处理器32基于在注视点绘制处理P34中获取到的注视点的绘制信息，将注视点的标记图像51进行AR显示。另外，处理器32基于在当前位置绘制处理P35中获取到的当前位置的绘制信息，将指示行人的当前位置的标记图像52(标记为箭头的图像)进行AR显示。
此外，在本实施方式中，将用于将驾驶员的视线引导至作为撞击的对象的行人的位置的标记图像52进行AR显示，来作为针对驾驶员的注意唤起，但也可以是，将用于将行人的视线引导至作为撞击的对象的车辆的位置的标记图像进行AR显示，来作为针对行人的注意唤起。另外，还可以是，将用于将行人或驾驶员的视线引导至危险的地点(例如撞击点)的标记图像进行AR显示，来作为针对行人或驾驶员的注意唤起。
另外，也可以是，除了路口等预料外的环境之外，在处于视场不良的状况、例如视场因雪或雾等而恶化的状况的情况下，也将用于将行人或驾驶员的视线引导至撞击的对象(行人或车辆)或危险的地点(例如撞击点)的位置的标记图像进行AR显示。在该情况下，也可以基于视场用摄像机24的影像和三维地图信息来探测视场不良的状况。
接着，说明在第三实施方式所涉及的行人终端1中进行的视点探测处理P8和注视点测定处理P33。图13是示出在行人终端1中进行的视点探测处理P8和注视点测定处理P33的概要的说明图。
在行人终端1中设有视线用摄像机25、方位传感器27以及测距传感器28。另外，在行人终端1的处理器32中，进行视点探测处理P8和注视点测定处理P33(参照图11、图12)。
在视点探测处理P8中，基于左右的视线用摄像机25的影像来检测左右的眼球的朝向，获取用户的视线方向。在此，视线方向(眼球的朝向)在右眼和左眼是不同的，基于右眼的视线方向和左眼的视线方向、以及右眼与左眼的距离，来获取右眼的视线方向与左眼的视线方向交叉的注视点，将该注视点的方向设为用户的视线方向即可。
在注视点测定处理P33中，首先，基于在视点探测处理P8中获取到的左右的视点方向以及测距传感器28的检测结果，来测定与用户正在注视的物体(注视对象物)之间的距离(注视距离)(注视距离测定处理)。
在本实施方式中，测距传感器28构成为能够调整检测方向，能够基于在视点探测处理P8中获取到的用户的视线方向，来调整测距传感器28的检测方向以使其与用户的视线方向一致，在此基础上，利用测距传感器28检测与相向的物体之间的距离，由此测定与用户正在注视的物体之间的距离(注视距离)。
此外，在本实施方式中，使测距传感器28朝向用户的视线方向来测定注视距离，但也能够不使用测距传感器28，而是仅基于在视点探测处理P8中基于左右的视线用摄像机25的影像获取到的左眼和右眼的视线方向(眼球的朝向)来估计注视距离。即，能够利用右眼的视线方向与左眼的视线方向交叉的会聚角随着注视距离变远而变小且随着注视距离变近而变大的性质，来估计注视距离。
在注视点测定处理P33中，接着，基于由方位传感器27获取到的头部方位、在视点探测处理P8中获取到的视线方向以及在注视距离测定处理中获取到的注视距离，来获取用户正在注视的注视点的位置信息(纬度、经度)。具体来说，基于用户的头部方位和视线方向来计算注视点的方位(注视方位)。即，将以头部方位为基准偏移了与视线方向相应的量的方位设为注视方位。然后，基于用户的位置以及用户的注视方位和注视距离来获取注视点的位置信息(纬度、经度)。
接着，说明在第三实施方式所涉及的行人终端1中进行的处理的过程。图14是示出在行人终端1中进行的处理的过程的流程图。
如图14的(A)所示，在标准模式的行人终端1、即用户正在步行的行人终端1中，首先，在定位部23中获取行人的位置信息(ST121)。接着，判定是否处于发送行人信息的状况，具体来说，判定行人是否进入了危险区(ST122)。
在此，如果处于发送行人信息的状况(在ST122中为“是”)，接着，在处理器32中，基于视线用摄像机25的影像来探测用户的视点，获取用户的视点的位置信息(ST123)。接着，基于视点的位置信息和三维地图信息来测定行人所注视的注视点，获取注视点的位置信息(ST124)。然后，在ITS通信部21中，通过行人车辆间通信发送包含行人信息(行人ID、行人的位置信息、注视点的位置信息等)的消息(ST125)。
如图14的(B)所示，在车载终端模式的行人终端1、即用户作为驾驶员乘上了车辆的行人终端1中，当在ITS通信部21中接收到从周边的行人终端1发送的消息时(在ST131中为“是”)，在处理器32中，基于消息中包含的行人的位置信息等，进行是否存在车辆撞击行人的危险性的撞击判定(ST132)。
在此，在存在车辆撞击行人的危险性的情况下(在ST132中为“是”)，接着，基于三维地图信息以及从行人终端1获取到的行人信息中包含的行人的位置信息和注视点的位置信息，来生成行人的注视点和当前位置的绘制信息(ST133)。接着，作为注意唤起动作，基于注视点和当前位置的绘制信息，将注视点的标记图像51和当前位置的标记图像52进行AR显示。
此外，在本实施方式中，设为在车辆上没有搭载车载终端2，但在车辆上搭载有车载终端2的情况下，可以使车载终端2的动作停止。另外，也可以由已转变为车载终端模式的行人终端1与车载终端2协调地进行所需的动作。
另外，在本实施方式中，在已转变为车载终端模式的行人终端1中，将与周边的行人的视线方向有关的图像(注视点的标记图像51)进行AR显示，但也可以是，在用户正在步行的行人终端1中，将与周边的车辆的驾驶员的视线方向有关的图像进行AR显示。另外，还可以是，在已转变为车载终端模式的行人终端1中，将与周边的车辆的驾驶员的视线方向有关的图像进行AR显示。
另外，在本实施方式中，作为用于唤起注意的虚拟对象，显示撞击点等的标记图像、行人或车辆的模拟图像，但除此之外，也可以将坑、栅栏、墙壁等障碍物的模拟图像作为虚拟对象来在用户的前方进行AR显示。另外，也可以将使用户的脚下的路面变为危险状态的模拟图像作为虚拟对象来进行AR显示。例如，将路面的模拟图像变更为与实际的路面不同的颜色或变更为凸凹状态。由此，用户会在直觉上对是否前进产生犹豫，反射性地采取停下等危险回避行动。
另外，在本实施方式中，在处于路口等预料外的环境或视场不良的状况的情况下，将用于将行人或驾驶员的视线引导至撞击的对象(行人或车辆)或危险的地点(例如撞击点)的位置的标记图像进行AR显示，但也可以是，取代标记图像而将行人的模拟图像或车辆的模拟图像进行AR显示。在该情况下，可以将行人的模拟图像或车辆的模拟图像设为仅表示车辆的轮廓或行人的轮廓的图像，以免过度地遮挡视场。
另外，在本实施方式中，将作为撞击的对象的行人的模拟图像或车辆的模拟图像作为虚拟对象来进行显示，但除此之外，也可以将在辅助确认行人的安全上有效的人物或装置的模拟图像作为虚拟对象来进行显示。例如，也可以将用于引导在安全区通行的人物、具体来说为在上学路上引导儿童的学童护卫员或进行交通引导的警察的模拟图像作为虚拟对象进行AR显示。另外，还可以是，将信号灯的模拟图像作为虚拟对象以相比于实际的信号灯而言放大的状态进行AR显示。由此，用户关注信号灯的显示。
另外，在本实施方式中，作为用于唤起注意的虚拟对象，显示撞击点等的标记图像、行人或车辆的模拟图像，但除了撞击的对象(行人或车辆)或危险的地点(例如撞击点)以外，也可以将覆盖用户的视场的遮蔽图像作为虚拟对象进行AR显示。由此，变为仅能看到危险的地点或物体，使得用户关注危险的地点或物体。在该情况下，将遮蔽图像设为用规定的颜色(黑色、灰色等)涂满的图像即可。另外，也可以以半透射状态显示遮蔽图像。
另外，在本实施方式中，在基于通过行人车辆间通信获取到的信息判定为存在撞击的危险性的情况下，通过AR显示来唤起注意，但也可以是，当基于地图信息探测到行人进入了危险区(路口附近或预料外的区域)内时，通过AR显示来唤起注意。在该情况下，例如可以是，当行人进入危险区内时，禁止使用虚拟智能手机，当探测到行人走到危险区外时，允许使用虚拟智能手机。
另外，在多个行人排成列地行走的情况下，有时视场被前方的行人挡住而无法目视危险的地点或物体。因此，也可以是，通过ITS通信(行人行人间通信)的消息将利用前侧的行人终端1的视场用摄像机24拍摄到的影像发送到后侧的行人终端1，在后侧的行人终端1中，根据前侧的行人终端1的影像来生成使前侧的行人变为透射状态的图像，将该图像进行AR显示。此外，有时当无法识别到前方有行人时会存在危险，因此可以是，使前侧的行人为半透射状态，或者用虚线等轮廓线来表示前侧的行人。另外，前侧的行人与后侧的行人存在视差，因此也可以根据该视差来进行影像的校正。
如以上那样，作为本申请所公开的技术的例示，说明了实施方式。然而，本公开中的技术不限定于此，也能够应用于进行了变更、置换、附加、省略等的实施方式。另外，也能够将上述的实施方式中说明的各结构要素进行组合来作为新的实施方式。
产业上的可利用性
本公开所涉及的行人装置和交通安全辅助方法具有通过利用行人车辆间通信和AR设备能够有效且适当地辅助确认行人的安全的效果，其作为通过行人车辆间通信来与车载装置之间交换信息从而辅助行人和车辆的安全的行人装置和交通安全辅助方法等是有用的。
附图标记说明
1：行人终端(行人装置)；2：车载终端(车载装置)；21：ITS通信部(行人车辆间通信部)；22：蜂窝通信部；23：定位部；24：视场用摄像机；25：视线用摄像机；26：AR显示器；31：存储器；32：处理器。

Claims (12)

1.一种行人装置，其特征在于，具备：
行人车辆间通信部，其用于通过行人车辆间通信来在所述行人装置与车载装置之间交换信息；
增强现实显示器，其将虚拟对象叠加显示在从本装置的用户的角度能够看到的现实空间上；以及
处理器，其基于在所述行人装置与所述车载装置之间发送接收的信息来判定是否存在撞击的危险性，在存在撞击的危险性的情况下，控制由所述增强现实显示器进行的所述虚拟对象的显示来作为唤起所述用户注意的注意唤起动作，
在存在撞击的危险性的情况下，所述处理器将阶段性地表现到发生撞击为止的状况的图像作为所述虚拟对象来进行显示，
所述处理器计算从当前时间点到发生撞击为止的每规定的单位时间的各时刻下的本装置和所述车载装置的三维的位置信息，并将示出所述各时刻下的本装置和所述车载装置的位置的图像作为所述虚拟对象排列绘制在三维空间上。
2.根据权利要求1所述的行人装置，其特征在于，
所述处理器预测撞击点，将从本装置和所述车载装置各自的当前位置向所述撞击点的移动预测范围作为所述虚拟对象来进行显示。
3.根据权利要求1所述的行人装置，其特征在于，
还具备拍摄用户的视场的视场用摄像机，
所述处理器基于所述视场用摄像机的影像和地图信息来检测预料外的区域，在所述预料外的区域存在撞击对象的情况下，将用于将视线引导至所述撞击对象的图像作为所述虚拟对象来进行显示。
4.根据权利要求1所述的行人装置，其特征在于，
在存在撞击的危险性的情况下，所述处理器预测撞击点，将表示该撞击点的标记图像作为所述虚拟对象来进行显示。
5.根据权利要求1所述的行人装置，其特征在于，
所述处理器将表示存在撞击的危险性的车辆的位置的标记图像和模拟图像中的至少一方作为所述虚拟对象来进行显示。
6.根据权利要求1所述的行人装置，其特征在于，
还具备拍摄用户的视场的视场用摄像机，
所述处理器进行以下动作：
从所述视场用摄像机的影像中探测用户的手的手掌和指尖，
将虚拟终端作为所述虚拟对象显示在用户的手的手掌的位置，
根据用户的指尖的位置来探测对所述虚拟终端的画面操作，从而控制所述虚拟终端的画面。
7.根据权利要求6所述的行人装置，其特征在于，
还具备拍摄用户的眼球的视线用摄像机，
所述处理器进行以下动作：
从所述视线用摄像机的影像中获取用户的视点的位置信息，
基于该视点的位置信息，判定用户是否正在目视所述虚拟终端，
在存在撞击的危险性且用户正在目视所述虚拟终端的情况下，执行所述注意唤起动作。
8.根据权利要求1所述的行人装置，其特征在于，
当探测到用户作为驾驶员乘上了车辆时，所述处理器转变为车载终端模式，以辅助驾驶员的安全驾驶的方式控制所述虚拟对象的显示。
9.根据权利要求8所述的行人装置，其特征在于，
所述行人车辆间通信部从周边的行人装置接收与周边的行人的视线方向有关的信息，
所述处理器基于与所述行人的视线方向有关的信息，将与行人的视线方向有关的图像作为所述虚拟对象来进行显示。
10.根据权利要求8所述的行人装置，其特征在于，
所述处理器将表示存在撞击的危险性的行人的位置的标记图像和模拟图像中的至少一方作为所述虚拟对象来进行显示。
11.根据权利要求1所述的行人装置，其特征在于，
所述行人车辆间通信部从周边的车载终端接收与周边的车辆的驾驶员的视线方向有关的信息，
所述处理器基于与所述驾驶员的视线方向有关的信息，将与驾驶员的视线方向有关的图像作为所述虚拟对象来进行显示。
12.一种交通安全辅助方法，用于在行人装置与车载装置之间交换信息，来辅助行人和车辆的安全，所述交通安全辅助方法的特征在于，
所述行人装置基于通过行人车辆间通信来与所述车载装置之间发送接收的信息，判定是否存在撞击的危险性，
在判定为存在撞击的危险性的情况下，所述行人装置控制由增强现实显示器进行的虚拟对象的显示来作为唤起本装置的用户注意的注意唤起动作，其中，所述增强现实显示器用于将所述虚拟对象叠加显示在从用户的角度能够看到的现实空间上，
在存在撞击的危险性的情况下，所述行人装置将阶段性地表现到发生撞击为止的状况的图像作为所述虚拟对象来进行显示，
所述行人装置计算从当前时间点到发生撞击为止的每规定的单位时间的各时刻下的本装置和所述车载装置的三维的位置信息，并将示出所述各时刻下的本装置和所述车载装置的位置的图像作为所述虚拟对象排列绘制在三维空间上。
CN202080036633.1A 2019-05-20 2020-05-18 行人装置和交通安全辅助方法 Active CN113841191B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-094815 2019-05-20
JP2019094815A JP7345128B2 (ja) 2019-05-20 2019-05-20 歩行者装置および交通安全支援方法
PCT/JP2020/019581 WO2020235518A1 (ja) 2019-05-20 2020-05-18 歩行者装置および交通安全支援方法

Publications (2)

Publication Number Publication Date
CN113841191A CN113841191A (zh) 2021-12-24
CN113841191B true CN113841191B (zh) 2024-01-16

Family

ID=73455132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080036633.1A Active CN113841191B (zh) 2019-05-20 2020-05-18 行人装置和交通安全辅助方法

Country Status (4)

Country Link
US (1) US11900795B2 (zh)
JP (1) JP7345128B2 (zh)
CN (1) CN113841191B (zh)
WO (1) WO2020235518A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208212A1 (de) * 2019-06-05 2020-12-10 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs, Computerprogrammprodukt und Kraftfahrzeug
CN110320910B (zh) * 2019-07-01 2023-10-10 阿波罗智能技术(北京)有限公司 车辆的避让控制方法、装置、电子设备与存储介质
JP7158352B2 (ja) * 2019-08-08 2022-10-21 本田技研工業株式会社 運転支援装置、車両の制御方法、およびプログラム
JP6833111B1 (ja) * 2019-11-28 2021-02-24 三菱電機株式会社 表示制御装置、表示システム、及び、表示制御方法
JP7402083B2 (ja) * 2020-02-28 2023-12-20 本田技研工業株式会社 表示方法、表示装置及び表示システム
WO2021237212A1 (en) * 2020-05-22 2021-11-25 Optimus Ride, Inc. Display system and method
US20220055633A1 (en) * 2020-08-21 2022-02-24 Hyundai Motor Company Method and apparatus for providing information
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックＩｐマネジメント株式会社 支援情報提供方法及び記録媒体
US11794766B2 (en) * 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) * 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2004118418A (ja) * 2002-09-25 2004-04-15 Nissan Motor Co Ltd 移動体接近報知装置
JP2006268475A (ja) * 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2010188981A (ja) * 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
JP2014142798A (ja) * 2013-01-23 2014-08-07 Suzuki Motor Corp 車両間通信用携帯装置
CN104049927A (zh) * 2013-03-13 2014-09-17 本田技研工业株式会社 用于左转安全提示的增强现实平视显示器（hud）
WO2014156706A1 (ja) * 2013-03-28 2014-10-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN105654778A (zh) * 2014-12-01 2016-06-08 星克跃尔株式会社 电子装置、电子装置的控制方法
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
JP2018032241A (ja) * 2016-08-25 2018-03-01 株式会社Ｓｕｂａｒｕ 車両の表示装置
CN108473055A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置
EP3454013A1 (de) * 2017-09-12 2019-03-13 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
JP2019041334A (ja) * 2017-08-28 2019-03-14 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
WO2019069554A1 (ja) * 2017-10-04 2019-04-11 パナソニック株式会社 路側装置、通信システムおよび危険検知方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095336B2 (en) * 2003-09-23 2006-08-22 Optimus Corporation System and method for providing pedestrian alerts
JP2006331154A (ja) * 2005-05-27 2006-12-07 Denso Corp 接近警報システム、携帯端末装置、および車両
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US8953841B1 (en) * 2012-09-07 2015-02-10 Amazon Technologies, Inc. User transportable device with hazard monitoring
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
US20150109148A1 (en) * 2013-10-18 2015-04-23 Elwha Llc Pedestrian Warning System
US9286794B2 (en) * 2013-10-18 2016-03-15 Elwha Llc Pedestrian warning system
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
EP2946266B1 (en) * 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
JP6337646B2 (ja) * 2014-06-26 2018-06-06 株式会社Ｊｖｃケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
SE539097C2 (en) * 2015-08-20 2017-04-11 Scania Cv Ab Method, control unit and system for avoiding collision with vulnerable road users
JP2017054417A (ja) * 2015-09-11 2017-03-16 ソニー株式会社 情報処理装置、通信装置、情報処理方法及びプログラム
JP2017068335A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 データ処理装置および車載通信装置
KR101750178B1 (ko) * 2015-12-02 2017-06-22 엘지전자 주식회사 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
US20170345292A1 (en) * 2016-05-30 2017-11-30 Autotalks Ltd. Wireless pedestrian notification
US20190129038A1 (en) * 2017-10-27 2019-05-02 Osram Opto Semiconductors Gmbh Monitoring System for a Mobile Device and Method for Monitoring Surroundings of a Mobile Device
US10178890B1 (en) * 2018-05-31 2019-01-15 Nike, Inc. Intelligent electronic footwear and control logic for executing automated footwear features
US10621858B1 (en) * 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002029346A (ja) * 2000-07-14 2002-01-29 Hiroyuki Yokozawa 自動車の運転支援システム及び運転支援プログラムを記録した記録媒体
JP2004118418A (ja) * 2002-09-25 2004-04-15 Nissan Motor Co Ltd 移動体接近報知装置
JP2006268475A (ja) * 2005-03-24 2006-10-05 Nippon Seiki Co Ltd 車両用運転支援装置及び車両用運転支援方法
JP2010188981A (ja) * 2009-02-20 2010-09-02 Fuji Heavy Ind Ltd 車両の運転支援装置
KR20130012629A (ko) * 2011-07-26 2013-02-05 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
JP2014142798A (ja) * 2013-01-23 2014-08-07 Suzuki Motor Corp 車両間通信用携帯装置
CN104049927A (zh) * 2013-03-13 2014-09-17 本田技研工业株式会社 用于左转安全提示的增强现实平视显示器（hud）
WO2014156706A1 (ja) * 2013-03-28 2014-10-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN105654778A (zh) * 2014-12-01 2016-06-08 星克跃尔株式会社 电子装置、电子装置的控制方法
CN108473055A (zh) * 2016-02-05 2018-08-31 麦克赛尔株式会社 平视显示器装置
CN107449440A (zh) * 2016-06-01 2017-12-08 北京三星通信技术研究有限公司 行车提示信息的显示方法及显示装置
JP2018032241A (ja) * 2016-08-25 2018-03-01 株式会社Ｓｕｂａｒｕ 車両の表示装置
JP2019041334A (ja) * 2017-08-28 2019-03-14 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
EP3454013A1 (de) * 2017-09-12 2019-03-13 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
WO2019069554A1 (ja) * 2017-10-04 2019-04-11 パナソニック株式会社 路側装置、通信システムおよび危険検知方法

Also Published As

Publication number Publication date
WO2020235518A1 (ja) 2020-11-26
US20220262236A1 (en) 2022-08-18
JP7345128B2 (ja) 2023-09-15
CN113841191A (zh) 2021-12-24
JP2020190852A (ja) 2020-11-26
US11900795B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
CN113841191B (zh) 行人装置和交通安全辅助方法
US10809530B2 (en) Information processing apparatus and information processing method
JP5691568B2 (ja) 情報処理装置、報知方法及びプログラム
EP3118047A1 (en) Display control device, display device, display control program, display control method, and recording medium
JP2009070243A (ja) 車両用視界支援システム、及び、情報配信装置
JP2012155655A (ja) 情報処理装置、報知方法及びプログラム
US20220397963A1 (en) Head-mounted display
CN112602130B (zh) 步行者装置、通信装置以及信息分发方法
CN112714929B (zh) 步行者装置、车载装置、移动体引导***以及移动体引导方法
CN111064936A (zh) 一种路况信息显示方法及ar设备
Foerster et al. Spareeye: enhancing the safety of inattentionally blind smartphone users
CN112601693A (zh) 用于监测和规划交通工具的运动的方案
JP5763464B2 (ja) 位置特定装置及び車両
US11903647B2 (en) Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium
KR20180058301A (ko) 보행 사고 방지 시스템
JPWO2019087658A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11393196B2 (en) Line of sight assistance device and method
JP2022159732A (ja) 表示制御装置、表示制御方法、移動体、プログラムおよび記憶媒体
KR20130119144A (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
JP7313806B2 (ja) 歩行者装置、車載装置、歩車間通信システムおよび安全確認支援方法
JP2022122936A (ja) 情報表示システム
JP2021149641A (ja) 対象物提示装置及び対象物提示方法
CN116126142A (zh) 放置安全装置的提示方法及装置
KR102527918B1 (ko) Ar 스마트 글래스 시스템
EP4130936A1 (en) Positioning apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant