CN117043842A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN117043842A
CN117043842A CN202180096209.0A CN202180096209A CN117043842A CN 117043842 A CN117043842 A CN 117043842A CN 202180096209 A CN202180096209 A CN 202180096209A CN 117043842 A CN117043842 A CN 117043842A
Authority
CN
China
Prior art keywords
user
navigation
information
state
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180096209.0A
Other languages
English (en)
Inventor
德武健司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117043842A publication Critical patent/CN117043842A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3423Multimodal routing, i.e. combining two or more modes of transportation, where the modes can be any of, e.g. driving, walking, cycling, public transport
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694Output thereof on a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Navigation (AREA)

Abstract

一种信息处理设备,包括:获取单元,所述获取单元获取关于用户的移动状态的信息;和显示控制单元,所述显示控制单元基于关于用户的移动状态的信息,控制关于对用户的导航的显示模式。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及信息处理设备、信息处理方法和程序。
背景技术
近年来,在用户前往目的地的情况下,经常使用诸如汽车导航设备和行人导航设备之类的导航***。
引文列表
专利文献
专利文献1:JP 2020-20987A
专利文献2:JP 2020-160968 A
发明内容
技术问题
然而,近年来,传统的导航***越来越多地遇到无法满足用户的需求的情况。例如,传统的导航***为每种移动手段独立地指示路线。例如,传统的导航***独立地指示在用户驾车前往目的地的情况下的路线和在用户步行前往目的地的情况下的路线。然而,用户通过组合多种移动手段(例如,汽车和步行)前往目的地的情况正在增加。在这种情况下,传统的导航***不能提供用户期望的导航。
于是,本公开提出了一种能够提供高度方便的导航的信息处理设备、信息处理方法和程序。
问题的解决方案
为了解决上述问题,按照本公开的一个方面的信息处理设备包括:获取单元,所述获取单元获取关于用户的移动状态的信息;和显示控制单元,所述显示控制单元基于关于所述用户的移动状态的信息,控制关于对所述用户的导航的显示模式。
附图说明
图1是图解说明传统的导航***的示图。
图2是图解说明传统的导航***的另一个例子的示图。
图3是图解说明按照本公开的实施例的导航***的构成例子的示图。
图4是图解说明按照本公开的实施例的服务器的构成例子的示图。
图5是用于说明动态地图的示图。
图6是图解说明按照本公开的实施例的终端设备的构成例子的示图。
图7是图解说明按照本公开的实施例的车载设备的构成例子的示图。
图8是图解说明导航***的操作的概要的示图。
图9是图解说明导航模式按照用户的移动状态的变更而变更的状态的示图。
图10是图解说明调度(dispatch)导航下的显示内容的示图。
图11是图解说明室外导航下的显示内容的示图。
图12是图解说明室内导航下的显示内容的示图。
图13是图解说明手动驾驶导航下的显示内容的示图。
图14是图解说明第一自动驾驶导航下的显示内容的示图。
图15是图解说明第二自动驾驶导航下的显示内容的示图。
图16是总结由于用户的移动状态的差异而导致的显示内容的差异的示图。
图17是图解说明指示行进方向的图像叠加在人行道上的状态的视图。
图18是图解说明指示行进方向的图像叠加在车行道上的状态的视图。
图19是图解说明按照本实施例的导航处理的流程图。
图20是用于说明步行导航处理的流程图。
图21是用于说明汽车导航处理的流程图。
具体实施方式
在下文中,将参考附图详细说明本公开的实施例。注意,在以下各个实施例中,相同的部分用相同的附图标记表示,并将省略多余的说明。
另外,在本说明书和附图中,通过在相同的附图标记后面附加不同的数字,可以区分具有实质相同的功能构成的多个构成。例如,根据需要,具有实质相同的功能构成的多个构成被区分为服务器101、102和103。然而,在不是特别需要区分具有实质相同的功能构成的多个组件中的每一个的情况下,只附加相同的附图标记。例如,在不需要特别区分服务器101、102和103的情况下,它们被简单地称为服务器10。
另外,将按照以下项目顺序来说明本公开。
1.本实施例的概要
2.导航***的构成
2-1.服务器的构成
2-2.终端设备的构成
2-3.车载设备的构成
3.导航***的操作
3-1.操作的概要
3-2.导航模式
3-3.每种导航模式下的显示内容
3-4.显示内容的差异的总结
3-5.导航处理
4.变形例
5.结论
<<1.本实施例的概要>>
图1是图解说明传统的导航***的示图。图1的上部是传统的自动驾驶***/车载导航***的例子,而图1的下部是传统的移动导航***的例子。由图1上侧的导航***进行的导航是专门用于用户乘车(汽车)前往目的地的情况的导航(在下文中,也称为汽车导航)。此外,由图1下侧的导航***进行的导航是专门用于用户徒步前往目的地的情况的导航(在下文中,也称为步行导航)。按照惯例,这些***是独立的***。于是,这些***不能应对用户通过组合多种移动手段(例如,汽车和步行)前往目的地的情况。
图2是图解说明传统的导航***的另一个例子的示图。还存在如图2中图解所示的支持多种移动手段的导航***。然而,即使在传统的导航***支持多种移动手段的情况下,也针对每种移动手段独立地指示搜索结果。在图2的例子中,导航***独立地示出在用户乘汽车前往目的地的情况下的搜索结果、在用户乘火车前往目的地的情况下的搜索结果,以及在用户步行前往目的地的情况下的搜索结果。于是,传统的导航***不能应对用户通过组合多种移动手段前往目的地的情况。
特别地,未来,自动驾驶的普及和调度服务的普及是可以预见的。于是,假设未来采用乘车前往作为移动手段的一部分的场景的数量将会增加。
于是,在本实施例中,导航***可以按照用户的移动状态来控制与导航相关的显示模式。具体地,本实施例的导航***基于关于用户的移动状态的信息,将导航的显示模式切换为与用户的移动状态相应的显示模式。
例如,在用户的移动状态是乘坐状态的情况下,导航***将对用户的显示显示为与乘坐状态相应的导航(例如,汽车导航)。另一方面,在用户的移动状态是步行状态的情况下,导航***将对用户的显示显示为与步行状态相应的导航(例如,步行导航)。在用户的移动状态变更的情况下,导航***自动切换这些显示模式。
结果,即使在用户通过组合多种移动手段前往目的地的情况下,本实施例的导航***也可以提供与移动手段相应的导航。此外,由于导航是按照移动状态的变更自动切换的,因此导航***可以为用户提供无缝导航。结果,本实施例的导航***可以为用户提供非常方便的导航。
注意,本实施例的导航***可以按照用户的移动状态自动切换导航的显示设备。例如,在用户的移动状态是步行状态的情况下,导航***可以在用户拥有的终端设备上显示导航,然后在用户的移动状态变更为乘坐状态的情况下,在车载设备上自动显示导航。另外,导航***可以在用户的移动状态变成乘坐状态的情况下,在车载设备上显示导航,然后在用户的移动状态变更为步行状态的情况下,在终端设备上自动显示导航。结果,导航***可以在适合于移动状态的最佳显示设备上无缝地显示导航,从而可以提供对用户来说更方便的导航。
注意,AR有望在未来作为导航显示手段而变得普遍。于是,假设对车载设备和终端设备的独立服务之间的无缝协作的需求增加。于是,无论用户的移动状态是步行状态还是乘坐状态,本实施例的导航***都可以在用户佩戴的AR眼镜上显示导航。在这种情况下,导航***可以在用户的移动状态被切换的定时,将显示在AR眼镜中的导航切换到与移动状态相应的导航。结果,导航***可以更加无缝地显示导航,从而可以向用户提供更方便的导航。
上面说明了本实施例的概要。下面将详细说明按照本实施例的导航***1。
<<2.导航***的构成>>
首先,将说明导航***1的总体构成。
图3是图解说明按照本公开的实施例的导航***1的构成例子的示图。导航***1是进行用于向用户提供无缝导航的处理的信息处理***。导航***1包括服务器10、终端设备20和车载设备30。注意,附图中的设备可以被视为逻辑意义上的设备。即,图中的设备的一部分可以通过虚拟机(VM)、容器、容器引擎等来实现,并且它们可以物理上在同一硬件上实现。
服务器10、终端设备20和车载设备30分别具有通信功能,并且经由网络N连接。服务器10、终端设备20和车载设备30可以被改述为通信设备。注意,尽管在图3的例子中仅仅图解说明了一个网络N,但是可以存在多个网络N。
这里,网络N是诸如局域网(LAN)、广域网(WAN)、蜂窝网络、固定电话网络、区域网际协议(IP)网络或因特网之类的通信网络。网络N可以包括有线网络或无线网络。另外,网络N可以包括核心网络。核心网络例如是演进分组核心(EPC)或5G核心网络(5GC)。另外,网络N可以包括除核心网络以外的数据网络。数据网络可以是电信运营商的服务网络,例如IP多媒体子***(IMS)网络。此外,数据网络可以是诸如公司内部网络之类的专用网络。
诸如服务器10、终端设备20和车载设备30之类的通信设备可被配置为使用诸如长期演进(LTE)、新无线电(NR)、Wi-Fi或蓝牙(注册商标)之类的无线电接入技术(RAT)连接到网络N或其他通信设备。此时,通信设备可被配置为能够使用不同的无线电接入技术。例如,通信设备可被配置为能够使用NR和Wi-Fi。此外,通信设备可被配置为能够使用不同的蜂窝通信技术(例如,LTE和NR)。LTE和NR是蜂窝通信技术的类型,并且通过将基站覆盖的多个区域布置成蜂窝形状来实现通信设备的移动通信。
注意,诸如服务器10、终端设备20和车载设备30之类的通信设备可以使用除LTE、NR、Wi-Fi或蓝牙以外的无线电接入技术连接到网络N或其他通信设备。例如,通信设备可以通过使用低功耗广域(LPWA)通信连接到网络N或其他通信设备。此外,通信设备可以通过使用专有标准的无线通信连接到网络N或其他通信设备。当然,通信设备可以通过使用另外的已知标准的无线通信连接到网络N或其他通信设备。
在下文中,将具体说明构成导航***1的各个设备的构成。注意,下面说明的各个设备的构成仅仅是例子。各个设备的构成可以与以下的构成不同。
<2-1.服务器的构成>
首先,将说明服务器10的构成。
服务器10是进行与终端设备20和/或车载设备30的导航相关的处理的信息处理设备(计算机)。可以采用任何形式的计算机作为服务器10。例如,服务器10可以是PC服务器、中型服务器或大型机服务器。此外,服务器10可以是在用户或终端附近的进行数据处理(边缘处理)的信息处理设备。例如,信息处理设备可以是在基站或路边单元中并排设置或内置的信息处理设备(计算机)。当然,服务器10可以是进行云计算的信息处理设备。
图4是图解说明按照本公开的实施例的服务器10的构成例子的示图。服务器10包括通信单元11、存储单元12和控制单元13。注意,图4中图解所示的构成是功能构成,并且硬件配置可以不同于功能构成。此外,服务器10的功能可以分布地在多个物理上分离的构成中实现。例如,服务器10可以包括多个服务器设备。
通信单元11是用于与其他设备通信的通信接口。例如,通信单元11是局域网(LAN)接口,诸如网络接口卡(NIC)。通信单元11可以是有线接口或无线接口。通信单元11按照控制单元13的控制与终端设备20、车载设备30等进行通信。
存储单元12是能够读取和写入数据的存储设备,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存或硬盘。存储单元12起服务器10的存储装置的作用。存储单元12例如存储各种类型的信息,诸如动态地图、商店信息、产品信息和交通信息。
动态地图例如是通过将高精度三维地图信息与诸如道路上的结构信息和拥堵信息之类的动态数据相结合而获得的数字地图。图5是用于说明动态地图的示图。动态地图例如是通过将包括多层的动态数据(准静态信息、准动态信息和动态信息)与时间变化很小的高精度三维地图信息(静态信息)相关联来构成的。这里,静态信息例如是诸如路面信息、车道信息和三维结构信息之类的信息,并且其更新频率例如为每月一次或多次。此外,准静态信息例如是诸如交通管制信息、道路施工信息和广域天气信息之类的信息,并且其更新频率例如为每小时一次或多次。此外,准动态信息例如是诸如事故信息、拥堵信息和窄域天气信息之类的信息,并且其更新频率例如为每分钟一次或多次。此外,动态信息例如是诸如周围车辆信息、行人信息和交通信号灯信息之类的信息,并且其更新频率例如是实时的(例如,每秒一次或多次)。
返回到图4,控制单元13是控制服务器10的各个单元的控制器。控制单元13例如由诸如中央处理单元(CPU)、微处理单元(MPU)或图形处理单元(GPU)之类的处理器实现。例如,控制单元13是通过处理器使用随机存取存储器(RAM)等作为工作区,执行存储在服务器10内部的存储设备中的各种程序实现的。注意,控制单13可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的集成电路实现。CPU、MPU、GPU、ASIC和FPGA中的任何一个都可以被视为控制器。
控制单元13包括获取单元131、发送单元132、判定单元133、更新单元134和调度处理单元135。构成控制单元13的各个块(获取单元131~调度处理单元135)是指示控制单元13的功能的功能块。这些功能块可以是软件块或硬件块。例如,上述功能块中的每一个可以是用软件(微程序)实现的一个软件模块,或者可以是半导体芯片(裸片)上的一个电路块。当然,每个功能块可以是一个处理器或一个集成电路。控制单元13可以由与上述功能块不同的功能单元构成。功能块的构成方法是任意的。
注意,控制单元13可以由与上述功能块不同的功能单元构成。另外,构成控制单元13的各个块(获取单元131~调度处理单元135)的一些或全部操作可以由其他设备进行。例如,构成控制单元13的各个块的一些或全部操作可以由终端设备20的控制单元23或车载设备30的控制单元33进行。构成控制单元13的各个块的操作将在后面说明。
<2-2.终端设备的构成>
接下来,将说明终端设备20的构成。
终端设备20是被配置为能够与服务器10和/或车载设备30通信的信息处理设备。例如,终端设备20是诸如增强现实(AR)设备、虚拟现实(VR)设备或混合现实(MR)设备之类的xR设备。此时,xR设备可以是诸如AR眼镜或MR眼镜之类的眼镜型设备,或者可以是诸如VR头戴式显示器之类的头戴式设备。在终端设备20是xR设备的情况下,终端设备20可以是只包括用户佩戴部分(例如,眼镜部分)的独立设备。此外,终端设备20可以是包括用户佩戴部分(例如,眼镜部分)和与该部分互锁的终端部分(例如,智能设备)的终端互锁设备。
注意,终端设备20可以是诸如移动电话机、智能设备(智能电话机或平板电脑)、个人数字助理(PDA)或笔记本PC之类的移动终端。此外,终端设备20可以是诸如智能手表之类的可穿戴设备。另外,终端设备20可以是便携式物联网(IoT)设备。
图6是图解说明按照本公开的实施例的终端设备20的构成例子的示图。终端设备20包括通信单元21、存储单元22、控制单元23、输入单元24、输出单元25、传感器单元26和成像单元27。注意,图6中图解所示的构成是功能构成,硬件构成可以不同于功能构成。此外,终端设备20的功能可以分布地在多个物理上分离的构成中实现。
通信单元21是用于与其他设备通信的通信接口。例如,通信单元21是LAN接口,诸如NIC。注意,通信单元21可以是有线接口或无线接口。在通信单元21包括无线接口的情况下,通信单元21可被配置为使用无线电接入技术(RAT),诸如长期演进(LTE)、新无线电(NR)、Wi-Fi或蓝牙(注册商标),连接到网络N或其他通信设备。通信单元21在控制单元23的控制下与服务器10、车载设备30等进行通信。
存储单元22是能够读取和写入数据的存储设备,诸如DRAM、SRAM、闪存或硬盘。存储单元22起终端设备20的存储装置的作用。
控制单元23是控制终端设备20的各个单元的控制器。控制单元23例如由诸如CPU、MPU或GPU之类的处理器实现。例如,控制单元23是通过处理器使用RAM等作为工作区,执行存储在终端设备20内部的存储设备中的各种程序实现的。注意,控制单元23可以由诸如ASIC或FPGA之类的集成电路实现。CPU、MPU、GPU、ASIC和FPGA中的任何一个都可以被视为控制器。
控制单元23包括获取单元231、发送单元232、判定单元233、检测单元234和显示控制单元235。构成控制单元23的各个块(获取单元231~显示控制单元235)是指示控制单元23的功能的功能块。这些功能块可以是软件块或硬件块。例如,上述功能块中的每一个可以是用软件(微程序)实现的一个软件模块,或者可以是半导体芯片(裸片)上的一个电路块。当然,每个功能块可以是一个处理器或一个集成电路。控制单元23可以由与上述功能块不同的功能单元构成。功能块的构成方法是任意的。
注意,控制单元23可以由与上述功能块不同的功能单元构成。另外,构成控制单元23的各个块(获取单元231~显示控制单元235)的一些或全部操作可以由其他设备进行。例如,构成控制单元23的各个块的一些或全部操作可以由服务器10的控制单元13和/或车载设备30的控制单元33进行。构成控制单元23的各个块的操作将在后面说明。
输入单元24是从外部接收各种输入的输入设备。例如,输入单元24是诸如键盘、鼠标和操作键之类的供用户进行各种操作的操作设备。注意,在终端设备20中采用触摸面板的情况下,触摸面板也包括在输入单元24中。在这种情况下,用户通过用手指或手写笔触摸屏幕来进行各种操作。
输出单元25是向外部进行诸如声音、光、振动和图像之类的各种输出的设备。输出单元25包括显示各种类型的信息的显示设备。显示设备例如是液晶显示器或有机电致发光(EL)显示器。注意,在采用触摸面板作为终端设备20的情况下,显示设备可以是与输入单元24集成的设备。此外,在终端设备20是xR设备(例如,AR/MR眼镜)的情况下,它可以是将图像投影到眼镜上的透射型设备,或者可以是直接将图像投影在用户的视网膜上的视网膜投影型设备。输出单元25在控制单元23的控制下向用户进行各种输出。
传感器单元26是获取关于终端设备20的位置或姿态的信息的传感器。例如,传感器单元26是全球导航卫星***(GNSS)传感器。这里,GNSS传感器可以是全球定位***(GPS)传感器、GLONASS传感器、伽利略传感器或准天顶卫星***(QZSS)传感器。GNSS传感器可以被改述为GNSS接收模块。注意,传感器单元26不限于GNSS传感器,例如可以是加速度传感器。此外,传感器单元26可以是惯性测量单元(IMU)或地磁传感器。此外,传感器单元26可以是多个这些传感器的组合。
成像单元27是将光学图像转换为电信号的转换单元。成像单元27例如包括图像传感器、处理从图像传感器输出的模拟像素信号的信号处理电路等,并将从透镜进入的光转换为数字数据(图像数据)。注意,由成像单元27捕获的图像不限于视频(运动图像),也可以是静止图像。注意,成像单元27可以改述为相机。
<2-3.车载设备的构成>
接下来,将说明车载设备30的构成。
车载设备30是被配置为能够与服务器10和/或终端设备20通信的信息处理设备。车载设备30是搭载在用户乘坐的车辆上的显示设备。车载设备30例如是汽车导航设备。搭载车载设备30的车辆通常是轿车(汽车)。注意,车辆的概念不仅包括汽车,而且包括公共汽车、卡车、自行车、摩托车、火车和磁悬浮列车。注意,搭载车载设备30的车辆可以是能够自动驾驶的车辆(例如,能够自动驾驶的汽车)。在这种情况下,车载设备30可以是进行与自动驾驶相关的各种显示的显示设备。
图7是图解说明按照本公开的实施例的车载设备30的构成例子的示图。车载设备30包括通信单元31、存储单元32、控制单元33、输入单元34、输出单元35、传感器单元36和成像单元37。注意,图7中图解所示的构成是功能构成,硬件构成可以不同于功能构成。此外,车载设备30的功能可以分布地在多个物理上分离的构成中实现。
通信单元31是用于与其他设备通信的通信接口。例如,通信单元31是LAN接口,诸如NIC。注意,通信单元31可以是有线接口或无线接口。在通信单元31包括无线接口的情况下,通信单元31可被配置为使用无线电接入技术(RAT),诸如长期演进(LTE)、新无线电(NR)、Wi-Fi或蓝牙(注册商标),连接到网络N或其他通信设备。通信单元31在控制单元33的控制下与服务器10、终端设备20等进行通信。
存储单元32是能够读取和写入数据的存储设备,诸如DRAM、SRAM、闪存或硬盘。存储单元32起车载设备30的存储装置的作用。
控制单元33是控制车载设备30的各个单元的控制器。控制单元33例如由诸如CPU、MPU或GPU之类的处理器实现。例如,控制单元33是通过处理器使用RAM等作为工作区,执行存储在车载设备30内部的存储设备中的各种程序实现的。注意,控制单元33可以由诸如ASIC或FPGA之类的集成电路实现。CPU、MPU、GPU、ASIC和FPGA中的任何一个都可以被视为控制器。
控制单元33包括获取单元331、发送单元332、判定单元333、检测单元334和显示控制单元335。构成控制单元33的每个块(获取单元331~显示控制单元335)是指示控制单元33的功能的功能块。这些功能块可以是软件块或硬件块。例如,上述功能块中的每一个可以是用软件(微程序)实现的一个软件模块,或者可以是半导体芯片(裸片)上的一个电路块。当然,每个功能块可以是一个处理器或一个集成电路。控制单元33可以由与上述功能块不同的功能单元构成。功能块的构成方法是任意的。
注意,控制单元33可以由与上述功能块不同的功能单元构成。另外,构成控制单元33的各个块(获取单元331~显示控制单元335)的一些或全部操作可以由其他设备进行。例如,构成控制单元33的各个块的一些或全部操作可以由服务器10的控制单元13和/或终端设备20的控制单元23进行。
输入单元34是从外部接收各种输入的输入设备。例如,输入单元34是诸如键盘、鼠标和操作键之类的供用户进行各种操作的操作设备。注意,在车载设备30中采用触摸面板的情况下,触摸面板也包括在输入单元34中。在这种情况下,用户通过用手指或手写笔触摸屏幕来进行各种操作。此外,输入单元34可以是包括在车辆中的各种操作单元(例如,按钮或手柄),或者是从这些操作单元接收用户的操作信息的接收设备。
输出单元35是向外部进行诸如声音、光、振动和图像之类的各种输出的设备。输出单元35包括显示各种类型的信息的显示设备。显示设备例如是液晶显示器或有机电致发光(EL)显示器。注意,在采用触摸面板作为车载设备30的情况下,显示设备可以是与输入单元34集成的设备。此外,输出单元35可被配置为在诸如汽车的挡风玻璃之类的车辆的一部分上显示(投影)图像。注意,在以下的说明中,在车辆的玻璃上显示(投影)图像的设备可以被称为玻璃显示设备。特别地,在车辆(例如,汽车)的挡风玻璃上显示(投影)图像的设备可以被称为挡风玻璃显示设备。注意,玻璃显示设备可以被视为一种AR设备。输出单元35在控制单元33的控制下向用户进行各种输出。
传感器单元36是获取关于车载设备30的位置或姿态的信息的传感器。例如,传感器单元36是全球导航卫星***(GNSS)传感器。这里,GNSS传感器可以是全球定位***(GPS)传感器、GLONASS传感器、伽利略传感器或准天顶卫星***(QZSS)传感器。GNSS传感器可以被改述为GNSS接收模块。注意,传感器单元36不限于GNSS传感器,例如可以是加速度传感器。此外,传感器单元36可以是惯性测量单元(IMU)或地磁传感器。此外,传感器单元36可以是检测车辆(例如,汽车)周围的状态的传感器,诸如光检测和测距(LiDAR)。此外,传感器单元36可以是检测车辆的状态(速度或剩余能量)的传感器。例如,传感器单元36可以是检测设置在车辆中的电动机的各种状态(例如,转速等)的传感器,或者可以是检测汽油或电池的剩余量的传感器。此外,传感器单元36可以是多个这些传感器的组合。
成像单元37是将光学图像转换为电信号的转换单元。成像单元37例如包括图像传感器、处理从图像传感器输出的模拟像素信号的信号处理电路等,并将从透镜进入的光转换为数字数据(图像数据)。注意,由成像单元37捕获的图像不限于视频(运动图像),也可以是静止图像。注意,成像单元37可以改述为相机。成像单元37可以是对车辆的内部成像的相机或者对车辆的外部成像的相机。
<<3.导航***的操作>>
上面说明了导航***1的构成。接下来,将说明导航***1的操作。
<3-1.操作的概要>
首先,将说明导航***1的操作的概要。图8是图解说明导航***1的操作的概要的示图。
在以下的说明中,假设终端设备20至少包括AR眼镜,并且导航显示在AR眼镜(也被称为输出单元25)上。除了诸如AR眼镜之类的眼镜部分之外,终端设备20还可以包括诸如智能电话机之类的终端部分。然后,与下面说明的导航相关的处理可以由终端部分进行。另外,假设用户从家前往目的地。在图8的例子中,目的地位于诸如购物中心之类的预定建筑物的三楼。
注意,图8中图解所示的例子仅仅是示例。导航***1的操作不限于图8中图解所示的例子。此外,与导航相关的处理可以由除终端设备20以外的设备进行。例如,与导航相关的处理可以由经由网络N连接到终端设备20的服务器10进行。此外,用于导航的显示设备可以是除AR眼镜以外的设备(例如,智能电话机的显示器)。
在下文中,将参考图8说明导航***1的操作的概要。
首先,用户使用安装在终端设备20中的应用搜索到目的地的路线。作为搜索的结果,在需要乘车前往的情况下,用户使用应用请求调度。在图8的例子中,由于需要乘车前往,因此用户在家中请求调度。
终端设备20按照用户的指令请求服务器10进行调度处理。服务器10按照来自终端设备20的请求进行调度处理。这里,如果要安排的汽车是能够自主行驶的汽车,则作为调度处理,服务器10可以发出指令以自主地驶往在汽车中设定的调度位置(与用户的会合地点)。在下面的例子中,假设由服务器10安排的汽车可以进行手动驾驶和自动驾驶两者。当指令完成时,服务器10将关于调度的信息发送到终端设备20。关于调度的信息例如是关于调度位置的信息和关于汽车到达地点的时间的信息。
当从服务器10接收到关于调度的信息时,终端设备20在输出单元25上显示调度信息。这里,调度信息例如是调度位置的信息(指示会合地点的位置信息)或所安排的车辆的信息(例如,汽车的照片等)。当调度信息被显示在输出单元25上时,用户基于显示在输出单元25上的调度信息步行到调度位置。
注意,终端设备20可以按照调度信息的显示的开始,开始关于用户的移动状态的信息的获取。这里,关于移动状态的信息可以包括使用户能够判定用户处于多个状态中的哪个状态的信息,该多个状态至少包括乘坐状态和步行状态。
终端设备20可以通过各种方法获取关于用户的移动状态的信息。例如,终端设备20可以获取来自传感器单元26的信息,作为关于用户的移动状态的信息。例如,终端设备20可以获取来自GNSS传感器或加速度传感器的信息,作为关于用户的移动状态的信息。在这种情况下,终端设备20可以基于由来自GNSS传感器的信息检测的用户的移动速度、由来自加速度传感器的信息检测的用户的垂直移动的周期信息等,判定用户是否处于步行状态。注意,这里的步行状态是广义概念,不仅包括用户正在步行的状态(狭义的步行状态),而且包括用户正在跑步的状态(跑步状态)。步行状态也可以被称为“徒步的移动状态”等。
此外,终端设备20可以获取来自通信单元21的信息,作为关于用户的移动状态的信息。例如,终端设备20可以获取使用诸如蓝牙(注册商标)之类的无线电接入技术与车载设备30的无线通信的信息,作为关于用户的移动状态的信息。在这种情况下,终端设备20可以基于是否成功地进行了与车载设备30的无线通信来判定用户是否处于乘坐状态。例如,在终端设备20可以使用诸如蓝牙之类的近场通信与车载设备30进行通信的情况下,判定用户处于乘坐状态。
注意,判定用户的移动状态的方法不限于上述方法。可以采用各种已知的方法作为判定用户的移动状态的方法。此外,终端设备20可以通过组合多种方法来判定用户的移动状态。在以下的说明中,假设终端设备20总是基于关于用户的移动状态的信息来检测用户的移动状态。
当用户开始移动时,终端设备20使输出单元25开始导航到调度位置(会合地点)。注意,终端设备20可以在输出单元25上显示调度信息的同时开始导航到调度位置。然后,终端设备20按照用户的移动状态控制导航的显示模式。在图8的例子中,由于用户在室外徒步移动,因此终端设备20控制导航的显示模式,以使其为与室外步行状态相应的显示模式。更具体地,终端设备20在输出单元25上显示适合于用户在室外徒步移动的情况的导航(在下文中,称为室外导航)。例如,终端设备20可以控制输出单元25的显示,以便显示到调度位置的距离的信息、在徒步移动的情况下的到达时间的信息、以及汽车到来的方向的信息。此外,如果终端设备20(或终端设备20的一部分)是AR眼镜,则终端设备20可以控制AR眼镜的显示,使得指示到调度位置的方向的导航(例如,箭头)叠加在真实的人行道上。
注意,在进行导航处理时,终端设备20可以从服务器10接收与用户的移动路线(例如,人行道)相关的动态地图。然后,终端设备20可以基于从服务器10接收的动态地图执行室外导航。
当到达调度位置(会合地点)时,用户基于调度信息(例如,汽车的照片)搜索安排的汽车。当找到所安排的汽车时,用户乘坐所找到的汽车。之后,用户开始手动驾驶汽车。
如上所述,终端设备20基于关于用户的移动状态的信息不断地检测用户的移动状态。当用户的移动状态变更时,终端设备20将导航的显示模式切换为与用户的移动状态相应的显示模式。由于用户的移动状态随着用户的乘坐而从步行状态变更为乘坐状态,因此终端设备20将导航的显示模式切换为与乘坐状态相应的显示模式。更具体地,终端设备20在输出单元25上显示适合于用户乘车移动的情况的导航(在下文中,称为汽车导航)。例如,终端设备20可以控制输出单元25的显示,以便只显示驾驶所需的最少信息(例如,交通信息(例如交通拥堵信息)、到达目的地的路线信息以及估计的到达时间),以便用户可以专心驾驶汽车。此外,在终端设备20(或终端设备20的一部分)是AR眼镜的情况下,终端设备20可以控制AR眼镜的显示,使得指示行进方向的导航(例如,箭头)叠加在真实的车行道上。
注意,汽车导航不仅可以包括适合于手动驾驶的导航,而且可以包括适合于自动驾驶的导航。例如,假设用户将汽车的驾驶从手动驾驶切换到自动驾驶。在这种情况下,终端设备20将导航的显示模式从与手动驾驶相应的显示模式切换到与自动驾驶相应的显示方式。在自动驾驶的情况下,由于用户不是在驾驶汽车,因此终端设备20可以在输出单元25上显示大量信息。例如,终端设备20不仅可以显示诸如交通堵塞和估计的到达时间之类的信息,而且可以显示关于目的地的信息(例如,关于在目的地的商店的信息)。此外,如图8中图解所示,诸如电影之类的内容可以显示在输出单元25上。
注意,在用户的移动状态是乘坐状态的情况下,不是终端设备20而是车载设备30可以进行对用户的输出。例如,当通过诸如蓝牙之类的无线通信在车载设备30和终端设备20之间建立通信时,车载设备30与终端设备20协作进行对用户的导航。此时,车载设备30或终端设备20中的任意一个可以进行对用户的导航,或者车载设备30和终端设备20两者都可以进行对用户的导航。在车载设备30和终端设备20中的一个进行对用户的导航的情况下,在用户的移动状态从步行状态切换到乘坐状态的定时,车载设备30可以从终端设备20接管导航的显示。
注意,还可以想到的是,多个用户在每个终端设备20上显示导航。在这种情况下,多个用户中的每个用户的终端设备20可以继续导航显示(例如,在目的地的商店的信息)。然后,终端设备20可以使车载设备30显示对于多个用户公共的信息(例如,拥堵信息等)。此时,车载设备30可以在汽车的显示设备(例如,车载设备的输出单元35)上显示导航,使得多个用户可以容易地看到导航。汽车的显示设备可以是在挡风玻璃或侧玻璃上进行AR显示的玻璃显示设备。
另外,在有多个人登上用户乘坐的车辆的情况下,终端设备20也可以使汽车的显示设备(例如,车载设备30的输出单元35)显示以公共信息为中心的导航。例如,终端设备20和/或车载设备30检测车上是否有多个人。终端设备20的检测单元234或车载设备30的检测单元334可以基于例如来自车载设备30的传感器单元36(例如,人体传感器)和成像单元37(例如,捕获汽车的图像的相机)的信息来检测车上是否有多个人。还可以通过具有与车载设备30建立的链接的终端设备20的数量来检测车上是否有多个人。然后,终端设备20从检测单元334或234获取检测结果。然后,在车上有多个人的情况下,终端设备20在汽车的显示设备上显示导航,使得多个用户可以容易地看到导航。在车内没有多个人的情况下(即,在车上只有一个用户的情况下),可以不在汽车的显示设备上显示导航,而是可以在终端设备20的输出单元(例如,AR眼镜)上继续导航的显示。
当汽车到达目的地建筑物前面时,用户下车并步行到目的地(建筑物的三楼)。如上所述,终端设备20基于关于用户的移动状态的信息不断地检测用户的移动状态。当用户的移动状态变更时,终端设备20将导航的显示模式切换为与用户的移动状态相应的显示模式。由于随着用户下车,用户的移动状态从乘坐状态变更为步行状态,因此终端设备20将导航的显示模式切换为与步行状态相应的显示模式。
注意,终端设备20可以基于例如来自传感器单元26或通信单元21的信息来判定用户是在室内还是在室外。例如,终端设备20可以基于关于GNSS传感器是否可以检测到用户的位置(是否可以捕获来自GNSS卫星的无线电波)的信息、GNSS传感器最后捕获的用户的位置信息等来判定用户是在室内还是在室外。此外,如果终端设备20可以使用蜂窝通信,则可以基于关于终端设备20链接到哪个基站的信息来判定用户是在室内还是在室外。例如,如果终端设备20链接到安装在室内的基站,则判定用户在室内。另一方面,如果终端设备20链接到安装在室外的基站,则判定用户在室外。注意,判定用户是在室内还是在室外的方法不限于上述方法。可以采用各种已知的方法作为判定用户是在室内还是在室外的方法。此外,终端设备20可以通过组合多种方法来判定用户是在室内还是在室外。
在图8的例子的情况下,用户在室内(例如,在购物中心)走向目的地。于是,终端设备20控制导航的显示模式,以使其为与室内步行状态相应的显示模式。更具体地,终端设备20在输出单元25上显示适合于用户在室内徒步移动的情况的导航(在下文中,称为室内导航)。例如,终端设备20可以控制输出单元25的显示,以便显示室内楼层信息和每个楼层上的移动路线的信息。注意,终端设备20可以在输出单元25上显示建筑物内的商店的信息。此外,在终端设备20(或终端设备20的一部分)是AR眼镜的情况下,终端设备20可以控制AR眼镜的显示,使得指示行进方向的导航(例如,箭头)叠加在真实的通道上。
当用户到达目的地时,终端设备20结束导航。
<3-2.导航模式>
上面说明了导航***1的操作的概要。接下来,将说明导航***1的导航模式。
导航***1具有多种导航模式。导航模式对应于用户的移动状态,并且按照用户的移动状态的变更来切换。导航模式也可以被称为操作模式。导航的显示模式在每种导航模式下是不同的。于是,导航模式也可以被称为导航的显示模式。图9是图解说明导航模式按照用户的移动状态的变更而变更的状态的示图。
导航模式包括作为适合于徒步移动的大显示模式的步行导航和作为适合于乘车移动的显示模式的汽车导航。步行导航具有调度导航、室外导航和室内导航这三种导航模式。此外,汽车导航具有手动驾驶导航和自动驾驶导航这两种导航模式。这里,调度导航是适合于车辆安排的导航。另外,室外导航是适合于室外步行移动的导航。另外,室内导航是适合于室内步行移动的导航。另外,手动驾驶导航是适合于汽车的手动驾驶的导航。另外,自动驾驶导航是适合于汽车的自动驾驶的导航。
用于显示导航的最佳显示设备对于每种导航模式是不同的。在调度导航的情况下,最佳显示设备例如是智能电话机或AR眼镜。在室外导航的情况下,最佳显示设备例如是智能电话机或AR眼镜。在室内导航的情况下,最佳显示设备例如是智能电话机或AR眼镜。在手动驾驶导航的情况下,最佳显示设备例如是AR眼镜或汽车挡风玻璃。在自动驾驶导航的情况下,最佳显示设备例如是智能电话机、AR眼镜或汽车的挡风玻璃。
注意,这里说明的最佳显示设备仅仅是例子,本发明不限于此。例如,上述AR眼镜可以替换为除AR眼镜以外的AR设备。另外,上述智能电话机可以替换为除智能电话机以外的智能设备、除AR设备以外的xR设备、可穿戴设备或其他移动终端。此外,上述挡风玻璃可以替换为除挡风玻璃以外的汽车的玻璃(例如,侧玻璃),或者包括在车载设备30中的显示器。
在下文中,将参考图9说明导航***1的操作。注意,在以下的说明中,假设终端设备20至少包括AR眼镜。另外,假设终端设备20不断地检测用户的移动状态。
首先,当用户佩戴AR眼镜并进行预定操作时,终端设备20开始导航显示。在图9的例子中,由于用户在室外,因此终端设备20开始室外导航。当用户操作终端设备20以完成调度设定时,终端设备20请求服务器10进行调度,并基于来自服务器10的信息(例如,关于调度的信息、动态地图等)开始调度导航。此时,终端设备20可以在AR眼镜(或智能电话机)中显示调度导航和室外导航两者,直到用户到达调度位置(会合地点)为止。注意,调度导航可以具有作为室外导航的功能。在这种情况下,调度导航负责到调度位置的导航。
当用户到达调度位置时,终端设备20在继续调度导航的同时结束室外导航。然后,在用户等待汽车的时候,作为调度导航,终端设备20可以在AR眼镜(或智能电话机)上显示指示车辆如何向调度位置移动的到达屏幕。此时,终端设备20可以在到达屏幕上显示指示汽车要多久才能到的信息。
当汽车到达并且用户上车时,终端设备20检测到用户的移动状态已经从步行状态(或调度等待状态)变更为乘坐状态。于是,终端设备20结束调度导航,并将导航模式变更为与乘坐状态相应的显示模式。在本实施例中,终端设备20将导航模式切换到汽车导航。注意,在图9的例子中,由于用户在上车之后进行手动驾驶,因此终端设备20将导航模式切换到手动驾驶导航。此时,终端设备20可以基于来自服务器10的信息(例如,动态地图等)进行手动驾驶导航处理。此时,对用户的导航可以显示在AR眼镜中,或者可以显示在汽车的挡风玻璃上。
注意,在变更导航的显示模式时,终端设备20和车载设备30可以协作以切换导航。例如,当检测到用户上车时,终端设备20向车载设备30发送关于迄今为止的导航的信息。此时,终端设备20可以经由服务器10发送关于导航的信息,或者可以直接向车载设备发送该信息。然后,车载设备30基于从终端设备20接收的信息开始导航,并且向终端设备20通知导航已经开始。当接收到来自车载设备的通知时,终端设备20可以停止导航。注意,终端设备20不一定需要结束导航。导航可以显示在终端设备20和车载设备30两者上。
在所安排的汽车是能够自动驾驶的汽车的情况下,用户可以根据需要将汽车的驾驶从手动驾驶切换到自动驾驶。这里,当用户将汽车的驾驶切换到自动驾驶时,终端设备20和/或车载设备30使导航模式变更为与自动驾驶相应的显示模式。在图9的例子中,终端设备20和/或车载设备30将导航模式切换到自动驾驶导航。此时,终端设备20和/或车载设备30可以基于来自服务器10的信息(例如,动态地图等)进行自动驾驶导航的处理。此时,导航可以显示在智能电话机上,可以显示在AR眼镜上,或者可以显示在汽车的挡风玻璃上。在自动驾驶的情况下,由于用户不自己驾驶汽车,因此在一些情况下,终端设备20和/或车载设备30可以向用户呈现大量信息。于是,在自动驾驶的情况下,终端设备20和/或车载设备30可以按照用户的操作,在屏幕上显示诸如电影之类的内容。
当汽车到达目的地前面时,用户下车。然后,终端设备20和/或车载设备30检测到用户的移动状态已经从乘坐状态变更为步行状态。当检测到变更为步行状态时,终端设备20和/或车载设备30使导航模式变更为与用户的移动状态相应的显示模式。在图9的例子中,由于用户在车外,因此终端设备20将导航模式切换到室外导航。
当用户进入室内(目的地所在的建筑物内)时,终端设备20检测到用户的移动状态从室外变更为室内。于是,终端设备20使导航模式变更为与室内步行状态相应的显示模式。在图9的例子中,终端设备20将导航模式从室外导航切换到室内导航。用户按照室内导航在室内移动。当用户到达室内目的地(例如,商店前面)时,终端设备20终止导航。
<3-3.各个导航模式下的显示内容>
上面说明了导航模式。接下来,下面将说明各个导航模式下的显示内容。
图10~图15是图解说明各个导航模式下的显示内容的示图。注意,在以下的说明中,作为例子,假设终端设备20至少包括诸如AR眼镜之类的AR设备,并且终端设备20在AR设备上显示导航。
本实施例的导航***1例如具有以下导航模式(1)~(6)。
(1)调度导航
(2)室外导航
(3)室内导航
(4)手动驾驶导航
(5)第一自动驾驶导航
(6)第二自动驾驶导航
在下文中,将参考图10~图15说明各个导航模式(1)~(6)下的导航的显示内容。注意,在以下的说明中,在自动驾驶的情况下操作的导航模式,诸如第一自动驾驶导航和第二自动驾驶导航,可以被统称为自动驾驶导航模式。
(1)调度导航
图10是图解说明调度导航下的显示内容的示图。调度导航例如是在用户徒步前往调度位置的情况下操作的导航模式。调度导航也可以被视为步行导航(室外导航或室内导航)的一种。在操作调度导航的情况下,用户是徒步移动的,因此需要在一定程度上关注周围的状况。另一方面,用户在前往调度位置时需要接收一定量的信息(例如,到达调度位置的路线信息、用于找到所安排的汽车的信息等)。于是,终端设备20显示中等数量的信息。
在图10的例子中,终端设备20在AR眼镜左侧的小区域中显示调度信息,并且还在AR眼镜右侧的大区域中显示到达调度位置(会合地点)的人行道导航。在图中,用点画出阴影线的区域是叠加用户界面(UI)的区域,而未画出阴影线的地区是未叠加UI的区域。注意,在信息被显示在诸如AR眼镜之类的AR设备上的情况下,终端设备20可以将这些信息的显示区域设定为透射状态。在这种情况下,终端设备20控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的人行道上。注意,在显示设备不是诸如AR眼镜之类的AR设备的情况下(例如,在智能设备或VR设备的情况下),终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在屏幕(例如,非透射显示器)上的人行道上。
(2)室外导航
图11是图解说明室外导航下的显示内容的示图。室外导航是在用户的移动状态是室外步行状态的情况下操作的导航模式。在操作室外导航的情况下,由于用户是徒步移动的,因此用户必须在一定程度上关注周围的状况。另一方面,用户在前往目的地时需要接收一定量的信息(例如,到达目的地的路线信息等)。于是,终端设备20显示中等数量的信息。
在图11的例子中,终端设备20在AR眼镜左侧的大区域中显示关于到达目的地的路线和目的地的信息,同时在AR眼镜右侧的小区域中显示诸如各种通知、天气、电子邮件和时钟之类的一般信息。在图中,用点画出阴影线的区域是叠加UI的区域,而未画出阴影线的区域是未叠加UI的区域。在图11的例子中,终端设备20在人行道上显示行进方向作为路线信息。注意,在信息被显示在诸如AR眼镜之类的AR设备上的情况下,终端设备20可以将这些信息的显示区域设定为透射状态。在这种情况下,终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的人行道上。注意,在显示设备不是诸如AR眼镜之类的AR设备的情况下(例如,在智能设备或VR设备的情况下),终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在屏幕(例如,非透射显示器)上的人行道上。
另外,终端设备20可以控制导航的显示模式,以便显示关于目的地的信息。例如,作为导航的一部分,终端设备20可以显示目的地商店的信息。例如,终端设备20可以在屏幕上弹出显示目的地商店的促销信息,或者可以在屏幕上显示与商店图像的匹配结果。注意,在用户处于步行状态的情况下(例如,在操作室外导航的移动状态的情况下),终端设备20不仅可以显示目的地商店的信息,而且可以显示当前在用户附近的商店的信息。
(3)室内导航
图12是图解说明室内导航下的显示内容的示图。室内导航是在用户的移动状态是室内步行状态的情况下操作的导航模式。在操作室外导航的情况下,由于用户是徒步移动的,因此用户必须在一定程度上关注周围的状况。另一方面,用户在前往目的地时需要接收一定量的信息(例如,到达目的地的路线信息等)。于是,终端设备20显示中等数量的信息。
在图12的例子中,终端设备20在AR眼镜右侧的小区域中显示诸如各种通知、天气、电子邮件和时钟之类的一般信息,并且在AR眼镜左侧的大区域中显示室内楼层信息和到达目的地的路线信息。例如,终端设备20在室内的通道上显示行进方向,作为路线信息。在图中,用点画出阴影线的区域是叠加UI的区域,而未画出阴影线的区域是未叠加UI的区域。注意,在信息被显示在诸如AR眼镜之类的AR设备上的情况下,终端设备20可以将这些信息的显示区域设定为透射状态。在这种情况下,终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的通道上。注意,在显示设备不是诸如AR眼镜之类的AR设备的情况下(例如,在智能设备或VR设备的情况下),终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在屏幕(例如,非透射显示器)上的通道上。
另外,终端设备20可以控制导航的显示模式,以便显示关于目的地的信息。例如,作为导航的一部分,终端设备20可以显示目的地商店的信息。例如,终端设备20可以在屏幕上弹出显示目的地商店的产品信息,或者可以在屏幕上显示产品的识别结果。注意,在用户处于步行状态的情况下(例如,在操作室内导航的移动状态的情况下),终端设备20不仅可以显示目的地商店的产品信息,而且可以显示位于室内的其他商店的产品信息。
(4)手动驾驶导航
图13是图解说明手动驾驶导航下的显示内容的示图。手动驾驶导航是在用户的移动状态是乘坐状态的情况下并且在用户正在手动驾驶的情况下操作的导航模式。在操作手动驾驶导航的情况下,用户必须极为关注周围的状况,因为他/她必须专心驾驶汽车。于是,终端设备20显示最少量的信息。
在图13的例子中,终端设备20在AR眼镜中显示到达目的地的路线信息(例如,指示路线的地图、指示行进方向的箭头、交通信息、估计的到达时间等)。例如,终端设备20在车行道上显示行进方向,作为路线信息。在图中,用点画出阴影线的区域是叠加UI的区域,而未画出阴影线的区域是未叠加UI的区域。注意,终端设备20可以使路线信息的显示区域的大小小于其他导航模式(例如,自动驾驶导航模式)下的路线信息的显示区域的大小,使得用户可以容易地专心驾驶。此外,在信息被显示在诸如AR眼镜之类的AR设备上的情况下,路线信息的显示区域可以被设定为透射状态。在这种情况下,终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的车行道上。注意,车载设备30可以显示路线信息。例如,车载设备30可以在汽车的挡风玻璃上显示路线信息。在这种情况下,车载设备30可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的车行道上。此外,在显示设备不是诸如AR眼镜或挡风玻璃显示设备之类的AR设备的情况下(例如,在智能设备或VR设备的情况下),终端设备20和/或车载设备30可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在屏幕(例如,非透射显示器)上的车行道上。
此外,终端设备20可以控制导航的显示模式,以便显示关于目的地的信息。例如,作为导航的一部分,终端设备20可以显示目的地商店的信息。例如,终端设备20可以在屏幕上弹出显示目的地商店的产品信息,或者可以在屏幕上显示产品的识别结果。注意,在用户处于步行状态的情况下(例如,在操作室内导航的移动状态的情况下),终端设备20不仅可以显示目的地商店的产品信息,而且可以显示位于室内的其他商店的产品信息。
(5)第一自动驾驶导航
图14是图解说明第一自动驾驶导航下的显示内容的示图。第一自动驾驶导航是在用户的移动状态是乘坐状态的情况下并且在用户乘坐的汽车是自动驾驶的情况下操作的导航模式。第一自动驾驶导航是用户可选择的自动驾驶导航模式之一。在操作第一自动驾驶导航的情况下,用户没有在驾驶,因此,在许多情况下,用户不必过多关注周围的状况。然而,存在用户需要关注周围环境的情况,诸如用户打算将汽车的驾驶从自动驾驶切换到手动驾驶的情况。此外,在这种情况下,用户还需要接收一定量的信息(例如,到达目的地的路线信息等)。于是,在第一自动驾驶导航下,为了应对此类状况,终端设备20显示中等量的信息。
在图14的例子中,终端设备20在AR眼镜左侧的大区域中显示关于到达目的地的路线和目的地的信息,同时在AR眼镜右侧的小区域中显示诸如各种通知、天气、电子邮件和时钟之类的一般信息。在图14的例子中,终端设备20在车行道上显示行进方向,作为路线信息。在图中,用点画出阴影线的区域是叠加UI的区域,而未画出阴影线的区域是未叠加UI的区域。注意,在信息被显示在诸如AR眼镜之类的AR设备上的情况下,终端设备20可以将这些信息的显示区域设定为透射状态。在这种情况下,终端设备20可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的车行道上。注意,车载设备30可以显示路线信息。例如,车载设备30可以在汽车的挡风玻璃上显示路线信息。在这种情况下,车载设备30可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在真实的车行道上。注意,在显示设备不是诸如AR眼镜或挡风玻璃显示设备之类的AR设备的情况下(例如,在智能设备或VR设备的情况下),终端设备20和/或车载设备30可以控制显示模式,使得指示行进方向的导航(例如,箭头)叠加在屏幕(例如,非透射显示器)上的车行道上。
此外,终端设备20可以控制导航的显示模式,以便显示关于目的地的信息。例如,作为导航的一部分,终端设备20可以显示目的地商店的信息。例如,终端设备20可以在屏幕上弹出显示目的地商店的促销信息,或者可以在屏幕上显示与商店图像的匹配结果。注意,在用户处于操作自动驾驶导航的移动状态的情况下,终端设备20不仅可以显示目的地商店的信息,而且可以显示当前在用户附近的商店的信息。
(6)第二自动驾驶导航
图15是图解说明第二自动驾驶导航下的显示内容的示图。第二自动驾驶导航是在用户的移动状态是乘坐状态的情况下并且在用户乘坐的汽车是自动驾驶的情况下操作的导航模式。第二自动驾驶导航是用户可选择的自动驾驶导航模式之一。在操作第二自动驾驶导航的情况下,用户没有在驾驶,于是不需要过多关注周围的状况。在一些情况下,可能存在用户可以离开汽车的驾驶而沉浸在运动图像等中的状况。于是,在第二自动驾驶导航下,终端设备20按照用户的操作显示大量的信息。
在图15的例子中,终端设备20在AR眼镜左侧的大区域中显示诸如运动图像之类的内容,同时在AR眼镜右侧的小区域中显示各种通知和小导航。注意,为了允许用户沉浸在内容中,终端设备20可以将这些信息的显示区域设定为非透射状态。在图中,阴影区域是显示UI的非透射区域,而其他区域是不叠加UI的透射区域。
<3-4.显示内容的差异的总结>
上面说明了每种导航模式下的显示内容。图16总结了基于用户的移动状态的显示内容的差异。图16是总结由于用户的移动状态的差异而导致的显示内容的差异的示图。具体地,图16是总结在用户的移动状态如在以下的(1)~(4)中所示的状态下的显示内容的差异的示图。
(1)步行状态(室外)
(2)步行状态(室内)
(3)乘坐状态(手动驾驶)
(4)乘坐状态(自动驾驶)
注意,图16中图解所示的内容仅仅是例子,并不旨在限制上面说明的或者在<3-4>及下面说明的内容。此外,图16中图解所示的内容仅仅是典型的例子,并且可以不同于上面说明的内容或者在<3-4>及下面说明的内容。此外,这里,作为例子,假设显示导航的设备是终端设备20,但是显示导航的设备可以是车载设备30。在下文中,将参考图16说明(1)~(4)中所示的各个移动状态下的导航的显示内容。
(1)步行状态(室外)
在用户在室外徒步移动的情况下,指示行进方向的图像(例如,箭头)的显示位置可以在人行道上。例如,终端设备20可以将指示行进方向的图像(例如,箭头)叠加在真实的或屏幕上的人行道上。图17是图解说明指示行进方向的图像叠加在人行道上的状态的示图。图17是其中叠加了阴影区域的图像。例如,诸如终端设备20和服务器10之类的信息处理设备基于诸如语义分割之类的图像区域分类技术,将图像分类为诸如车行道和人行道之类的多个区域,并将指示行进方向的图像叠加在人行道的区域上。此外,例如,在用户在室外徒步移动的情况下,终端设备20可以显示商店信息,而不显示车辆相关信息和产品信息。商店信息例如是诸如商店的名称、位置、外观或业务类型之类的信息。注意,终端设备20可以显示目的地商店的信息作为商店信息,或者可以显示用户附近的商店的信息。终端设备20可以显示也可以不显示交通信息。注意,在显示交通信息的情况下,终端设备20可以显示关于汽车、公共汽车或调度的信息作为交通信息。此外,在已知用户使用公共交通、使用汽车租赁(包括调度)等的情况下,终端设备20可以显示关于这些的信息(例如,时间和费用)作为交通信息。
(2)步行状态(室内)
在用户在室内徒步移动的情况下,终端设备20可以不显示指示行进方向的图像(例如,箭头)。此外,例如,在用户在室外徒步移动的情况下,例如,终端设备20可以显示产品信息(在商店中销售的产品的信息),而不显示车辆相关信息、交通信息和商店信息。在这种情况下,在终端设备20中,其中显示产品信息的商店可以是作为目的地的商店,或者可以是在用户正在移动的楼层的商店。
(3)乘坐状态(手动驾驶)
在用户手动驾驶车辆的情况下,指示行进方向的图像(例如,箭头)的显示位置可以在道路上。例如,终端设备20和/或车载设备30可以将指示行进方向的图像(例如,箭头)叠加在真实的或屏幕上的道路上。图18是图解说明指示行进方向的图像被叠加在车行道上的状态的示图。图18是叠加了阴影区域的图像。例如,诸如终端设备20、车载设备30或服务器10之类的信息处理设备基于诸如语义分割之类的图像区域分类技术将图像分类为诸如车行道和人行道之类的多个区域,并将指示行进方向的图像叠加在车行道的区域上。此外,例如,在用户手动驾驶车辆的情况下,终端设备20可以显示车辆相关信息和交通信息,而不显示商店信息和产品信息。车辆相关信息例如是诸如车辆的速度或剩余能量之类的信息。交通信息例如是关于目的地的交通信息或关于车辆当前移动中的道路的交通信息。关于目的地的交通信息例如可以是作为目的地的商店的停车场的拥堵状态的信息。此外,关于车辆当前移动中的道路的交通信息例如可以是通往目的地的路线上的道路的拥堵信息。
(4)乘坐状态(自动驾驶)
在用户自动驾驶车辆的情况下,指示行进方向的图像(例如,箭头)的显示位置可以在道路上。例如,如图18中图解所示,例如,终端设备20和/或车载设备30可以将指示行进方向的图像(例如,箭头)叠加在真实的或屏幕上的道路上。此外,例如,在用户乘坐的车辆是自动驾驶的情况下,终端设备20和/或车载设备30可以显示车辆相关信息和商店信息,而不显示交通信息和产品信息。注意,终端设备20和/或车载设备30可以显示目的地商店的信息作为商店信息,或者可以显示到达目的地的路线上的商店的信息。在显示路线上的商店的信息的情况下,其中显示商店信息的商店可以是与目的地商店相关的商店(例如,具有相同或相似业务类型、服务或销售产品的商店)。
注意,例如,在用户自动驾驶车辆的情况下,终端设备20和/或车载设备30可以不显示导航,从而用户可以放松。此时,终端设备20和/或车载设备30可以显示诸如运动图像之类的内容而不是导航。注意,在导航显示在诸如AR眼镜之类的AR设备上,并且显示导航的区域处于透射状态的情况下,例如,终端设备20和/或车载设备30可以在显示内容而不是导航的情况下将显示内容的区域设定为非透射状态,以便允许用户沉浸在内容中。
<3-5.导航处理>
接下来,将使用流程图来说明导航***1的操作。
图19是图解说明按照本实施例的导航处理的流程图。当用户进行用于开始导航的操作时,终端设备20的控制单元23开始导航处理。注意,在以下的说明中,假设终端设备20包括AR眼镜并且用户佩戴AR眼镜。下面将参考图19的流程图来说明导航处理。
首先,当用户进行用于开始导航的输入操作(例如,目的地的输入等)时,终端设备20的控制单元23基于用户的输入开始用于对用户的导航(到目的地的引导)的处理(步骤S1)。注意,用户进行的操作可以包括与调度请求相关的操作。终端设备20的发送单元232可以按照用户的操作向服务器10发送调度请求。服务器10的调度处理单元135可以响应于调度请求进行用于调度的处理。服务器10的发送单元132可以将关于调度的信息发送到终端设备20。
随后,终端设备20的获取单元231获取关于用户的移动状态的信息。关于移动状态的信息包括使用户能够判定用户处于多个状态中的哪个状态的信息,该多个状态至少包括乘坐状态和步行状态。此时,关于移动状态的信息可以是关于终端设备20的检测单元234基于来自传感器单元26和/或通信单元21的信息判定的用户的移动状态的消息。然后,终端设备20的判定单元233基于关于移动状态的信息来判定用户是否在车内(步骤S2)。
在用户不在车内的情况下(步骤S2:否),即,在用户的移动状态是步行状态的情况下,终端设备20的控制单元23开始步行导航处理(步骤S3)。图20是用于说明步行导航处理的流程图。在下文中,将参考图20的流程图说明步行导航处理。
首先,终端设备20的获取单元231获取关于用户的移动状态的信息。关于移动状态的信息包括使得能够判定用户是否正在室内步行的信息。关于移动状态的信息可以是关于由终端设备20的检测单元234基于来自传感器单元26和/或通信单元21的信息判定的用户的移动状态的消息。然后,终端设备20的判定单元233基于关于移动状态的信息,判定用户是否在室外(步骤S301)。
在用户在室外的情况下(步骤S301:是),终端设备20的显示控制单元235开始室外导航的显示(步骤S302)。可以使用各种方法作为室外导航的方法。例如,终端设备20可以在进行室外导航处理时使用同时定位与地图构建(SLAM)。此时,终端设备20的检测单元234可以基于来自终端设备的传感器单元26的信息,估计终端设备20的自身位置和姿态(步骤S303)。在估计自身位置和姿态时,除了来自传感器单元26的信息之外,检测单元234还可以使用来自通信单元21和成像单元27的信息。然后,终端设备20可以基于自身位置和姿态的估计结果等使其当前状态与动态地图同步(步骤S304)。然后,终端设备20的显示控制单元235基于与动态地图同步的结果进行室外导航处理。例如,如果用户佩戴AR眼镜,则显示控制单元235将指示行进方向的箭头叠加在真实的人行道上。
注意,终端设备20可以从服务器10获取动态地图。例如,终端设备20的获取单元231经由通信单元21从服务器10获取动态地图(人行道)。然后,终端设备20可以在从服务器10获取的动态地图上使其当前状态与动态地图同步。此外,终端设备20的发送单元232可以将来自传感器单元26或成像单元27的信息发送到服务器10。然后,服务器10的更新单元134可以基于来自终端设备20的信息更新动态地图。
返回到步骤S301,在用户在室内的情况下(步骤S301:否),终端设备20的显示控制单元235开始室内导航的显示(步骤S305)。可以使用各种方法作为室内导航的方法。例如,终端设备20可以在进行室内导航处理时使用SLAM。此时,终端设备20的检测单元234可以基于来自终端设备20的传感器单元26的信息,估计终端设备20的自身位置和姿态(步骤S306)。在估计自身位置和姿态时,除了来自传感器单元26的信息之外,检测单元234还可以使用来自通信单元21和成像单元27的信息。然后,终端设备20可以基于自身位置估计结果等使其当前状态与动态地图同步(步骤S307)。然后,终端设备20的显示控制单元235基于与动态地图同步的结果进行室内导航处理。例如,如果用户佩戴AR眼镜,则显示控制单元235将指示行进方向的箭头叠加在真实的通道上。注意,与室外导航的情况一样,终端设备20可以从服务器10获取动态地图。
随后,终端设备20的判定单元233判定车辆是否处于调度中(步骤S308)。例如,判定单元233判定在步骤S1中是否向服务器10发出了调度请求。在车辆没有被调度的情况下(步骤S308:否),终端设备20的控制单元23使处理返回到图19的导航处理。另一方面,在车辆被调度的情况下(步骤S308:是),终端设备20的显示控制单元235例如基于从服务器10发送的关于调度的信息,显示调度信息。当显示调度信息时,终端设备20的控制单元23使处理返回到图19的导航处理。
返回参见图19,在用户在车内的情况下(步骤S2:是),即,在用户的移动状态是乘坐状态的情况下,终端设备20的控制单元23开始汽车导航处理(步骤S4)。图21是用于说明汽车导航处理的流程图。在下文中,将参考图21的流程图来说明汽车导航处理。
首先,终端设备20的获取单元231获取关于用户的移动状态的信息。关于移动状态的信息包括使得能够判定用户乘坐的车辆是否处于自动驾驶状态的信息。然后,终端设备20的判定单元233基于关于移动状态的信息,判定用户乘坐的汽车是否处于自动驾驶状态(步骤S401)。
在用户乘坐的汽车未处于自动驾驶状态的情况下(步骤S401:否),即,在用户手动驾驶汽车的情况下,终端设备20的显示控制单元235开始手动驾驶导航的显示(步骤S402)。另一方面,在用户乘坐的汽车处于自动驾驶状态的情况下(步骤S401:是),终端设备20的显示控制单元235开始自动驾驶导航的显示(步骤S403)。
可以使用各种方法作为汽车导航(手动驾驶导航和自动驾驶导航)的方法。例如,终端设备20可以在进行汽车导航的处理中使用SLAM。此时,终端设备20的检测单元234可以基于来自终端设备的传感器单元26的信息,估计终端设备20的自身位置和姿态(步骤S404)。在估计自身位置和姿态时,除了来自传感器单元26的信息之外,检测单元234还可以使用来自通信单元21和成像单元27的信息。然后,终端设备20可以基于自身位置和姿态等的估计结果等,使其当前状态和周围环境的状态与动态地图同步(步骤S405)。然后,终端设备20的显示控制单元235基于与动态地图同步的结果来进行汽车导航处理。例如,如果用户佩戴AR眼镜,则显示控制单元235将指示行进方向的箭头叠加在真实的车行道上。注意,与室外导航的情况一样,终端设备20可以从服务器10获取动态地图。然后,终端设备20的控制单元23使处理返回到图19的导航处理。
返回到图19,终端设备20的控制单元23判定在从步骤S2到步骤S4的处理的过程中,操作模式(导航模式)是否发生了变更(步骤S5)。在没有变更的情况下(步骤S5:否),控制单元23使处理返回到步骤S2。另一方面,在存在变更的情况下(步骤S5:是),终端设备20的显示控制单元235向用户通知存在变更(步骤S6)。例如,显示控制单元235可以通过显示图标来进行变更通知,或者可以通过语音来进行变更通知。当变更通知完成时,控制单元23使处理返回到步骤S2。
<<4.变形例>>
上述实施例是例子,各种修改和应用都是可能的。
例如,在上述实施例中,每种导航模式下的处理由终端设备20进行,但是所述处理的部分或全部可以由诸如车载设备30之类的其他设备进行。例如,诸如手动驾驶导航、第一自动驾驶导航和第二自动驾驶导航之类的汽车导航的部分或全部处理可以由车载设备30进行。在这种情况下,上述终端设备20、控制单元23、获取单元231、发送单元232、判定单元233、检测单元234、显示控制单元235等的记载可以适当地替换为车载设备30、控制单元33、获取单元331、发送单元332、判定单元333、检测单元334、显示控制单元335等。此外,通信单元21、存储单元22、输入单元24、输出单元25、传感器单元26和成像单元27的记载也可以适当地替换为通信单元31、存储单元32、输入单元34、输出单元35、传感器单元36和成像单元37。
此外,每种导航模式下的处理的部分或全部可以由服务器10基于例如来自终端设备20和/或车载设备30的信息来进行。在这种情况下,上述终端设备20、控制单元23、获取单元231、发送单元232、判定单元233、检测单元234、显示控制单元235等的记载可以适当地替换为服务器10、控制单元13、获取单元131、发送单元132、判定单元133等等。
此外,在上述实施例中,作为成为本实施例的导航对象的移动手段,说明了步行或乘车(汽车)移动,但是移动手段不限于步行或乘车移动。成为本实施例的导航对象的移动手段例如可以包括在除汽车之外的车辆中的移动。车辆例如是公共汽车、卡车、自行车、摩托车、火车、磁悬浮列车等。在这种情况下,上面的“汽车”的记载可以酌情替换为“车辆”。例如,汽车的显示设备的记载可以替换为车辆的显示设备。
移动手段不限于车辆,可以是除了车辆以外的移动体。移动体例如可以是诸如客船、货船或气垫船之类的船舶)。另外,移动体可以是在水下移动的移动体(例如,诸如潜艇、潜水器和无人潜水器之类的水下船只)。此外,移动体可以是在大气层内移动的移动体(例如,诸如飞机、飞艇或无人机之类的航空器)。注意,航空器的概念不仅包括诸如飞机和滑翔机之类的重型航空器,而且包括诸如气球和飞艇之类的轻型航空器。另外,航空器的概念不仅包括重型航空器和轻型航空器,而且包括诸如直升机和自转旋翼机之类的旋翼航空器。在移动手段是移动体的情况下,在这种情况下,上面的“汽车”的记载可以酌情替换为“移动体”。
此外,在上述实施例中,作为例子,导航被显示在用户佩戴的AR眼镜上,但是“AR眼镜”的记载可以酌情替换为“AR设备”、“MR眼镜”或“MR设备”。
控制本实施例的服务器10、终端设备20或车载设备30的控制设备可以由专用计算机***或通用计算机***实现。
例如,用于执行上述操作的通信程序被存储在诸如光盘、半导体存储器、磁带或软盘之类的计算机可读记录介质中来分发。然后,例如,将程序安装在计算机中,并执行上述处理来构成控制设备。此时,控制设备可以是服务器10、终端设备20或者车载设备30外部的设备(例如,个人计算机)。此外,控制设备可以是服务器10、终端设备20或者车载设备30内部的设备(例如,控制单元13、控制单元23或控制单元33)。
另外,通信程序可以存储在包括在诸如因特网之类的网络上的服务器设备中的磁盘设备中,使得通信程序可以下载到计算机。另外,上述功能可以通过操作***(OS)和应用软件的协作来实现。在这种情况下,除OS以外的部分可以存储在介质中并分发,或者除OS以外的部分可以存储在服务器设备中并且下载到计算机。
在上述实施例中说明的处理当中,描述为自动进行的处理的全部或部分可以手动地进行,或者描述为手动进行的处理的全部或部分可以通过已知的方法自动地进行。另外,除非另有规定,否则可以任意改变在本文档和附图中所示的处理过程、具体名称以及包含各种数据和参数的信息。例如,在各个图中图解所示的各种类型的信息不限于图解所示的信息。
此外,附图中图解所示的各个设备的每个组件是功能概念性的,不必如附图中图解所示那样地物理构成。即,各个设备的分布和集成的具体形式不限于图解所示的形式,可以按照各种负荷、使用状况等,以任意单位在功能上或物理上分布和集成其全部或部分。
另外,可以在处理内容彼此不矛盾的范围内适当地组合上述实施例。此外,可以适当地变更在上述实施例的流程图中图解所示的各个步骤的顺序。
此外,例如,本实施例可以被实现为构成设备或***的任何构成,例如,作为***大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、通过向单元进一步添加其他功能而获得的集合等(即,设备的一部分的构成)。
注意,在本实施例中,***意味着多个组件(设备、模块(部件)等)的集合,所有组件是否在同一个外壳中并不重要。于是,容纳在单独的外壳中并且经由网络连接的多个设备,和其中多个模块被容纳在一个外壳中的一个设备都是***。
此外,例如,本实施例可以采用云计算的构成,其中一个功能由多个设备经由网络分担并协同地处理。
<<5.结论>>
如上所述,按照本公开的实施例,导航***1获取关于用户的移动状态的信息,并基于关于用户的移动状态的信息,控制关于对用户的导航的显示模式。例如,导航***1基于关于用户的移动状态的信息,将关于对用户的导航的显示模式切换为与用户的移动状态相应的显示模式。更具体地,在用户处于乘坐状态的情况下,导航***1控制显示模式以使其成为与乘坐状态相应的显示模式,而在用户处于步行状态的情况下,导航***1控制对用户的导航的显示模式以使其成为与步行状态相应的显示模式。
结果,即使在用户通过组合多种移动手段前往目的地的情况下,导航***1也可以提供与移动手段相应的导航。此外,由于导航是按照移动状态的变更来切换的,因此导航***1可以向用户提供无缝导航。结果,导航***1可以为用户提供非常方便的导航。
尽管上面说明了本公开的实施例,但是本公开的技术范围并不原样限于上述实施例,可以进行各种变更而不偏离本公开的要点。另外,可以适当地组合不同实施例和变形例的组件。
此外,在本说明书中说明的各个实施例的效果仅仅是例子而不受限制,并且可以提供其他效果。
注意,本技术还可以具有以下构成。
(1)一种信息处理设备,包括:
获取单元,所述获取单元获取关于用户的移动状态的信息;和
显示控制单元,所述显示控制单元基于关于所述用户的移动状态的信息,控制关于对所述用户的导航的显示模式。
(2)按照(1)所述的信息处理设备,其中
所述显示控制单元基于关于所述用户的移动状态的信息,将关于对所述用户的导航的显示模式切换为与所述用户的移动状态相应的显示模式。
(3)按照(2)所述的信息处理设备,其中
关于移动状态的信息包括使所述用户能够判定所述用户处于多个状态中的哪个状态的信息,所述多个状态至少包括乘坐状态和步行状态,并且
所述显示控制单元,
在所述用户处于乘坐状态的情况下,控制显示模式为与乘坐状态相应的显示模式,并且
在所述用户处于步行状态的情况下,控制对所述用户的导航的显示模式为与步行状态相应的显示模式。
(4)按照(3)所述的信息处理设备,其中
在所述用户处于乘坐状态的情况下,所述显示控制单元控制显示模式,使得作为对所述用户的导航,指示行进方向的导航叠加在真实的或屏幕上的车行道上。
(5)按照(4)所述的信息处理设备,其中
在所述用户处于乘坐状态的情况下,所述显示控制单元控制显示模式,以显示关于目的地的交通信息或关于所述用户当前正在其上移动的道路的交通信息。
(6)按照(4)或(5)所述的信息处理设备,其中
在所述用户处于乘坐状态的情况下,所述显示控制单元控制显示模式,以显示关于所述用户乘坐的车辆的车辆信息。
(7)按照(6)所述的信息处理设备,其中
所述车辆信息包括关于车辆的速度或剩余能量的信息。
(8)按照(3)~(7)任意之一所述的信息处理设备,其中
关于移动状态的信息包括在所述用户处于乘坐状态的情况下使得能够判定所述用户乘坐的车辆是否处于自动驾驶状态的信息,并且
在所述用户乘坐的车辆处于自动驾驶状态的情况下,所述显示控制单元控制显示模式,以显示在到达目的地的路线上的商店的信息。
(9)按照(3)~(7)任意之一所述的信息处理设备,其中
关于移动状态的信息包括在所述用户处于乘坐状态的情况下使得能够判定所述用户乘坐的车辆是否处于自动驾驶状态的信息,并且
在所述用户乘坐的车辆处于自动驾驶状态的情况下,所述显示控制单元不显示导航。
(10)按照(9)所述的信息处理设备,其中
所述导航显示在所述用户佩戴的增强现实(AR)设备上,并且
在所述用户乘坐的车辆处于自动驾驶状态的情况下,所述显示控制单元显示内容而不是导航,并将显示内容的区域设定为非透射状态。
(11)按照(3)~(7)任意之一所述的信息处理设备,其中
包括路线信息的导航显示在所述用户佩戴的增强现实(AR)设备上,
关于移动状态的信息包括在所述用户处于乘坐状态的情况下使得能够判定所述用户乘坐的车辆处于自动驾驶状态还是手动驾驶状态的信息,并且
在所述用户乘坐的车辆处于手动驾驶状态的情况下,所述显示控制单元使显示路线信息的显示区域的大小小于在所述车辆处于自动驾驶状态的情况下的显示区域的大小。
(12)按照(11)所述的信息处理设备,其中
所述显示区域处于透射状态。
(13)按照(3)~(12)任意之一所述的信息处理设备,其中
在所述用户处于步行状态的情况下,所述显示控制单元控制显示模式,使得作为对所述用户的导航,指示行进方向的导航叠加在真实的或屏幕上的人行道上。
(14)按照(13)所述的信息处理设备,其中
在所述用户处于步行状态的情况下,所述显示控制单元控制显示模式,以显示所述用户附近的商店的信息。
(15)按照(3)~(14)任意之一所述的信息处理设备,其中
关于移动状态的信息包括在所述用户处于步行状态的情况下使得能够判定所述用户是否正在室内步行的信息,并且
在所述用户正在室内步行的情况下,所述显示控制单元控制显示模式,以显示室内的商店的产品信息。
(16)按照(3)~(15)任意之一所述的信息处理设备,其中
所述显示控制单元在所述用户处于步行状态的情况下,将导航显示在所述用户佩戴的AR设备上,而在所述用户处于乘坐状态的情况下,将导航显示在所述用户乘坐的车辆的显示设备上。
(17)按照(3)~(15)任意之一所述的信息处理设备,其中
所述显示控制单元在所述用户处于步行状态的情况下和在所述用户处于乘坐状态的情况下,均将导航显示在所述用户佩戴的增强现实(AR)设备上。
(18)按照(3)~(15)任意之一所述的信息处理设备,还包括
检测单元,所述检测单元检测所述用户乘坐的车辆上是否有多个人,其中
所述显示控制单元在所述用户处于乘坐状态的情况下,获取关于所述车辆上是否有多个人的检测结果,在所述车辆上有多个人的情况下将导航显示在所述车辆的显示设备上,而在所述车辆上没有多个人的情况下,将导航显示在所述用户佩戴的增强现实(AR)设备上,而不将导航显示在所述车辆的显示设备上。
(19)一种信息处理方法,包括:
获取关于用户的移动状态的信息;以及
基于关于所述用户的移动状态的信息控制关于对所述用户的导航的显示模式。
(20)一种程序,所述程序用于使计算机用作:
获取单元,所述获取单元获取关于用户的移动状态的信息;和
显示控制单元,所述显示控制单元基于关于所述用户的移动状态的信息,控制关于对所述用户的导航的显示模式。
附图标记列表
1 导航***
10 服务器
20 终端设备
30 车载设备
11,21,31通信单元
12,22,32存储单元
13,23,33控制单元
24,34输入单元
25,35输出单元
26,36传感器单元
27,37成像单元
131,231,331获取单元
132,232,332发送单元
133,233,333判定单元
134 更新单元
135 调度处理单元
234,334检测单元
235,335显示控制单元

Claims (20)

1.一种信息处理设备,包括:
获取单元,所述获取单元获取关于用户的移动状态的信息;和
显示控制单元,所述显示控制单元基于关于所述用户的移动状态的信息,控制关于对所述用户的导航的显示模式。
2.按照权利要求1所述的信息处理设备,其中
所述显示控制单元基于关于所述用户的移动状态的信息,将关于对所述用户的导航的显示模式切换为与所述用户的移动状态相应的显示模式。
3.按照权利要求2所述的信息处理设备,其中
关于移动状态的信息包括使所述用户能够判定所述用户处于多个状态中的哪个状态的信息,所述多个状态至少包括乘坐状态和步行状态,并且
所述显示控制单元,
在所述用户处于乘坐状态的情况下,控制显示模式为与乘坐状态相应的显示模式,并且
在所述用户处于步行状态的情况下,控制对所述用户的导航的显示模式为与步行状态相应的显示模式。
4.按照权利要求3所述的信息处理设备,其中
在所述用户处于乘坐状态的情况下,所述显示控制单元控制显示模式,使得作为对所述用户的导航,指示行进方向的导航叠加在真实的或屏幕上的车行道上。
5.按照权利要求4所述的信息处理设备,其中
在所述用户处于乘坐状态的情况下,所述显示控制单元控制显示模式,以显示关于目的地的交通信息或关于所述用户当前正在其上移动的道路的交通信息。
6.按照权利要求4所述的信息处理设备,其中
在所述用户处于乘坐状态的情况下,所述显示控制单元控制显示模式,以显示关于所述用户乘坐的车辆的车辆信息。
7.按照权利要求6所述的信息处理设备,其中
所述车辆信息包括关于车辆的速度或剩余能量的信息。
8.按照权利要求3所述的信息处理设备,其中
关于移动状态的信息包括在所述用户处于乘坐状态的情况下使得能够判定所述用户乘坐的车辆是否处于自动驾驶状态的信息,并且
在所述用户乘坐的车辆处于自动驾驶状态的情况下,所述显示控制单元控制显示模式,以显示在到达目的地的路线上的商店的信息。
9.按照权利要求3所述的信息处理设备,其中
关于移动状态的信息包括在所述用户处于乘坐状态的情况下使得能够判定所述用户乘坐的车辆是否处于自动驾驶状态的信息,并且
在所述用户乘坐的车辆处于自动驾驶状态的情况下,所述显示控制单元不显示导航。
10.按照权利要求9所述的信息处理设备,其中
所述导航显示在所述用户佩戴的增强现实(AR)设备上,并且
在所述用户乘坐的车辆处于自动驾驶状态的情况下,所述显示控制单元显示内容而不是导航,并将显示内容的区域设定为非透射状态。
11.按照权利要求3所述的信息处理设备,其中
包括路线信息的导航显示在所述用户佩戴的增强现实(AR)设备上,
关于移动状态的信息包括在所述用户处于乘坐状态的情况下使得能够判定所述用户乘坐的车辆处于自动驾驶状态还是手动驾驶状态的信息,并且
在所述用户乘坐的车辆处于手动驾驶状态的情况下,所述显示控制单元使显示路线信息的显示区域的大小小于在所述车辆处于自动驾驶状态的情况下的显示区域的大小。
12.按照权利要求11所述的信息处理设备,其中
所述显示区域处于透射状态。
13.按照权利要求3所述的信息处理设备,其中
在所述用户处于步行状态的情况下,所述显示控制单元控制显示模式,使得作为对所述用户的导航,指示行进方向的导航叠加在真实的或屏幕上的人行道上。
14.按照权利要求13所述的信息处理设备,其中
在所述用户处于步行状态的情况下,所述显示控制单元控制显示模式,以显示所述用户附近的商店的信息。
15.按照权利要求3所述的信息处理设备,其中
关于移动状态的信息包括在所述用户处于步行状态的情况下使得能够判定所述用户是否正在室内步行的信息,并且
在所述用户正在室内步行的情况下,所述显示控制单元控制显示模式,以显示室内的商店的产品信息。
16.按照权利要求3所述的信息处理设备,其中
所述显示控制单元在所述用户处于步行状态的情况下,将导航显示在所述用户佩戴的AR设备上,而在所述用户处于乘坐状态的情况下,将导航显示在所述用户乘坐的车辆的显示设备上。
17.按照权利要求3所述的信息处理设备,其中
所述显示控制单元在所述用户处于步行状态的情况下和在所述用户处于乘坐状态的情况下,均将导航显示在所述用户佩戴的增强现实(AR)设备上。
18.按照权利要求3所述的信息处理设备,还包括:
检测单元,所述检测单元检测所述用户乘坐的车辆上是否有多个人,其中
所述显示控制单元在所述用户处于乘坐状态的情况下,获取关于所述车辆上是否有多个人的检测结果,在所述车辆上有多个人的情况下将导航显示在所述车辆的显示设备上,而在所述车辆上没有多个人的情况下,将导航显示在所述用户佩戴的增强现实(AR)设备上,而不将导航显示在所述车辆的显示设备上。
19.一种信息处理方法,包括:
获取关于用户的移动状态的信息;以及
基于关于所述用户的移动状态的信息控制关于对所述用户的导航的显示模式。
20.一种程序,所述程序用于使计算机用作:
获取单元,所述获取单元获取关于用户的移动状态的信息;和
显示控制单元,所述显示控制单元基于关于所述用户的移动状态的信息,控制关于对所述用户的导航的显示模式。
CN202180096209.0A 2021-03-30 2021-03-30 信息处理设备、信息处理方法和程序 Pending CN117043842A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013711 WO2022208695A1 (ja) 2021-03-30 2021-03-30 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN117043842A true CN117043842A (zh) 2023-11-10

Family

ID=83458418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180096209.0A Pending CN117043842A (zh) 2021-03-30 2021-03-30 信息处理设备、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20240167838A1 (zh)
EP (1) EP4318453A1 (zh)
CN (1) CN117043842A (zh)
WO (1) WO2022208695A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP2013040954A (ja) * 2012-10-10 2013-02-28 Pioneer Electronic Corp ナビゲーション装置、経路案内方法、経路案内プログラム及び記憶媒体
JP2015217798A (ja) * 2014-05-16 2015-12-07 三菱電機株式会社 車載情報表示制御装置
JP2015156656A (ja) * 2015-03-06 2015-08-27 株式会社インテック 複数の信号出力装置を管理するためのサーバー装置及び携帯機器用プログラム
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
JP2018138907A (ja) * 2017-02-24 2018-09-06 アルパイン株式会社 車載装置、経路案内方法
JP2020020987A (ja) 2018-08-02 2020-02-06 トヨタ自動車株式会社 車内システム
JP6931017B2 (ja) * 2019-03-27 2021-09-01 本田技研工業株式会社 車両制御装置、車両および車両制御方法

Also Published As

Publication number Publication date
WO2022208695A1 (ja) 2022-10-06
US20240167838A1 (en) 2024-05-23
EP4318453A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
TWI682321B (zh) 基於位置資訊執行動作的系統、方法和非暫時電腦可讀取媒體
KR102039318B1 (ko) 루트-상 수송들을 모니터링하기 위한 시스템들 및 방법들
US11854387B2 (en) Reducing vehicular congestion at an intersection
US9596355B2 (en) Information providing apparatus and method thereof
EP3128292B1 (en) Predictive transit calculations
US8583367B2 (en) System and method for displaying a route based on a vehicle state
US10981427B2 (en) Damping control device, damping control method, and moving body
US20170147989A1 (en) Action planning and execution support device
US20190041652A1 (en) Display system, display method, and program
CN112236648A (zh) 使用v2x补充信息增强导航体验
EP3293942A1 (en) Passenger side display via a user portable device
CN111859180B (zh) 一种上车点推荐方法和***
KR20090000417A (ko) 정보 단말기를 이용한 경로와 교통 수단을 제공하는 방법과시스템
US20240167838A1 (en) Information processing device, information processing method, and program
CN101796376A (zh) 用于复杂的菜单控制多功能车辆***的导航***
EP4191204A1 (en) Route guidance device and route guidance method thereof
US20240217376A1 (en) Vehicle assistance via one or more content delivery modes
EP3293031A1 (en) Dynamic device housing for a transportation apparatus
WO2017064961A1 (ja) 位置情報表示システム、携帯通信端末、車両用通信装置及びコンピュータプログラム
US20240144608A1 (en) Context-sensitive overlay of content via augmented reality device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination