CN112119013A - 显示控制***、显示控制装置及显示控制方法 - Google Patents

显示控制***、显示控制装置及显示控制方法 Download PDF

Info

Publication number
CN112119013A
CN112119013A CN201880093253.4A CN201880093253A CN112119013A CN 112119013 A CN112119013 A CN 112119013A CN 201880093253 A CN201880093253 A CN 201880093253A CN 112119013 A CN112119013 A CN 112119013A
Authority
CN
China
Prior art keywords
operator
aerial vehicle
unmanned aerial
display control
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880093253.4A
Other languages
English (en)
Inventor
中泽满
岩濑裕章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of CN112119013A publication Critical patent/CN112119013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种能够适当地控制无人飞行器具备的摄像机所拍摄的图像的显示状态的显示控制***、显示控制装置及显示控制方法。传感数据获取部(60)获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像。判定部(62)根据与无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器。显示控制部(64)根据是否持续判定操作者没有目视无人飞行器来控制显示部中的所述飞行器拍摄图像的显示状态。

Description

显示控制***、显示控制装置及显示控制方法
技术领域
本发明涉及一种显示控制***、显示控制装置及显示控制方法。
背景技术
在使无人飞行器飞行时，为了确保该无人飞行器及其周围的安全，原则上该无人飞行器的操作者必须目视该无人飞行器。并且，在无人飞行器的操作者无法看见该无人飞行器的状况下，例如要求无人飞行器的操作者能够通过该无人飞行器具备的摄像机对周围拍摄出的图像(以下，称为飞行器拍摄图像)等，掌握该无人飞行器周围的状况。
作为将飞行器拍摄图像提示给该无人飞行器的操作者的技术的一例，在专利文献1中记载有一种远距离操作***，将根据安装在无人直升机上的全方位摄像机拍摄到的全方位图像所制作的操作用图像提示给操作者。
另外，在专利文献2中记载有，在操作者的头部所佩戴的头戴式显示器上显示无人飞行体的摄像机拍摄到的影像。
背景技术文献
专利文献
专利文献1：日本专利特开2003-267295号公报
专利文献2：日本专利特开2017-119501号公报
发明内容
[发明要解决的问题]
在无人飞行器的操作者目视着该无人飞行器的状况下，希望尽可能地抑制向该操作者提示飞行器拍摄图像，以尽量不妨碍目视。另一方面，如果无人飞行器的操作者没有目视该无人飞行器，那么希望向操作者提示飞行器拍摄图像，让操作者知道无人飞行器周围的状况。
然而，视线仅仅离开无人飞行器较短的时间便立即将飞行器拍摄图像提示给该操作者，向操作者提示飞行器拍摄图像抑或是抑制该提示频繁地切换时，担心操作者会感到不快。
此外，在专利文献1记载的技术中，所述操作用图像一直被提示给操作者。另外，在专利文献2记载的技术中，无人飞行体的摄像机拍摄到的影像也始终显示在头戴式显示器上。
本发明鉴于所述问题而完成，目的之一在于提供一种能够适当地控制无人飞行器具备的摄像机所拍摄的图像的显示状态的显示控制***、显示控制装置及显示控制方法。
[解决问题的技术手段]
为了解决所述问题，本发明的显示控制***包含：图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及显示控制机构，根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。
在本发明的一形态中，所述判定机构根据是否以指定次数连续地判定所述操作者没有目视所述无人飞行器，来进一步判定是否持续判定所述操作者没有目视所述无人飞行器，所述显示控制机构根据是否以指定次数连续地判定所述操作者没有目视所述无人飞行器的判定结果，控制所述显示部中的所述飞行器拍摄图像的显示状态。
或者，所述判定机构根据是否已持续指定时间判定所述操作者没有目视所述无人飞行器，来进一步判定是否持续判定所述操作者没有目视所述无人飞行器，所述显示控制机构根据是否已持续指定时间判定所述操作者没有目视所述无人飞行器的判定结果，控制所述显示部中的所述飞行器拍摄图像的显示状态。
另外，在本发明的一形态中，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对是否使所述飞行器拍摄图像显示在所述显示部进行控制。
或者，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示在所述显示部的所述飞行器拍摄图像的尺寸。
另外，在本发明的一形态中，所述判定机构根据所述无人飞行器与所述操作者之间的距离，判定该操作者是否目视着该无人飞行器。
另外，在本发明的一形态中，所述判定机构根据所述操作者的视野范围与所述无人飞行器的位置，判定该操作者是否目视着该无人飞行器。
另外，在本发明的一形态中，所述判定机构根据配置在所述操作者的头部的摄像机所拍摄的操作者拍摄图像，判定所述操作者是否目视着所述无人飞行器。
另外，在本发明的一形态中，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对所述操作者佩戴的头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
另外，在本发明的一形态中，所述判定机构根据所述操作者佩戴的头戴式示器所具备的摄像机拍摄的操作者拍摄图像，判定所述操作者是否目视着所述无人飞行器，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对所述头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
另外，在本发明的一形态中，还包含引导机构，所述引导机构在所述操作者没有目视所述无人飞行器的情况下，将引导所述操作者使其能够目视所述无人飞行器的引导信息提供给所述操作者。
另外，本发明的显示控制装置包含：图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及显示控制机构，根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。
另外，本发明的显示控制方法包含如下步骤：获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。
附图说明
图1是表示本发明的一实施方式的显示控制***的整体构成的一例的图。
图2A是表示本发明的一实施方式的头戴式显示器的构成的一例的图。
图2B是表示本发明的一实施方式的无人飞行器的构成的一例的图。
图3是示意性地表示无人飞行器的位置与操作者的位置的关系的一例的图。
图4是表示本发明的一实施方式的头戴式显示器中装配的功能的一例的功能模块图。
图5是表示本发明的一实施方式的头戴式显示器中进行的处理的流程的一例的流程图。
具体实施方式
以下，一边参照附图，一边对本发明的一实施方式进行说明。
图1是表示本发明的一实施方式的显示控制***1的整体构成的一例的图。如图1所示，本实施方式的显示控制***1中包含头戴式显示器(HMD)10、无人飞行器12及操作终端14。
如图1所示，操作终端14与无人飞行器12能够相互通信。另外，HMD10与操作终端14能够相互通信。此外，HMD10与无人飞行器12也可以能够不经由操作终端14而直接相互通信。
HMD10是无人飞行器12的操作者可以佩戴在头部的显示器装置。此外，在以下说明中，本实施方式的HMD10设为影像穿透式(视频透视式)。因此，无人飞行器12的操作者能够通过下述摄像机部30拍摄的图像(以下，称为操作者拍摄图像)，在佩戴着HMD10的状态下看见实际空间的情况。
本实施方式的HMD10中，例如如图2A所示，包含处理器20、存储部22、通信部24、显示部26、传感器部28及摄像机部30。此外，HMD10中也可以包含扬声器等声音输出部。
处理器20例如是根据HMD10中安装的程序进行动作的微处理器等程序控制器件。
存储部22例如是ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、闪速存储器等存储元件等。在存储部22中存储由处理器20执行的程序等。
通信部24例如是无线LAN(Local Area Network，局域网)模块或Bluetooth(注册商标)模块等通信接口。
显示部26是配置在HMD10前侧的例如液晶显示器或有机EL(Electroluminescence，电致发光)显示器等显示器。本实施方式的显示部26例如可通过显示左眼用图像与右眼用图像而显示三维图像。此外，显示部26也可以只能显示二维图像而无法显示三维图像。
传感器部28例如是包含GPS(Global Positioning System，全球定位***)等GNSS(Global Navigation Satellite System，全球导航卫星***)接收机、加速度传感器或陀螺仪传感器等惯性传感器、地磁传感器等的器件。传感器部28能够测量HMD10的位置或姿势。传感器部28也可以将HMD10的位置或姿势等测量结果以指定的采样率输出至处理器20。
摄像机部30是包含1个或多个摄像机的器件，该摄像机拍摄HMD10的佩戴者的视野范围的图像即操作者拍摄图像。摄像机部30也可以用指定的采样率拍摄操作者拍摄图像。
无人飞行器12是没有人搭乘的飞行器，例如是利用电池或引擎驱动的无人飞行器(所谓无人机)。本实施方式的无人飞行器12也可以具备自主飞行功能。
本实施方式的无人飞行器12中，例如如图2B所示，包含处理器40、存储部42、通信部44、传感器部46及摄像机部48。此外，无人飞行器12中还包含螺旋桨、马达、电池等普通硬件，但此处省略。
处理器40例如是根据无人飞行器12中安装的程序进行动作的微处理器等程序控制器件。
存储部42例如是ROM、RAM、闪速存储器等存储元件等。在存储部42中存储由处理器40执行的程序等。
通信部44例如是无线LAN模块或Bluetooth模块等通信接口。
传感器部46例如是包含GPS等GNSS接收机、气压传感器、LIDAR(Light Detectionand Ranging，光探测与测距)、声波传感器等高度传感器、惯性传感器、风速传感器等的器件。传感器部46能够测量无人飞行器12的位置或姿势。传感器部46也可以将无人飞行器12的位置或姿势等测量结果以指定的采样率输出至处理器40。另外，通信部44也可以将该测量结果以指定的采样率发送至HMD10。
摄像机部48例如是包含对无人飞行器12的周围进行拍摄的1个或多个摄像机的器件。摄像机部48也可以包含例如能够对无人飞行器12的周围全方位地进行拍摄的全方位摄像机。以下，将无人飞行器12的摄像机部48拍摄的图像称为飞行器拍摄图像。摄像机部48也可以用指定的采样率拍摄飞行器拍摄图像。另外，通信部44也可以用指定的采样率将飞行器拍摄图像发送至HMD10。
本实施方式的操作终端14例如是用来操作无人飞行器12的机器。
在本实施方式中，例如，反复判定操作者是否目视着无人飞行器12。此处，例如，设为无人飞行器12在图3所示的位置P1，且无人飞行器12的操作者在图3所示的位置P0。此处，设为位置P1与位置P0相距的距离比指定距离短。并且，设为摄像机部30朝向从位置P0朝向位置P1的方向A1。在该情况下，判定为操作者目视着无人飞行器12。
另一方面，设为无人飞行器12在图3所示的位置P2，且无人飞行器12的操作者在图3所示的位置P0。此处，位置P2与位置P0相距的距离比指定距离长，即使摄像机部30朝向从位置P0朝向位置P2的方向A2，操作者也无法通过操作者拍摄图像目视无人飞行器12。在该情况下，判定为操作者没有目视无人飞行器12。
另外，设为无人飞行器12在图3所示的位置P3，且无人飞行器12的操作者在图3所示的位置P0。此处，位置P3与位置P0相距的距离比指定距离短，但被存在于位置P3与位置P0之间的树50等障碍物遮挡，即使摄像机部30朝向从位置P0朝向位置P3的方向A3，操作者也无法通过操作者拍摄图像目视无人飞行器12。在该情况下，也判定为操作者没有目视无人飞行器12。
另外，例如即使无人飞行器12在位置P1，且无人飞行器12的操作者在位置P0，在摄像机部30朝向方向A2或方向A3的情况下，无人飞行器12也不在摄像机部30的视野(Fieldof View(FOV))的范围内。因此，操作者无法通过操作者拍摄图像目视无人飞行器12。在该情况下，也判定为操作者没有目视无人飞行器12。
并且，在本实施方式中，例如，对是否持续判定操作者没有目视无人飞行器12进行判定。此处，例如也可以根据是否以指定次数连续地判定操作者没有目视无人飞行器12来对是否持续判定操作者没有目视无人飞行器12进行判定。或者，也可以根据是否持续指定时间判定操作者没有目视无人飞行器12来对是否持续判定操作者没有目视无人飞行器12进行判定。
并且，根据该判定的结果，控制显示部26中的飞行器拍摄图像的显示状态。例如在判定为已持续判定操作者没有目视无人飞行器12的情况下，将无人飞行器12的摄像机部48拍摄的飞行器拍摄图像显示在显示部26。在该情况下，HMD10的摄像机部30拍摄的操作者拍摄图像不显示在显示部26。当不是这种情况时，将HMD10的摄像机部30拍摄的操作者拍摄图像显示在HMD10的显示部26。在该情况下，无人飞行器12的摄像机部48拍摄的飞行器拍摄图像不显示在显示部26。
此外，也可以在HMD10的显示部26显示操作者拍摄图像与飞行器拍摄图像这两者。在该情况下，例如在判定为已持续判定操作者没有目视无人飞行器12的情况下，也可以使飞行器拍摄图像显示得比操作者拍摄图像大。并且，当不是这种情况时，也可以使操作者拍摄图像显示得比飞行器拍摄图像大。
另外，例如，在判定为已持续判定操作者没有目视无人飞行器12的情况下，也可以在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。并且，当不是这种情况时，也可以在显示部26的整个画面显示操作者拍摄图像，在显示部26的一部分划变显示飞行器拍摄图像。
在使无人飞行器12飞行时，为了确保无人飞行器12及其周围的安全，原则上无人飞行器12的操作者必须目视无人飞行器12。并且，在无人飞行器12的操作者无法看见无人飞行器12的状况下，要求无人飞行器12的操作者能够通过飞行器拍摄图像等掌握无人飞行器12周围的状况。另外，即使在无人飞行器12能够自主飞行的情况下，操作者也看着无人飞行器12，根据状况从自主飞行切换成由操作者来进行操作，由此能够进一步确保安全。
在无人飞行器12的操作者目视着无人飞行器12的状况下，希望尽可能地抑制向该操作者提示飞行器拍摄图像，以尽量不妨碍目视。另一方面，如果无人飞行器12的操作者没有目视无人飞行器12，那么希望向操作者提示飞行器拍摄图像，让操作者知道无人飞行器周围的状况。
然而，视线仅仅离开无人飞行器12较短的时间便立即将飞行器拍摄图像提示给该操作者，向操作者提示飞行器拍摄图像抑或是抑制该提示频繁地切换时，担心操作者会感到不快。
在本实施方式中，反复判定无人飞行器12的操作者是否目视着该无人飞行器12，并且对是否持续判定操作者没有目视无人飞行器12进行判定。并且，根据是否持续判定操作者没有目视无人飞行器12的判定结果，控制显示部26中的所述飞行器拍摄图像的显示状态。这样一来，根据本实施方式，能够适当地控制飞行器拍摄图像的显示状态。
此外，也考虑如下运用：操作者在能够目视的期间通过目视来操作无人飞行器12，当无法目视无人飞行器12时，操作者佩戴HMD10，一边观看飞行器拍摄图像一边进行操作。但是，在该情况下，对操作者来说，产生戴上或摘下HMD10的多余的工作，另外，会产生操作者无法进行操作的期间。根据本实施方式，无须进行这种运用。
以下，对本实施方式的HMD10的功能以及由本实施方式的HMD10执行的处理进一步进行说明。
图4是表示本实施方式的HMD10中装配的功能的一例的功能模块图。此外，无须在本实施方式的HMD10中装配图4所示的所有功能，另外，也可以装配图4所示的功能以外的功能。
如图4所示，在本实施方式的HMD10中，从功能上来讲，例如包含传感数据获取部60、判定部62、显示控制部64及引导部66。传感数据获取部60主要装配处理器20、通信部24、传感器部28及摄像机部30。判定部62主要装配处理器20。显示控制部64、引导部66主要装配处理器20及显示部26。
以上功能也可以通过由处理器20执行作为计算机的HMD10中安装的包含与以上功能对应的指令的程序来装配。另外，该程序例如也可以经由光盘、磁盘、磁带、磁光盘等可由计算机读取的信息存储介质或者经由因特网等供给至HMD10。
在本实施方式中，传感数据获取部60例如获取与无人飞行器12及该无人飞行器12的操作者中的至少一个相关的传感数据。传感数据获取部60例如也可以获取表示HMD10的传感器部28或无人飞行器12的传感器部46的测量结果的传感数据。另外，传感数据获取部60获取的传感数据中也可以包含飞行中的无人飞行器12具备的摄像机部48所拍摄的飞行器拍摄图像。另外，传感数据获取部60获取的传感数据中也可以包含配置在无人飞行器12的操作者的头部的摄像机部30所拍摄的操作者拍摄图像。
另外，传感数据获取部60也可以用指定的采样率获取包含以指定的采样率产生的飞行器拍摄图像及操作者拍摄图像的传感数据。
在本实施方式中，判定部62例如根据与无人飞行器12及无人飞行器12的操作者中的至少一个相关的传感数据，判定该操作者是否目视着无人飞行器12。此处，例如，根据传感数据获取部60所获取的传感数据，判定操作者是否目视着无人飞行器12。
另外，在本实施方式中，判定部62也可以根据无人飞行器12与操作者之间的距离，判定操作者是否目视着无人飞行器12。此处，也可以将HMD10的位置视为操作者的位置。并且，判定部62也可以根据无人飞行器12的位置与HMD10的位置之间的距离，判定操作者是否目视着无人飞行器12。
另外，判定部62也可以根据配置在操作者的头部的摄像机所拍摄的操作者拍摄图像，判定操作者是否目视着无人飞行器12。此处，例如，也可以根据由传感数据获取部60获取且由HMD10所具备的摄像机部30拍摄的操作者拍摄图像，判定操作者是否目视着无人飞行器12。另外，例如，也可以根据是否从操作者拍摄图像中检测出无人飞行器12的影像，判定操作者是否目视着无人飞行器12。
另外，判定部62也可以根据飞行器拍摄图像，判定操作者是否目视着无人飞行器12。例如，也可以根据飞行器拍摄图像中呈现的HMD10的方向，判定操作者是否目视着无人飞行器12。
另外，判定部62也可以根据摄像机部30的视野范围，判定操作者是否目视着无人飞行器12。
并且，在本实施方式中，判定部62例如对是否持续判定操作者没有目视无人飞行器12进行判定。
在本实施方式中，显示控制部64例如根据是否持续判定操作者没有目视无人飞行器12而控制HMD10所具备的显示部26中的飞行器拍摄图像的显示状态。显示控制部64也可以根据判定部62的判定结果，控制HMD10所具备的显示部26中的飞行器拍摄图像的显示状态。此外，显示控制部64也可以显示无人飞行器12的速度、无人飞行器12的位置(纬度、经度及高度等)、从操作者到无人飞行器12的距离、到目的地的距离、电池余量等与无人飞行器12相关的信息。
在本实施方式中，引导部66例如在操作者没有目视无人飞行器12的情况下，将引导操作者使其能够目视无人飞行器12的引导信息提供给操作者。例如，引导部66也可以产生重叠有表示无人飞行器12所在的方向的箭头图像等引导图像的操作者拍摄图像。
此外，本实施方式中的操作者只要是处于能够操作无人飞行器12的状态的人即可，操作者无须实际操作无人飞行器12。例如在无人飞行器12具备自主飞行功能且能够切换自主飞行状态与非自主飞行状态的情况下，当无人飞行器12进行自主飞行时，持拿操作终端14的人相当于本实施方式中的操作者。
以下，一边参照图5所示的流程图，一边对由本实施方式的HMD10执行的处理的流程的一例进行说明。
另外，在本实施方式中，例如以相当于所述指定的采样率的指定帧率将图像显示在显示部26。并且，以该指定帧率反复执行S102～S112所示的处理。另外，在本处理例中，连续N帧(连续N次)判定操作者没有目视无人飞行器12的情况下，判定为已持续判定操作者没有目视无人飞行器12。此外，此处，N为2以上的整数。
首先，判定部62设定0作为变量i的值(S101)。
然后，传感数据获取部60获取该帧中的传感数据(S102)。该传感数据中包含该帧中的飞行器拍摄图像及该帧中的操作者拍摄图像。
然后，判定部62根据S102所示的处理中所获取的传感数据，判定HMD10的位置与无人飞行器12的位置之间的距离是否在指定距离以下(S103)。此处，作为HMD10的位置，可以使用由传感器部28测量的位置或根据传感器部28的测量结果特定出的摄像机部30的位置等。另外，作为无人飞行器12的位置，可以使用由传感器部46测量的位置或根据传感器部46的测量结果特定出的摄像机部48的位置等。
另外，所述指定距离也可以根据显示部26的分辨率或视场角等设计值或摄像机部30的分辨率或视场角等设计值预先决定。另外，所述指定距离可以是三维空间中的距离，也可以是水平面上将HMD10投影到该水平面的位置与将无人飞行器12投影到该水平面的位置之间的距离。
另外，在水平方向与高度方向上，所述指定距离也可以不同。例如，水平面上将HMD10投影到该水平面的位置与将无人飞行器12投影到该水平面的位置之间的距离可以特定为第1距离。另外，铅垂线上将HMD10投影到该铅垂线的位置与将无人飞行器12投影到该铅垂线的位置之间的距离可以特定为第2距离。并且，当第1距离在第1指定距离以下且表示第2距离的值在第2指定距离以下时，可以判定为HMD10的位置与无人飞行器12的位置之间的距离在指定距离以下。并且，当不是这种情况时，可以判定为HMD10的位置与无人飞行器12的位置之间的距离不在指定距离以下。
设为在S103所示的处理中判定为HMD10的位置与无人飞行器12的位置之间的距离在指定距离以下(S103：是)。在该情况下，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(S104)。
此处，摄像机部30的视野范围例如指根据操作者头部的姿势、操作者的位置及摄像机部30的视场角等设计值特定出的三维空间内的锥台所占的范围。此外，操作者头部的姿势及操作者的位置例如根据传感器部28的测量结果而特定出。
此外，S104所示的处理中的摄像机部30的视野范围指不考虑障碍物的影响的视野范围。因此，例如，当无人飞行器12在图3所示的位置P3，且操作者从位置P0面向位置P3(朝向方向A3)时，判定为无人飞行器12在摄像机部30的视野范围内。
设为在S104所示的处理中判定为无人飞行器12在摄像机部30的视野范围内(S104：是)。在该情况下，判定部62判定是否从S102所示的处理中所获取的传感数据中包含的操作者拍摄图像中检测出无人飞行器12的影像(S105)。此处，可以使用众所周知的图像识别技术来进行该检测。
另外，也可以根据S104所示的处理中判定出的视野范围与S102所示的处理中所获取的传感数据表示的无人飞行器12的位置，特定出将无人飞行器12投影到操作者拍摄图像时的操作者拍摄图像内的位置。以这种方式特定出的位置在操作者拍摄图像内存在无人飞行器12的影像的可能性较高。并且，也可以限定在以这种方式特定出的位置的周边进行该检测。由此，能够降低检测处理的负荷。另外，也能降低误检测出该操作者操作的无人飞行器12以外的无人飞行器12的可能性。
设为在S105所示的处理中判定为从S102所示的处理中所获取的传感数据中包含的操作者拍摄图像中没有检测出无人飞行器12的影像(S105：否)，在该情况下，判定部62使变量i的值增加1(S106)。在S103所示的处理中判定为HMD10的位置与无人飞行器12的位置之间的距离不在指定距离以下时(S103：否)也一样，判定部62使变量i的值增加1(S106)。另外，在S104所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内时(S104：否)也一样，判定部62使变量i的值增加1(S106)。
S106所示的处理结束时，判定部62判定变量i的值是否在指定值N以上(S107)。在判定为变量i的值在指定值N以上时(S107：是)，显示控制部64使S102所示的处理中所获取的飞行器拍摄图像显示在显示部26(S108)，并返回到S102所示的处理中。
另一方面，设为在S105所示的处理中判定为从S102所示的处理中所获取的传感数据中包含的操作者拍摄图像中检测出无人飞行器12的影像(S105：是)。在该情况下，判定部62将变量i的值更新为0(S109)。
然后，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(S110)。在S107所示的处理中判定为变量i的值不在指定值N以上时(S107：否)也一样，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(5110)。S110所示的处理是与S104所示的处理同样的处理。此外，在该帧中执行了S104所示的处理的情况下，判定部62也可以调用该处理的执行结果作为S110所示的处理的执行结果。
设为在S110所示的处理中判定为无人飞行器12在摄像机部30的视野范围内(S110：是)。在该情况下，显示控制部64使S102所示的处理中所获取的操作者拍摄图像显示在显示部26(S111)，并返回到S102所示的处理中。
另一方面，设为在S110所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内(S110：否)。在该情况下，显示控制部64使重叠有引导操作者使其能够目视无人飞行器12的引导图像的操作者拍摄图像显示在显示部26(S112)，并返回到S102所示的处理中。
在S112所示的处理中，例如，引导部66也可以根据摄像机部30的视野范围与无人飞行器12的位置而特定出无人飞行器12所在的方向。该方向例如相当于为了使无人飞行器12处于摄像机部30的视野范围内而应该使摄像机部30移动的方向。并且，引导部66也可以产生重叠有表示特定出的方向的箭头图像即引导图像的操作者拍摄图像。例如，在无人飞行器12相对于摄像机部30的方向而言在左上方的情况下，可以产生重叠有朝向左上方的箭头图像即引导图像的操作者拍摄图像。并且，显示控制部64也可以使以这种方式产生的重叠有引导图像的操作者拍摄图像显示在显示部26。
在所述处理例中，在S103～S105所示的处理中，判定操作者是否目视着无人飞行器12。此处，例如，如果是以下状况，即，当使HMD10朝向适当的方向时能够拍摄包含无人飞行器12的影像的操作者拍摄图像，但现状是没有拍摄包含无人飞行器12的影像的操作者拍摄图像，那么判定为操作者没有目视无人飞行器12。
另外，在所述处理例中，判定部62判定是否以指定次数(此处，例如N次)连续地判定操作者没有目视无人飞行器12。并且，显示控制部64根据是否以指定次数连续地判定操作者没有目视无人飞行器12的判定结果，控制显示部26中的飞行器拍摄图像的显示状态。在该情况下，判定部62根据是否以指定次数连续地判定操作者没有目视无人飞行器12，来判定是否持续判定操作者没有目视无人飞行器12。
此外，是否持续判定操作者没有目视的判定也可以根据时间进行，而不像所述那样根据次数进行。例如，判定部62也可以对是否已持续指定时间(例如t秒钟)判定操作者没有目视无人飞行器12进行判定。然后，显示控制部64也可以根据是否已持续指定时间判定操作者没有目视无人飞行器12的判定结果，控制显示部26中的飞行器拍摄图像的显示状态。例如，在判定为已持续指定时间判定操作者没有目视无人飞行器12时，可以显示飞行器拍摄图像。在该情况下，判定部62根据是否已持续指定时间判定操作者没有目视无人飞行器12，来判定是否持续判定操作者没有目视无人飞行器12。
在所述处理例中，一般地，S104所示的处理与S103所示的处理相比，处理负荷更高。另外，S105所示的处理与S104所示的处理相比，处理负荷更高。因此，在S103所示的处理中判定为HMD10的位置与无人飞行器12的位置之间的距离不在指定距离以下时，不在该帧中执行处理负荷较高的S104及S105所示的处理。另外，在S104所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内时，也不在该帧中执行处理负荷较高的S105所示的处理。
此外，S103～S105所示的处理的顺序并不限定于图5所示的顺序。S103～S105所示的处理也可以按照与图5所示的顺序不同的顺序执行。另外，无须执行S103～S105所示的所有处理。
另外，S103～S105所示的处理只不过是判定操作者是否目视着无人飞行器12的处理的一例，判定操作者是否目视着无人飞行器12的处理并不限定于S103～S105所示的处理。
另外，也可以不执行S110～S112所示的处理。在该情况下，例如，在S107所示的处理中判定为变量i的值不在指定值N以上时或者S109所示的处理结束时，显示控制部64也可以使操作者拍摄图像显示在显示部26，并返回到S102所示的处理中。
另外，显示控制部64也可以根据是否已持续指定时间判定操作者没有目视无人飞行器12来控制显示在显示部26的飞行器拍摄图像的尺寸。例如在S111及S112所示的处理中，显示控制部64也可以操作者拍摄图像显示得比飞行器拍摄图像大的方式进行控制。并且，在该情况下，在S108所示的处理中，显示控制部64也可以飞行器拍摄图像显示得比操作者拍摄图像大的方式进行控制。
或者，例如在S111及S112所示的处理中，显示控制部64也可以如下方式进行控制，即，在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。并且，在该情况下，在S108所示的处理中，显示控制部64也可以如下方式进行控制，即，在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。
另外，当显示在显示部26的图像从飞行器拍摄图像切换成操作者拍摄图像时或者从操作者拍摄图像切换成飞行器拍摄图像时，HMD10也可以将所述内容通过显示输出或声音输出等通知给操作者。另外，在该情况下，例如，也可以是操作者能够选择是否切换图像。例如，HMD10也可以根据操作者的操作来切换显示在显示部26的图像。
另外，例如，在以指定次数连续地或者持续指定时间判定为操作者目视着无人飞行器12的情况下，也可以将操作者拍摄图像显示在显示部26。例如，显示操作者拍摄图像时的指定次数与显示飞行器拍摄图像时的指定次数也可以不同。另外，例如，显示操作者拍摄图像时的指定时间与显示飞行器拍摄图像时的指定时间也可以不同。这样一来，能够进一步防止显示的图像频繁切换。
另外，在S103所示的处理中，显示操作者拍摄图像时的指定距离与显示飞行器拍摄图像时的指定距离也可以不同。例如，显示飞行器拍摄图像时的指定距离也可以比显示操作者拍摄图像时的指定距离长。或者，显示操作者拍摄图像时的指定距离也可以比显示飞行器拍摄图像时的指定距离长。这样一来，能够防止显示的图像频繁切换。
另外，引导部66也可以产生如下引导图像，该引导图像除了箭头图像以外或者代替箭头图像而配置着「无人机在左上方飞行」「请朝向左上方」等表示引导操作者的句子的字串图像。并且，引导部66也可以产生重叠有该引导图像的操作者拍摄图像。另外，引导部66也可以除了引导图像的重叠或者代替引导图像的重叠而向操作者输出「无人机在左上方飞行」「请朝向左上方」等引导操作者的声音。
此外，本发明并不限定于所述实施方式。
例如，在以上的说明中，HMD10设为影像穿透式(视频透视式)的HMD10，但本发明在HMD10为光学穿透式(光学透视式)的HMD10的情况下也能够适用。此处，例如，显示控制部64也可以如下方式进行控制，即，在S108所示的处理中，使飞行器拍摄图像显示，在S111或S112所示的处理中，不使飞行器拍摄图像显示。或者，也可以在S108所示的处理中，使飞行器拍摄图像显示得较大，在S111或S112所示的处理中，使飞行器拍摄图像显示得较小。如果抑制飞行器拍摄图像的显示，操作者就容易目视无人飞行器12。
此外，在该情况下，也可以在S104及S110所示的处理中，使用操作者的视野范围来代替摄像机部30的视野范围。此处，操作者的视野范围例如可根据操作者头部的姿势与所给的操作者的视角而特定出。另外，S103所示的处理中的指定距离也可以根据操作者的视力进行设定。另外，在该情况下，摄像机部30所拍摄的操作者拍摄图像也可以只在S105所示的处理中使用。
另外，在该情况下，显示控制部64也可以在S112所示的处理中，使引导图像AR(Augmented Reality，增强现实)显示在显示部26。
另外，在S111或S112所示的处理中，显示控制部64也可以使用来支援操作的信息AR显示在显示部26。在该情况下，希望该信息避开中央部配置或者以穿透度较高的状态配置，以不妨碍目视无人飞行器12。
另外，本发明的适用范围也不限定于HMD10。例如，操作者一边观看并非HMD10的显示器一边操作无人飞行器12的情景也能适用本发明。在该情况下，也可以代替HMD10的摄像机部30，而将设置在无人飞行器12的起飞地点或着陆地点的摄像机拍摄的图像用作操作者拍摄图像。另外，该摄像机无须为固定摄像机，例如也可以是操作者能够控制姿势的摄像机(云台摄像机等)。
另外，在本实施方式中，也可以在无人飞行器12或操作终端14中装配图4所示的功能的一部分或全部。
另外，所述具体的字串或数值及附图中的具体的字串或数值是例示，并不限定于这些字串或数值。

Claims (13)

1.一种显示控制***，其特征在于包含：
图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；
判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及
显示控制机构，根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。
2.根据权利要求1所述的显示控制***，其特征在于：
所述判定机构根据是否以指定次数连续地判定所述操作者没有目视所述无人飞行器，来进一步判定是否持续判定所述操作者没有目视所述无人飞行器，且
所述显示控制机构根据是否以指定次数连续地判定所述操作者没有目视所述无人飞行器的判定结果，控制所述显示部中的所述飞行器拍摄图像的显示状态。
3.根据权利要求1所述的显示控制***，其特征在于：
所述判定机构根据是否已持续指定时间判定所述操作者没有目视所述无人飞行器，来进一步判定是否持续判定所述操作者没有目视所述无人飞行器，且
所述显示控制机构根据是否已持续指定时间判定所述操作者没有目视所述无人飞行器的判定结果，控制所述显示部中的所述飞行器拍摄图像的显示状态。
4.根据权利要求1至3中任一项所述的显示控制***，其特征在于：
所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对是否使所述飞行器拍摄图像显示在所述显示部进行控制。
5.根据权利要求1至3中任一项所述的显示控制***，其特征在于：
所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示在所述显示部的所述飞行器拍摄图像的尺寸。
6.根据权利要求1至5中任一项所述的显示控制***，其特征在于：
所述判定机构根据所述无人飞行器与所述操作者之间的距离，判定该操作者是否目视着该无人飞行器。
7.根据权利要求1至6中任一项所述的显示控制***，其特征在于：
所述判定机构根据所述操作者的视野范围与所述无人飞行器的位置，判定该操作者是否目视着该无人飞行器。
8.根据权利要求1至7中任一项所述的显示控制***，其特征在于：
所述判定机构根据配置在所述操作者的头部的摄像机所拍摄的操作者拍摄图像，判定所述操作者是否目视着所述无人飞行器。
9.根据权利要求1至8中任一项所述的显示控制***，其特征在于：
所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对所述操作者佩戴的头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
10.根据权利要求1至7中任一项所述的显示控制***，其特征在于：
所述判定机构根据所述操作者佩戴的头戴式显示器所具备的摄像机拍摄的操作者拍摄图像，判定所述操作者是否目视着所述无人飞行器，且
所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，控制所述头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态。
11.根据权利要求1至10中任一项所述的显示控制***，其特征在于：
还包含引导机构，所述引导机构在所述操作者没有目视所述无人飞行器的情况下，将引导所述操作者使其能够目视所述无人飞行器的引导信息提供给所述操作者。
12.一种显示控制装置，其特征在于包含：
图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；
判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及
显示控制机构，根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。
13.一种显示控制方法，其特征在于包含如下步骤：
获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；
根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及
根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。
CN201880093253.4A 2018-11-30 2018-11-30 显示控制***、显示控制装置及显示控制方法 Pending CN112119013A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044182 WO2020110293A1 (ja) 2018-11-30 2018-11-30 表示制御システム、表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
CN112119013A true CN112119013A (zh) 2020-12-22

Family

ID=70854149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880093253.4A Pending CN112119013A (zh) 2018-11-30 2018-11-30 显示控制***、显示控制装置及显示控制方法

Country Status (4)

Country Link
US (1) US11492115B2 (zh)
JP (1) JP6821864B2 (zh)
CN (1) CN112119013A (zh)
WO (1) WO2020110293A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112105559A (zh) * 2018-11-30 2020-12-18 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140208145A1 (en) * 2012-03-25 2014-07-24 Jose Piccolotto Methods and apparatus for saving power
CN105460217A (zh) * 2015-12-03 2016-04-06 北京奇虎科技有限公司 一种基于无人飞行器的续拍方法和无人飞行器
CN105915249A (zh) * 2015-02-23 2016-08-31 金永权 搭载有无人飞行器的移动通信终端
WO2017022179A1 (ja) * 2015-08-06 2017-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
CN107428411A (zh) * 2015-08-06 2017-12-01 松下电器（美国）知识产权公司 无人飞行体、飞行控制方法、飞行控制程序及操纵器
US20180164807A1 (en) * 2015-09-04 2018-06-14 Panasonic Intellectual Property Corporation Of America Notification method, notification device, and terminal
US20180173220A1 (en) * 2016-12-21 2018-06-21 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
US20180217590A1 (en) * 2017-01-27 2018-08-02 Seiko Epson Corporation Display device and control method for display device
US20180281950A1 (en) * 2017-03-28 2018-10-04 Seiko Epson Corporation Head mounted display and method for maneuvering unmanned vehicle
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN112105559A (zh) * 2018-11-30 2020-12-18 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012749B2 (ja) 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
US9459620B1 (en) * 2014-09-29 2016-10-04 Amazon Technologies, Inc. Human interaction with unmanned aerial vehicles
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
EP3438775A1 (en) * 2016-03-31 2019-02-06 Nikon Corporation Flight device, electronic device and program
JP6699944B2 (ja) * 2017-03-27 2020-05-27 東芝情報システム株式会社 表示システム
US10678238B2 (en) * 2017-12-20 2020-06-09 Intel IP Corporation Modified-reality device and method for operating a modified-reality device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140208145A1 (en) * 2012-03-25 2014-07-24 Jose Piccolotto Methods and apparatus for saving power
CN105915249A (zh) * 2015-02-23 2016-08-31 金永权 搭载有无人飞行器的移动通信终端
WO2017022179A1 (ja) * 2015-08-06 2017-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
CN107428411A (zh) * 2015-08-06 2017-12-01 松下电器（美国）知识产权公司 无人飞行体、飞行控制方法、飞行控制程序及操纵器
US20180164807A1 (en) * 2015-09-04 2018-06-14 Panasonic Intellectual Property Corporation Of America Notification method, notification device, and terminal
CN105460217A (zh) * 2015-12-03 2016-04-06 北京奇虎科技有限公司 一种基于无人飞行器的续拍方法和无人飞行器
US20180173220A1 (en) * 2016-12-21 2018-06-21 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
US20180217590A1 (en) * 2017-01-27 2018-08-02 Seiko Epson Corporation Display device and control method for display device
US20180281950A1 (en) * 2017-03-28 2018-10-04 Seiko Epson Corporation Head mounted display and method for maneuvering unmanned vehicle
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN112105559A (zh) * 2018-11-30 2020-12-18 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112105559A (zh) * 2018-11-30 2020-12-18 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Also Published As

Publication number Publication date
US11492115B2 (en) 2022-11-08
JP6821864B2 (ja) 2021-01-27
US20210031916A1 (en) 2021-02-04
JPWO2020110293A1 (ja) 2021-02-15
WO2020110293A1 (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US11733692B2 (en) Systems and methods for controlling an unmanned aerial vehicle
US9158305B2 (en) Remote control system
US10377487B2 (en) Display device and display control method
CN107205111B (zh) 摄像装置、移动装置、摄像***、摄像方法和记录介质
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
JP2019039892A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
US11422370B2 (en) Head mounted display symbology concepts and implementations, associated with a reference vector
CN112119013A (zh) 显示控制***、显示控制装置及显示控制方法
JP6831949B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
JP6890759B2 (ja) 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
US10326985B2 (en) Display system and method for an aircraft
US12019441B2 (en) Display control system, display control device and display control method
US11669088B2 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
JP2020155067A (ja) 制御プログラム、制御方法及び無人移動体
KR101804240B1 (ko) 무인항공기 외부조종사 지원 시스템
JP2022028894A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
KR102019942B1 (ko) 시뮬레이션 멀미 탐지 및 조종객체 제어 장치와 방법
US20220100211A1 (en) Information processing apparatus and method
CN117678235A (zh) 可移动平台的控制方法、头戴式设备、***和存储介质
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
EP4295205A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Rakuten, Inc.