CN112105559A - 显示控制***、显示控制装置及显示控制方法 - Google Patents

显示控制***、显示控制装置及显示控制方法 Download PDF

Info

Publication number
CN112105559A
CN112105559A CN201880093256.8A CN201880093256A CN112105559A CN 112105559 A CN112105559 A CN 112105559A CN 201880093256 A CN201880093256 A CN 201880093256A CN 112105559 A CN112105559 A CN 112105559A
Authority
CN
China
Prior art keywords
operator
aerial vehicle
unmanned aerial
display
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880093256.8A
Other languages
English (en)
Inventor
中泽满
岩濑裕章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of CN112105559A publication Critical patent/CN112105559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种能够适当地控制无人飞行器具备的摄像机所拍摄的图像的显示状态的显示控制***、显示控制装置及显示控制方法。传感数据获取部(60)获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像。判定部(62)根据与无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器。显示控制部(64)根据判定部(62)的判定结果，控制显示部中的飞行器拍摄图像的显示状态。

Description

显示控制***、显示控制装置及显示控制方法
技术领域
本发明涉及一种显示控制***、显示控制装置及显示控制方法。
背景技术
在使无人飞行器飞行时，为了确保该无人飞行器及其周围的安全，原则上该无人飞行器的操作者必须目视该无人飞行器。并且，在无人飞行器的操作者无法看见该无人飞行器的状况下，例如要求无人飞行器的操作者能够通过该无人飞行器具备的摄像机对周围拍摄出的图像(以下，称为飞行器拍摄图像)等，掌握该无人飞行器周围的状况。
作为将飞行器拍摄图像提示给该无人飞行器的操作者的技术的一例，在专利文献1中记载有一种远距离操作***，将根据安装在无人直升机上的全方位摄像机拍摄到的全方位图像所制作的操作用图像提示给操作者。
另外，在专利文献2中记载有，在操作者的头部所佩戴的头戴式显示器上显示无人飞行体的摄像机拍摄到的影像。
背景技术文献
专利文献
专利文献1：日本专利特开2003-267295号公报
专利文献2：日本专利特开2017-119501号公报
发明内容
[发明要解决的问题]
在无人飞行器的操作者能够看见该无人飞行器的状况下，希望尽可能地抑制向操作者提示飞行器拍摄图像，以不妨碍目视。另一方面，当出现无人飞行器的操作者无法看见该无人飞行器的状况时，必须解除该抑制。
关于这一点，在专利文献1记载的技术中，所述操作用图像一直被提示给操作者。另外，在专利文献2记载的技术中，无人飞行体的摄像机拍摄到的影像也始终显示在头戴式显示器上。
本发明鉴于所述问题而完成，目的之一在于提供一种能够适当地控制无人飞行器具备的摄像机所拍摄的图像的显示状态的显示控制***、显示控制装置及显示控制方法。
[解决问题的技术手段]
为了解决所述问题，本发明的显示控制***包含：图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器；及显示控制机构，根据所述判定机构的判定结果，控制显示部中的所述飞行器拍摄图像的显示状态。
在本发明的一形态中，所述显示控制机构根据所述判定机构的判定结果，对是否使所述飞行器拍摄图像显示在所述显示部进行控制。
或者，所述显示控制机构根据所述判定机构的判定结果，控制显示在所述显示部的所述飞行器拍摄图像的尺寸。
另外，在本发明的一形态中，所述判定机构根据所述无人飞行器与所述操作者之间的距离，判定该操作者能否看见该无人飞行器。
另外，在本发明的一形态中，所述判定机构根据所述飞行器拍摄图像，判定所述操作者能否看见所述无人飞行器。
另外，在本发明的一形态中，所述判定机构根据配置在所述操作者的头部的摄像机所拍摄的操作者拍摄图像，判定所述操作者能否看见所述无人飞行器。
另外，在本发明的一形态中，所述显示控制机构根据所述判定机构的判定结果，对所述操作者佩戴的头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
另外，在本发明的一形态中，所述判定机构根据所述操作者佩戴的头戴式显示器所具备的摄像机拍摄的操作者拍摄图像，判定所述操作者能否看见所述无人飞行器，且所述显示控制机构根据所述判定机构的判定结果，对所述头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
另外，在本发明的一形态中，还包含引导机构，所述引导机构在所述操作者能够看见所述无人飞行器且所述操作者没有目视所述无人飞行器的情况下，将引导所述操作者使其能够目视所述无人飞行器的引导信息提供给所述操作者。
另外，本发明的显示控制装置包含：图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器；及显示控制机构，根据所述判定机构的判定结果，控制显示部中的所述飞行器拍摄图像的显示状态。
另外，本发明的显示控制方法包含如下步骤：获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器；及根据所述判定步骤中的判定结果，控制显示部中的所述飞行器拍摄图像的显示状态。
附图说明
图1是表示本发明的一实施方式的显示控制***的整体构成的一例的图。
图2A是表示本发明的一实施方式的头戴式显示器的构成的一例的图。
图2B是表示本发明的一实施方式的无人飞行器的构成的一例的图。
图3是示意性地表示无人飞行器的位置与操作者的位置的关系的一例的图。
图4是表示本发明的一实施方式的头戴式显示器中装配的功能的一例的功能模块图。
图5是表示本发明的一实施方式的头戴式显示器中进行的处理的流程的一例的流程图。
具体实施方式
以下，一边参照附图，一边对本发明的一实施方式进行说明。
图1是表示本发明的一实施方式的显示控制***1的整体构成的一例的图。如图1所示，本实施方式的显示控制***1中包含头戴式显示器(HMD)10、无人飞行器12及操作终端14。
如图1所示，操作终端14与无人飞行器12能够相互通信。另外，HMD10与操作终端14能够相互通信。此外，HMD10与无人飞行器12也可以能够不经由操作终端14而直接相互通信。
HMD10是无人飞行器12的操作者可以佩戴在头部的显示器装置。此外，在以下说明中，本实施方式的HMD10设为影像穿透式(视频透视式)。因此，无人飞行器12的操作者能够通过下述摄像机部30拍摄的图像(以下，称为操作者拍摄图像)，在佩戴着HMD10的状态下看见实际空间的情况。
本实施方式的HMD10中，例如如图2A所示，包含处理器20、存储部22、通信部24、显示部26、传感器部28及摄像机部30。此外，HMD10中也可以包含扬声器等声音输出部。
处理器20例如是根据HMD10中安装的程序进行动作的微处理器等程序控制器件。
存储部22例如是ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、闪速存储器等存储元件等。在存储部22中存储由处理器20执行的程序等。
通信部24例如是无线LAN(Local Area Network，局域网)模块或Bluetooth(注册商标)模块等通信接口。
显示部26是配置在HMD10前侧的例如液晶显示器或有机EL(Electroluminescence，电致发光)显示器等显示器。本实施方式的显示部26例如可通过显示左眼用图像与右眼用图像而显示三维图像。此外，显示部26也可以只能显示二维图像而无法显示三维图像。
传感器部28例如是包含GPS(Global Positioning System，全球定位***)等GNSS(Global Navigation Satellite System，全球导航卫星***)接收机、加速度传感器或陀螺仪传感器等惯性传感器、地磁传感器等的器件。传感器部28能够测量HMD10的位置或姿势。传感器部28也可以将HMD10的位置或姿势等测量结果以指定的采样率输出至处理器20。
摄像机部30是包含1个或多个摄像机的器件，该摄像机拍摄HMD10的佩戴者的视野范围的图像即操作者拍摄图像。摄像机部30也可以用指定的采样率拍摄操作者拍摄图像。
无人飞行器12是没有人搭乘的飞行器，例如是利用电池或引擎驱动的无人飞行器(所谓无人机)。本实施方式的无人飞行器12也可以具备自主飞行功能。
本实施方式的无人飞行器12中，例如如图2B所示，包含处理器40、存储部42、通信部44、传感器部46及摄像机部48。此外，无人飞行器12中还包含螺旋桨、马达、电池等普通硬件，但此处省略。
处理器40例如是根据无人飞行器12中安装的程序进行动作的微处理器等程序控制器件。
存储部42例如是ROM、RAM、闪速存储器等存储元件等。在存储部42中存储由处理器40执行的程序等。
通信部44例如是无线LAN模块或Bluetooth模块等通信接口。
传感器部46例如是包含GPS等GNSS接收机、气压传感器、LIDAR(Light Detectionand Ranging，光探测与测距)、声波传感器等高度传感器、惯性传感器、风速传感器等的器件。传感器部46能够测量无人飞行器12的位置或姿势。传感器部46也可以将无人飞行器12的位置或姿势等测量结果以指定的采样率输出至处理器40。另外，通信部44也可以将该测量结果以指定的采样率发送至HMD10。
摄像机部48例如是包含对无人飞行器12的周围进行拍摄的1个或多个摄像机的器件。摄像机部48也可以包含例如能够对无人飞行器12的周围全方位地进行拍摄的全方位摄像机。以下，将无人飞行器12的摄像机部48拍摄的图像称为飞行器拍摄图像。摄像机部48也可以用指定的采样率拍摄飞行器拍摄图像。另外，通信部44也可以用指定的采样率将飞行器拍摄图像发送至HMD10。
本实施方式的操作终端14例如是用来操作无人飞行器12的机器。
在本实施方式中，例如，原则上将HMD10的摄像机部30拍摄的操作者拍摄图像显示在HMD10的显示部26。例如，设为无人飞行器12在图3所示的位置P1，且无人飞行器12的操作者在图3所示的位置P0。此处，设为位置P1与位置P0相距的距离比指定距离短，通过操作者拍摄图像能够看见无人飞行器12。在该情况下，HMD10的摄像机部30拍摄的操作者拍摄图像显示在HMD10的显示部26。因此，无人飞行器12的操作者可经由显示在显示部26的操作者拍摄图像而看见无人飞行器12。此外，在该情况下，无人飞行器12的摄像机部48拍摄的飞行器拍摄图像不显示在显示部26。
另一方面，设为无人飞行器12在图3所示的位置P2，且无人飞行器12的操作者在图3所示的位置P0。此处，设为位置P2与位置P0相距的距离比指定距离长，通过操作者拍摄图像无法看见无人飞行器12。在该情况下，无人飞行器12的摄像机部48拍摄的飞行器拍摄图像显示在显示部26。因此，无人飞行器12的操作者可经由显示在显示部26的飞行器拍摄图像而看见无人飞行器12的周围。此外，在该情况下，HMD10的摄像机部30拍摄的操作者拍摄图像不显示在显示部26。
另外，设为无人飞行器12在图3所示的位置P3，且无人飞行器12的操作者在图3所示的位置P0。此处，设为位置P3与位置P0相距的距离比指定距离短，但被存在于位置P3与位置P0之间的树50等障碍物遮挡，在位置P0，通过操作者拍摄图像无法看见无人飞行器12。在该情况下，无人飞行器12的摄像机部48拍摄的飞行器拍摄图像也显示在显示部26。因此，无人飞行器12的操作者可经由显示在显示部26的飞行器拍摄图像而看见无人飞行器12的周围。此外，在该情况下，HMD10的摄像机部30拍摄的操作者拍摄图像不显示在显示部26。
此外，也可以在HMD10的显示部26显示操作者拍摄图像与飞行器拍摄图像这两者。在该情况下，例如无人飞行器12在图3所示的位置P1时，也可以使操作者拍摄图像显示得比飞行器拍摄图像大。或者，也可以在显示部26的整个画面显示操作者拍摄图像，在显示部26的一部分划变显示飞行器拍摄图像。
另外，例如，无人飞行器12在图3所示的位置P2或位置P3时，也可以使飞行器拍摄图像显示得比操作者拍摄图像大。或者，也可以在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。
在使无人飞行器12飞行时，为了确保无人飞行器12及其周围的安全，原则上无人飞行器12的操作者必须目视无人飞行器12。并且，在无人飞行器12的操作者无法看见无人飞行器12的状况下，要求无人飞行器12的操作者能够通过飞行器拍摄图像等掌握无人飞行器12周围的状况。另外，即使在无人飞行器12能够自主飞行的情况下，操作者也看着无人飞行器12，根据状况从自主飞行切换成由操作者来进行操作，由此能够进一步确保安全。
在无人飞行器12的操作者能够看见无人飞行器12的状况下，希望尽可能地抑制向该操作者提示飞行器拍摄图像，以不妨碍目视。另一方面，当出现无人飞行器12的操作者无法看见无人飞行器12的状况时，必须解除该抑制。
在本实施方式中，随时判定是不是无人飞行器12的操作者能够看见该无人飞行器12的状况。并且，根据是不是无人飞行器12的操作者能够看见该无人飞行器12的状况来控制显示部26中的飞行器拍摄图像的显示状态。这样一来，根据本实施方式，能够适当地控制飞行器拍摄图像的显示状态。
此外，也考虑以下运用：操作者在能够看见的期间通过目视来操作无人飞行器12，当无法看见无人飞行器12时，操作者佩戴HMD10，一边观看飞行器拍摄图像一边进行操作。但是，在该情况下，对操作者来说，产生戴上或摘下HMD10的多余的工作，另外，会产生操作者无法进行操作的期间。根据本实施方式，无须进行这种运用。
以下，对本实施方式的HMD10的功能以及由本实施方式的HMD10执行的处理进一步进行说明。
图4是表示本实施方式的HMD10中装配的功能的一例的功能模块图。此外，无须在本实施方式的HMD10中装配图4所示的所有功能，另外，也可以装配图4所示的功能以外的功能。
如图4所示，在本实施方式的HMD10中，从功能上来说，例如包含传感数据获取部60、判定部62、显示控制部64及引导部66。传感数据获取部60主要装配处理器20、通信部24、传感器部28及摄像机部30。判定部62主要装配处理器20。显示控制部64、引导部66主要装配处理器20及显示部26。
以上功能也可以通过由处理器20执行作为计算机的HMD10中安装的包含与以上功能对应的指令的程序来装配。另外，该程序例如也可以经由光盘、磁盘、磁带、磁光盘等可由计算机读取的信息存储介质或者经由因特网等供给至HMD10。
在本实施方式中，传感数据获取部60例如获取与无人飞行器12及该无人飞行器12的操作者中的至少一个相关的传感数据。传感数据获取部60例如也可以获取表示HMD10的传感器部28或无人飞行器12的传感器部46的测量结果的传感数据。另外，传感数据获取部60获取的传感数据中也可以包含飞行中的无人飞行器12具备的摄像机部48所拍摄的飞行器拍摄图像。另外，传感数据获取部60获取的传感数据中也可以包含配置在无人飞行器12的操作者的头部的摄像机部30所拍摄的操作者拍摄图像。
另外，传感数据获取部60也可以用指定的采样率获取包含以指定的采样率产生的飞行器拍摄图像及操作者拍摄图像的传感数据。
在本实施方式中，判定部62例如根据与无人飞行器12及无人飞行器12的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器12。此处，例如，根据传感数据获取部60所获取的传感数据，判定操作者能否看见无人飞行器12。
另外，在本实施方式中，判定部62也可以根据无人飞行器12与操作者之间的距离，判定操作者能否看见无人飞行器12。此处，也可以将HMD10的位置视为操作者的位置。并且，判定部62也可以根据无人飞行器12的位置与HMD10的位置之间的距离，判定操作者能否看见无人飞行器12。
另外，判定部62也可以根据配置在操作者的头部的摄像机所拍摄的操作者拍摄图像，判定该操作者能否看见无人飞行器12。此处，例如，也可以根据由传感数据获取部60获取且由HMD10具备的摄像机部30拍摄的操作者拍摄图像，判定该操作者能否看见无人飞行器12。另外，例如，也可以根据操作者拍摄图像是否出现高光溢出，判定操作者能否看见无人飞行器12。
另外，判定部62也可以根据飞行器拍摄图像，判定操作者能否看见无人飞行器12。例如，判定部62也可以根据是否从传感数据获取部60所获取的飞行器拍摄图像中检测出HMD10的影像来判定操作者能否看见无人飞行器12。
另外，判定部62也可以根据是否从飞行器拍摄图像中检测出HMD10的操作者的影像代替HMD10的影像或者除了HMD10的影像以外还检测出HMD10的操作者的影像，来判定操作者能否看见无人飞行器12。例如，操作者面向与无人飞行器12所在的方向相反的方向时，HMD10位于从摄像机部48观察时***作者的头部遮住的死角的可能性较高。这种情况下，认为较之HMD10的影像，判定部62更容易从飞行器拍摄图像中检测操作者的影像。
另外，判定部62也可以在判定为操作者能够看见无人飞行器12的情况下，进一步判定该操作者是否目视着无人飞行器12。例如，判定部62也可以根据摄像机部30的视野(Field of View(FOV))的范围，判定操作者是否目视着无人飞行器12。
在本实施方式中，显示控制部64例如根据判定部62的判定结果，控制HMD10所具备的显示部26中的飞行器拍摄图像的显示状态。显示控制部64也可以根据判定部62的判定结果，对是否使飞行器拍摄图像显示在显示部26进行控制。此外，显示控制部64也可以显示无人飞行器12的速度、无人飞行器12的位置(纬度、经度及高度等)、从操作者到无人飞行器12的距离、到目的地的距离、电池余量等与无人飞行器12相关的信息。
在本实施方式中，引导部66例如在操作者能够看见无人飞行器12且操作者没有目视无人飞行器12的情况下，将引导操作者使其能够目视无人飞行器12的引导信息提供给操作者。例如，在判定部62判定为操作者能够看见无人飞行器12且该操作者没有目视无人飞行器12的情况下，也可以将引导信息提供给操作者。此处，例如引导部66也可以产生重叠有表示无人飞行器12所在的方向的箭头图像等引导图像的操作者拍摄图像。
此外，本实施方式中的操作者只要是处于能够操作无人飞行器12的状态的人即可，操作者无须实际操作无人飞行器12。例如在无人飞行器12具备自主飞行功能且能够切换自主飞行状态与非自主飞行状态的情况下，当无人飞行器12进行自主飞行时，持拿操作终端14的人相当于本实施方式中的操作者。
以下，一边参照图5所示的流程图，一边对由本实施方式的HMD10执行的处理的流程的一例进行说明。
另外，在本实施方式中，例如以相当于所述指定的采样率的指定帧率将图像显示在显示部26。并且，以该指定帧率反复执行S101～S108所示的处理。
首先，传感数据获取部60获取该帧中的传感数据(S101)。该传感数据中包含该帧中的飞行器拍摄图像及该帧中的操作者拍摄图像。
然后，判定部62根据S101所示的处理中所获取的传感数据，判定HMD10的位置与无人飞行器12的位置之间的距离是否在指定距离以下(S102)。此处，作为HMD10的位置，可以使用由传感器部28测量的位置或根据传感器部28的测量结果特定出的摄像机部30的位置等。另外，作为无人飞行器12的位置，可以使用由传感器部46测量的位置或根据传感器部46的测量结果特定出的摄像机部48的位置等。
另外，所述指定距离也可以根据显示部26的分辨率或视场角等设计值或摄像机部30的分辨率或视场角等设计值等预先决定。另外，所述指定距离可以是三维空间中的距离，也可以是水平面上将HMD10投影到该水平面的位置与将无人飞行器12投影到该水平面的位置之间的距离。
另外，在水平方向与高度方向上，所述指定距离也可以不同。例如，水平面上将HMD10投影到该水平面的位置与将无人飞行器12投影到该水平面的位置之间的距离可以特定为第1距离。另外，铅垂线上将HMD10投影到该铅垂线的位置与将无人飞行器12投影到该铅垂线的位置之间的距离可以特定为第2距离。并且，当第1距离在第1指定距离以下且表示第2距离的值在第2指定距离以下时，可以判定为HMD10的位置与无人飞行器12的位置之间的距离在指定距离以下。并且，当不是这种情况时，可以判定为HMD10的位置与无人飞行器12的位置之间的距离不在指定距离以下。
设为在S102所示的处理中判定为HMD10的位置与无人飞行器12的位置之间的距离在指定距离以下(S102：是)。在该情况下，判定部62判定是否从S101所示的处理中所获取的飞行器拍摄图像中检测出HMD10的影像(S103)。此处，可以使用众所周知的图像识别技术进行该检测。
设为在S103所示的处理中判定为从飞行器拍摄图像中检测出HMD10的影像(S103：是)。在该情况下，判定部62判定S101所示的处理中所获取的操作者拍摄图像是否出现高光溢出(S104)。此处，可以使用众所周知的图像处理技术进行该判定。
设为在S104所示的处理中判定为操作者拍摄图像出现了高光溢出(S104：是)。在该情况下，显示控制部64使S101所示的处理中所获取的飞行器拍摄图像显示在显示部26(S105)，并返回到S101所示的处理中。在S102所示的处理中判定为HMD10的位置与无人飞行器12的位置之间的距离不在指定距离以下时(S102：否)也一样，显示控制部64使该飞行器拍摄图像显示在显示部26(S105)，并返回到S101所示的处理中。另外，在S103所示的处理中判定为从飞行器拍摄图像中没有检测出HMD10的影像时(S103：否)也一样，显示控制部64使该飞行器拍摄图像显示在显示部26(S105)，并返回到S101所示的处理中。
设为在S104所示的处理中判定为操作者拍摄图像没有出现高光溢出(S104：否)。在该情况下，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(S106)。
此处，摄像机部30的视野范围例如指根据操作者头部的姿势、操作者的位置及摄像机部30的视场角等设计值特定出的三维空间内的锥台所占的范围。此外，操作者头部的姿势及操作者的位置例如根据传感器部28的测量结果而特定出。
此外，S106所示的处理中的摄像机部30的视野范围指不考虑障碍物的影响的视野范围。因此，例如，当无人飞行器12在图3所示的位置P3，且操作者从位置P0面向位置P3时，判定为无人飞行器12在摄像机部30的视野范围内。
此外，判定部62也可以根据能否从操作者拍摄图像中检测出无人飞行器12来判定无人飞行器12是否在视野范围内，代替像所述那样特定出摄像机部30的视野范围来进行所述判定。或者，判定部62也可以根据像所述那样特定出的摄像机部30的视野范围、及能否从操作者拍摄图像中检测出无人飞行器12来判定无人飞行器12是否在视野范围内。此处，无人飞行器12从操作者拍摄图像的检测可以使用众所周知的图像识别技术来进行。
设为在S106所示的处理中判定为无人飞行器12在摄像机部30的视野范围内(S106：是)。在该情况下，显示控制部64使S101所示的处理中所获取的操作者拍摄图像显示在显示部26(S107)，并返回到S101所示的处理中。
另一方面，设为在S106所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内(S106：否)。在该情况下，显示控制部64使重叠有引导操作者使其能够看见无人飞行器12的引导图像的操作者拍摄图像显示在显示部26(S108)，并返回到S101所示的处理中。
在S108所示的处理中，例如，引导部66也可以根据摄像机部30的视野范围与无人飞行器12的位置而特定出无人飞行器12所在的方向。该方向例如相当于为了使无人飞行器12处于摄像机部30的视野范围内而应该使摄像机部30移动的方向。并且，引导部66也可以产生重叠有表示特定出的方向的箭头图像即引导图像的操作者拍摄图像。例如，在无人飞行器12相对于摄像机部30的方向而言在左上方的情况下，可以产生重叠有朝向左上方的箭头图像即引导图像的操作者拍摄图像。并且，显示控制部64也可以使以这种方式产生的重叠有引导图像的操作者拍摄图像显示在显示部26。
在所述处理例中，在S102～S104所示的处理中，判定操作者能否看见该无人飞行器12。此处，例如，如果是以下状况，即，当使HMD10朝向适当的方向时操作者能够目视包含无人飞行器12的影像的操作者拍摄图像，那么判定为是操作者能够看见该无人飞行器12的状态。另一方面，如果是不管使HMD10朝向哪个方向，操作者均无法目视包含无人飞行器12的影像的操作者拍摄图像的状况，那么判定为不是操作者能够看见该无人飞行器12的状态。
在所述处理例中，一般地，S103所示的处理与S102所示的处理相比，处理负荷更高。另外，S104所示的处理与S102所示的处理相比，处理负荷更高。因此，在S102所示的处理中判定为HMD10的位置与无人飞行器12的位置之间的距离不在指定距离以下时，能够在不执行处理负荷较高的处理的情况下使飞行器拍摄图像显示在显示部26。
此外，S102～S104所示的处理的顺序并不限定于图5所示的顺序。S102～S104所示的处理也可以按照与图5所示的顺序不同的顺序执行。另外，无须执行S102～S104所示的所有处理。
另外，S102～S104所示的处理只不过是判定操作者能否看见该无人飞行器12的处理的一例，判定操作者能否看见该无人飞行器12的处理并不限定于S102～S104所示的处理。
另外，也可以不执行S106～S108所示的处理。在该情况下，例如，在S104所示的处理中判定为操作者拍摄图像没有出现高光溢出时，显示控制部64也可以使操作者拍摄图像显示在显示部26，并返回到S101所示的处理中。
另外，显示控制部64也可以根据判定部62的判定结果，控制显示在显示部26的飞行器拍摄图像的尺寸。例如在S107及S108所示的处理中，显示控制部64也可以操作者拍摄图像显示得比飞行器拍摄图像大的方式进行控制。并且，在该情况下，在S105所示的处理中，显示控制部64也可以飞行器拍摄图像显示得比操作者拍摄图像大的方式进行控制。
或者，例如在S107及S108所示的处理中，显示控制部64也可以如下方式进行控制，即，在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。并且，在该情况下，在S105所示的处理中，显示控制部64也可以如下方式进行控制，即，在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。
另外，当显示在显示部26的图像从飞行器拍摄图像切换成操作者拍摄图像时或者从操作者拍摄图像切换成飞行器拍摄图像时，HMD10也可以将所述内容通过显示输出或声音输出等通知给操作者。另外，在该情况下，例如，也可以是操作者能够选择是否切换图像。例如，HMD10也可以根据操作者的操作来切换显示在显示部26的图像。
另外，例如，在以指定次数连续地或者持续指定时间判定为操作者能够看见无人飞行器12的情况下，也可以将操作者拍摄图像显示在显示部26。另外，例如，在以指定次数连续地或者持续指定时间连续地判定为操作者无法看见无人飞行器12的情况下，也可以将飞行器拍摄图像显示在显示部26。此处，可以对所述指定次数或指定时间设置迟滞。例如，显示操作者拍摄图像时的指定次数与显示飞行器拍摄图像时的指定次数也可以不同。另外，例如，显示操作者拍摄图像时的指定时间与显示飞行器拍摄图像时的指定时间也可以不同。这样一来，能够防止显示的图像频繁切换。
另外，在S102所示的处理中，显示操作者拍摄图像时的指定距离与显示飞行器拍摄图像时的指定距离也可以不同。例如，显示飞行器拍摄图像时的指定距离也可以比显示操作者拍摄图像时的指定距离长。或者，显示操作者拍摄图像时的指定距离也可以比显示飞行器拍摄图像时的指定距离长。这样一来，能够防止显示的图像频繁切换。
另外，引导部66也可以产生如下引导图像，该引导图像除了箭头图像以外或者代替箭头图像而配置着「无人机在左上方飞行」「请朝向左上方」等表示引导操作者的句子的字串图像。并且，引导部66也可以产生重叠有该引导图像的操作者拍摄图像。另外，引导部66也可以除了引导图像的重叠以外或者代替引导图像的重叠而向操作者输出「无人机在左上方飞行」「请朝向左上方」等引导操作者的声音。
此外，本发明并不限定于所述实施方式。
例如，在以上的说明中，HMD10设为影像穿透式(视频透视式)的HMD10，但本发明在HMD10为光学穿透式(光学透视式)的HMD10的情况下也能够适用。此处，例如，显示控制部64也可以如下方式进行控制，即，在S105所示的处理中，使飞行器拍摄图像显示在显示部26，在S107或S108所示的处理中，不使飞行器拍摄图像显示在显示部26。以不使飞行器拍摄图像显示在显示部26的方式进行控制时，操作者能够看到透过显示部26的实际空间的情况。或者，也可以在S105所示的处理中，使飞行器拍摄图像显示得较大，在S107或S108所示的处理中，使飞行器拍摄图像显示得较小。如果抑制飞行器拍摄图像的显示，操作者就容易目视无人飞行器12。
此外，在该情况下，也可以在S106所示的处理中，使用操作者的视野范围来代替摄像机部30的视野范围。此处，操作者的视野范围例如可以根据操作者头部的姿势与所给的操作者的视角而特定出。另外，S102所示的处理中的指定距离也可以根据操作者的视力进行设定。另外，在该情况下，摄像机部30所拍摄的操作者拍摄图像也可以只在S104所示的处理中使用。
另外，在该情况下，显示控制部64也可以在S108所示的处理中，使引导图像AR(Augmented Reality，增强现实)显示在显示部26。
另外，在S107或S108所示的处理中，显示控制部64也可以使用来支援操作的信息AR显示在显示部26。在该情况下，希望该信息避开中央部配置或者以穿透度较高的状态配置，以不妨碍目视无人飞行器12。
另外，本发明的适用范围也不限定于HMD10。例如，操作者一边观看并非HMD10的显示器一边操作无人飞行器12的情景也能适用本发明。在该情况下，也可以代替HMD10的摄像机部30，而将设置在无人飞行器12的起飞地点或着陆地点的摄像机拍摄的图像用作操作者拍摄图像。另外，该摄像机无须为固定摄像机，例如也可以是操作者能够控制姿势的摄像机(云台摄像机等)。
另外，在本实施方式中，也可以在无人飞行器12或操作终端14中装配图4所示的功能的一部分或全部。
另外，所述具体字串或数值及附图中的具体字串或数值是例示，并不限定于这些字串或数值。

Claims (11)

1.一种显示控制***，其特征在于包含：
图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；
判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器；及
显示控制机构，根据所述判定机构的判定结果，控制显示部中的所述飞行器拍摄图像的显示状态。
2.根据权利要求1所述的显示控制***，其特征在于：
所述显示控制机构根据所述判定机构的判定结果，对是否使所述飞行器拍摄图像显示在所述显示部进行控制。
3.根据权利要求1所述的显示控制***，其特征在于：
所述显示控制机构根据所述判定机构的判定结果，控制显示在所述显示部的所述飞行器拍摄图像的尺寸。
4.根据权利要求1至3中任一项所述的显示控制***，其特征在于：
所述判定机构根据所述无人飞行器与所述操作者之间的距离，判定该操作者能否看见该无人飞行器。
5.根据权利要求1至4中任一项所述的显示控制***，其特征在于：
所述判定机构根据所述飞行器拍摄图像，判定所述操作者能否看见所述无人飞行器。
6.根据权利要求1至5中任一项所述的显示控制***，其特征在于：
所述判定机构根据配置在所述操作者的头部的摄像机所拍摄的操作者拍摄图像，判定所述操作者能否看见所述无人飞行器。
7.根据权利要求1至6中任一项所述的显示控制***，其特征在于：
所述显示控制机构根据所述判定机构的判定结果，对所述操作者佩戴的头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
8.根据权利要求1至5中任一项所述的显示控制***，其特征在于：
所述判定机构根据所述操作者佩戴的头戴式显示器具备的摄像机所拍摄的操作者拍摄图像，判定所述操作者能否看见所述无人飞行器，且
所述显示控制机构根据所述判定机构的判定结果，对所述头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。
9.根据权利要求1至8中任一项所述的显示控制***，其特征在于：
还包含引导机构，所述引导机构在所述操作者能够看见所述无人飞行器且所述操作者没有目视所述无人飞行器的情况下，将引导所述操作者使其能够目视所述无人飞行器的引导信息提供给所述操作者。
10.一种显示控制装置，其特征在于包含：
图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；
判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器；及
显示控制机构，根据所述判定机构的判定结果，控制显示部中的所述飞行器拍摄图像的显示状态。
11.一种显示控制方法，其特征在于包含如下步骤：
获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；
根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者能否看见该无人飞行器；及
根据所述判定步骤中的判定结果，控制显示部中的所述飞行器拍摄图像的显示状态。
CN201880093256.8A 2018-11-30 2018-11-30 显示控制***、显示控制装置及显示控制方法 Pending CN112105559A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/044181 WO2020110292A1 (ja) 2018-11-30 2018-11-30 表示制御システム、表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
CN112105559A true CN112105559A (zh) 2020-12-18

Family

ID=70854147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880093256.8A Pending CN112105559A (zh) 2018-11-30 2018-11-30 显示控制***、显示控制装置及显示控制方法

Country Status (3)

Country Link
JP (1) JP6831949B2 (zh)
CN (1) CN112105559A (zh)
WO (1) WO2020110292A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119013A (zh) * 2018-11-30 2020-12-22 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205792543U (zh) * 2015-02-23 2016-12-07 金永权 搭载有无人飞行器的移动通信终端
WO2017022179A1 (ja) * 2015-08-06 2017-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
CN107054677A (zh) * 2015-12-24 2017-08-18 松下电器（美国）知识产权公司 无人飞行器及其控制方法
CN107640317A (zh) * 2016-07-22 2018-01-30 松下知识产权经营株式会社 无人驾驶飞行器***
US20180164807A1 (en) * 2015-09-04 2018-06-14 Panasonic Intellectual Property Corporation Of America Notification method, notification device, and terminal
JP2018121267A (ja) * 2017-01-27 2018-08-02 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20180281950A1 (en) * 2017-03-28 2018-10-04 Seiko Epson Corporation Head mounted display and method for maneuvering unmanned vehicle
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN112119013A (zh) * 2018-11-30 2020-12-22 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
EP3438775A1 (en) * 2016-03-31 2019-02-06 Nikon Corporation Flight device, electronic device and program
JP6699944B2 (ja) * 2017-03-27 2020-05-27 東芝情報システム株式会社 表示システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205792543U (zh) * 2015-02-23 2016-12-07 金永权 搭载有无人飞行器的移动通信终端
WO2017022179A1 (ja) * 2015-08-06 2017-02-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
US20180164807A1 (en) * 2015-09-04 2018-06-14 Panasonic Intellectual Property Corporation Of America Notification method, notification device, and terminal
CN107054677A (zh) * 2015-12-24 2017-08-18 松下电器（美国）知识产权公司 无人飞行器及其控制方法
CN107640317A (zh) * 2016-07-22 2018-01-30 松下知识产权经营株式会社 无人驾驶飞行器***
JP2018121267A (ja) * 2017-01-27 2018-08-02 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US20180217590A1 (en) * 2017-01-27 2018-08-02 Seiko Epson Corporation Display device and control method for display device
US20180281950A1 (en) * 2017-03-28 2018-10-04 Seiko Epson Corporation Head mounted display and method for maneuvering unmanned vehicle
JP2018165066A (ja) * 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
CN112119013A (zh) * 2018-11-30 2020-12-22 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119013A (zh) * 2018-11-30 2020-12-22 乐天株式会社 显示控制***、显示控制装置及显示控制方法

Also Published As

Publication number Publication date
WO2020110292A1 (ja) 2020-06-04
US20210018911A1 (en) 2021-01-21
JP6831949B2 (ja) 2021-02-17
JPWO2020110292A1 (ja) 2021-02-15

Similar Documents

Publication Publication Date Title
US9158305B2 (en) Remote control system
JP6081092B2 (ja) 航空機内の合成ビジョンシステムを動作させる方法
US10377487B2 (en) Display device and display control method
EP3173847B1 (en) System for displaying fov boundaries on huds
JP2019039892A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
US11422370B2 (en) Head mounted display symbology concepts and implementations, associated with a reference vector
JP6831949B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
JP6821864B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
US10326985B2 (en) Display system and method for an aircraft
US12019441B2 (en) Display control system, display control device and display control method
US11409280B1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
WO2020105147A1 (ja) 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法
JP2022028894A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
KR20180060403A (ko) 영상 기반의 드론 제어장치
KR102019942B1 (ko) 시뮬레이션 멀미 탐지 및 조종객체 제어 장치와 방법
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
CN117678235A (zh) 可移动平台的控制方法、头戴式设备、***和存储介质
WO2022175385A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
CN111107277A (zh) 摄像辅助装置、摄像辅助方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Rakuten, Inc.