CN110494915B - 电子装置及其控制方法和计算机可读介质 - Google Patents
电子装置及其控制方法和计算机可读介质 Download PDFInfo
- Publication number
- CN110494915B CN110494915B CN201880023865.6A CN201880023865A CN110494915B CN 110494915 B CN110494915 B CN 110494915B CN 201880023865 A CN201880023865 A CN 201880023865A CN 110494915 B CN110494915 B CN 110494915B
- Authority
- CN
- China
- Prior art keywords
- range
- display
- content
- video
- accordance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G5/00—Devices in which the computing operation is performed by means of fluid-pressure elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
根据本发明的电子装置的特征在于,包括:显示控制单元,其被配置为进行控制,以将VR内容的一部分的范围作为显示范围显示在显示单元上,并且被配置为能够改变所述显示范围的位置,其中,所述显示控制单元进行控制,使得在作为显示对象的VR内容的一部分是非视频范围的情况下,将所述VR内容的一部分的范围显示为显示范围,并且显示表示所述VR内容的视频范围和非视频范围之间的位置关系的引导。
Description
技术领域
本发明涉及电子装置、电子装置的控制方法、程序和存储介质,并且特别地涉及用于显示具有宽视频范围的图像的控制方法。
背景技术
近年来,能够拍摄包含比人类视场角(viewing angle)更宽的视频的图像(诸如全向图像或全天球图像等)的摄像设备越来越普遍。还已知有如下的方法,这些方法用于通过将包含这种宽范围视频的图像的一部分显示在显示器上、并且改变要显示在显示器上的视频的范围(显示范围)以跟随摄像设备的姿势的变化,来进行具有高沉浸感或高逼真感的显示。
专利文献1提出了如下的视频显示***,该视频显示***在利用头戴式显示器(HMD)观看全天球照相机所拍摄到的视频时,检测用户的视线方向,并且根据该视线方向来显示预定范围的视频数据。
现有技术文献
专利文献
专利文献1:日本特开2017-22665
发明内容
发明要解决的问题
在生成要显示在HMD等上的视频内容时,摄像设备在拍摄该内容时可以使用各种拍摄视角(angle of view),并且在编辑该内容时可以改变该视角。因此,视频内容可以不包含整个圆周360度(全向)的视频,并且可以仅包含整个圆周的一部分的范围(例如,垂直120度或水平220度)中的视频。由于这种视频内容的有效视频范围在圆周360度上不连续,因此在该视频存在的范围(有效视频范围)中存在端部,并且超过端部的区域构成非视频范围。将这种视频内容的一部分显示为显示范围的可想到的方法包括:使显示范围移动得超过有效视频范围的一个端部;在该移动的处理中显示非视频范围;以及在使显示范围沿相同方向进一步移动时显示另一端部侧的有效视频范围。
然而,在显示超过有效视频范围的一个端部的非视频范围时,对于与非视频范围相对应的部分,用户难以辨别是由于视频包含在非视频范围中因而未显示视频、还是由于显示处理中的某种异常而导致未显示视频。另外,在要隐藏超过有效视频范围的一个端部的非视频范围时,用户难以辨别显示范围是由于到达了有效视频范围的端部还是由于发生了显示处理中的某种异常而未改变。
在包含具有比人类视场角更宽的范围的视频的视频内容中,非视频范围经常位于在假定有效视频范围的中央在前方的情况下的后方或正下方,并且位于直接面向有效视频范围的中央的用户难以指引他或她的视线的方向上。然而,如上所述,为了在显示超过一个端部的非视频范围之后显示另一端部的有效视频范围,在非视频范围宽的情况下,必须长时间显示非视频范围。长时间显示非视频范围产生了必须长时间采取难以指引视线的姿势的问题、以及难以辨别正显示哪个范围的问题。相反,使显示范围沿相反方向移动并显示另一端部的有效视频范围可以使得更容易辨别正显示哪个范围,同时可以更容易地执行。
考虑到这一点,本发明提供使得能够在具有宽视频范围的内容包含非视频范围的情况下进行更合适的显示的电子装置、电子装置的控制方法、程序和存储介质。
用于解决问题的方案
根据本发明的一种电子装置,包括:显示控制单元,其被配置为进行控制,以将VR内容的一部分的范围作为显示范围显示在显示单元上,并且被配置为能够改变所述显示范围的位置,其中,所述显示控制单元进行控制,使得在作为显示对象的VR内容的一部分是非视频范围的情况下,将所述VR内容的一部分的范围显示为显示范围,并且显示表示所述VR内容的视频范围和非视频范围之间的位置关系的引导。
发明的效果
根据本发明,在具有宽视频范围的内容包含非视频范围的情况下,可以进行更合适的显示。
附图说明
图1是电子装置100的结构框图。
图2是电子装置100的外观图。
图3是电子装置100可安装至的VR护目镜的外观图。
图4是VR显示处理的流程图。
图5示出VR显示处理中的显示范围的位置关系和显示示例。
图6示出VR显示处理中的显示范围的位置关系和显示示例。
图7是VR显示处理的其它示例的流程图。
具体实施方式
图1示出作为本发明可应用于的显示控制设备的示例的电子装置100的结构的示例。电子装置100可以使用诸如智能电话等的显示设备来配置。
在图1中,CPU 101、存储器102、非易失性存储器103、图像处理单元104、显示器105、操作单元106、存储介质I/F 107、外部I/F 109和通信I/F 110连接至内部总线150。另外,音频输出单元112和姿势检测单元113也连接至内部总线150。连接至内部总线150的各个单元被配置为能够经由内部总线150彼此交换数据。
CPU 101是控制整个电子装置100的控制单元,并且由至少一个处理器构成。存储器102由例如RAM(诸如使用半导体元件的易失性存储器等)构成。CPU 101通过例如根据非易失性存储器103中所存储的程序使用存储器102作为工作存储器,来控制电子装置100的各个单元。非易失性存储器103存储图像数据和音频数据、其它数据、以及使得CPU 101能够工作的各种程序等。非易失性存储器103由例如闪速存储器或ROM构成。
在CPU 101的控制下,图像处理单元104对非易失性存储器103或存储介质108中所存储的图像、经由外部I/F 109获取到的视频信号、以及经由通信I/F 110获取到的图像等进行各种图像处理。图像处理单元104所进行的图像处理包括A/D转换处理和D/A转换处理、以及图像数据的编码处理、压缩处理、解码处理、放大/缩小处理(调整大小)、降噪处理和颜色转换处理等。图像处理单元104还进行全向图像的、或者在不是全向的情况下具有宽范围的数据的宽范围图像的各种图像处理(诸如全景展开、映射处理和转换等)。图像处理单元104可以由用于进行特定图像处理的专用电路块构成。另外,根据图像处理的类型,CPU 101可以在不使用图像处理单元104的情况下根据程序进行图像处理。
显示器105在CPU 101的控制下显示图像和构成GUI(图形用户界面)的GUI画面等。CPU 101控制电子装置100的各个单元,以根据程序生成显示控制信号,并且生成要显示在显示器105上的视频信号并将该视频信号输出至显示器105。显示器105基于所输出的视频信号来显示视频。可选地,电子装置100自身的组件可以被限制成直到用于输出显示器105所要显示的视频信号的接口为止,并且显示器105可以由外部监视器(诸如电视机等)构成。
操作单元106是用于接受用户操作的输入装置,其示例包括诸如键盘等的字符信息输入装置、诸如鼠标或触摸面板等的指点装置、按钮、拨盘、操纵杆、触摸传感器、以及触摸板。在这种情况下,触摸面板是指以平面方式被配置成与显示器105重叠并且根据所触摸的位置来输出坐标信息的输入装置。
存储介质I/F 107被配置成使得诸如存储卡、CD或DVD等的存储介质108可安装到该存储介质I/F 107,并且在CPU 101的控制下,存储介质I/F 107从所安装的存储介质108读取数据并向该存储介质108写入数据。外部I/F 109是使用有线线缆或以无线方式要连接至外部装置以进行视频信号和音频信号的输入和输出的接口。通信I/F 110是用于与外部装置和因特网111等进行通信以发送和接收诸如文件和命令等的各种类型的数据的接口。
音频输出单元112输出运动图像和音乐数据的音频、键盘点击声、铃声、以及各种通知声音等。尽管假定音频输出单元112包括耳机等要连接至的音频输出端子112a、以及扬声器112b,但可选,可以通过无线电通信等进行音频输出。
姿势检测单元113检测电子装置100相对于重力方向的姿势。基于姿势检测单元113所检测到的姿势,可以判断电子装置100是水平地保持、垂直地保持、指向上方、指向下方、还是采取倾斜姿势。作为姿势检测单元113,可以使用加速度传感器、陀螺仪传感器、地磁传感器和姿势传感器等至少之一,或者可以组合使用多个传感器。
操作单元106包括触摸面板106a。CPU 101能够检测针对触摸面板106a的以下操作或者触摸面板106a的以下状态。
·先前未触摸触摸面板106a的手指或触笔新触摸触摸面板106a的状态,或者换句话说,触摸的开始(以下称为触及(touch-down))
·触摸面板106a正被手指或触笔触摸的状态(以下称为触摸持续(touch-on))
·手指或触笔在与触摸面板106a触摸的同时正在移动的状态(以下称为触摸移动(touch-move))
·先前触摸触摸面板106a的手指或触笔从触摸面板106a分离的状态,或者换句话说,触摸的结束(以下称为触摸停止(touch-up))
·什么也没有正触摸触摸面板106a的状态(以下称为未触摸(touch-off))
在检测到触及时,同时检测到触摸持续。通常,在触及之后,除非检测到触摸停止,否则继续检测到触摸持续。在检测到触摸移动时,同时同样检测到触摸持续。即使在检测到触摸持续时,除非触摸位置移动,否则未检测到触摸移动。在检测到先前触摸的所有手指或触笔的触摸停止时,检测到未触摸。
经由内部总线向CPU 101通知上述的操作或状态、以及手指或触笔触摸触摸面板106a的位置坐标,并且基于所通知的信息,CPU 101判断在触摸面板106a上进行了何种操作(触摸操作)。关于触摸移动,可以基于位置坐标的变化针对触摸面板106a上的垂直分量和水平分量各自来确定正在触摸面板106a上移动的手指或触笔的移动方向。在检测到预定距离以上的触摸移动的情况下,判断为进行了滑动操作。将涉及在保持手指触摸触摸面板106a的同时使手指在触摸面板106a上快速移动了一定距离、然后松开手指的操作称为轻拂。换句话说,轻拂是手指快速划过触摸面板106a仿佛在触摸面板106a上拂过一样的操作。在检测到以预定速度以上的预定距离以上的触摸移动之后检测到触摸停止的情况下,可以判断为进行了轻拂(可以判断为在滑动操作之后发生了轻拂)。此外,将涉及同时触摸多个位置(例如,两个点)并使各个触摸位置彼此靠近的触摸操作称为捏合,而将各个触摸位置彼此远离的触摸操作称为分开。将分开和捏合统称为捏分操作(或简称为捏分)。作为触摸面板106a,可以使用采用包括电阻膜***、电容***、表面声波***、红外***、电磁感应***、图像识别***和光学传感器***的各种***中的任何***的触摸面板。可以采用在与触摸面板接触时检测到触摸的***和在手指或触笔接近触摸面板时检测到触摸的***中的任何***。
图2示出电子装置100的外观图的示例。显示器105是用于显示图像和各种类型的信息的显示单元。显示器105是与如上所述的触摸面板106a一体地构造的,并且被配置为能够检测对显示器105的显示面的触摸操作。如图所示,操作单元106包括操作单元106b、106c、106d和106e。操作单元106b是用于接受在将电子装置100的电源接通和断开之间切换的操作的电源按钮。操作单元106c和操作单元106d是用于增大和减小从音频输出单元112输出的音频的音量按钮。操作单元106e是用于使主画面显示在显示器105上的主按钮。
图3是电子装置100可安装至的VR护目镜(头戴式适配器)的外观图。通过将电子装置100安装到VR护目镜,电子装置100也可用作头戴式显示器。***口301是电子装置100要***的***口。通过使显示器105的显示面朝向用于将VR护目镜固定到用户的头部的头带302侧(换句话说,朝向用户),可以将整个电子装置100***到VR护目镜中。通过佩戴以这种方式安装有电子装置100的VR护目镜,用户可以在不必用手保持电子装置100的情况下,在VR护目镜戴在用户的头部上的状态下观看电子装置100的显示器105。在这种情况下,在用户移动他或她的头部或整个身体时,电子装置100的姿势也改变。姿势检测单元113检测此时的电子装置100的姿势变化,并且CPU 101基于该姿势变化来进行(后面要说明的)VR显示处理。在这种情况下,姿势检测单元113对电子装置100的姿势的检测等同于对用户的头部的姿势(用户的视线朝向的方向)的检测。
电子装置100能够在显示器105上进行VR图像(VR内容)的VR显示。
假定VR图像是可以进行VR显示的图像。假定VR图像包括全向照相机(全天球照相机)所拍摄到的全向图像(全天体图像)、以及具有比在显示单元上可以一次显示的显示范围更宽的视频范围(有效视频范围)的全景图像。除照相机所拍摄到的图像之外,假定VR图像(VR内容)甚至包括使用计算机图形(CG)所创建的图像,只要可以进行这些图像的VR显示即可。VR图像除包括静止图像之外,还包括运动图像和实时取景图像(从照相机近似实时地获取到的图像)。VR图像具有与在垂直方向(垂直角度、从天顶起的角度、仰角、俯角或高度角)上为360度且在水平方向(水平角度或方位角度)上为360度的视场相对应的最大视频范围(有效视频范围)。另外,假定VR图像包括如下的图像:即使在该图像的视场在垂直方向上小于360度且在水平方向上小于360度的情况下,该图像也具有比通常照相机可以拍摄的视角更宽的宽视角(视场范围)、或者具有比在显示单元中可以一次显示的显示范围更宽的宽视频范围(有效视频范围)。例如,全天球照相机所拍摄到的图像是一种VR图像,该全天球照相机能够拍摄与在水平方向上(水平角度或方位角度)为360度且在以天顶为中心的垂直方向上为210度的视场(视角)相对应的被摄体。换句话说,如下的图像是一种VR图像,该图像具有与在垂直方向和水平方向这两者上都为180度(±90度)以上的视场相对应的视频范围、并且具有比人类一次可以观看的范围更宽的视频范围。通过进行VR图像的VR显示,沿水平转动方向改变姿势使得能够观看在水平方向(水平转动方向)无缝的全向视频。在垂直方向(垂直转动方向)上,尽管可以在相对于正上方(天顶)的±105度的范围内观看无缝的全向视频,但从正上方起超过105度的范围构成不存在视频的空白区域。VR图像可被描述为“视频范围是虚拟空间(VR空间)的至少一部分的图像”。
VR显示是指如下的显示方法,该显示方法显示VR图像中的、与姿势检测单元113所检测到的电子装置100的姿势相对应的视场范围的视频,并且该显示方法可以改变显示范围。在观看安装到VR护目镜的电子装置100时,要显示与用户的头部的姿势相对应的视场范围的视频。例如,假定正显示VR图像中的、在某个时间点处视场角(视角)以水平方向上的0度(诸如北等的特定方位)且垂直方向上的90度(从天顶起的90度、或者换句话说水平)为中心的视频。在电子装置100的姿势的前后从该状态反转时(例如,在显示面从面向南改变为面向北时),显示范围改变为同一VR图像中的、视场角以水平方向上的180度(诸如南等的相反方位)且垂直方向上的90度(水平)为中心的视频。这意味着,在用户正在观看安装至VR护目镜的电子装置100的情况下,在用户将他/她的头部从朝北转向朝南时(换句话说,在用户转身时),电子装置100上所显示的视频也从北向的视频改变为南向的视频。这种VR显示使得能够向用户提供仿佛用户从视觉上存在于VR图像的内部(VR空间的内部)的感觉。
图4示出电子装置100所进行的VR显示处理的流程图。在CPU 101将非易失性存储器103中所记录的程序在存储器102上展开并执行该程序时,实现该处理。在接通电子装置100的电源、从存储介质108上所记录的图像和从通信目的地获取到的图像中选择VR图像(VR内容)、并且指定多个显示方法中的通过VR显示的显示的情况下,图4所示的处理开始。
在S401中,CPU 101从存储介质108或经由通信I/F的通信目的地加载作为显示对象的VR图像。另外,CPU 101获取作为VR图像的属性信息所附加的表示视频范围(有效视频范围)的信息。表示有效视频范围的信息是指描述VR图像中所包括的有效视频的在垂直方向和水平方向上的角度范围的信息。表示有效视频范围的信息仅需是使得能够指定VR图像的有效视频范围的信息,并且可以是由视角、视场角、方位角、仰角、俯角、高度角或球面角等表示的角度信息、或者诸如垂直和水平的像素数或坐标等的位置信息。可选地,表示有效视频范围的信息可以是用于拍摄VR图像的照相机的型号信息(可以通过指定型号来指定可拍摄范围)、以及与拍摄期间的变焦有关的信息等。在CPU 101获取到表示有效视频范围的信息时,CPU 101还基于与垂直360度和水平360度的差来识别(计算)无效视频范围(非视频范围)。相反,可以从VR图像的属性信息获取表示无效视频范围的信息,并且可以从表示无效视频范围的信息计算有效视频范围,或者可以从VR图像的属性信息获取表示有效视频范围的信息和表示无效视频范围的信息这两者。
在S402中,CPU 101获取姿势检测单元113所检测到的姿势(与姿势有关的信息)。
在S403中,基于S402中所获取到的姿势,CPU 101暂定计算VR图像中的表示要显示的范围的显示范围(计算暂定显示范围)。在随后的处理中,判断是否应实际显示S403中所计算出的暂定显示范围的视频。
在S404中,CPU 101判断从暂定显示范围起直到无效视频范围为止的距离是否在作为阈值的预定距离内(预定量内)。在该距离在预定距离内的情况下,处理进入S406,但在该距离大于预定距离的情况下,处理进入S405。将参考图5的(a1)来说明S404的处理。在图5的(a1)中,有效视频范围501表示映射在二维平面上的VR图像中的整个有效视频范围。用灰色示出的无效视频范围502表示在360度的整个水平范围(所有方向)和180度的垂直范围中的、VR图像中的并非有效视频范围的区域(非视频范围)。该区域不包括视频,并且尝试显示该区域会导致用黑色或灰色等将该区域单色地显示为空白区域。显示范围503表示VR图像中的当前(在姿势改变之前)正显示在显示器105上的范围。在显示范围503处于图5的(a1)所示的位置时,在显示器105上进行诸如图5的(a2)所示的显示等的显示。暂定显示范围504表示从显示范围503起移动了姿势检测单元113所检测到的姿势的变化量的视角。S404中所判断出的从暂定显示范围起直到无效视频范围为止的距离包括以下的值。
·暂定显示范围504的右端部和有效视频范围501的右端部之间的距离a1
·暂定显示范围504的上端部与有效视频范围501的上端部之间的距离a2
·暂定显示范围504的左端部和有效视频范围501的左端部之间的距离a3
·暂定显示范围504的下端部和有效视频范围501的下端部之间的距离a4
应当注意,有效视频范围501的端部是与有效视频范围501和无效视频范围502之间的边界接触的部分。在距离a1~a4中的任何距离等于或短于作为阈值的距离Ath的情况下,处理进入S406,否则处理进入S405。阈值Ath例如是作为显示范围503的在横向方向上的宽度的约30%的长度,并且距离a1~a4中的任何距离等于或短于阈值Ath表示:如果显示范围沿相同方向进一步移动,则不久将到达有效视频范围的端部。尽管由于在该示例中使用二维平面图、因此已经说明了将距离与阈值进行比较的示例作为S404的处理,但S404的处理不限于此。仅需要判断暂定显示范围504的端部和有效视频范围501的端部是否已彼此接近,并且可以将表示有效视频范围501的端部的角度和表示暂定显示范围504的端部的角度之间的角度差与阈值进行比较。另外,尽管已经说明了将所有的距离a1~a4都与作为阈值的距离Ath进行比较的示例,但该示例并非限制性的。例如,可以仅将距离a1~a4中的最短距离与距离Ath进行比较,并且在该最短距离等于或短于距离Ath的情况下,处理可以进入S406,否则处理可以进入S405。此外,根据从姿势变化之前的显示范围503向着在姿势变化之后计算出的暂定显示范围504的移动方向,可以不使用距离a1~a4中的在暂定显示范围504的端部与有效视频范围的端部分离的方向上的距离来进行判断。在所示示例中,可以不将距离a3与阈值Ath进行比较。此外,代替将所有的距离a1~a4都与相同阈值进行比较,可以将距离a1~a4各自与不同阈值进行比较。例如,可以将水平方向上的距离a1和a3与距离Ath1进行比较,并且在距离a1和a3等于或短于距离Ath1的情况下,处理可以进入S406。可以将垂直方向上的距离a2和a4与距离Ath2(<Ath1)进行比较,并且在距离a2和a4等于或短于距离Ath2的情况下,处理可以进入S406。否则,处理可以进入S405。因此,在随后的处理中,在作为人可以更容易地转动他或她的头部的方向的水平方向上的姿势变化的情况下,与在垂直方向上的姿势变化的情况下相比,更早地引起用户注意到显示范围即将到达有效视频范围的端部这一事实。
在S405中,CPU 101将显示范围更新为S403中所计算出的暂定显示范围,并且将更新后的显示范围的视频显示在显示器105上。另外,由于该情形是在S404中未判断为到无效视频范围的距离在预定距离内的情况,因此不显示范围引导。在姿势的变化之前显示了范围引导的情况下,CPU 101隐藏该范围引导。后面将说明范围引导。
图5的(a1)示出S405的情形中的VR图像中的显示范围503的位置关系,并且图5的(a2)示出这种情况下的显示示例。图5的(a1)所示的暂定显示范围504是在从S405中所显示的显示范围503起存在进一步的顺时针的姿势变化的情况下计算出的暂定显示范围的示例。因此,在S405中,假定未获取到图5的(a1)所示的位置处的暂定显示范围504。显示范围503的右端部和有效视频范围501的右端部之间的距离大于阈值Ath,并且是大的距离(同样的说明适用于其它距离)。图5的(a2)是在显示器105上进行与图5的(a1)中的显示范围503相对应的位置的VR显示的情况下的显示示例。由于未显示(后面要说明的)范围引导510,因此不妨碍VR图像的视觉识别。
在S406中,CPU 101判断暂定显示范围504的任何端部(边)是否到达有效视频范围的一个端部。换句话说,这是与距离a1~a4中的任何距离是否变为零有关的判断。在暂定显示范围504的任何端部(边)到达了有效视频范围的一个端部的情况下,处理进入S408,否则处理进入S407。
在S407中,CPU 101将显示范围更新为S403中所计算出的暂定显示范围,并且将更新后的显示范围的视频显示在显示器105上。另外,由于该情形是在S404中判断为到无效视频范围的距离在预定距离内的情况,因此CPU 101显示范围引导作为到无效视频范围的距离现在在预定距离内这一事实的通知。
图5的(b1)示出S407的情形中的VR图像中的显示范围503的位置关系,并且图5的(b2)示出这种情况下的显示示例。显示范围503已从图5的(a1)起进一步向右移动,并且尽管显示范围503未到达有效视频范围501的端部,但显示范围503的右端部和有效视频范围501的右端部之间的距离等于或短于阈值Ath并且是短距离。图5的(b2)是在显示器105上进行与图5的(b1)中的显示范围503相对应的位置的VR显示的情况下的显示示例。将范围引导510显示成叠加在图像的VR显示上。范围引导510表示360度的圆周中的、有效视频范围(阴影部分511)、当前正进行VR显示的显示范围(白色部分512)和无效视频范围(黑色部分513)。通过观看范围引导510,用户可以识别整个VR图像中的哪个范围(位置关系)是当前显示的范围(显示范围)。在图5的(b2)所示的示例中,白色部分512在黑色部分513附近,由此表示如果视线(显示范围)进一步向右移动、则不久将到达无效视频范围。
图5的(b2)中的范围引导510示出水平方向360度中的有效视频范围、无效视频范围和显示范围。另外,可以单独显示表示垂直方向上360度或180度中的有效视频范围、无效视频范围和显示范围的范围引导。换句话说,可以显示用于水平方向的范围引导510和用于垂直方向的范围引导这两者。此外,由于显示两个范围引导会妨碍对进行VR显示的图像的视觉识别,因此可以根据紧前的姿势变化的方向来动态地切换用于水平方向的范围引导510和用于垂直方向的范围引导,以显示这些范围引导其中之一或者不显示这些范围引导。例如,在由于紧前的姿势变化而导致作为显示范围503和有效视频范围501之间的在水平方向上的距离的距离a1或距离a3变得等于或短于阈值Ath的情况下,可以显示用于水平方向的范围引导510,并且可以隐藏用于垂直方向的范围引导。另外,在由于紧前的姿势变化而导致作为显示范围503和有效视频范围501之间的在垂直方向上的距离的距离a2或距离a4变得等于或短于阈值Ath的情况下,可以显示用于垂直方向的范围引导,并且可以隐藏用于水平方向的范围引导510。因此,用户可以掌握当前正观看的范围(显示范围)相对于几乎到达有效视频范围的端部的方向的位置关系。可选地,可以将从紧前姿势起的移动矢量的在水平方向上的分量和在垂直方向上的分量彼此比较,并且可以显示更大的移动分量的范围引导。
在S408中,CPU 101判断暂定显示范围504超过有效视频范围501的量是否大于阈值Bth(预定量)。图5的(c1)示出在暂定显示范围504超过有效视频范围501的情况下的位置关系的示例。在S408中,CPU 101判断表示暂定显示范围504超过有效视频范围501的量的距离b是否大于阈值Bth。在距离b超过阈值Bth的情况下,处理进入S410,否则处理进入S409。暂定显示范围504超过有效视频范围501的量(从有效视频范围501的端部起的超出量)更具体是指以下。
·暂定显示范围504的右端部超过有效视频范围501的右端部的情况(换句话说,a1<0的情况):暂定显示范围504的右端部和有效视频范围501的右端部之间的距离
·暂定显示范围504的上端部超过有效视频范围501的上端部的情况(换句话说,a2<0的情况):暂定显示范围504的上端部和有效视频范围501的上端部之间的距离
·暂定显示范围504的左端部超过有效视频范围501的左端部的情况(换句话说,a3<0的情况):暂定显示范围504的左端部和有效视频范围501的左端部之间的距离
·暂定显示范围504的下端部超过有效视频范围501的下端部的情况(换句话说,a4<0的情况):暂定显示范围504的下端部和有效视频范围501的下端部之间的距离
阈值Bth是由无效视频范围的宽度(有效视频范围的宽度)确定的变量,并且被假定为在显示范围的移动方向上的无效视频范围的宽度和显示范围的宽度的总和。换句话说,在超出量达到阈值Bth时,暂定显示范围变为与有效视频范围的正好相对侧的端部接触的范围。
在S408中,尽管判断暂定显示范围504超过有效视频范围501的量是否大于阈值Bth(预定量),但这等同于判断姿势的变化量是否超过阈值。换句话说,该判断等同于判断从显示范围503与有效视频范围501的端部接触的状态起的在特定转动方向上的电子装置100的姿势变化是否是以引起超出量达到Bth的变化量发生的。特定转动方向上的姿势变化是引起暂定显示范围504在暂定显示范围504超过有效视频范围的方向上移动的变化。因此,S408的判断可以是基于姿势所进行的判断。
在S409中,CPU 101将显示范围更新为在从移动之前的显示范围到S403中所计算出的暂定显示范围的方向上与有效视频范围501的端部接触的范围、而不是S403中所计算出的暂定显示范围。另外,CPU 101将VR图像中的更新后的显示范围的视频显示在显示器105上。此外,由于该情形是在S404中判断为到无效视频范围的距离在预定距离内的情况,因此CPU 101显示范围引导。
图5的(c1)示出S409的情形中的VR图像中的显示范围503的位置关系,并且图5的(c2)示出这种情况下的显示器105上的显示示例。显示范围503已从图5的(b1)起进一步向右移动且已到达有效视频范围501的端部,并且显示范围503的右端部和有效视频范围501的右端部彼此接触。尽管由于电子装置100的紧前的姿势变化而导致如图5的(c1)所示暂定显示范围504延伸到有效视频范围501的外部,但将显示范围503设置为与有效视频范围501的右端部接触的范围、而不是暂定显示范围504。换句话说,即使用户改变电子装置的姿势以使显示范围503向右移动,显示范围503也暂时停止在显示范围503抵接有效视频范围501的右端部的位置,并且除非在S408和S410中判断为“是”,否则该显示范围不进一步移动。例如,在用户正观看安装至VR护目镜的电子装置100时,可以通过将用户的头部向右转动来使显示范围向右移动(可以观看VR图像的右侧)。然而,在显示范围到达有效视频范围的右端部时,显示范围的移动(视频的向左滚动)暂时停止,并且除非在S408和S410中判断为“是”,否则即使用户的头部进一步向右转动,显示范围也不改变。
图5的(c2)是在显示器105上进行与图5的(c1)中的显示范围503相对应的位置的VR显示的情况下的显示示例。将范围引导510显示成叠加在图像的VR显示上。在范围引导510中,表示显示范围的白色部分与表示无效视频范围的黑色部分接触,由此使得能够识别出显示范围已到达有效视频范围的端部这一事实。另外,CPU 101在显示范围503的四个边中的、与作为同有效视频范围501接触的边的右边相对应的图5的(c2)的右边上显示端部指示符520。端部指示符520是在沿着正进行VR显示的VR图像的端部(显示器105的显示区域的端部)的区域中所显示的半透过或非透过的显示对象。端部指示符520意味着显示有端部指示符520的边的至少一部分已到达有效视频范围的端部。通过查看端部指示符520,在图5的(c2)所示的示例中,用户可以识别出,即使在显示范围进一步向右移动时,也不存在视频。此外,如上所述,即使在电子装置100的姿势改变时,显示范围的移动(视频的向左滚动)也在有效视频范围的端部处暂时停止。在这种情况下,在仅观看所显示的视频(图像)时,存在如下的可能性:用户可能误解为显示范围的移动由于某种处理异常(诸如由于处理能力不足所引起的丢帧、或者故障等)而已停止。另外,即使显示范围的移动在有效视频范围的端部处未暂时停止,用户也难以判断空白区域的显示是由于包括无效视频范围、还是由于发生了因为显示处理中的某种异常因而一部分无法显示的区域所引起的。然而,由于在本实施例中在这种情况下显示端部指示符520,因此用户可以正确地识别出空白区域的显示不是处理异常、而是由于显示范围到达有效视频范围的端部而发生的正常操作。此外,由于不显示与无效视频范围相对应的空白状态(不显示与有效视频范围无关的黑色部分等),因此可以将VR显示的质量维持在高水平。显示空白状态(显示与有效视频范围无关的黑色部分等)存在减弱观看者对空白状态的虚拟现实的感觉的风险,并且可能会抑制用户的沉浸感。相反,在本实施例中,由于即使在存在无效视频范围时也不显示与无效视频范围相对应的区域,因此可以防止抑制沉浸感。
应当注意,在显示范围到达有效视频范围的端部的情况下显示的通知不限于显示端部指示符520。根据显示范围到达有效视频范围的端部,可以改变范围引导510的显示形式(通过闪烁显示或颜色的改变),可以显示诸如“你已到达端部”等的消息,或者可以显示其它显示项(例如,可以显示通知图标)。另外,可以通过不显示范围引导510直到显示范围到达有效视频范围的端部为止、并且一旦显示范围到达有效视频范围的端部就显示范围引导510,来通知到达了有效视频范围的端部这一事实。从防止抑制用户的沉浸感的观点来看,与显示诸如端部指示符520等的覆盖一边的显示对象相比,通过改变范围引导的显示形式或者显示不覆盖一边的其它显示项的通知更合适。此外,由于显示范围已到达有效视频范围的端部这一事实也可以通过范围引导510来识别,因此正因为已到达端部因而可以不显示诸如端部指示符520等的附加显示对象。相反,从明确地通知停止显示范围的移动的原因的角度来看,可以显示端部指示符520,并且可以根据从有效视频范围的暂定显示范围的超出量来改变端部指示符520的显示,诸如超出量越大,端部指示符520的面积越大。在显示范围到达有效视频范围的端部、并且进一步发出用以将显示范围改变为超过该端部的区域的指示(由于姿势改变或用户操作等引起的指示)的情况下,发生暂定显示范围的超出。另外,诸如端部指示符520等的到达端部的通知可以不仅仅在显示范围到达有效视频范围的端部时进行,而且可以在暂定显示范围超过有效视频范围的端部时、或者换句话说在存在姿势的变化使得显示超过该端部的区域时进行。在这种情况下,在即使当显示范围已到达有效视频范围的端部、姿势也不改变并且稳定的情况下,不进行通过端部指示符520等的到达端部的通知。
在S410中,CPU 101判断无效视频范围的在从移动之前的显示范围到S403中所计算出的暂定显示范围的移动方向上的宽度是否窄于阈值Cth(特定量)。尽管在将VR图像映射到二维平面时无效视频范围的宽度可以由像素数、长度或距离表示,但无效视频范围的宽度也可以由采用视角、视场角、方位角、仰角、俯角、高度角或球面角等的形式的角度信息来表示。因此,S410的判断中所使用的阈值Cth可以是像素数、长度或距离的阈值Cth、或者角度信息的阈值Cth。例如,假定阈值Cth是显示范围的在移动方向上的宽度。在无效视频范围的宽度窄于阈值Cth的情况下,处理进入S411,否则处理进入S409。
图6的(a1)和图6的(b1)示出在显示范围的移动方向为向右的情况下的无效视频范围的宽度、以及作为阈值Cth的示例的显示范围的宽度的比较例。图6的(a1)和图6的(b1)都示出以无效视频范围为中心的映射到二维平面上的VR图像。图6的(a1)和图6的(b1)在VR图像的水平方向上的有效视频范围上彼此不同,并且假定图6的(a1)所示的VR图像与图6的(b1)所示的VR图像相比具有更宽的有效视频范围(更窄的无效视频范围)。图6的(a1)和图6的(b1)中的宽度c表示无效视频范围的在水平方向上的宽度(长度)。在图6的(a1)中,无效视频范围的在水平方向上的宽度c窄于显示范围503的在水平方向上的宽度X1(=Cth)。因此,假定在显示器105上显示与图6的(a1)所示的显示范围503相对应的范围,则如图6的(a2)所示,显示有效视频范围的至少一部分并且不会发生整个画面变为空白区域的情形。在这种情况下,在S410中判断为“是”。另一方面,在图6的(a2)中,无效视频范围的在水平方向上的宽度c宽于显示范围503的在水平方向上的宽度X1(=Cth)。因此,假定在显示器105上显示与图6的(b1)所示的显示范围503相对应的范围,则如图6的(b2)所示,整个画面变为空白区域。在这种情况下,在S410中判断为“否”。
在S410中判断为“否”的情况下,处理不进入S411,并且不论暂定显示范围向右移动多少,显示范围都不会移动到有效视频范围的相对端部。换句话说,不论用户使电子装置100的姿势沿相同方向改变多少,都不显示有效视频范围的相对端部。为了显示有效视频范围的相对端部,必须沿相反方向改变电子装置100的姿势。就电子装置100安装至VR护目镜的情况的示例而言,不论头部向右转动了多少,显示范围都不会超过有效视频范围的右端部。为了观看有效视频范围的左侧的区域,头部必须转向左侧。其原因是,由于无效视频范围的在水平方向上的宽度宽,因此在无效视频范围的任一侧的有效视频范围的右侧和左侧的视频的连续性(相关性)低。例如,在有效视频范围的右端部示出的被摄体(在图6的(b1)所示的示例中为具有白色墙壁的建筑物)的更右侧在有效视频范围的左端部未示出并且被切断。在这种情况下,根据涉及使头部向右转动的姿势变化来将显示从有效视频范围的右端部的范围切换到左端部的范围,这导致显示与在有效视频范围的右端部示出的被摄体的相关性低的视频(在图6的(b1)所示的示例中为不同的建筑物)。在用户观看到这样的显示变化时,存在如下的可能性:用户无法识别出所显示的变化量的左端部的范围的视频是用户紧前观看的右端部的范围的视频的更右侧的视频,并且用户可能感觉诸如沉浸感降低等的不适感。因此,在本实施例中,在无效视频范围的在移动方向上的宽度宽的情况下,显示范围不从有效视频范围的一个端部改变到相对端部。尽管已经说明了使用与显示范围的宽度相对应的量作为阈值Cth的示例,但作为代替,可以使用与固定角度相对应的量,诸如与270度相对应的量或与180度相对应的量等。另外,可以使用有效视频范围的宽度作为阈值Cth,诸如将无效视频范围的宽度与有效视频范围的宽度进行比较、并且在无效视频范围的宽度更宽的情况下防止显示范围超过有效视频范围的端部等。
在S411中,CPU 101将显示范围更新为有效视频范围中的、与移动之前的显示范围已接触的端部的相对侧的端部接触的范围,并且将VR图像中的更新后的范围的视频显示在显示器105上。在使用移动方向上的无效视频范围的宽度和显示范围的宽度的总和作为阈值Bth的情况下,与移动之前的显示范围已接触的端部的相对侧的端部接触的范围等同于设置有等于阈值Bth的超出量的暂定显示范围。此外,由于该情形是在S404中判断为到无效视频范围的距离在预定距离内的情况,因此CPU 101显示范围引导。
图5的(d1)示出S411的情形中的VR图像中的显示范围503的位置关系,并且图5的(d2)示出这种情况下的显示器105上的显示示例。尽管在图5的(c1)中显示范围503已与有效视频范围501的右端部接触,但作为电子装置100的姿势使得显示范围进一步向右移动的姿势变化的结果,在图5的(d1)中,显示范围503已变为与有效视频范围501的左端部(右端部的相对端部)接触的范围。图5的(d2)是在显示器105上进行与图5的(d1)中的显示范围503相对应的位置的VR显示的情况下的显示示例。将范围引导510显示成叠加在图像的VR显示上。在范围引导510中,表示显示范围的白色部分以相对于图5的(c2)所示的示例的反转位置关系与表示无效视频范围的黑色部分接触,由此使得能够识别出显示范围已移动到有效视频范围的相对端部这一事实。另外,不显示端部指示符520。这是因为,紧前的姿势变化不是使得显示范围在超过有效视频范围的左端部的方向上移动的变化。
在S408中判断为超出量已超过阈值Bth之后并且在S411中进行图5的(d2)的显示之前的某个点,可以进行通知显示范围已移动到有效视频范围的相对端部的动画显示。例如,如图6的(a2)所示,可以进行显示,使得移动之前的显示范围的视频601、空白区域602和移动之后的显示范围的视频603快速移动(滚动)到左侧,并且移动之后的显示范围的视频603通过从右侧起移动而出现。***这种显示使得用户能够更容易地识别出显示范围已移动到相对端部。应当注意,此时,由于显示范围通过无效视频范围,因此在范围引导510中显示范围与无效视频范围重叠。该重叠范围以使得能够将重叠范围与非重叠范围区分开的显示形式显示(在所示示例中,重叠范围用既非白色也非黑色的灰色显示)。
根据上述的VR处理,在用户改变电子装置的姿势以使显示范围503移动到右侧的情况下,显示范围503按图5的(a1)、图5的(b1)、图5的(c1)和图5的(d1)的顺序移动。在该移动处理中,尽管显示范围从图5的(a1)、图5的(b1)到图5的(c1)根据姿势的变化而平滑地改变,但是即使在姿势变化继续时,从图5的(c1)到图5的(d1),显示范围的移动也暂时停止。随后,在暂定显示范围的超出量达到阈值Bth的时间点,显示范围503从图5的(c1)移动到图5的(d1)。
尽管在上述的VR显示处理中已经说明了在显示范围在从有效视频范围的端部起的预定距离内的情况下显示范围引导510的示例,但可选地,在作为显示对象的VR图像中存在无效视频范围的情况下,可以显示范围引导510,而在不存在无效视频范围的情况下,可以隐藏范围引导510。换句话说,可以根据在作为显示对象的VR图像中是否存在无效视频范围来进行在显示和隐藏范围引导510之间的切换。
另外,尽管在上述的VR显示处理中说明了在显示范围在从有效视频范围的端部起的预定距离内的情况下显示范围引导510的示例,但可选地,不论显示范围是否在从有效视频范围的端部起的预定距离内,都可以显示范围引导510。换句话说,即使在显示范围与有效视频范围的端部分开了大于预定距离的情况下,也可以显示范围引导510。在即使当显示范围与有效视频范围的端部分开了大于预定距离时、也显示范围引导510的情况下,更为有利是根据显示范围移动到从有效视频范围的端部起的预定距离内来通过其它方法通知显示范围已接近该端部。例如,可以根据显示范围移动到从有效视频范围的端部起的预定距离内来显示诸如图标、消息或符号等的除范围引导510以外的显示项。可选地,根据显示范围移动到从有效视频范围的端部起的预定距离内,原本显示的范围引导510的显示形式可以从第一显示形式改变为第二显示形式(例如,通过闪烁或改变颜色)。
此外,在上述的VR显示处理中,已经说明了如下的示例:在显示范围到达有效视频范围的端部时,通过将显示范围保持于显示范围与端部接触的状态并且随后显示端部指示符520来通知显示范围已到达端部这一事实。然而,该示例并非限制性的,并且代替S409的处理,可以通过将显示范围移动到超过有效视频范围的端部直到无效视频范围的一部分为止、但不将无效视频范围显示得超过预定量(与后面要说明的Bmax相对应的量),来通知已到达有效视频范围的端部这一事实。
图6的(c1)示出这种情况下的有效视频范围和显示范围之间的位置关系。图6的(c1)表示如下情形下的位置关系的示例:存在电子装置100的姿势变化,并且从有效视频范围501起的暂定显示范围504的超出量b超过了显示范围503中所包括的无效视频范围的最大宽度Bmax。图6的(c2)是在显示范围503在图6的(c1)所示的位置的情况下的显示器105上的VR显示的显示示例。直到暂定显示范围504超过最大宽度Bmax为止,通过与包括无效视频范围的暂定显示范围相对应的范围来更新显示范围,并且显示更新后的显示范围的视频。通过用单色等填充空白区域来显示与显示范围中所包括的无效视频范围相对应的空白区域(超过有效视频范围的端部的区域)。换句话说,根据电子装置100的姿势变化,显示具有与姿势变化量相对应的宽度的空白区域,直到暂定显示范围504超过最大宽度Bmax为止。在暂定显示范围504超过最大宽度Bmax时,代替根据暂定显示范围来显示显示范围,将显示范围保持在如图6的(c1)所示不超过最大宽度Bmax的范围中,并且将从有效视频范围501起的超出量是最大宽度Bmax的范围显示为显示范围503。假定将最大宽度Bmax设置为比显示范围503的宽度小的值。在从有效视频范围501起的暂定显示范围504的超出量b超过了显示范围503中所包括的无效视频范围的最大宽度Bmax、但还未超过阈值Bth时,保持图6的(c1)所示的显示范围503,并且进行诸如图6的(c2)所示的显示等的显示。这种显示使得用户能够直观地理解超过当前显示的视频的端部的区域是空白区域并且在该空白区域中不存在视频。此时,由于显示范围与无效视频范围部分重叠,因此在范围引导510中显示范围与无效视频范围重叠。该重叠范围以使得能够将重叠范围与非重叠范围区分开的显示形式显示(在所示示例中,该重叠范围用既非白色也非黑色的灰色显示)。在从有效视频范围501起的暂定显示范围504的超出量b超过Bth的情况下,进行前面所述的处理。
尽管在上述的VR显示处理中已经说明了在显示范围在从有效视频范围的端部起的预定距离内的情况下显示范围引导的示例,但可选地,在显示范围的至少一部分包括无效视频范围时,可以显示范围引导。诸如在上述的最大宽度Bmax宽于显示范围的宽度的情况下等,可以允许设置仅包括无效视频范围的显示范围(不包括有效视频范围的显示范围)。在这种情况下,可以根据整个显示范围变为无效视频范围来显示范围引导。
尽管在上述的VR显示处理中已经说明了范围引导510表示有效视频范围、显示范围和无效视频范围的示例,但可选地,无需表示显示范围。只要表示了有效视频范围和无效视频范围,用户就可以识别出空白区域的显示是由于无效视频范围引起的、而不是处理异常。
<变形例>
代替参考图4所述的VR显示处理,可以进行图7所示的VR显示处理。图7所示的VR显示处理省略了图4中的S408和S411的处理,但作为代替,附加地包括S711。
S401~S409的处理与参考图4所述的处理相同。在S406中判断为暂定显示范围已到达有效视频范围的端部的情况下,进行S410的处理。
在S410中,CPU 101判断无效视频范围的宽度是否窄于阈值Cth。在无效视频范围的宽度窄于阈值Cth的情况下,处理进入S711,而在无效视频范围的宽度等于或宽于阈值Cth的情况下,处理进入S409。
在S409中,CPU 101进行与参考图4所述的处理相同的处理。换句话说,显示范围没有变为超过有效视频范围的端部的范围,并且在VR显示中不显示超过该端部的范围(无效视频范围)。
在S711中,CPU 101将显示范围更新为S403中所计算出的暂定显示范围,并且将更新后的显示范围的视频显示在显示器105上。在该情形下,显示范围包括作为超过端部的范围的无效视频范围。因此,在这种情况下,进行诸如图6的(c2)和图6的(a2)所示的显示等的显示。
根据图7所示的VR显示处理,在无效视频范围的宽度窄于阈值Cth的情况下,即使当存在暂定显示范围超过有效视频范围的端部的姿势变化时,显示范围的移动也不停止。根据图7所示的VR显示处理,在这种情况下,显示范围可以经由空白区域的显示平滑地移动到相对端部的有效视频范围。另一方面,在无效视频范围的宽度等于或宽于阈值Cth的情况下并且在暂定显示范围到达有效视频范围的端部的情况下,即使当在相同方向上存在进一步的姿势变化时,显示范围的移动也停止。如上所述,图7所示的VR显示处理的不同之处在于,根据无效视频范围的宽度是否窄于阈值Cth,显示超过显示范围的端部的空白区域,或者在不显示空白区域的情况下显示范围停止。
因此,例如,佩戴VR护目镜并且观看电子装置100的用户注意到即使用户正在向右转动他或她的头部、显示范围也不移动,快速地意识到即使通过进一步转动他或她的头也不会显示超出显示范围的范围,并且停止向右转动他或她的头部。具体地,用户意识到,在显示范围已停止之后他或她的头部进一步转动约10度的时间点,将不显示超过显示范围的范围,并且停止向右转动他或她的头部。因此,可以防止进行头部的无用转动操作(例如,在显示范围已停止之后将头部进一步转动了90度的操作)。
在电子装置100安装到VR护目镜并且用户面向前方时、有效视频范围的中央变为显示范围的情况下,无效视频范围的中央将在用户的后方。在无效视频范围窄的情况下(在无效视频范围的宽度窄于阈值Cth的情况下),在用户的后方也存在有效视频范围,并且值得用户转身。然而,在无效视频范围宽的情况下(在无效视频范围的宽度等于或宽于阈值Cth的情况下),由于在用户的后方不存在有效视频范围,因此用户转身几乎无意义。另外,为了从观看显示有效视频范围的右端部的右斜后方的状态起观看显示有效视频范围的相对端部的斜左后方,对于人体的构造而言,与转向后方并使视线进一步向右移动相比,通过经由正面转向左侧来移动视线更容易。因此,在如参考图7所述的处理中那样、无效视频范围宽并且向后转动几乎无意义的情况下,及时停止显示范围的移动以引导用户不进一步转向后方。因此,可以防止徒劳地进行诸如转向后方等的难以执行的操作,并且可以以舒适的方式观看VR显示。
在上述的实施例中,作为VR显示的示例,已经说明了进行在单个画面上一次显示一个显示范围的图像的单目VR显示的示例。然而,VR显示不限于单目VR显示。本发明也可应用于双目VR显示,其中在该双目VR显示中,在单个画面上的两个显示区域中显示一个显示范围,或者在单个画面上的两个显示区域中分别显示考虑到视差而略微偏移的两个显示范围。
另外,在上述的实施例中,尽管已经说明了将本发明应用于显示范围基于姿势检测单元113所检测到的电子装置100的姿势而移动的VR显示的示例,但本发明不限于此。本发明也可应用于不是基于姿势移动显示范围、而是基于用户的滚动指示操作移动显示范围的情况。例如,在不同于VR显示模式的其它显示模式中,显示范围可以不根据姿势的变化、而是根据用户对触摸面板106a的触摸移动或者针对诸如箭头键等的方向按钮的操作来移动(滚动)。即使在这种情况下,也可以根据滚动指示操作获得暂定显示范围,并且可以进行上述的图4中的S404~S411的处理或图7中的S404~S711的处理。换句话说,即使在通过触摸移动来移动显示范围的情况下,在显示范围接近或到达有效视频范围的端部时,也通知显示范围已接近或到达端部这一事实。此外,尽管在无效视频范围的宽度窄于预定宽度时、可以通过触摸移动将显示范围滚动到超过有效视频范围的端部,但在无效视频范围的宽度等于或宽于预定宽度时,通过触摸移动的显示范围的移动不会导致超过有效视频范围的端部。
根据上述的处理,在显示范围从不包括VR图像的有效视频范围的端部的位置到达该端部的情况下,进行控制以使得显示范围引导510或端部指示符520。结果,可以意识到显示范围不再进一步移动的原因是显示范围已到达有效视频范围的端部。因此,可以防止误识别为原因是诸如由于高负荷处理引起的处理能力下降、处理异常或者故障等的其它因素。
另外,根据上述的处理,进行控制,使得在无效视频范围的宽度窄于预定宽度时,显示范围可被改变成超过有效视频范围的端部而到达相对端部,但在无效视频范围的宽度等于或宽于预定宽度时,防止显示范围移动得超过有效视频范围的端部。结果,在无效视频范围窄的情况下,可以通过小的姿势变化来显示有效视频范围的相对端部的视频。另一方面,在无效视频范围宽的情况下,可以防止用户被迫进行诸如转向后方和使视线进一步移动大的量等的困难的姿势变化。
在包含比人类视场角更宽的范围的视频的VR内容中,非视频范围经常位于在假定有效视频范围的中央是前面的情况下的后方或正下方,并且位于直接面向有效视频范围的中央的用户难以指引他或她的视线的方向上。然而,为了在显示超过一个端部的非视频范围之后显示另一端部的有效视频范围,在非视频范围宽时,必须长时间显示非视频范围。长时间显示非视频范围要求长时间采取难以指引视线的姿势,并且使得难以辨别正显示哪个范围。相反,沿相反方向移动显示范围并显示另一端部的有效视频范围可以使得更容易辨别正显示哪个范围,同时可以更容易地进行。根据本实施例,由于在无效视频范围的宽度等于或宽于预定宽度时、显示范围不会移动得超过有效视频范围的端部,因此用户尝试通过沿相反方向移动显示方向来显示另一端部的有效视频范围。这样,可以抑制长时间显示非视频范围迫使长时间采取难以指引视线的姿势的情形、以及难以辨别正显示哪个范围的情形。以这种方式,可以在到达VR内容中所包括的视频范围的端部之后进行更合适的显示。
以上作为CPU 101所要进行的控制而描述的各种控制可以由一个硬件执行,或者多个硬件可以通过分担处理来控制整个设备。
另外,尽管已经基于本发明的优选实施例详细说明了本发明,但本发明不限于特定实施例,并且不构成偏离本发明的范围的各种模式也包括在本发明中。此外,上述的实施例仅仅表示本发明的示例,并且该实施例还可以与其它实施例组合。
此外,尽管在以上给出的实施例中已经说明了将本发明应用于作为智能电话等的电子装置100的示例,但本发明不限于该示例,并且可以应用于能够进行控制以显示VR图像的一部分的任何电子装置。显然,除智能电话之外,本发明还可应用于头戴式显示器(HMD)。此外,本发明可以应用于个人计算机、PDA、移动电话终端、移动图像查看器、配备有显示器的打印机设备和数字相框等。此外,本发明可以应用于音乐播放器、游戏装置、电子书阅读器、平板终端、智能电话、投影设备、以及配备有显示器的家用电器或车载设备等。
(其它实施例)
本发明还可以通过以下来实现:将实现上述的实施例的一个或多个功能的程序经由网络或存储介质供给至***或设备,并且使该***或设备内的计算机中的一个或多个处理器读取并执行该程序。可选地,本发明也可以由实现一个或多个功能的电路(例如,ASIC)实现。
附图标记说明
100:电子装置
101:CPU
113:姿势检测单元
Claims (20)
1.一种电子装置,包括:
检测单元,其被配置为检测所述电子装置的姿势;以及
显示控制单元,其被配置为进行控制,以根据所检测到的姿势将内容的一部分显示在画面上,
其中,所述电子装置的姿势能够被改变得超过所述内容的视角,
在所述内容的视角超过预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的姿势而到达所述内容的一个端部之后,根据所述特定方向上所检测到的进一步姿势变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部,以及
在所述内容的视角小于所述预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的姿势而到达所述内容的一个端部之后,不根据所述特定方向上所检测到的进一步姿势变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部。
2.根据权利要求1所述的电子装置,其中,
在所述内容的显示部分根据所述特定方向上所检测到的姿势而到达所述内容的所述一个端部之后,所述显示控制单元进行控制,以进行表示所述内容的显示部分已到达所述一个端部的显示。
3.根据权利要求1所述的电子装置,其中,
所述显示控制单元进行控制,以显示表示所检测到的姿势和所述内容的显示部分的位置之间的关系的项。
4.根据权利要求1所述的电子装置,其中,
在所述内容的视角小于所述预定角度的情况下,所述内容已被编辑以使得所述内容的视角小于所述预定角度。
5.根据权利要求1所述的电子装置,其中,
所述内容的视角取决于生成所述内容的摄像设备的类型。
6.根据权利要求1所述的电子装置,其中,
将所述内容显示在所述画面上的单个区域或多个区域中。
7.一种电子装置,包括:
检测单元,其被配置为检测用户的操作;以及
显示控制单元,其被配置为进行控制,以根据所检测到的操作将内容的一部分显示在画面上,
其中,所述操作能够指示以超过所述内容的视角进行改变,
在所述内容的视角超过预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的操作而到达所述内容的一个端部之后,根据所述特定方向上所检测到的进一步操作变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部,以及
在所述内容的视角小于所述预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的操作而到达所述内容的一个端部之后,不根据所述特定方向上所检测到的进一步操作变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部。
8.根据权利要求7所述的电子装置,其中,
所述画面安装有触摸传感器,并且所述操作为触摸移动。
9.根据权利要求7所述的电子装置,其中,
在所述内容的显示部分根据所述特定方向上所检测到的操作而到达所述内容的所述一个端部之后,所述显示控制单元进行控制,以进行表示所述内容的显示部分已到达所述一个端部的显示。
10.根据权利要求7所述的电子装置,其中,
所述显示控制单元进行控制,以显示表示所检测到的操作和所述内容的显示部分的位置之间的关系的项。
11.根据权利要求7所述的电子装置,其中,
在所述内容的视角小于所述预定角度的情况下,所述内容已被编辑以使得所述内容的视角小于所述预定角度。
12.根据权利要求7所述的电子装置,其中,
所述内容的视角取决于生成所述内容的摄像设备的类型。
13.根据权利要求7所述的电子装置,其中,
将所述内容显示在所述画面上的单个区域或多个区域中。
14.一种电子装置,包括:
检测单元,其被配置为检测所述电子装置的姿势;以及
显示控制单元,其被配置为进行控制,以将VR内容的一部分的范围作为显示范围显示在显示单元上,并且被配置为根据所述检测单元所检测到的姿势来改变所述显示范围的位置,
其中,在所述VR内容的一部分是非视频范围并且所述非视频范围窄于特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据所述电子装置的特定转动方向上的姿势变化而到达所述视频范围的一个端部之后,所述显示控制单元根据所述电子装置的所述特定转动方向上的进一步姿势变化来将所述显示范围从所述视频范围的所述一个端部改变为另一端部,以及
在所述VR内容的一部分是非视频范围并且所述非视频范围不窄于所述特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据所述电子装置的所述特定转动方向上的姿势变化而到达所述视频范围的一个端部之后,即使存在所述电子装置的所述特定转动方向上的进一步的姿势变化,所述显示控制单元也不将所述显示范围从所述视频范围的所述一个端部改变为另一端部。
15.一种电子装置,包括:
显示控制单元,其被配置为进行控制,以将VR内容的一部分的范围作为显示范围显示在显示单元上,并且被配置为根据用户的操作来改变所述显示范围的位置,
其中,在所述VR内容的一部分是非视频范围并且所述非视频范围窄于特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据预定操作的进行而到达所述视频范围的一个端部之后,所述显示控制单元根据所述预定操作的进一步进行来将所述显示范围从所述视频范围的所述一个端部改变为另一端部,以及
在所述VR内容的一部分是非视频范围并且所述非视频范围不窄于所述特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据所述预定操作的进行而到达所述视频范围的一个端部之后,即使存在所述预定操作的进一步进行,所述显示控制单元也不将所述显示范围从所述视频范围的所述一个端部改变为另一端部。
16.一种电子装置的控制方法,包括:
检测所述电子装置的姿势;以及
进行控制,以根据所检测到的姿势将内容的一部分显示在画面上,
其中,所述电子装置的姿势能够被改变得超过所述内容的视角,
在所述内容的视角超过预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的姿势而到达所述内容的一个端部之后,根据所述特定方向上所检测到的进一步姿势变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部,以及
在所述内容的视角小于所述预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的姿势而到达所述内容的一个端部之后,不根据所述特定方向上所检测到的进一步姿势变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部。
17.一种电子装置的控制方法,包括:
检测用户的操作;以及
进行控制,以根据所检测到的操作将内容的一部分显示在画面上,
其中,所述操作能够指示以超过所述内容的视角进行改变,
在所述内容的视角超过预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的操作而到达所述内容的一个端部之后,根据所述特定方向上所检测到的进一步操作变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部,以及
在所述内容的视角小于所述预定角度的情况下,在所述内容的显示部分根据特定方向上所检测到的操作而到达所述内容的一个端部之后,不根据所述特定方向上所检测到的进一步操作变化来将所述内容的显示部分从所述一个端部改变为所述内容的另一端部。
18.一种电子装置的控制方法,包括:
检测步骤,用于检测所述电子装置的姿势;以及
显示控制步骤,用于进行控制,以将VR内容的一部分的范围作为显示范围显示在显示单元上,并且根据所述检测步骤中所检测到的姿势来改变所述显示范围的位置,
其中,在所述VR内容的一部分是非视频范围并且所述非视频范围窄于特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据所述电子装置的特定转动方向上的姿势变化而到达所述视频范围的一个端部之后,在所述显示控制步骤中,根据所述电子装置的所述特定转动方向上的进一步姿势变化来将所述显示范围从所述视频范围的所述一个端部改变为另一端部,以及
在所述VR内容的一部分是非视频范围并且所述非视频范围不窄于所述特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据所述电子装置的所述特定转动方向上的姿势变化而到达所述视频范围的一个端部之后,在所述显示控制步骤中,即使存在所述电子装置的所述特定转动方向上的进一步的姿势变化,也不将所述显示范围从所述视频范围的所述一个端部改变为另一端部。
19.一种电子装置的控制方法,包括:
显示控制步骤,用于进行控制,以将VR内容的一部分的范围作为显示范围显示在显示单元上,并且根据用户的操作来改变所述显示范围的位置,
其中,在所述VR内容的一部分是非视频范围并且所述非视频范围窄于特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据预定操作的进行而到达所述视频范围的一个端部之后,在所述显示控制步骤中,根据所述预定操作的进一步进行来将所述显示范围从所述视频范围的所述一个端部改变为另一端部,以及
在所述VR内容的一部分是非视频范围并且所述非视频范围不窄于所述特定量的情况下,在所述显示范围在所述VR内容的视频范围中根据所述预定操作的进行而到达所述视频范围的一个端部之后,在所述显示控制步骤中,即使存在所述预定操作的进一步进行,也不将所述显示范围从所述视频范围的所述一个端部改变为另一端部。
20.一种存储有程序的计算机可读存储介质,所述程序使得计算机执行根据权利要求16至19中任一项所述的电子装置的控制方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017074483A JP7005160B2 (ja) | 2017-04-04 | 2017-04-04 | 電子機器及びその制御方法 |
JP2017-074483 | 2017-04-04 | ||
JP2017074496A JP7005161B2 (ja) | 2017-04-04 | 2017-04-04 | 電子機器及びその制御方法 |
JP2017-074496 | 2017-04-04 | ||
PCT/JP2018/002464 WO2018186004A1 (ja) | 2017-04-04 | 2018-01-26 | 電子機器及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110494915A CN110494915A (zh) | 2019-11-22 |
CN110494915B true CN110494915B (zh) | 2022-02-18 |
Family
ID=63712522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880023865.6A Active CN110494915B (zh) | 2017-04-04 | 2018-01-26 | 电子装置及其控制方法和计算机可读介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11100903B2 (zh) |
KR (1) | KR102278229B1 (zh) |
CN (1) | CN110494915B (zh) |
DE (1) | DE112018001867T5 (zh) |
GB (1) | GB2574780B (zh) |
WO (1) | WO2018186004A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021095307A1 (ja) * | 2019-11-13 | 2021-05-20 | キヤノン株式会社 | 表示装置 |
CN112492289A (zh) * | 2020-06-23 | 2021-03-12 | 中兴通讯股份有限公司 | 沉浸媒体数据的处理方法及装置、存储介质和电子装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3796776B2 (ja) * | 1995-09-28 | 2006-07-12 | ソニー株式会社 | 映像音声再生装置 |
CN104168407A (zh) * | 2013-03-26 | 2014-11-26 | 宏达国际电子股份有限公司 | 全景影像的拍摄方法 |
CN104280884A (zh) * | 2013-07-11 | 2015-01-14 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN104394451A (zh) * | 2014-12-05 | 2015-03-04 | 宁波菊风***软件有限公司 | 一种智能移动终端的视频呈现方法 |
CN104731337A (zh) * | 2009-08-18 | 2015-06-24 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
CN105229720A (zh) * | 2013-05-21 | 2016-01-06 | 索尼公司 | 显示控制装置、显示控制方法以及记录介质 |
WO2016013272A1 (ja) * | 2014-07-23 | 2016-01-28 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
CN105988219A (zh) * | 2015-03-17 | 2016-10-05 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN106303405A (zh) * | 2014-07-23 | 2017-01-04 | 威视恩移动有限公司 | 通过无线通信频道提供即时图像的方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5970872B2 (ja) * | 2012-03-07 | 2016-08-17 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
IES20120509A2 (en) * | 2012-11-27 | 2014-06-04 | Digitaloptics Corp Europe Ltd | Digital image capture device having a panorama mode |
US10070048B2 (en) * | 2013-03-26 | 2018-09-04 | Htc Corporation | Panorama photographing method, panorama displaying method, and image capturing method |
CN104714748A (zh) * | 2013-12-13 | 2015-06-17 | 三星电子株式会社 | 控制电子设备屏幕的方法和装置 |
JP6067625B2 (ja) * | 2014-07-02 | 2017-01-25 | 株式会社モリタ製作所 | 生体撮像装置 |
JP6344723B2 (ja) * | 2015-07-14 | 2018-06-20 | パナソニックIpマネジメント株式会社 | 映像表示システム、映像表示装置及び映像表示方法 |
KR101751840B1 (ko) | 2015-08-21 | 2017-06-28 | 대우조선해양 주식회사 | 멤브레인형 저장탱크의 코너부 단열벽, 그것을 포함하는 멤브레인형 저장탱크 및 액화천연가스 저장탱크의 단열시스템 |
CN105791695B (zh) * | 2016-03-30 | 2019-06-11 | 沈阳泰科易科技有限公司 | 全景图像的生成方法和装置 |
-
2018
- 2018-01-26 DE DE112018001867.9T patent/DE112018001867T5/de active Pending
- 2018-01-26 GB GB1914081.3A patent/GB2574780B/en active Active
- 2018-01-26 KR KR1020197031077A patent/KR102278229B1/ko active IP Right Grant
- 2018-01-26 CN CN201880023865.6A patent/CN110494915B/zh active Active
- 2018-01-26 WO PCT/JP2018/002464 patent/WO2018186004A1/ja active Application Filing
-
2019
- 2019-10-03 US US16/592,035 patent/US11100903B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3796776B2 (ja) * | 1995-09-28 | 2006-07-12 | ソニー株式会社 | 映像音声再生装置 |
CN104731337A (zh) * | 2009-08-18 | 2015-06-24 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
CN104168407A (zh) * | 2013-03-26 | 2014-11-26 | 宏达国际电子股份有限公司 | 全景影像的拍摄方法 |
CN105229720A (zh) * | 2013-05-21 | 2016-01-06 | 索尼公司 | 显示控制装置、显示控制方法以及记录介质 |
CN104280884A (zh) * | 2013-07-11 | 2015-01-14 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
WO2016013272A1 (ja) * | 2014-07-23 | 2016-01-28 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに画像表示システム |
CN106303405A (zh) * | 2014-07-23 | 2017-01-04 | 威视恩移动有限公司 | 通过无线通信频道提供即时图像的方法及*** |
CN104394451A (zh) * | 2014-12-05 | 2015-03-04 | 宁波菊风***软件有限公司 | 一种智能移动终端的视频呈现方法 |
CN105988219A (zh) * | 2015-03-17 | 2016-10-05 | 精工爱普生株式会社 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
Also Published As
Publication number | Publication date |
---|---|
KR102278229B1 (ko) | 2021-07-16 |
WO2018186004A1 (ja) | 2018-10-11 |
KR20190129982A (ko) | 2019-11-20 |
CN110494915A (zh) | 2019-11-22 |
DE112018001867T5 (de) | 2019-12-12 |
GB201914081D0 (en) | 2019-11-13 |
GB2574780B (en) | 2022-09-21 |
US20200035208A1 (en) | 2020-01-30 |
US11100903B2 (en) | 2021-08-24 |
GB2574780A (en) | 2019-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7005161B2 (ja) | 電子機器及びその制御方法 | |
CN108499105B (zh) | 在虚拟环境中进行视角调整的方法、装置及存储介质 | |
US11410276B2 (en) | Determination of an operation | |
US10466794B2 (en) | Gesture recognition areas and sub-areas for interaction with real and virtual objects within augmented reality | |
US20160292922A1 (en) | Display control device, display control method, and recording medium | |
KR20230106727A (ko) | 시선-기반 사용자 상호작용 | |
US20160291687A1 (en) | Display control device, display control method, and recording medium | |
JPWO2005119591A1 (ja) | 表示制御方法および装置、プログラム、並びに携帯機器 | |
CN108474950B (zh) | Hmd设备及其控制方法 | |
JP2015087824A (ja) | 画面操作装置および画面操作方法 | |
US10979700B2 (en) | Display control apparatus and control method | |
US11100903B2 (en) | Electronic device and control method for controlling a display range on a display | |
JP2022188192A (ja) | 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法 | |
JP6792721B2 (ja) | 電子機器、プログラム、制御装置および制御方法 | |
JP7005160B2 (ja) | 電子機器及びその制御方法 | |
JP7187307B2 (ja) | 電子機器及びその制御方法 | |
CN112308981A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114144753A (zh) | 图像处理装置、图像处理方法和记录介质 | |
CN111381750B (zh) | 电子装置及其控制方法和计算机可读存储介质 | |
US20200257396A1 (en) | Electronic device and control method therefor | |
US11036287B2 (en) | Electronic device, control method for electronic device, and non-transitory computer readable medium | |
JP7278773B2 (ja) | 電子機器及びその制御方法 | |
JP2021128234A (ja) | 電子機器及びその制御方法 | |
JP2021018742A (ja) | 制御装置、方法、プログラム、および情報処理システム | |
CN114424151A (zh) | 用于vr和ar环境中的基于手的用户交互的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |