CN107765429B - 图像显示装置及其操作方法 - Google Patents

图像显示装置及其操作方法 Download PDF

Info

Publication number
CN107765429B
CN107765429B CN201710724019.4A CN201710724019A CN107765429B CN 107765429 B CN107765429 B CN 107765429B CN 201710724019 A CN201710724019 A CN 201710724019A CN 107765429 B CN107765429 B CN 107765429B
Authority
CN
China
Prior art keywords
image
image display
display device
external
display apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710724019.4A
Other languages
English (en)
Other versions
CN107765429A (zh
Inventor
辛炯宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107765429A publication Critical patent/CN107765429A/zh
Application granted granted Critical
Publication of CN107765429B publication Critical patent/CN107765429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种图像显示装置包括：成像设备；显示器；传感器，被配置为感测施加到所述图像显示装置的外力；存储器，被配置为存储至少一个指令；以及处理器，被配置为执行存储在存储器中的至少一个指令，以响应于在所述图像显示装置正操作在显示360°图像的虚拟现实模式中时感测到外力，激活成像设备并控制显示器显示由所述成像设备捕获的外部图像。

Description

图像显示装置及其操作方法
相关申请的交叉引用
本申请要求于2016年8月22日提交到韩国知识产权局的韩国专利申请 No.10-2016-0106179的优先权，通过全文引用将该韩国专利申请的公开合并在此。
技术领域
与示例性实施例一致的装置和方法涉及能够显示360°虚拟现实图像和实时取景(live-view)图像的图像显示装置、以及图像显示装置的操作方法。
背景技术
图像显示装置可以向用户提供各种类型的视频内容。
近来，图像显示装置已经以可穿戴形式实现，以根据用户的移动显示具有不同视角的图像。因此，图像显示装置可以再现360°图像，从而允许用户体验虚拟现实场景。然而，在用户佩戴图像显示装置时，用户可能会伤害他/她自己，这是因为图像显示装置可能占据用户的整个视野。
发明内容
示例性实施例至少解决上述问题和/或缺点以及上面没有描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且可能不会克服上述任何问题。
一个或多个示例性实施例提供一种图像显示装置以及一种操作该图像显示装置的方法，所述图像显示装置能够在感测到力被施加到其上时改变操作模式。
根据示例性实施例的方面，提供一种图像显示装置，包括：成像设备；显示器；传感器，被配置为感测施加到图像显示装置的外力；存储器，被配置为存储至少一个指令；以及处理器，被配置为执行所述至少一个指令，以响应于在所述图像显示装置正操作在显示360°图像的虚拟现实模式中时感测到外力，激活所述成像设备并控制所述显示器显示由所述成像设备捕获的外部图像。
处理器还可以被配置为执行所述至少一个指令，以响应于在图像显示装置正操作在显示外部图像的实时取景模式中时感测到外力，改变为虚拟现实模式。
传感器还可以被配置为通过感测施加到图像显示装置的第一击打并且在感测到第一击打之后的预设时间段内感测施加到图像显示装置的第二击打，来感测外力。
处理器还可以被配置为响应于感测到外力而激活语音识别功能以从用户接收语音，并且响应于从用户接收到语音来激活成像设备。
传感器还可以被配置为测量图像显示装置的移动速度，并且处理器可以被配置为通过将阈值与由传感器测量的移动速度的改变进行比较来确定外力是否被施加到图像显示装置。
处理器还可以被配置为执行所述至少一个指令以向外部图像添加与外部图像中包括的至少一个对象相关的静止图像或视频，并且控制显示器显示已经被添加了静态图像或视频的外部图像。
处理器还可以被配置为执行所述至少一个指令以：将360°图像和外部图像中的每一个划分为左眼图像和右眼图像；并且控制显示器将显示器的屏幕划分为第一子屏幕和第二子屏幕，以在第一子屏幕上显示360°图像的左眼图像和外部图像的左眼图像并且在第二子屏幕上显示360°图像的右眼图像和外部图像的右眼图像。
处理器还可以被配置为控制显示器基于360°图像的亮度调整外部图像的亮度。
外部图像的亮度可以被以预设时间间隔调整以逐渐接近外部图像的原始亮度。
处理器还可以被配置为执行所述至少一个指令以通过将360°图像映射到球面来生成球形360°图像，基于图像显示装置的移动来提取球形360°图像的局部区域，并且控制显示器显示所提取的局部区域。
图像显示装置还可以包括被配置为使所提取的局部区域变形的图形处理单元(GPU)，其中，处理器还可以被配置为控制显示器显示由GPU使得变形的局部区域。
根据另一示例性实施例的方面，提供一种图像显示装置的操作方法，包括：在图像显示装置正操作在显示360°图像的虚拟现实模式中时，感测施加到图像显示装置的外力；响应于感测到外力而激活成像设备；以及响应于感测到外力而显示由成像设备捕获的外部图像。
操作方法还可以包括：在图像显示装置正操作在显示外部图像的实时取景模式中时感测外力；以及响应于感测到外力而将实时取景模式改变为虚拟现实模式。
感测外力可以包括：感测施加到图像显示装置的第一击打；以及在感测到第一击打之后的预设时间段内感测施加到图像显示装置的第二击打。
激活成像设备可以包括：响应于感测到外力而激活语音识别功能；从图像显示装置的用户接收语音；以及响应于从用户接收的语音来激活成像设备。
感测外力可以包括：测量图像显示装置的移动速度；以及通过将阈值与所测量的移动速度的改变进行比较来确定是否将外力施加到图像显示装置。
显示外部图像可以包括：向外部图像添加与外部图像中包括的至少一个对象相关的图像；以及显示已经被添加了图像的外部图像。
显示外部图像可以包括：在基于360°图像的亮度调整外部图像的亮度之后显示外部图像；以及在将外部图像的亮度调整为逐渐接近外部图像的原始亮度之后显示外部图像。
操作在显示360°图像的虚拟现实模式中可以包括：通过将360°图像映射到球面来生成球形360°图像；以及基于图像显示装置的移动，显示球形 360°图像的局部区域。
根据另一示例性实施例的方面，提供一种存储程序的非暂时性计算机可读存储介质，所述程序可由计算机执行以执行图像显示装置的操作方法。
根据另一示例性实施例的方面，提供一种用于改变观看(view)模式的方法，所述方法包括：在图像显示装置正操作在虚拟现实模式中时，接收指示对图像显示装置进行人类触摸的输入；基于当进行人类触摸时发生的图像显示装置的移动来确定人类触摸的强度；以及响应于人类触摸的强度大于阈值，激活成像设备以捕获和显示外部图像。
该方法还可以包括：响应于已经在虚拟现实模式中再现的虚拟现实图像的亮度水平与要再现的外部图像的亮度水平之间的差异大于或等于预定值，调整外部图像的亮度水平以将该差异减小到小于预定值。
附图说明
通过参考附图描述某些示例性实施例，上述和/或其它方面将更加明显，其中：
图1是用于描述根据示例性实施例的图像显示装置的示意图；
图2是根据示例性实施例的图像显示装置的结构的框图；
图3A和图3B是根据示例性实施例的图像显示装置的图；
图4是根据另一示例性实施例的图像显示装置的图；
图5是根据示例性实施例的控制器的框图；
图6是用于描述根据示例性实施例的在虚拟现实模式中的图形处理单元 (GPU)的操作的图；
图7是用于描述根据示例性实施例的在实时取景模式中控制器的操作的图；
图8是用于描述根据另一示例性实施例的在实时取景模式中控制器的操作的图；
图9图示了根据示例性实施例的、传感器感测施加到图像显示装置的力的示例；
图10图示了根据示例性实施例的、控制器响应于感测到施加到图像显示设备的力而改变操作模式的示例；
图11是用于描述根据示例性实施例的控制器改变操作模式的操作的图；
图12是用于描述根据另一示例性实施例的控制器改变操作模式的操作的图；
图13图示了根据示例性实施例的、控制器控制显示器在调整外部图像的亮度之后显示外部图像的示例；
图14是根据示例性实施例的图像显示装置的详细结构的框图；
图15是根据示例性实施例的图像显示装置的操作方法的流程图；
图16是根据示例性实施例的、由图像显示装置使用来改变操作模式的方法的流程图；
图17是根据另一示例性实施例的、由图像显示装置使用来改变操作模式的方法的流程图；以及
图18是根据示例性实施例的、当图像显示装置的操作模式改变时由图像显示装置使用来调整显示在屏幕上的图像的亮度的方法的流程图。
具体实施方式
下面参考附图更详细地描述示例性实施例。
在下面的描述中，甚至在不同的附图中，相同的附图标记也用于相同的元件。提供说明书中定义的内容(诸如详细的构造和元件)，以帮助全面了解示例性实施例。然而，显而易见的是，可以在没有那些具体定义的内容的情况下实践示例性实施例。此外，不详细描述众所周知的功能或构造，因为它们将以不必要的细节使得描述难理解。
将理解，尽管术语“第一”和“第二”在此用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。因此，下面讨论的第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而不脱离本公开的教示。如在此所用的，术语“和/或”包括关联的列出的项中的一个或多个的任何和所有组合。诸如“至少一个”的表述当在元件列表之前时，修饰整个元件列表并且不修饰列表的单独元件。
当部件“包括”或“包含”元件时，除非存在与之相反的特定描述，否则该部件还可以包括其它元件，不排除其它元件。此外，本公开的实施例中的术语“单元”是指软件组件或诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的硬件组件，并且执行特定功能。然而，术语“单元”不限于软件或硬件。“单元”可以形成为在可寻址存储介质中，或者可以形成为操作一个或多个处理器。因此，例如，术语“单元”可以指诸如软件组件、面向对象的软件组件、类组件和任务组件的组件，并且可以包括处理、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、阵列或变量。由组件和“单元”提供的功能可以与较少数目的组件和“单元”相关联，或者可以分到附加组件和“单元”中。
图1是用于描述根据示例性实施例的图像显示装置10的示意图。
参见图1，根据示例性实施例的图像显示装置10可以操作在显示360°图像1的虚拟现实模式中。360°图像1可以是具有360°视角的图像。例如，可以通过连接使用至少一个相机在360°方向上捕获的至少一个图像来生成 360°图像1。此外，360°图像1可以是三维(3D)图像。
图像显示装置10可以根据用户的移动来提取和显示360°图像的局部图像。例如，图像显示装置10可以是由用户佩戴的头戴式显示器(HMD)装置，并且可以根据用户正在查看的方向提取和显示360°图像1的局部图像。
图像显示装置10也可以是诸如移动电话、智能电话、平板式个人计算机 (PC)、数码相机、摄录像机、膝上型计算机、桌上型计算机、电子书终端、数字广播终端、个人数字助理(PDA)和便携式多媒体播放器(PMP)的各种便携式装置中的任何一种。图像显示装置10可以与用户要佩戴在身体上的头戴设备(headset)装置组合。根据另一示例性实施例，图像显示装置10可以是虚拟现实头戴设备的一部分。
图像显示装置10可以操作在显示由成像设备捕获的外部图像3的实时取景模式中。在实时取景模式中，图像显示装置10可以允许用户看到图像显示装置10的图像传感器或相机镜头正看到的内容。外部图像3可以是例如实时图像、即时视图图像或实时取景图像。此外，在实时取景模式中，图像显示装置10可以通过在外部图像3上附加地显示与外部图像3中包括的至少一个对象相关的图像来提供增强现实图像。
如果图像显示装置10正操作在显示360°图像的虚拟现实模式中，则图像显示装置10的用户在佩戴图像显示装置10时可能无法识别用户的周围环境。因此，当检测到突然的外部影响或用户的环境的改变时，用户可能希望立即将虚拟现实模式改变为实时取景模式。在下文中，将描述图像显示装置 10的用于立即改变操作模式的操作。
图2是根据示例性实施例的图像显示装置10的结构的框图。
参见图2，图像显示装置10包括显示器11、传感器12、控制器13、成像设备14和存储器15。
显示器11接收由控制器13处理的图像信号，并将图像信号输出到显示区域。显示器11可以是等离子体显示面板(PDP)、液晶显示器(LCD)、有机发光显示器(OLED)、柔性显示器或透明显示器，或者可以是3D显示器。然而，显示器11不限于此，并且也可以是其它类型的显示设备。
根据示例性实施例的显示器11可以根据控制器13的控制输出360°图像的局部区域。此外，显示器11可以根据控制器13的控制输出由成像设备 14捕获的外部图像。
传感器12感测施加到图像显示装置10的力。传感器12可以是加速度传感器、陀螺仪传感器和位置传感器(例如，全球定位***(GPS))中的至少一个。
根据示例性实施例，传感器12可以通过将阈值与由至少一个传感器感测到的值进行比较来感测施加到图像显示装置10的力。
例如，传感器12可以经由加速度传感器感测关于图像显示装置10的移动速度的信息。当由加速度传感器感测的移动速度改变为大于或等于第一阈值时，传感器12可以确定力被施加到图像显示装置10。移动速度可以指示施加到图像显示装置10的力的强度。
替代地，传感器12可以经由陀螺仪传感器感测关于图像显示装置10的方位角的信息。具体地，当由陀螺仪传感器感测的方位角改变为大于或等于第二阈值时，传感器12可以确定力被施加到图像显示装置10。此外，传感器12可以通知控制器13感测到施加到图像显示装置10的力。
根据示例性实施例的传感器12可以感测关于图像显示装置10的移动速度或方位角的信息，并将感测值提供给控制器13。具体地，控制器13可以通过将阈值与所提供的值进行比较来确定力是否被施加到图像显示装置10。
控制器13可以包括至少一个处理器，以通过执行存储在存储器15中的至少一个指令来控制图像显示装置10的整体操作。
根据示例性实施例，控制器13可以操作在各种操作模式中的任何一种中。例如，控制器13可以操作在虚拟现实模式或实时取景模式中。在虚拟现实模式中，控制器13可以处理与存储在存储器15中的360°图像对应的图像信号，并将图像信号输入到显示器11。在实时取景模式中，控制器13可以激活成像设备14以处理与由成像设备14捕获的外部图像对应的图像信号，并将图像信号输入到显示器11。外部图像可以包括传感器12当前通过光学镜头看到的场景。此外，在实时取景模式中，控制器13可以通过将至少一个图像或视频添加到外部图像来生成增强现实图像，处理与增强现实图像对应的图像信号，并将图像信号输入到显示器11。将参考图5至图8描述控制器13 在虚拟现实模式或实时取景模式中的操作。
根据示例性实施例，控制器13可以响应于从传感器12输入的值，将操作模式从虚拟现实模式改变为实时取景模式。此外，当感测到施加到图像显示装置10的力时，控制器13可以将操作模式从实时取景模式改变为虚拟现实模式。
例如，控制器13可以响应于传感器12感测到连续施加到图像显示装置 10的力而改变操作模式。换句话说，用户可以连续地敲击图像显示装置10 以容易地改变操作模式。
替代地，控制器13可以基于施加到图像显示装置10的力的强度来改变操作模式。例如，当施加到图像显示装置10的力的强度大于或等于第三阈值时，控制器13可以改变操作模式。可以根据由传感器12测量的图像显示装置10的移动速度或方位角的改变程度，确定施加到图像显示装置10的力的强度。因此，当某一强度或更大强度的影响施加到图像显示装置10时，控制器13可以将虚拟现实模式改变为实时取景模式，使得用户可以立即识别外部状况。
成像设备14可以包括镜头和至少一个图像传感器。成像设备14可以向控制器13提供通过拍摄镜头的视场而获得的图像数据。控制器13可以从自成像设备14接收的图像数据生成外部图像。成像设备14也可以被称为相机。
根据示例性实施例，当图像显示装置10正操作在实时取景模式中时，成像设备14可以被控制器13激活。此外，当图像显示装置10正操作在虚拟现实模式中时，成像设备14可以被控制器13停用。
存储器15可以连接到控制器13以向控制器13提供各种命令。此外，存储器15可以暂时地或连续地存储由控制器13处理的信息。
根据示例性实施例，存储器15可以存储360°图像。此外，存储器15 可以存储由成像设备14捕获的外部图像和/或添加到外部图像的图像或视频。
存储器15可以以诸如闪存类型、硬盘类型、多媒体卡微类型、卡类型(例如，安全数字(SD)或极限数字(XD)存储器类型)、磁存储器类型、磁盘类型和光盘类型的各种类型实施，但不限于此并且也可以是另一类型的存储设备。
如上面根据示例性实施例所公开的，控制器13控制以在实时取景模式中显示增强现实图像，但是替代地，控制器13可以将显示外部图像的实时取景模式和显示增强现实图像的增强现实模式进行分类。具体地，控制器13可以响应于在图像显示装置10正操作在虚拟现实模式中时感测到施加到图像显示装置10的力而将图像显示装置10的操作模式改变为实时取景模式，并且可以响应于在图像显示装置10正操作在实时取景模式中时感测到施加到图像显示装置10的力而将图像显示装置10的操作模式改变为增强现实模式。另外，控制器13可以响应于在图像显示装置10正操作在虚拟现实模式中时感测到施加到图像显示装置10的力而将图像显示装置10的操作模式改变为增强现实模式，并且可以响应于在图像显示装置10正操作在增强现实模式中时感测到施加到图像显示装置10的力而将图像显示装置10的操作模式改变为实时取景模式。
如参考图1所述的，用户可以佩戴或取下图像显示装置10。当用户取下图像显示装置10时，即使当传感器12在图像显示装置10正操作在虚拟现实模式中时感测到施加到图像显示装置10的力时，控制器13也可以不改变图像显示装置10的操作模式。例如，控制器13可以确定图像显示装置10是否被用户佩戴，并且可以仅响应于确定图像显示装置10被用户佩戴而激活切换操作以在虚拟现实模式、增强现实模式和实时取景模式之间改变操作模式。
此外，当图像显示装置10在除了虚拟现实模式和实时取景模式之外的操作模式(根据示例性实施例，包括增强现实模式)中时，即使当力被施加到图像显示装置10时，根据示例性实施例的控制器13也可以不改变图像显示装置10的操作模式。例如，当图像显示装置10正操作在设置配置的配置设置模式中时，即使当感测到施加到图像显示装置10的力时，图像显示装置 10也可以不改变其操作模式。
图3A和图3B是根据示例性实施例的图像显示装置10a的图。图3A和图3B的图像显示装置10a是图1的图像显示装置10的示例。
参见图3A，图像显示装置10a可以是HMD。显示器11可以被提供在图像显示装置10a内部。此外，图像显示装置10a还可以包括第一和第二目镜 30a和30b。因此，用户可以通过第一和第二目镜30a和30b观看在显示器11 上显示的图像(例如，360°图像、外部图像或增强现实图像)。
控制器13可以将图像划分为左眼图像和右眼图像，以便显示3D图像。
根据示例性实施例，控制器13可以将显示器11的屏幕划分为第一子屏幕33和第二子屏幕35，并且控制显示器11在第一子屏幕33上显示左眼图像并且在第二子屏幕35上显示右眼图像。
根据示例性实施例，如图3B所示，当显示器11包括多个显示器(即，第一显示器11a和第二显示器11b)时，图像显示装置10a可以将第一和第二显示器11a和11b分别与第一和第二目镜30a和30b共线地定位。控制器13 可以控制显示器11在与第一目镜30a共线的第一显示器11a上显示左眼图像，并在与第二目镜30b共线的第二显示器11b上显示右眼图像。
如图3A和图3B所示，图像显示装置10a是可以佩戴在用户头部上的带式(或头盔类型)的，但不限于此。例如，图像显示装置10a可以是眼镜类型的。
图4是根据另一示例性实施例的图像显示装置10b的图。图4的图像显示装置10b是图1的图像显示装置10的修改示例。
参见图4，图像显示装置10b可以是与头戴设备40组合的便携式装置。具体地，图像显示装置10b可以与头戴设备40组合，使得显示器11面向头戴设备40的主体，从而使得佩戴头戴设备40的用户能够通过头戴设备40的透镜(lens)观看显示在显示器11上的图像(例如，360°图像或增强现实图像)。
根据示例性实施例，控制器13可以将图像划分为左眼图像和右眼图像，将显示器11的屏幕划分为第一子屏幕43和第二子屏幕45，并且控制显示器 11在第一子屏幕43上显示左眼图像，并在第二子画面45上显示右眼图像。
此外，即使当用户敲击头戴设备40时，图像显示装置10b的传感器12 也可以通过头戴设备40感测到传递到图像显示装置10b的力。
图5是根据示例性实施例的控制器13的框图。
参见图5，控制器13可以包括处理器51、视频处理器52和图形处理单元(GPU)53。
处理器51可以执行用于控制视频处理器52和GPU 53的操作。
视频处理器52可以对存储在图像显示装置10中的视频数据或从外部源接收的视频数据执行处理。视频处理器52可以包括对视频数据执行解码的视频解码器。此外，视频处理器52可以执行各种图像处理，诸如，缩放、噪声过滤，帧速率转换和分辨率转换。
根据示例性实施例，视频处理器52可以在图像显示装置10正操作在虚拟现实模式中时获得平面形式的360°图像，并且对平面形式的360°图像执行解码。
GPU 53可以通过使用运算器(operator)和渲染器来生成包括诸如图标、图像和文本的各种对象的屏幕。运算器可以根据屏幕的布局来计算要显示的每个对象的属性值，诸如，坐标值、形状、尺寸或颜色。渲染器可以基于由运算器计算的属性值，生成具有包括对象的各种布局中的任何一种的屏幕。由渲染器生成的屏幕可以被输出到显示器11的显示区域。
在图像显示装置10正操作在虚拟现实模式中时，根据示例性实施例的 GPU 53可以使由视频处理器52解码的360°图像变形。在图6中，描述GPU 53使360°图像变形的操作。
图6是用于描述根据示例性实施例的在虚拟现实模式中GPU 53的操作的图。
参见图6，在图像显示装置10正操作在虚拟现实模式中时，GPU 53可以使由视频处理器51解码的360°图像60变形，并且在显示器11的显示区域中显示360°图像60。
例如，GPU 53可以将所解码的360°图像60转换为球形360°图像61。例如，GPU 53可以将平面形式的360°图像60映射到球面，并连接(接合) 映射的图像的接触点以生成球形360°图像61。
此外，GPU 53可以从球形360°图像61中提取由用户选择的局部区域 62，并且在显示器11的显示区域中根据显示分辨率显示缩放图像63。
根据示例性实施例，GPU 53可以将屏幕划分为第一子屏幕和第二子屏幕，并且计算第一子屏幕的布局的属性值和第二子屏幕的布局的属性值。例如， GPU 53可以通过使用并排法或上下(top-bottom)法将屏幕划分为第一和第二子屏幕。然而，划分屏幕的方法不限于此，并且GPU 53可以通过使用行交错法或棋盘法将屏幕划分为至少两个子屏幕。
GPU 53可以基于所计算的属性值将缩放图像63划分为左眼图像64和右眼图像65，并且在第一子屏幕上显示左眼图像64并在第二子屏幕上显示右眼图像65。
当360°图像60是左眼专用图像时，GPU 53可以获得右眼专用360°图像，并重复上述操作以生成右眼图像。
根据示例性实施例，GPU 53可以根据从传感器12接收的值，移动球形 360°图像61中局部区域62的位置。例如，传感器12可以感测和向控制器 13提供关于图像显示装置10的移动速度和方位角的信息。GPU 53可以将基于从传感器12接收的值而被移动位置的局部区域62输入到显示器11。
图7是用于描述根据示例性实施例的、在图像显示装置10正操作在实时取景模式中时控制器13的操作的图。
参见图7，在图像显示装置10正操作在实时取景模式中时，控制器13 可以控制显示器11显示从成像设备14获得的外部图像70、或者在添加至少一个图像或视频到外部图像70之后显示增强现实图像72。
根据示例性实施例，控制器13可以从外部图像70获得与外部图像70相关的图像71。这里，与外部图像70相关的图像71(或视频)可以包括指示在外部图像70中包括的对象的文本、图标和动画中的至少一个。此外，可以通过与外部服务器通信的通信单元，将与外部图像70相关的图像71提供给控制器13。替代地，与识别的对象相关的图像71可以存储在存储器15中并提供给控制器13。
例如，控制器13可以辨识包括在外部图像70中的至少一个对象，并且获得与所辨识的至少一个对象相关的图像71。例如，控制器13可以提取外部图像70中的边缘组成部分以辨识外部图像70中包括的至少一个对象。此外，控制器13可以将与所辨识的至少一个对象相关的图像71添加到外部图像70，从而生成增强现实图像72。
根据示例性实施例，控制器13可以处理与增强现实图像72对应的图像信号，并将经处理的图像信号显示在显示器11的显示区域中。例如，GPU 53 可以计算图像71的属性值(例如，坐标值、形状或尺寸)，并且控制器13可以控制显示器11，使得基于所计算的属性值将外部图像70和图像71重叠地输出。具体地，可以将图像71中的地点的信息覆盖在外部图像70上。
根据示例性实施例，为了提供3D增强现实图像72，控制器13可以将增强现实图像72划分为左眼图像和右眼图像，并且控制显示器11在根据并排法或上下法划分的屏幕上显示左眼图像和右眼图像。
图8是用于描述根据另一示例性实施例的、在图像显示装置10正操作在实时取景模式中时控制器13的操作的图。
参见图8，传感器12还可以包括可以跟踪用户的眼睛的红外传感器。在实时取景模式中，控制器13可以通过接收由红外传感器感测的值来确定用户的观看方向。此外，控制器13可以辨识外部图像80中与观看方向对应的对象，并且通过向外部图像80添加与所辨识的对象相关的图像81来生成增强现实图像82。
根据示例性实施例，控制器13可以处理与增强现实图像82对应的图像信号，并在显示器11的显示区域中显示经处理的图像信号。
如图7和图8所示，在图像显示装置10正操作在实时取景模式中时，控制器13通过使用根据视频透视法捕获的外部图像70来生成和/或显示增强现实图像72，但是不限于此。例如，当显示器11是透明显示器时，控制器13 可以根据光学透视法在透明显示器上显示与外部状况相关的图像或视频。因此，用户可以与外部状况一起观看在透明显示器上显示的图像或视频。
图9图示了根据示例性实施例的、传感器12感测施加到图像显示装置 10的力的示例。
参见图9，传感器12可以通过使用加速度传感器来感测图像显示装置10 的基于X轴、Y轴和Z轴的移动速度。
根据示例性实施例，当与X轴、Y轴和Z轴中的至少一个对应的移动速度的改变超过阈值时，传感器12可以确定力被施加到图像显示装置10。例如，如图9的第一击打91所示，当与Z轴对应的移动速度的改变超过阈值时，传感器12可以确定力被施加到图像显示装置10。
图10图示了根据示例性实施例的、控制器13响应于感测到施加到图像显示装置10的力而改变操作模式的示例。
参见图10，当感测到施加到图像显示装置10的第一击打力1001，然后在预设时间段内感测到施加到图像显示装置10的第二击打力1002时，传感器12可以向控制器13输入指示力被施加到图像显示装置10的控制信号。击打力可以是在短时间段(例如，0.3秒)内施加到图像显示装置的力。
因此，佩戴图像显示装置10的用户可以连续地敲击图像显示装置10(或头戴设备40)，使得传感器12感测到施加到图像显示装置10的力。图像显示装置10可以将人类触摸或敲击与不是由人类进行的外力区分开，以避免操作模式的不希望的改变。例如，传感器12可以感测当用户的手指与图像显示装置10接触时生成的交流电流，并且控制器13可以基于交流电流确定施加到图像显示装置10的力由用户输入。
用户不需要敲击图像显示装置10的特定区域，而是可以敲击图像显示装置10或头戴设备40的任意区域(例如，由图10中的多个箭头中的一个指示的区域)以向图像显示装置10施加力。
根据示例性实施例，当感测到力被施加到图像显示装置10时，控制器 13可以将显示装置10的操作模式从虚拟现实模式改变为实时取景模式。替代地，当感测到力被施加到图像显示装置10时，控制器13可以将显示装置 10的操作模式从实时取景模式改变为虚拟现实模式。
图11是用于描述根据示例性实施例的控制器13的改变显示装置10的操作模式的操作的图。
参见图11，控制器13可以通过控制显示器11、传感器12和成像设备14 来改变显示装置10的操作模式。
例如，控制器13可以在操作在虚拟现实模式中时通过控制显示器11来显示360°图像1101。其细节已经参考图5和图6描述了，因此不再提供。
当从传感器12输入指示力被施加到图像显示装置10的信号时，控制器 13可以激活成像设备14。替代地，控制器13可以以规则的时间间隔接收由传感器12感测的传感器值，并确定力是否被施加到图像显示装置10。具体地，控制器13可以将传感器值与阈值进行比较，以确定力是否被施加到图像显示装置10，并且，当确定力被施加时，控制器13可以激活成像设备14。
当成像设备14被激活时，控制器13可以停止对360°图像1101执行的图像信号处理，并且处理与由操作在实时取景模式中的成像设备14捕获的外部图像1102对应的图像信号。
此外，控制器13可以通过向外部图像1102添加与外部图像1102相关的图像来生成增强现实图像1103，并通过显示器11显示增强现实图像1103。其细节已经参考图7和图8描述了，并且不再提供。
图12是用于描述根据另一示例性实施例的控制器13的改变显示装置10 的操作模式的操作的图。
参见图12，图像显示装置10还可以包括麦克风16。当传感器12感测到施加到图像显示装置10的力时，控制器13可以激活语音识别功能以打开麦克风16。具体地，如图9所示，当感测到施加到图像显示装置10的第一击打力91时，传感器12可以通知控制器13力被施加到图像显示装置10。
根据示例性实施例的控制器13可以通过分析通过麦克风16接收的用户的语音来将显示装置10的虚拟现实模式改变为实时取景模式。因此，显示器 11可以根据控制器13的控制，停止显示360°图像1201并显示外部图像1202 或增强现实图像1203。
控制器13可以响应于感测到施加到图像显示装置10的力，将显示装置 10的实时取景模式改变为虚拟现实模式。具体地，控制器13可以停用成像设备14，处理与先前再现的360°图像1201对应的图像信号，并且控制显示器11显示360°图像1201。
图13图示了根据示例性实施例的、控制器13控制显示器11在调整外部图像的亮度之后显示外部图像的示例。
参见图13，根据示例性实施例，当显示装置10的操作模式改变时，控制器13可以将在操作模式改变之前显示的第一图像1301的亮度、与要在操作模式改变之后显示的第二图像1302的亮度进行比较。当第一图像1301的亮度与第二图像1302的亮度之间的差异大于或等于阈值时，控制器13可以控制显示器11在将第二图像1302的亮度调整为对应于第一图像1301的亮度之后显示第二图像1302。
然后，控制器13可以以预设时间间隔将第一图像1301的经调整的亮度逐渐地调整为接近原始亮度。
例如，控制器13可以控制显示器11在将亮度调整到-60％之后在第一时间间隔1303内显示第一图像1301，在将亮度调整到-30％之后在第二时间间隔1304内显示第一图像1301，并且在将亮度调整到原始亮度之后在第三时间间隔1305内显示第一图像1301。
图14是根据示例性实施例的图像显示装置1000的详细结构的框图。
如图14所示，根据示例性实施例的图像显示装置1000除了包括输出单元1100、传感器1200、控制器1300、音频/视频(A/V)输入单元1600和存储器1700之外，还可以包括用户输入单元1400、通信单元(例如，通信接口)1500、视频处理器1800和GPU 1850。
与图2中的那些单元重叠的输出单元1100、传感器1200和控制器1300 的细节将不再提供。此外，与图5的那些单元重叠的视频处理器1800和GPU 1850的细节将不再提供。同时，在图5中，视频处理器1800和GPU 1850包括在控制器1300中，但是替代地，视频处理器1800和/或GPU 1850可以位于控制器1300的外部。
输出单元1100可以输出音频信号、视频信号或振动信号，并且可以包括显示器1110和声音输出单元1120。
根据示例性实施例，显示器1110可以根据控制器1300的控制，输出对应于360°图像、外部图像或增强现实图像的图像信号。
当显示器1110被配置为包括层结构和触摸板的触摸屏时，显示器1110 也可以用作输入设备以及输出设备。
声音输出单元1120输出从通信单元1500接收或在存储器1700中存储的音频数据。此外，声音输出单元1120输出与由图像显示装置1000执行的功能相关的声音信号，诸如，呼叫信号接收声音、消息接收声音或警告声音。
传感器1200可以检测图像显示装置1000的状态或图像显示装置1000周围的状态，并将所检测的状态传送到控制器1300。传感器1200除了包括参考图2描述的加速度传感器1220、陀螺仪传感器1250、以及接近度传感器 1280之外，还可以包括以下中的至少一个：地磁传感器1210、温度/湿度传感器1230、红外传感器1240、位置传感器1260、大气传感器1270以及红色、绿色、蓝色(RGB)传感器1290。
控制器1300通过包括至少一个处理器来控制图像显示装置1000的整体操作。控制器1300控制图像显示装置1000的内部组件之间的信号流，并处理数据。当接收到用户输入或满足预设条件时，控制器1300可以执行操作***(OS)或存储在存储器1700中的各种应用。
根据示例性实施例，控制器1300可以执行各种操作模式，并且根据从传感器1200接收的传感器值改变操作模式。
用户输入单元1400可以接收用于控制图像显示装置1000的用户输入。用户输入单元1400的示例包括键盘、圆顶开关、触摸板(触摸电容型、压阻膜型、红外光检测型、表面超声波传导型、积分张力测量型或压电效应型)、滚轮和点动开关，但不限于此。
通信单元1500可以包括使得图像显示装置1000能够与外部设备通信的至少一个组件。例如，通信单元1500可以包括短程通信单元1510、移动通信单元1520和广播接收单元1530中的至少一个。
短程通信单元1510可以包括蓝牙通信单元、蓝牙低能量(BLE)通信单元、近场通信(NFC)单元、无线局域网(WLAN)(Wi-Fi)通信单元、ZigBee 通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直接(WFD)通信单元、超宽带(UWB)通信单元和Ant+通信单元，但是包括在短程通信单元1510 中的组件不限于此，并且，短程通信单元1510还可以根据技术发展包括新的组件。
移动通信单元1520在移动通信网络上向和从基站、外部终端和服务器中的至少一个传送和接收无线信号。
广播接收单元1530通过广播信道从外部源接收广播信号和/或广播相关信息。广播信道可以包括卫星信道或地面广播信道。
A/V输入单元1600接收音频信号或视频信号，并且可以包括相机1610 和麦克风1620。相机1610可以在视频电话模式或实时取景模式中经由图像传感器获得静止图像或运动图像的图像帧。经由图像传感器捕获的图像可以由控制器1300或GPU 1850处理。图像显示装置1000可以包括根据实施例的两个或更多个相机1610。同时，相机1610可以对应于图2的成像设备14。
麦克风1620接收外部声音信号，并将外部声音信号处理为电语音数据。麦克风1620可以使用各种噪声去除算法中的任何一种来去除在接收外部声音信号时生成的噪声。
存储器1700可以存储用于控制器1300的处理和控制的程序，并且可以存储输入到图像显示装置1000或从图像显示装置1000输出的数据。
存储在存储器1700中的程序可以基于功能被分类为多个模块，并且可以被分类为用户界面(UI)模块1710、触摸屏模块1720、虚拟现实操作模块 1730和实时取景操作模块1740。
UI模块1710可以根据应用提供链接到图像显示装置1000的专用UI或图形用户界面(GUI)。触摸屏模块1720可以检测用户在触摸屏上的触摸手势，并且将关于触摸手势的信息传送到控制器1300。触摸屏模块1720可以被配置为包括控制器的独立硬件。
虚拟现实操作模块1730可以提供至少一个命令(即，至少一个指令)，用于控制器1300操作在虚拟现实模式中。例如，虚拟现实操作模块1730可以包括用于停用相机1610并且对360°图像执行图像处理的命令。当操作模式从实时取景模式改变为虚拟现实模式时，控制器1300可以关闭相机1610 以节省图像显示装置1000上的电池电力。
实时取景操作模块1740可以提供至少一个命令，用于控制器1300操作在实时取景模式中。例如，实时取景操作模块1740可以包括用于激活相机 1610并且对由相机1610捕获的外部图像执行图像处理的命令。此外，实时取景操作模块1740可以包括用于获得与外部图像相关的图像或视频的命令，并将图像或视频添加到外部图像。
视频处理器1800对视频数据执行各种图像处理，诸如，解码、缩放和噪声过滤。GPU1850通过渲染图像信号来生成要输出到显示器1110的显示区域的屏幕。
图15至图18是根据示例性实施例的操作图像显示装置10的方法的流程图。图15至18的方法与参考图1至图14描述的示例性实施例相关。因此，参考图1至图14描述的细节可以应用于图15到图18的方法，即使被省略也是如此。
图15是根据示例性实施例的图像显示装置10的操作方法的流程图。
参见图15，在操作S1510中，在操作在显示360°图像的虚拟现实模式中时，图像显示装置10感测施加到其的力。
根据示例性实施例，图像显示装置10可以操作在虚拟现实模式中。在虚拟现实模式中，图像显示装置10可以处理和在屏幕上显示与360°图像对应的图像信号。例如，图像显示装置10可以获得平面形式的360°图像，并将 360°图像映射到球面以生成球形360°图像，并且提取和在屏幕上显示球形 360°图像的局部区域。
同时，当感测到用户的移动时，图像显示装置10可以移动在屏幕上显示的球形360°图像的局部区域的位置。
根据示例性实施例，图像显示装置10可以感测关于图像显示装置10的移动速度的信息和/或关于方位角的信息，以确定力是否被施加到图像显示装置10。
例如，图像显示装置10可以感测移动速度，并且当所感测的移动速度的改变超过阈值时，确定力被施加到图像显示装置10。替代地，图像显示装置 10可以感测图像显示装置10的方位角，并且当所感测的方位角的改变超过阈值时，确定力被施加到图像显示装置10。
在操作S1520中，图像显示装置10响应于感测到施加到图像显示装置 10的力而激活成像设备(例如，相机)14。
根据示例性实施例，图像显示装置10可以响应于感测到施加到图像显示装置10的力而将虚拟现实模式改变为实时取景模式。当操作模式改变为实时取景模式时，图像显示装置10可以激活成像设备14。
在操作S1530中，图像显示装置10显示由成像设备14捕获的外部图像。
根据示例性实施例，当操作模式改变为实时取景模式时，图像显示装置 10可以处理与由成像设备14捕获的外部图像对应的图像信号，并且在屏幕上显示经处理的图像信号。
此外，图像显示装置10可以通过向外部图像添加与外部图像相关的图像或视频来生成增强现实图像。图像显示装置10可以处理与增强现实图像对应的图像信号，并且在屏幕上显示经处理的图像信号。
根据示例性实施例，响应于在显示装置10正操作在实时取景模式中时感测到施加到图像显示装置10的力，图像显示装置10可以将其操作模式改变回到虚拟现实模式。具体地，图像显示装置10可以停用成像设备14并且连续地显示曾经正被再现的360°图像。
当显示装置10的操作模式改变时，图像显示装置10可以基于在先前的操作模式中在屏幕上显示的图像的亮度，调整要在改变后的操作模式中在屏幕上显示的图像的亮度。
此外，在上文中，图像显示装置10在实时取景模式中显示增强现实图像，但是可以分别地操作在显示外部图像的实时取景模式中和显示增强现实图像的增强现实模式中。具体地，图像显示装置10可以响应于在操作在实时取景模式中时感测到施加到图像显示装置10的力而将操作模式改变为增强现实模式。
图16是根据示例性实施例的、由图像显示装置10使用来改变操作模式的方法的流程图。
参见图16，在操作S1610中，图像显示装置10可以感测施加到图像显示装置10的第一击打和第二击打。这里，击打可以是在短时间段(例如，在 0.3秒内)内施加到图像显示装置的力。例如，当用户轻轻敲击图像显示装置 10时，图像显示装置10可以感测到击打。
根据示例性实施例，图像显示装置10可以通过感测图像显示装置10的移动速度的改变和/或方位角的改变来确定是否生成第一和第二击打。此外，当生成第一和第二击打时，图像显示装置10可以确定力被施加到图像显示装置10，并且改变操作模式。
在操作S1620中，图像显示装置10可以确定当前操作模式是否是虚拟现实模式。当确定当前操作模式是虚拟现实模式时，图像显示装置10可以在操作S1630中将操作模式从虚拟现实模式改变为实时取景模式，并显示外部图像。
根据示例性实施例，图像显示装置10可以显示外部图像和/或与外部图像相关的图像或视频。
当确定当前操作模式不是虚拟现实模式时，图像显示装置10可以在操作 S1640中确定当前操作模式是否是实时取景模式。当确定当前操作模式是实时取景模式时，图像显示装置10可以在操作S1650中将实时取景模式改变为虚拟现实模式，并显示360°图像。
当确定操作模式既不是虚拟现实模式、也不是实时取景模式时，即使当感测到施加到图像显示装置10的力时，图像显示装置10也可以不改变操作模式。
此外，根据示例性实施例，当用户没有佩戴图像显示装置10时，即使当力被施加到图像显示装置时，图像显示装置10也可以不改变操作模式。
同时，在图16中，在感测到施加到图像显示装置10的力之后，确定图像显示装置10的操作模式，但是示例性实施例不限于此。例如，图像显示装置10可以仅当操作在虚拟现实模式或实时取景模式中时才确定力是否被施加到其上。在此情况下，可以不执行操作S1620和S1640。
图17是根据另一实施例的、由图像显示装置10使用来改变操作模式的方法的流程图。
参见图17，在操作S1710中，图像显示装置10可以在操作在虚拟现实模式中时感测施加到图像显示装置10的击打。
在操作S1720中，图像显示装置10可以当感测到击打时激活语音识别功能并且接收用户的语音。
在操作S1730中，图像显示装置10可以响应于用户的语音，将虚拟现实模式改变为实时取景模式。因此，图像显示装置10可以将屏幕上显示的360 °图像改变为由成像设备14捕获的外部图像。
替代地，根据另一示例性实施例，图像显示装置10可以响应于用户的语音执行另一操作。例如，响应于用户的语音，图像显示装置10可以不改变其操作模式，但是可以显示虚拟现实模式的主菜单屏幕或控制360°图像(例如，快进、倒回或重放)。
图18是根据示例性实施例的、由图像显示装置10使用来当图像显示装置10的操作模式改变时调整屏幕上显示的图像的亮度的方法的流程图。
参见图18，在操作S1810中，当虚拟现实模式改变为实时取景模式时，图像显示装置10可以基于360°虚拟现实图像的亮度调整外部图像的亮度。因此，可以防止向用户显示的图像的亮度突然增大或减小。
根据示例性实施例，图像显示装置10可以根据360°虚拟现实图像的亮度调整外部图像的亮度。
在操作S1820中，图像显示装置10可以通过以预设时间间隔逐渐地调整外部图像的亮度来将外部图像改变并显示为原始亮度。
尽管不限于此，示例性实施例可以被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储随后可由计算机***读取的数据的任何数据存储设备。计算机可读记录介质的示例包括只读存储器 (ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备。计算机可读记录介质也可以分布在网络耦合的计算机***上，使得计算机可读代码以分布式方式被存储和执行。此外，示例性实施例可以被写为通过诸如载波的计算机可读传输介质传送、并且在执行程序的通用或专用数字计算机中接收和实施的计算机程序。此外，应当理解，在示例性实施例中，上述装置和设备的一个或多个单元可以包括电路、处理器、微处理器等，并且可以执行存储在计算机可读介质中的计算机程序。
前述示例性实施例仅仅是示例性的，而不应被解释为限制性的。本教示可以容易地应用于其它类型的装置。此外，示例性实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且，许多替代、修改和变化对于本领域技术人员将是显而易见的。

Claims (13)

1.一种图像显示装置，包括：
成像设备；
显示器；
传感器，被配置为当对图像显示装置进行触摸或敲击时感测施加到所述图像显示装置的外力；
处理器，被配置为：
控制所述显示器在虚拟现实模式中显示360°图像的局部；以及
响应于在所述图像显示装置正操作在虚拟现实模式中时感测到的所述外力大于阈值，激活所述成像设备并立即将所述图像显示装置的操作模式从虚拟现实模式变为实景取景模式以在显示器上显示由激活的所述成像设备捕获的外部图像。
2.根据权利要求1所述的图像显示装置，其中，所述传感器还被配置为通过感测施加到所述图像显示装置的第一击打并且在感测到第一击打之后的预设时间段内感测施加到所述图像显示装置的第二击打，来感测外力。
3.根据权利要求1所述的图像显示装置，其中，所述处理器还被配置为响应于感测到外力而激活语音识别功能以从用户接收语音，并且响应于从用户接收到语音而激活所述成像设备。
4.根据权利要求1所述的图像显示装置，其中，所述传感器还被配置为测量所述图像显示装置的移动速度，并且
所述处理器被配置为通过将阈值与由所述传感器测量的移动速度的改变进行比较来确定外力是否被施加到所述图像显示装置。
5.根据权利要求1所述的图像显示装置，其中，所述处理器还被配置为向外部图像添加与外部图像中包括的至少一个对象相关的静止图像或视频，并且控制所述显示器显示已经被添加了静止图像或视频的外部图像。
6.根据权利要求1所述的图像显示装置，其中，所述处理器还被配置为：
将360°图像和外部图像中的每一个划分为左眼图像和右眼图像；并且
控制所述显示器将所述显示器的屏幕划分为第一子屏幕和第二子屏幕，以在第一子屏幕上显示360°图像的左眼图像和外部图像的左眼图像并且在第二子屏幕上显示360°图像的右眼图像和外部图像的右眼图像。
7.根据权利要求1所述的图像显示装置，其中，所述处理器还被配置为控制显示器基于360°图像的亮度调整外部图像的亮度。
8.根据权利要求7所述的图像显示装置，其中，所述外部图像的亮度被以预设时间间隔调整以逐渐接近外部图像的原始亮度。
9.根据权利要求1所述的图像显示装置，其中，所述处理器还被配置为通过将360°图像映射到球面来生成球形360°图像，基于所述图像显示装置的移动来提取球形360°图像的局部区域，并且控制所述显示器显示所提取的局部区域。
10.根据权利要求9所述的图像显示装置，还包括图形处理单元(GPU)，被配置为使所提取的局部区域变形，
其中，所述处理器还被配置为控制所述显示器显示由GPU使得变形的局部区域。
11.一种图像显示装置的操作方法，所述操作方法包括：
在虚拟现实模式中显示360°图像的局部；
当对图像显示装置进行触摸或敲击时感测施加到所述图像显示装置的外力；
响应于在所述图像显示装置正操作在虚拟现实模式中时感测到外力大于阈值而激活成像设备，并立即将所述图像显示装置的操作模式从虚拟现实模式变为实景取景模式以显示由所述激活的成像设备捕获的外部图像。
12.根据权利要求11所述的操作方法，其中，所述感测外力包括：
感测施加到所述图像显示装置的第一击打；以及
在感测到第一击打之后的预设时间段内感测施加到所述图像显示装置的第二击打。
13.根据权利要求11所述的操作方法，其中，所述激活成像设备包括：
响应于感测到外力而激活语音识别功能；
从所述图像显示装置的用户接收语音；以及
响应于从用户接收的语音而激活所述成像设备。
CN201710724019.4A 2016-08-22 2017-08-22 图像显示装置及其操作方法 Active CN107765429B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160106179A KR20180021515A (ko) 2016-08-22 2016-08-22 영상 표시 장치 및 영상 표시 장치의 동작 방법
KR10-2016-0106179 2016-08-22

Publications (2)

Publication Number Publication Date
CN107765429A CN107765429A (zh) 2018-03-06
CN107765429B true CN107765429B (zh) 2020-07-03

Family

ID=61192490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710724019.4A Active CN107765429B (zh) 2016-08-22 2017-08-22 图像显示装置及其操作方法

Country Status (5)

Country Link
US (1) US10412379B2 (zh)
EP (1) EP3497504A4 (zh)
KR (1) KR20180021515A (zh)
CN (1) CN107765429B (zh)
WO (1) WO2018038439A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN106851052B (zh) * 2017-01-16 2020-05-26 联想(北京)有限公司 一种控制方法及电子设备
US10741128B2 (en) * 2017-03-28 2020-08-11 Intel Corporation Dual scan out display system
US10509534B2 (en) * 2017-09-05 2019-12-17 At&T Intellectual Property I, L.P. System and method of providing automated customer service with augmented reality and social media integration
US10200148B1 (en) * 2017-09-28 2019-02-05 Intel Corporation Smart beamwidth adaptation in wireless head-mounted displays
CN108259884A (zh) * 2018-04-08 2018-07-06 京东方科技集团股份有限公司 近眼显示器和用于调整近眼显示器的亮度的方法
FI12136U1 (fi) * 2018-06-01 2018-09-14 Pauli Kari Musiikkiesitystä jakava järjestelmä
KR102281296B1 (ko) * 2019-06-17 2021-07-23 주식회사 케이티앤지 에어로졸 생성 장치 및 그의 동작 방법
CN110618398B (zh) * 2019-09-24 2020-09-29 深圳市拜洛克科技有限公司 基于uwb定位技术控制粉丝棒发光的方法
GB2597671B (en) * 2020-07-29 2024-06-19 Sony Interactive Entertainment Inc Video processing
CN114077410A (zh) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 图像处理装置及虚拟现实设备
KR102546151B1 (ko) * 2020-09-21 2023-06-23 주식회사 브이알에이포인트 건물의 인테리어를 확인하기 위한 360도 이미지 제공 인터페이스
TW202235956A (zh) * 2021-03-05 2022-09-16 大立光電股份有限公司 頭戴裝置
DE102022002045A1 (de) 2022-06-09 2023-12-14 Rainer Püllen Bildaufzeichnungssystem mit Aufnahmeeinrichtung und Wiedergabeeinheit

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0644701B1 (en) * 1993-09-20 1999-12-01 Canon Kabushiki Kaisha Image taking and/or displaying system
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US6088006A (en) * 1995-12-20 2000-07-11 Olympus Optical Co., Ltd. Stereoscopic image generating system for substantially matching visual range with vergence distance
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9445220B2 (en) * 2013-09-06 2016-09-13 Paypal, Inc. Systems and methods for enabling additional devices to check in to bluetooth low energy (BLE) beacons
KR20150073354A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20150141461A (ko) 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10371944B2 (en) * 2014-07-22 2019-08-06 Sony Interactive Entertainment Inc. Virtual reality headset with see-through mode
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
KR101839441B1 (ko) * 2014-09-17 2018-03-16 (주)에프엑스기어 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US20160216792A1 (en) * 2015-01-26 2016-07-28 Seiko Epson Corporation Head mounted display, and control method and control program for head mounted display
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
KR102568772B1 (ko) * 2015-09-25 2023-08-22 삼성전자주식회사 체결 장치 및 이를 포함하는 헤드 마운트 장치

Also Published As

Publication number Publication date
EP3497504A1 (en) 2019-06-19
US10412379B2 (en) 2019-09-10
KR20180021515A (ko) 2018-03-05
EP3497504A4 (en) 2019-11-13
US20180054611A1 (en) 2018-02-22
CN107765429A (zh) 2018-03-06
WO2018038439A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN107765429B (zh) 图像显示装置及其操作方法
CN108499105B (zh) 在虚拟环境中进行视角调整的方法、装置及存储介质
US20210058612A1 (en) Virtual reality display method, device, system and storage medium
US10916057B2 (en) Method, apparatus and computer program for displaying an image of a real world object in a virtual reality enviroment
US11164546B2 (en) HMD device and method for controlling same
US9417690B2 (en) Method and apparatus for providing input through an apparatus configured to provide for display of an image
WO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
US9304320B2 (en) Head-mounted display and method of controlling the same
CN110333834B (zh) 帧频调整方法及装置、显示设备、计算机可读存储介质
KR20160034037A (ko) 화면 캡쳐를 위한 방법 및 그 전자 장치
KR20180099182A (ko) 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
CN106067833B (zh) 移动终端及其控制方法
KR20210064378A (ko) 관점 회전 방법 및 장치, 디바이스 및 저장 매체
KR20170019262A (ko) 이동 단말기 및 그것의 제어방법
CN110349527B (zh) 虚拟现实显示方法、装置及***、存储介质
KR20180103866A (ko) 이동 단말기 및 그 제어 방법
KR102297514B1 (ko) 디스플레이 장치 및 그 제어 방법
US20160004304A1 (en) Mobile terminal and method for controlling the same
CN112585673A (zh) 信息处理设备、信息处理方法及程序
KR20180052501A (ko) 디스플레이 장치 및 그 동작 방법
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
US10021317B2 (en) Image display apparatus capable of regulating focusing using a camera module having a single lens and method of operating the same
US11487355B2 (en) Information processing apparatus and information processing method
CN116820229B (zh) Xr空间的显示方法、xr设备、电子设备及存储介质
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant