CN104603718B - 电子装置及其控制方法和程序 - Google Patents

电子装置及其控制方法和程序 Download PDF

Info

Publication number
CN104603718B
CN104603718B CN201380045438.5A CN201380045438A CN104603718B CN 104603718 B CN104603718 B CN 104603718B CN 201380045438 A CN201380045438 A CN 201380045438A CN 104603718 B CN104603718 B CN 104603718B
Authority
CN
China
Prior art keywords
depth
unit
electronic installation
display
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380045438.5A
Other languages
English (en)
Other versions
CN104603718A (zh
Inventor
加藤由美
菅原圣二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN104603718A publication Critical patent/CN104603718A/zh
Application granted granted Critical
Publication of CN104603718B publication Critical patent/CN104603718B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种电子装置包括：显示单元、位置检测单元、感觉刺激单元、以及控制单元。显示单元包括显示3D图像的显示表面。位置检测单元将对象相对于显示表面的位置检测为对象深度。感觉刺激单元刺激用户的感觉。控制单元根据图像深度和对象深度，控制感觉刺激单元，图像深度指示从所述3D图像获得的至少一个显示对象的立***置。

Description

电子装置及其控制方法和程序
技术领域
相关申请的引用
本申请基于并要求2012年8月28日提交的日本专利申请No.2012-187866的优先权权益，其公开通过全文引用合并于此。
本发明涉及电子装置及其控制方法和程序。具体地，本发明涉及显示三维(3D)图像(立体图像)的电子装置、电子装置的控制方法和程序。
背景技术
近几年越来越多地使用可以显示3D图像的电子装置。具体地，例如，提供了越来越多的可以显示3D图像的固定电视(stationary televisions)。还存在可以显示3D图像的移动电子装置，例如，移动电话。
此外，还存在一种移动电子装置，可以使其壳体发生振动以便振动握住壳体的手。
专利文献(PTL)1公开了一种设备，该设备根据正在显示的图像振动握住该设备的手。PTL 1所公开的手持式电子设备包括在其周围布置有多个触觉像素的触摸屏(显示屏)。根据所显示的内容，设备移动(例如，上下振动或移动)这些触觉像素。PTL 1公开了如果将手持式电子设备配置为用作游戏设备，则该设备响应于游戏事件而改变一个或更多个触觉像素的状态。PTL 1还公开了当触摸屏上的滚动到达终点时一些触觉像素可以发生较大幅度的振动，并且根据触觉像素位置向用户通知滚动位置。
PTL 2公开了一种用于根据显示屏幕上的地图(map)中的高度差向用于执行滚动操作的操纵杆施加阻力的技术。即，PTL 2公开了一种用于根据3D信息刺激用户触觉感觉的技术。
PTL1
日本专利特表No.JP2011-510403A
PTL 2
日本专利特开No.JP2004-226301A
发明内容
以上PTL 1和PTL 2的公开通过引用合并于此。本发明人进行如下分析。
PTL 1针对的是二维图像而非3D图像。此外，根据PTL 2所公开的技术，仅根据从显示在显示屏幕上的地图获得的位置信息，改变向操纵杆施加的阻力。该技术并非用于根据3D图像来刺激用户的触觉感觉。
PTL 1和PTL 2所公开的技术无法实现根据3D图像显示模式来刺激用户感觉的电子装置。即，PTL 1和PTL 2所公开的技术不能够使得用户识别到必定存在3D图像。3D图像显示模式是当用户触摸由电子装置输出的3D图像时用户实际体验到感觉的显示模式。即，在3D图像显示模式中，用户可以实际感觉显示内容，并感觉到图像正在从显示表面凸出(或凹陷)。
因此，需要对根据3D图像刺激用户感觉做出贡献的电子装置及其控制方法和程序。
根据本发明的第一方面，提供了一种电子装置，包括：显示单元，包括显示三维(3D)图像的显示表面；位置检测单元，将对象相对于显示表面的位置检测为对象深度；感觉刺激单元，刺激用户的感觉；以及控制单元，根据图像深度和对象深度，控制感觉刺激单元，其中所述图像深度指示从3D图像获得的至少一个显示对象的立***置。
根据本发明的第二方面，提供了一种电子装置的控制方法，其中所述电子装置包括：显示单元，包括显示三维(3D)图像的显示表面；以及感觉刺激单元，刺激用户的感觉；所述控制方法包括：位置检测步骤，将对象相对于显示表面的位置检测为对象深度；以及根据图像深度和对象深度，控制感觉刺激单元的步骤，其中所述图像深度指示从3D图像获得的至少一个显示对象的立***置。
所述方法与特定装置相关联，即，与包括显示单元和感觉刺激单元的电子装置相关联。
根据本发明的第三方面，提供了一种程序，引起计算机控制包括显示单元和感觉刺激单元的电子装置执行以下处理，其中所述显示单元包括显示三维(3D)图像的显示表面，所述感觉刺激单元刺激用户的感觉：位置检测处理，将对象相对于显示表面的位置检测为对象深度；以及根据图像深度和对象深度，控制感觉刺激单元的处理，其中所述图像深度指示从3D图像获得的至少一个显示对象的立***置。
可以将所述程序记录在计算机可读存储介质中。所述存储介质可以是非瞬时的存储介质，例如，半导体存储器、硬盘、磁记录介质或光学记录介质。本发明可以表现为计算机程序产品。
本发明的以上方面提供了一种用于根据3D图像刺激用户感觉的电子装置及其控制方法和程序。
附图说明
图1是用于示出示例实施例的概述的图。
图2示出了根据第一示例实施例的电子装置1的内部配置。
图3示出了用于示出对象深度和图像深度的图。
图4是用于示出对象深度和图像深度的图。
图5是示出了电子装置1的操作的流程图。
图6是根据第二示例实施例的用于示出对象深度和图像深度的图。
图7是根据第二示例实施例的用于示出对象深度和图像深度的图。
具体实施方式
首先，参考图1描述示例实施例的概述。在以下概述中，为了简便起见，通过附图标记来表示多种组件。即，以下附图标记仅用作示例，以帮助理解本发明。对概述的描述并非意在对本发明强加任何限制。
如上所述，PTL 1和PTL 2所公开的技术无法实现根据三维(3D)图像来刺激用户感觉的电子装置。这是由于无法根据这些技术定义(确定)在当用户观看3D图像时的深度方向位置以及用户用于触摸该3D图像的指尖之间的位置关系。
因此，为了解决该问题，提出了例如如图1所示的电子装置100。电子装置100包括显示单元101、位置检测单元102、感觉刺激单元103和控制单元104。显示单元101包括显示3D图像的显示表面。位置检测单元102将对象相对于显示表面的位置检测为对象深度。感觉刺激单元103刺激用户感觉。控制单元104根据图像深度和对象深度，控制感觉刺激单元，其中图像深度指示从3D图像获得的至少一个显示对象的立***置。
电子装置100将用户观看到的3D图像的位置定义为图像深度，并将例如用户指尖等对象的位置定义为对象深度。电子装置100使用感觉刺激单元103和控制单元104，根据图像深度和对象深度来刺激操作电子装置100的用户的感觉(例如，触觉感觉)。因此，根据3D图像的显示位置和例如指尖等对象的位置，电子装置100可以使得用户能够感到用户仿佛正在触摸3D虚拟对象。传统地，当使用具有有限显示表面面积的移动电子装置等时，用户难以快速识别显示为3D图像的对象的位置。然而，由于刺激了用户触觉感觉等，用户实际上可以利用电子装置100来识别对象的位置。
下文中，将参考附图详细描述具体实施例。
[第一示例实施例]
参考附图详细描述第一示例实施例。
图2示出了根据本示例实施例的电子装置1的内部配置。尽管将根据本示例实施例的电子装置1描述为移动电话，然而电子装置1不限于移动电话。例如，电子装置1可以是任意电子装置，例如，移动电话、智能电话、游戏机、平板PC(个人计算机)、膝上型PC或PDA(个人数据助理；移动信息终端)。
电子装置1包括显示单元10、对象深度检测单元20、感觉刺激单元30、存储单元40和控制单元50。为了简便起见，图2主要示出了根据本示例实施例的与电子装置1相关的模块。
显示单元10可以显示3D图像，并包括例如液晶面板等显示设备。显示单元10接收与控制单元50产生的3D图像相对应的图像信号，并根据接收到的图像信号，向用户提供3D图像。可以将任意方法用于再现所述3D图像。例如，用户可以佩戴包括液晶快门的眼镜来观看3D图像，或用户可以直接观看3D图像而无需任何眼镜。显示单元10显示的3D图像的示例包括静止图像和运动图像。
显示单元10显示多种图像。显示单元10不仅显示与3D显示相对应的图像，而且还显示与3D显示不相对应的图像。当显示3D图像时，观看3D图像的用户识别到：沿显示单元10的显示表面的法线方向，在与显示表面的位置不同的位置处显示图像。在本示例实施例中，观看3D图像的用户感知到3D图像的位置是图像的显示位置。
对象深度检测单元20检测在与显示单元10的显示表面相垂直的方向(法线方向)上存在的导体的位置。对象深度检测单元20与上述位置检测单元102相对应。对象深度检测单元20包括例如投影式电容检测传感器。当使导体(例如，诸如指尖等人体部位)靠近电极(下文所述的电极300)时，对象深度检测单元20根据随电极和导体之间的距离而改变的电容变化，计算显示表面和导体之间的距离。
对象深度检测单元20可以使用例如红外传感器等距离传感器来检测所述对象(导体)相对于显示单元10的显示表面的位置。备选地，如果电子装置1包括摄像机功能，则对象深度检测单元20可以通过对在捕获到导体的图像执行图像处理，来估计显示表面和导体之间的位置关系。
由于对象深度检测单元20的主要功能在于检测显示单元10的显示表面和导体之间的位置关系，因此电子装置1附加地需要包括触摸面板等的操作单元(未示出)。可以将操作单元中包括的触摸面板制造为显示单元10(例如液晶面板)、触摸传感器等的组合。备选地，可以一体化地制造所述触摸面板。即，不限制触摸面板的检测方法、配置等。
感觉刺激单元30通过向握住电子装置1的壳体的用户手部施加振动或压力，来刺激用户的触觉感觉。例如，感觉刺激单元30包括压电元件(包括MEMS(微机电***)器件)、例如用于使握住电子装置1的手部振动的振动电机等器件、或通过使用弹簧等向手部施加压力的器件。假定感觉刺激单元30包括压电元件，进行以下描述。然而，感觉刺激单元30中包括的器件不限于压电元件。
感觉刺激单元30从控制单元50接收信号S，并根据信号S控制压电元件。除了触觉感觉之外，感觉刺激单元30还可以刺激用户的不同感觉。例如，感觉刺激单元20可以通过使用语音等来刺激听觉感觉。
例如，存储单元40存储用于操作电子装置1所需的信息以及提供给用户的3D图像。
控制单元50全面地控制电子装置1并控制图2所示的每个单元。假定用户通过使用与握住电子装置1的手部手指不同的手指来操作电子装置1，进行以下描述。
接下来，详细描述对象深度和图像深度。
图3和4是用于示出对象深度和图像深度的图。将参考图3和4来描述图4所示的图像A的对象深度和图像深度。
如图3所示，对象深度检测单元20虚拟地将参考平面设置在沿显示单元10的显示表面的法线方向与布置在所述显示表面上的电极300相距L0的位置处，所述参考平面用作当检测导***置时的参考。将导体沿法线方向到参考平面的位置用作对象深度，并将上述参考平面用作对象深度参考平面。
图3中，用作导体的指尖301(输入设备)存在于与所述对象深度参考平面相距L1的位置处。对象深度检测单元20根据随在电极300和用作导体的指尖301之间的距离而改变的电容变化，计算距离L1+L0。接下来，通过从距离L1+L0减去距离L0，对象深度检测单元20检测到指尖301的对象深度。即，对象深度检测单元20确定所述距离L1是指尖301的对象深度。如果对象深度检测单元20将与对象深度参考平面的位置相对应的距离L0设置为0(L0＝0)，则显示单元10的显示表面与对象深度参考平面的位置实质上相匹配。
接下来，描述图像深度。
显示对象的图像深度是指示用户识别到显示对象从参考平面凸出的程度的指标(index)。
将3D图像提前存储在电子装置1的存储单元40中。当创建了包括3D图像的内容时，电子装置1的设计者将图像深度提前添加到每个图像。在该操作中，如图4所示，为了定义从显示单元10的显示表面的凸出量，设计者虚拟地将平行于显示表面并沿显示表面的法线方向与显示表面相距M0的平面设置为参考平面。将图像沿法线方向到参考平面的显示位置(用户观看到的位置)确定为图像的图像深度，并将以上参考平面确定为图像深度参考平面。在图4中，用户感到显示显示单元10显示的图像A的位置(凸出量)与图像深度参考平面相距M1。因此，图像A的图像深度是距离M1。从以上描述应清楚：图像A与图像深度参考平面越远，图像深度M1越大。
更具体地，如下所示地添加图像深度。如果设计者将图像深度参考平面用作参考，并希望用户认识到3D图像显示在与参考平面相同的平面上，则设计者将图像的图像深度设置为0。此外，图像深度最大值由对象深度检测单元20可以检测到导体的范围确定。例如，如果对象深度检测单元20的导***置检测能力是距离L3，且如果设计者希望在与距离L3相对应的位置处凸出并显示图像，则设计者将所述图像深度设置为最大值。距离L3可以根据对象深度检测单元20中使用的器件的规格来获得，并且是可以由所述电子装置1的设计者提前掌握的值。图像深度最小值由设计者希望向要显示的3D图像添加的到图像深度参考平面的深度来确定。
这样，电子装置1的设计者根据设计者希望用户如何来识别每个3D图像，确定并添加每个3D图像的图像深度。将具有图像深度的每个3D图像存储在存储单元40中。
接下来，描述控制单元50。
图2所示的控制单元50包括图像深度提取单元201、深度确定单元202以及相关控制单元203。
控制单元50产生要通过显示单元10显示的3D图像，将图像信号提供给显示单元10。
图像深度提取单元201从存储单元40读取3D图像，并提取向3D图像添加的图像深度M1。
深度确定单元202将图像深度M1与由对象深度检测单元20获得的对象深度L1进行比较，以便确定用户操作。更具体地，根据图像深度M1和对象深度L1之间的比较的结果，深度确定单元202确定以下三个情况中的哪一个与所述用户操作相对应。这三种情况如下：使指尖301沿显示表面方向从与显示单元10相反的一侧靠近图像A的情况、用户感到指尖301正在触摸图像A(指尖301以虚假的方式与图像A相接触)的情况、以及指尖301穿过图像A并靠近所述显示表面的情况。
下文中，使指尖301沿显示表面方向从与显示单元10相反的一侧靠近图像A的情况称作情况A。将用户感到指尖301正在触摸所述图像A的情况称作情况B。将指尖301穿过图像A并靠近显示表面的情况称作情况C。
每个情况下，图像深度M1和对象深度L1之间的关系如下所示：
情况A中，图像深度M1-对象深度L1＞0
情况B中，图像深度M1＝对象深度L1
情况C中，图像深度M1-对象深度L1＜0
相关控制单元203根据由深度确定单元202获得的确定结果，改变向感觉刺激单元30传输的信号S。例如，如果从相关控制单元203向感觉刺激单元30传输的信号S是具有预定直流(DC)分量的正弦波，则相关控制单元203改变所述正弦波的频率和幅度。
例如，相关控制单元203如下改变信号S。
在情况A中，随着图像深度M1和对象深度L1之间的绝对值减小(随着图像深度M1和对象深度L1之间的差值接近0)，相关控制单元203增加信号S的幅度。然而，在这种情况下，保持信号S的频率。
在情况B中，相关控制单元203将信号S的幅度设置为最大值。
在情况C中，随着图像深度M1和对象深度L1之间的绝对值增加，相关控制单元203在保持信号S的幅度在最大值的同时，改变频率。
在情况A中，当感觉刺激单元30从相关控制单元203接收到信号S时，随着图像深度M1和对象深度L1之间的绝对值减小，感觉刺激单元30增加压电元件的振动幅度。在情况B中，感觉刺激单元30将所述压电元件的振动幅度设置为最大值。在情况C中，感觉刺激单元30在将所述压电元件的振动幅度保持为最大值的同时，改变振动频率。
接下来，描述根据本示例实施例的电子装置1的操作。
图5是示出了电子装置1的操作的流程图。
在步骤S01，控制单元50确定显示单元10是否正在显示3D图像(例如，图像A)。如果并非正在显示图像A(步骤S01中的否)，则控制单元50重复步骤S01，直到显示图像A为止。如果显示3D图像(步骤S01中的是)，则图像深度提取单元201从所显示的3D图像提取图像深度M1(步骤S02)。
在步骤S03，对象深度检测单元20确定在对象深度检测单元20的检测范围内是否存在指尖301。对象深度检测单元20的检测范围由电极300的结构(厚度、材料、与所述电极并联的电容器的电容等)确定。如果在检测范围内不存在指尖301(步骤S03中的否)，则不向所述相关控制单元203传输信号S，并且对象深度检测单元20结束本处理。
如果在检测范围内存在指尖301(步骤S03中的是)，则对象深度检测单元20检测指尖301的对象深度L1(步骤S04)。即，对象深度检测单元20检测对象深度L1，对象深度L1是对象深度参考平面和指尖301之间的距离。当使指尖301靠近显示表面并进入检测范围时，对象深度L1为最大级别。然而，对象深度L1随着使指尖301更靠近所述显示表面而减小。
在步骤S05，深度确定单元202将图像深度M1和对象深度L1进行比较。根据比较结果，深度确定单元202执行不同处理。根据图像深度M1的值和对象深度L1的值，深度确定单元202确定情况A到C中的哪个情况与图像深度M1和对象深度L1之间的位置关系相对应。根据确定结果，深度确定单元202执行不同处理。更具体地，深度确定单元202计算图像深度M1和对象深度L1之间的差值，并确定差值是“正值”、“0”还是“负值”。根据确定结果，深度确定单元202执行不同处理。
相关控制单元203根据情况改变向感觉刺激单元30传输的信号S的幅度或频率。更具体地，如果由深度确定单元202获得的确定结果是“正值”(图像深度M1-对象深度L1＞0；情况A)，则相关控制单元203设置信号S，使得在对象深度L1为最大级别时信号S的幅度在最大级别。相关控制单元203随着图像深度M1和对象深度L1之间的绝对值的减小而增加信号S的幅度(步骤S06)。在这种情况下，保持信号S的频率。
如果深度确定单元202获得的确定结果是“0”(图像深度M1-对象深度L1＝0；情况B)，则相关控制单元203将所述信号S的幅度设置为最大值(步骤S07)。当图像深度M1和对象深度L1实质上匹配时，满足图像深度M1-对象深度L1＝0的关系。
如果深度确定单元202获得的确定结果是“负值”(图像深度M1-对象深度L1＜0；情况C)，则相关控制单元203随着图像深度M1和对象深度L1之间的绝对值增加而减小信号S的频率。在这种情况下，将信号S的幅度保持在最大值。在每个情况下，将信号S输出到感觉刺激单元30。
在步骤S09到S11，感觉刺激单元30根据信号S控制内部压电元件。
更具体地，在步骤S09，感觉刺激单元30控制压电元件，使得压电元件在对象深度L1为最大值时最小地进行振动，并且压电元件随着图像深度M1和对象深度L1之间的绝对值减小而越来越大地进行振动。即，当对象深度L1是最大值时施加的振动量是握住电子装置1的用户手部可以感到的最小振动量。在这种情况下，保持振动频率。
在步骤S10中，感觉刺激单元30控制压电元件，使得将振动量增加到最大级别。
在步骤S11中，感觉刺激单元30控制压电元件，使得振动频率随着图像深度M1和对象深度L1之间的绝对值增加而减小。在这种情况下，保持振动幅度。
在步骤S09到S11之后，控制单元50确定是否存在与已显示的3D图像不同的3D图像(步骤S12)。
如果存在下一3D图像(步骤S12中的是)，则所述操作返回到步骤S01，控制单元50继续上述处理。相反，如果控制单元50确定不存在下一3D图像(步骤S12中的否)，则控制单元50结束图5所示的处理。
如果将对象深度参考平面和图像深度参考平面设置在显示单元10的显示表面(电极300的表面)上(如果距离L0＝0且距离M0＝0)，则指尖301不穿过所述显示表面(对象深度参考平面)。因此，当指尖301的对象深度L1是0时，如果确定了图像A的凸出量(即，图像A的图像深度M1)，则确定向用户触觉感觉施加的振动量和频率。
因此，描述了使与握住电子装置1的手部不同的手部指尖靠近电子装置1的显示单元10的示例。然而，当然在使握住电子装置1的手部的指尖靠近显示单元10时同样可以获得相同的有利效果。此外，尽管在以上描述中将指尖301用作靠近电子装置1的导体的示例，然而所述导体不限于指尖。除了指尖之外，可以使用能够改变电极300的电容的任意对象。例如，可以使用触控笔，所述触控笔具有用作导体的笔尖。此外，如果对象深度检测单元20包括距离传感器等，则靠近显示表面的对象可以是除了导体之外的对象。即，由电子装置1检测的对象不限于导体。
当图像深度M1和对象深度L1之间的差值是“正值”、“0”或“负值”时，压电元件的振动幅度和振动频率的组合不限于以上描述。例如，当图像深度M1-对象深度L1＞0(情况A)时，可以将压电元件的振动幅度设置为0。当图像深度M1-对象深度L1＝0(情况B)时，压电元件可以以预定振动幅度和振动频率进行振动。此外，压电元件可以配置为当图像深度M1-对象深度L1＜0(情况C)时保持与情况B相同的振动幅度，并随着图像深度M1和对象深度L1之间的绝对值增加而减小振动频率。备选地，只有当图像深度M1-对象深度L1＝0(情况B)时，压电元件可以配置为以预定振动幅度和振动频率进行振动。此外备选地，压电元件可以配置为在情况A和情况B下保持振动幅度的同时改变振动频率和在情况C下保持振动频率的同时改变振动幅度。这样，当图像深度M1-对象深度L1为“正值”、“0”或“负值”时，压电元件的振动幅度和振动频率的多种组合是有可能的。
此外，在以上描述中，电子装置1使用压电元件作为用于刺激用户触觉感觉以便使得用户能够识别到图像A的存在的装置。然而，可以使用其他装置。例如，如果电子装置1包括扬声器，则可以将语音用于刺激用户的听觉感觉，从而使得用户能够识别到图像A的存在。
如上所述，在根据本示例实施例的电子装置1中，感觉刺激单元30根据指示从3D图像获得的至少一个显示对象的立***置的图像深度和靠近显示单元10中包括的显示表面的对象的对象深度，控制向用户施加的刺激。即，通过使用感觉刺激单元30，电子装置1可以向用户手部给出指尖正在触摸图像A的感觉。此外，电子装置1可以根据用户指尖和3D图像之间相对深度，刺激握住电子装置1的手部的触觉感觉。因此，用户可以直观地认识到用户正在观看的图像必定存在于显示位置(深度)处。由于用户可以直观地感到图像的位置，而无需靠近观看所述显示屏幕，因此用户可以通过向他/她的手部施加的振动，识别到图像的存在。
[第二示例实施例]
接下来，参考附图详细描述第二示例实施例。
根据本示例实施例的电子装置2与根据第一示例实施例的电子装置1具有相同的内部配置。因此，将省略与图2相对应的描述。电子装置2与电子装置1不同之处在于对象深度检测单元20中包括的电极的结构。电子装置2的对象深度检测单元20中包括的电极310被划分为多个部分。通过将电极310分为多个部分，可以检测到指尖301在显示表面上的位置的坐标。如果对象深度检测单元20包括被分为多个部分的电极310，则对象深度检测单元20还用作接收用户操作的触摸面板(操作单元)。
在第一示例实施例中，描述了从显示单元10的表面均匀凸出的图像A的情况。在本发明示例实施例中，描述了3D图像具有不规则性的情况。
图6和7是根据第二示例实施例的用于示出对象深度和图像深度的图。
电子装置2处理具有不规则性的图像，例如，图7所示的3D图像B。图7所示的图像B是具有从区域420凸出的区域410的图像。电子装置2与电子装置1的不同之处在于：电子装置2获得指尖301相对于图像B中的区域410和420的相对面内位置。
如图6和7所示，电极310在平面内被分为多个部分，对象深度检测单元20根据多个电极部分的电容变化，检测指尖301的对象深度L1。此外，在图6所示的对象深度参考平面上定义X1轴和Y1轴。通过预先定义每个电极部分在由这两个轴形成的坐标轴上的坐标位置，可以根据电容发生改变的电极部分的位置，计算指尖301的面内位置。
相反，在图7所示的图像深度参考平面上定义X2轴和Y2轴。可以提前掌握关于图像B的区域410和420在由这两个轴形成的坐标轴上的位置的信息。这是由于图像B是当设计电子装置2时准备的图像，并且是由电子装置2的设计者准备的图像。通过将X1Y1坐标轴的参考点400的位置与X2Y2坐标轴的参考点401的位置相匹配，可以计算指尖301相对于图像B内的区域410和420的相对面内位置。
这样，通过将电极310划分为多个部分，即使图像B包括多个区域，每个区域具有不同的图像深度，电子装置2可以根据特定区域的图像深度，刺激握住电子装置2的手部。假定电极310在显示单元10上包括多个电极部分，进行以上描述。然而，备选地，除了图3和4所示的电极300之外，显示单元10可以配备有能够检测显示屏幕上的位置的触摸传感器。在这种情况下，例如，可以将电容型或电阻型触摸传感器用作位置检测触摸传感器，对位置检测触摸传感器和包括对象深度检测单元20的电极300进行堆叠。
[变型]
如上所述，由电子装置2显示的图像不限于不具有厚度的平坦图像。例如，可以显示为立方形、球形或柱面形的立体对象。当显示这种立体对象时，电子装置2可以设置两个虚拟平面：当用户使指尖301靠近显示单元10的显示表面时用户首先触摸的一个平面，以及在指尖301穿过所述立体对象之后触摸到的另一平面。即，用户指尖和虚拟显示的立体对象之间的关系改变如下。
首先，使用户的指尖301靠近立体对象，指尖301触摸从用户看到的近侧平面。接下来，如果用户使指尖301更靠近显示单元10，则指尖301进入立体对象。接下来，指尖301穿过所述立体对象。更具体地，指尖301达到与近侧平面相对的另一平面，并穿过立体对象。
在这种情况下，如果仅存在一个用于刺激用户感觉的装置，则难以向用户通知以上状态的改变。这是由于感觉刺激单元30中包括的压电元件可以改变两种类型的参数，即，振动的幅度和频率。然而，如果电子装置1或2包括多个压电元件，则可以通过使用所述多个压电元件来向用户通知当指尖301穿过立体对象时引起的状态改变。
如果电子装置2包括两个压电元件，且如果这两个压电元件被布置为分别沿两个方向(即，上下和左右)振动电子装置2的壳体，则相关控制单元203可以根据对象深度和图像深度，执行以下控制操作。
首先，随着使用户的指尖301更靠近显示单元10的显示表面，相关控制单元203增加令壳体左右振动的压电元件的振动幅度。当指尖301触摸近侧平面时，校正控制单元20最大化这种左右振动量。接下来，如果指尖301进一步前进穿过立体对象，则相关控制单元203增加令壳体上下振动的压电元件的振动幅度。当指尖301达到与近侧平面相对的平面时，相关控制单元203最大化这种上下振动量。如果指尖301穿过与近侧平面相对的平面，则相关控制单元203减小两个压电元件中的每个的振动频率。
备选地，如果电子装置2包括两个压电元件，则以下控制操作也是可能的。例如，可以将刺激变化点设置在例如球面形或立方形等显示图像内。例如可以将刺激变化点设置在图像的中心点处。可以将图像的中心点设置在要显示的图像的几何中心点处。即，可以将以下三个平面的交叉点设置为中心点：延伸穿过在立体对象等的水平显示范围内的最右点和最左点的中点的垂直平面、延伸穿过在垂直显示范围内的最上点和最下点的中点的水平平面、以及延伸穿过虚拟深度方向的最近点和最远点的中点并平行于显示单元的平面。然而，这种刺激变化点不限于这种几何中心点。可以使用根据每个要显示的立体对象而确定的任意值。
如果指尖301相对于这种刺激变化点垂直地和水平地移动，则当指尖301达到刺激变化点时，相关控制单元203最大化压电元件的幅度。由于指尖301水平地和垂直地进行移动，相关控制单元203控制两个压电元件的幅度。例如，相关控制单元203随着指尖301从刺激变化点移开而减小振动幅度。当指尖301从立体对象移出时，相关控制单元203停止振动。
此外，当指尖301朝向显示单元10移动(或从显示单元10移开)时，相关控制单元203最大化在刺激变化点处两个压电元件中的每个压电元件的振动频率。随着指尖301从刺激变化点移开，相关控制单元203减小所述振动频率。
这样，如果电子装置2包括两个压电元件，则可以根据两个压电元件的每个压电元件的振动量和频率，向用户通知指尖301相对于立体对象的位置。
下文描述了部分的或全部的上述示例实施例。然而，本发明不限于以下模式。
【模型1】
参照根据上述第一方面的电子装置。
【模型2】
根据模式1所述的电子装置；
其中位置检测单元将对象沿显示表面的法线方向的位置检测为所述对象深度。
【模型3】
根据模式1或2所述的电子装置；
其中所述图像深度是预先添加到3D图像并对从预定参考平面到作为所述用户观看到的凸出或凹陷对象的图像的距离加以指示的值；以及
其中控制单元包括：图像深度提取单元，从3D图像提取的图像深度。
【模型4】
根据模式1到3中的任一模式所述的电子装置；
其中所述控制单元包括：
深度确定单元，将所述图像深度和所述对象深度进行比较；以及
相关控制单元，根据深度确定单元获得的比较结果，控制由感觉模拟单元向用户感觉施加的刺激。
【模型5】
根据模式4所述的电子装置；
其中所述感觉刺激单元包括：压电元件，能够改变振动幅度和振动频率中的至少一个；以及
其中所述相关控制单元根据比较结果，改变压电元件的振动幅度和振动频率中的至少一个。
【模型6】
根据模式5所述的电子装置；
其中当图像深度和对象深度相匹配时，相关控制单元最大化振动幅度和振动频率中的至少一个。
【模型7】
根据模式5所述的电子装置；
其中当图像深度和对象深度相匹配时，相关控制单元使压电元件振动。
【模型8】
根据模式4到7中任一模式所述的电子装置；
其中相关控制单元根据显示对象在显示表面上的位置、显示对象的图像深度、对象在显示表面上的位置以及对象的对象深度，控制向用户施加的刺激。
【模型9】
根据模式4到8中的任一模式所述的电子装置；
其中所述相关控制单元根据在从3D图像获得的立体对象内部定义的刺激变化点，改变由感觉刺激单元向用户施加的刺激。
【模型10】
参照根据上述第二方面的电子装置的控制方法。
【模型11】
根据模式10所述的电子装置的控制方法；
其中，在位置检测步骤中，将对象沿显示表面的法线方向的位置检测为对象深度。
【模型12】
根据模式10或11所述的电子装置的控制方法；
其中所述图像深度是预先添加到3D图像并对从预定参考平面到作为用户观看到的凸出或凹陷对象的图像的距离加以指示的值；以及
其中所述控制方法包括从3D图像提取图像深度的图像深度提取步骤。
【模型13】
根据模式10到12中的任一模式所述的电子装置的控制方法；
其中所述控制方法包括：
深度确定步骤，将图像深度和对象深度进行比较；以及
相关控制步骤，根据在深度确定步骤中获得的比较结果，控制由感觉模拟单元向用户感觉施加的刺激。
【模型14】
根据模式13所述的电子装置的控制方法；
其中所述感觉刺激单元包括：压电元件，能够改变振动幅度和振动频率中的至少一个；以及
其中在所述相关控制步骤中，根据比较结果，改变压电元件的振动幅度和振动频率中的至少一个。
【模型15】
根据模式14所述的电子装置的控制方法；
其中当图像深度和对象深度相匹配时，在相关控制步骤中最大化振动幅度和振动频率中的至少一个。
【模型16】
根据模式14所述的电子装置的控制方法；
其中当图像深度和对象深度相匹配时，在相关控制步骤中使压电元件振动。
【模型17】
根据模式10到16中的任一模式所述的电子装置的控制方法；
其中，在相关控制步骤中，根据显示对象在显示表面上的位置、显示对象的图像深度、对象在显示表面上的位置以及对象的对象深度，控制向用户施加的刺激。
【模型18】
根据模式13到17中的任一模式所述的电子装置的控制方法；
其中在所述相关控制步骤中，根据在从3D图像获得的立体对象内部定义的刺激变化点，来改变由感觉刺激单元向用户施加的刺激。
【模型19】
参照根据上述第三方面的程序。
【模型20】
根据模式19所述的程序；
其中，在位置检测处理中，将对象沿显示表面的法线方向的位置检测为对象深度。
【模型21】
根据模式19或20所述的程序；
其中所述图像深度是预先添加到3D图像并对从预定参考平面到作为用户观看到的凸出或凹陷对象的图像的距离加以指示的值；以及
其中所述程序引起计算机执行用于从所述3D图像提取图像深度的图像深度提取处理。
【模型22】
根据模式19到21中的任一模式所述的程序；
其中所述程序引起计算机执行：
深度确定处理，用于将图像深度和对象深度进行比较；以及
相关控制处理，用于根据在深度确定步骤中获得的比较结果，控制由感觉模拟单元向用户感觉施加的刺激。
【模型23】
根据模式22所述的程序；
其中所述感觉刺激单元包括：压电元件，能够改变振动幅度和振动频率中的至少一个；以及
其中在所述相关控制处理中，根据比较结果，改变压电元件的振动幅度和振动频率中的至少一个。
【模型24】
根据模式23所述的程序；
其中当图像深度和对象深度相匹配时，在相关控制过程中最大化振动幅度和振动频率中的至少一个。
【模型25】
根据模式23所述的程序；
其中当图像深度和对象深度相匹配时，在相关控制处理中使压电元件振动。
【模型26】
根据模式19到25中的任一模式所述的程序；
其中，在相关控制处理中，根据显示对象在显示表面上的位置、显示对象的图像深度、对象在显示表面上的位置以及对象的对象深度，控制向用户施加的刺激。
【模型27】
根据模式19到26中的任一模式所述的程序；
其中在所述相关控制处理中，根据在从3D图像获得的立体对象内部定义的刺激变化点，改变由感觉刺激单元向用户施加的刺激。
【模型28】
一种处理装置，包括：
显示装置，显示用于立体观看的立体图像；
位置检测装置，检测指示装置相对于显示装置的位置；
通知装置，通过使用物理振动给出通知；以及
控制装置，根据立体图像中包括的至少一个显示对象的立***置和指示装置的位置之间的位置关系，控制由通知装置给出的通知。
【模型29】
一种能够在显示屏幕上显示三维(3D)图像的移动终端，所述移动终端包括：
输入接收单元，当使输入设备靠近显示屏幕时，接收输入操作并获取沿显示屏幕法线方向的输入位置；
图像显示位置深度计算单元，获得显示屏幕上上显示的3D图像相对于显示屏幕的相对深度位置；以及
供应单元，根据沿显示屏幕法线方向的输入位置和3D图像的显示位置之间的相关性，输出振动或力。
【模型30】
根据模式29所述的移动终端，还包括：
确定单元，将沿显示屏幕法线方向的输入位置和3D图像的深度位置进行比较。
【模型31】
根据模式29或30所述的移动终端；
其中根据沿显示屏幕法线方向的输入位置和3D图像的深度位置之间的相对位置，改变供应单元的振动幅度和振动频率中的至少一个。
【模型32】
根据模式31所述的移动终端；
其中当沿显示屏幕法线方向的输入位置和3D图像的深度位置相匹配时，最大化供应单元的振动幅度和振动频率中的至少一个。
【模型33】
根据模式29所述的移动终端；
其中当沿显示屏幕法线方向的输入位置和3D图像的深度位置相匹配时，所述供应单元振动。
【模型34】
根据模式29到33中的任一模式所述的移动终端；
其中根据显示屏幕上的面内位置和3D图像的面内位置之间的相对位置，改变所述供应单元的振动幅度和振动频率中的至少一个。
通过引用将上述PTL等的每个公开合并于此。在本发明的全部公开的范围(包括权利要求)内，并且基于本发明的基础技术构思，可以对示例实施例和示例进行修改和调整。此外，在本发明的权利要求的范围内，可以对多种所公开的元件(包括在每个权利要求、示例实施例、示例、附图等中的元件)进行多样化的组合和选择。即，本发明包括由本领域技术人员根据全部公开(包括权利要求及技术构思)进行的多种变型和修改。具体地，本描述公开了数值范围。即使本描述没有详细公开包括在该范围内的任意数值或较小范围，然而这些值和范围应被视为已具体公开。
附图标记列表
1，2，100：电子装置
10，101：显示单元
20：对象深度检测单元
30，103：感觉刺激单元
40：存储单元
50，104：控制单元
102：位置检测单元
201：图像深度提取单元
202：深度确定单元
203：相关控制单元
300，310：电极
301：指尖
400，401：参考点
410，420：区域

Claims (12)

1.一种电子装置，包括：
显示单元，所述显示单元包括显示三维3D图像的显示表面；
位置检测单元，所述位置检测单元将对象相对于所述显示表面的位置检测为对象深度；
感觉刺激单元，所述感觉刺激单元刺激用户的感觉；以及
控制单元，所述控制单元根据图像深度和对象深度，控制所述感觉刺激单元，所述图像深度指示从所述3D图像获得的至少一个显示对象的立***置，
其中所述控制单元包括：
深度确定单元，所述深度确定单元将所述图像深度和所述对象深度进行比较；以及
相关控制单元，所述相关控制单元根据所述深度确定单元获得的比较结果，控制由所述感觉刺激单元向所述用户的感觉施加的刺激，
其中，所述相关控制单元根据在从所述3D图像获得的立体对象内部定义的刺激变化点，改变由所述感觉刺激单元向用户施加的刺激。
2.根据权利要求1所述的电子装置；
其中所述位置检测单元将对象沿所述显示表面的法线方向的位置检测为所述对象深度。
3.根据权利要求1或2所述的电子装置；
其中所述图像深度是预先添加到所述3D图像并对从预定参考平面到作为所述用户观看到的凸出或凹陷对象的图像的距离加以指示的值；以及
其中所述控制单元包括：从所述3D图像提取所述图像深度的图像深度提取单元。
4.根据权利要求1所述的电子装置；
其中所述感觉刺激单元包括：压电元件，能够改变振动幅度和振动频率中的至少一个；以及
其中所述相关控制单元根据所述比较结果，改变所述压电元件的所述振动幅度和所述振动频率中的至少一个。
5.根据权利要求4所述的电子装置；
其中当所述图像深度和所述对象深度相匹配时，所述相关控制单元最大化所述振动幅度和所述振动频率中的至少一个。
6.根据权利要求4所述的电子装置；
其中当所述图像深度和所述对象深度相匹配时，所述相关控制单元使所述压电元件振动。
7.根据权利要求1所述的电子装置；
其中所述相关控制单元根据所述显示对象在所述显示表面上的位置、所述显示对象的图像深度、所述对象在所述显示表面上的位置、以及所述对象的对象深度，控制向所述用户施加的所述刺激。
8.一种电子装置的控制方法，所述电子装置包括显示单元和感觉刺激单元，所述显示单元包括显示三维3D图像的显示表面，所述感觉刺激单元刺激用户的感觉，所述控制方法包括：
位置检测步骤，所述位置检测步骤将对象相对于所述显示表面的位置检测为对象深度；以及
根据图像深度和对象深度控制所述感觉刺激单元的步骤，所述图像深度指示从所述3D图像获得的至少一个显示对象的立***置，
其中所述控制方法包括：
深度确定步骤，所述深度确定步骤将所述图像深度和所述对象深度进行比较；以及
相关控制步骤，所述相关控制步骤根据在所述深度确定步骤中获得的比较结果，控制由所述感觉刺激单元向所述用户的感觉施加的刺激，
其中，在所述相关控制步骤中，根据在从所述3D图像获得的立体对象内部定义的刺激变化点，改变由所述感觉刺激单元向用户施加的刺激。
9.根据权利要求8所述的电子装置的控制方法；
其中，在所述位置检测步骤中，将对象沿所述显示表面的法线方向的位置检测为所述对象深度。
10.根据权利要求8或9所述的电子装置的控制方法；
其中所述图像深度是预先添加到所述3D图像并对从预定参考平面到作为所述用户观看到的凸出或凹陷对象的图像的距离加以指示的值；以及
其中所述控制方法包括从所述3D图像提取所述图像深度的图像深度提取步骤。
11.根据权利要求8所述的电子装置的控制方法；
其中所述感觉刺激单元包括：压电元件，能够改变振动幅度和振动频率中的至少一个；以及
其中在所述相关控制步骤中，根据所述比较结果，改变所述压电元件的所述振动幅度和所述振动频率中的至少一个。
12.根据权利要求11所述的电子装置的控制方法；
其中当所述图像深度和所述对象深度相匹配时，在所述相关控制步骤中，最大化所述振动幅度和所述振动频率中的至少一个。
CN201380045438.5A 2012-08-28 2013-08-27 电子装置及其控制方法和程序 Expired - Fee Related CN104603718B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-187866 2012-08-28
JP2012187866A JP6012068B2 (ja) 2012-08-28 2012-08-28 電子機器、その制御方法及びプログラム
PCT/JP2013/072847 WO2014034653A1 (ja) 2012-08-28 2013-08-27 電子機器、その制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104603718A CN104603718A (zh) 2015-05-06
CN104603718B true CN104603718B (zh) 2017-06-16

Family

ID=50183465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380045438.5A Expired - Fee Related CN104603718B (zh) 2012-08-28 2013-08-27 电子装置及其控制方法和程序

Country Status (5)

Country Link
US (1) US20150192996A1 (zh)
EP (1) EP2891948A4 (zh)
JP (1) JP6012068B2 (zh)
CN (1) CN104603718B (zh)
WO (1) WO2014034653A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2925436B1 (fr) 2007-12-20 2010-05-21 Valeo Securite Habitacle Adaptateur pour antivol et antivol associe.
JP2015114836A (ja) * 2013-12-11 2015-06-22 キヤノン株式会社 画像処理装置、触感制御方法及びプログラム
CA2875033C (en) * 2014-12-17 2022-07-26 Fayez Idris Contactless tactile feedback on gaming terminal with 3d display
TWI601076B (zh) * 2016-09-08 2017-10-01 友達光電股份有限公司 生物體刺激裝置與生物體刺激方法
TWI637303B (zh) * 2017-10-11 2018-10-01 聯陽半導體股份有限公司 觸控裝置及觸控裝置的操作方法
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
US11647888B2 (en) * 2018-04-20 2023-05-16 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays
CN109782950B (zh) * 2019-01-04 2022-05-17 Oppo（重庆）智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3798287B2 (ja) * 2001-10-10 2006-07-19 Ｓｍｋ株式会社 タッチパネル入力装置
JP4013773B2 (ja) 2003-01-24 2007-11-28 株式会社デンソー 地図表示装置
JP2005196530A (ja) * 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法
WO2007114225A1 (ja) * 2006-03-31 2007-10-11 Pioneer Corporation 立体的二次元画像表示装置
JP2008217260A (ja) * 2007-03-01 2008-09-18 Shibaura Institute Of Technology 力覚提示装置
US8004501B2 (en) 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20100128112A1 (en) * 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
JP5477740B2 (ja) * 2009-11-02 2014-04-23 独立行政法人情報通信研究機構 多感覚インタラクションシステム
US8508347B2 (en) * 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
JP2012022639A (ja) * 2010-07-16 2012-02-02 Ntt Docomo Inc 表示装置、映像表示システムおよび映像表示方法
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9043732B2 (en) * 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
WO2012105703A1 (ja) * 2011-02-04 2012-08-09 シャープ株式会社 表示装置、表示画像生成方法、プログラム、及び記録媒体
EP2518590A1 (en) * 2011-04-28 2012-10-31 Research In Motion Limited Portable electronic device and method of controlling same
US20120274545A1 (en) * 2011-04-28 2012-11-01 Research In Motion Limited Portable electronic device and method of controlling same

Also Published As

Publication number Publication date
WO2014034653A1 (ja) 2014-03-06
CN104603718A (zh) 2015-05-06
EP2891948A4 (en) 2016-04-27
JP2014044662A (ja) 2014-03-13
JP6012068B2 (ja) 2016-10-25
US20150192996A1 (en) 2015-07-09
EP2891948A1 (en) 2015-07-08

Similar Documents

Publication Publication Date Title
CN104603718B (zh) 电子装置及其控制方法和程序
US11360558B2 (en) Computer systems with finger devices
CN104679233B (zh) 用于生成摩擦和振动触感效果的***和方法
US9990040B2 (en) Haptic CAPTCHA
CN104122996B (zh) 用于支持触觉的紧贴式和多面显示器的***和方法
CN104714733B (zh) 图像处理设备及触感控制方法
US8330590B2 (en) User interface feedback apparatus, user interface feedback method, and program
CN104049731B (zh) 依据眼睛注视的触觉感觉
CN104915051B (zh) 电子装置及触觉反馈控制方法
CN107024983A (zh) 多功能触觉输出装置的***和方法
CN110096131B (zh) 触感交互方法、装置、以及触感可穿戴设备
CN102426486B (zh) 一种立体交互方法及***作设备
TW201209639A (en) Tactile communication system
CN106371573B (zh) 触觉反馈的方法、装置和虚拟现实交互***
CN104035561A (zh) 触觉反馈***、方法和触摸显示装置
WO2008062586A1 (fr) Dispositif d'affichage, procédé d'affichage, programme d'affichage, et support d'enregistrement
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
CN105808015A (zh) 防窥用户交互装置及方法
CN107861653A (zh) 显示控制设备、显示控制***和显示控制方法
US20140293022A1 (en) Information processing apparatus, information processing method and recording medium
EP3367216A1 (en) Systems and methods for virtual affective touch
JP5689529B2 (ja) 通信機器および通信システム
CN107748616A (zh) Vr盒子、终端控制方法、终端、***及可读存储介质
CN102508563B (zh) 一种立体交互方法以及***作设备
CN106066689A (zh) 基于ar或vr***的人机交互方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NEC CORP.

Free format text: FORMER OWNER: NEC MOBILE COMMUNICATION, LTD.

Effective date: 20150629

C41 Transfer of patent application or patent right or utility model
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Kanagawa, Japan

Applicant after: NEC Mobile Communications Ltd.

Address before: Kanagawa, Japan

Applicant before: NEC CASIO Mobile Communications, Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: NEC CASIO MOBILE COMMUNICATIONS, LTD. TO: NEC MOBILE COMMUNICATION, LTD.

Free format text: CORRECT: ADDRESS; FROM:

TA01 Transfer of patent application right

Effective date of registration: 20150629

Address after: Tokyo, Japan

Applicant after: NEC Corp.

Address before: Kanagawa, Japan

Applicant before: NEC Mobile Communications Ltd.

GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170616

Termination date: 20180827