CN110442245A - 基于物理键盘的显示方法、装置、终端设备及存储介质 - Google Patents
基于物理键盘的显示方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN110442245A CN110442245A CN201910684470.7A CN201910684470A CN110442245A CN 110442245 A CN110442245 A CN 110442245A CN 201910684470 A CN201910684470 A CN 201910684470A CN 110442245 A CN110442245 A CN 110442245A
- Authority
- CN
- China
- Prior art keywords
- key
- physical keyboard
- virtual
- terminal device
- control function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006870 function Effects 0.000 claims description 202
- 230000001960 triggered effect Effects 0.000 claims description 17
- 239000003550 marker Substances 0.000 description 22
- 238000009877 rendering Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000011800 void material Substances 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
Abstract
本申请实施例公开了一种基于物理键盘的显示方法、装置、终端设备及存储介质，该基于物理键盘的显示方法包括：获取终端设备与物理键盘之间的第一相对空间位置信息，所述物理键盘包括多个按键；确定所述物理键盘中具有控制功能的一个或多个按键；根据确定的每个按键所对应的控制功能，分别获取与所述每个按键对应的虚拟指示内容；根据所述第一相对空间位置信息，分别获取所述终端设备与所述每个按键之间的第二相对空间位置信息；基于所述每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，所述虚拟指示的显示位置与匹配的按键对应。本方法可以方便用户通过物理键盘进行控制，实现用户需求的控制功能。
Description
技术领域
本申请涉及显示技术领域，更具体地，涉及一种基于物理键盘的显示方法、装置、终端设备及存储介质。
背景技术
目前，物理键盘常被用于输入信息和指令。在物理键盘的使用中，用户通常根据物理键盘的键帽上印刷的内容进行输入。但用户在利用键盘输入信息和指令时，存在不清楚或者忘记按键功能的情况，而不便于用户操作。
发明内容
本申请实施例提出了一种基于物理键盘的显示方法、装置、终端设备及存储介质，能方便用户通过物理键盘进行控制。
第一方面，本申请实施例提供了一种基于物理键盘的显示方法，所述方法包括：获取终端设备与物理键盘之间的第一相对空间位置信息，所述物理键盘包括多个按键；确定所述物理键盘中具有控制功能的一个或多个按键；根据确定的每个按键所对应的控制功能，分别获取与所述每个按键对应的虚拟指示内容；根据所述第一相对空间位置信息，分别获取所述终端设备与所述每个按键之间的第二相对空间位置信息；基于所述每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，所述虚拟指示的显示位置与匹配的按键对应。
第二方面，本申请实施例提供了一种基于物理键盘的显示装置，所述装置包括：第一位置获取模块、按键确定模块、内容获取模块、第二位置获取模块以及内容生成模块，其中，所述第一位置获取模块用于获取终端设备与物理键盘之间的第一相对空间位置信息，所述物理键盘包括多个按键；所述按键确定模块用于确定所述物理键盘中具有控制功能的一个或多个按键；所述内容获取模块用于根据确定的每个按键所对应的控制功能，分别获取与所述每个按键对应的虚拟指示内容；所述第二位置获取模块用于根据所述第一相对空间位置信息，分别获取所述终端设备与所述每个按键之间的第二相对空间位置信息；所述内容生成模块用于基于所述每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，所述虚拟指示的显示位置与匹配的按键对应。
第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的基于物理键盘的显示方法。
第四方面，本申请实施例提供了一种存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的基于物理键盘的显示方法。
本申请提供的方案，通过获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键，确定物理键盘中具有控制功能的一个或多个按键，根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容，根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息，基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应，从而用户可以根据虚拟指示，对具有控制功能的按键进行操作，实现对虚拟内容的控制功能，方便用户与虚拟内容进行交互。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用场景的示意图。
图2示出了根据本申请一个实施例的基于物理键盘的显示方法流程图。
图3示出了根据本申请一个实施例提供的一种显示效果示意图。
图4示出了根据本申请另一个实施例的基于物理键盘的显示方法流程图。
图5示出了根据本申请又一个实施例的基于物理键盘的显示方法流程图。
图6示出了根据本申请再一个实施例的基于物理键盘的显示方法流程图。
图7示出了根据本申请再一个实施例提供的一种显示效果示意图。
图8示出了根据本申请再一个实施例提供的另一种显示效果示意图。
图9示出了根据本申请还一个实施例的基于物理键盘的显示方法流程图。
图10示出了根据本申请还一个实施例提供的一种显示效果示意图。
图11示出了根据本申请实施例提供的基于物理键盘的显示装置的结构框图。
图12是本申请实施例的用于执行根据本申请实施例的基于物理键盘的显示方法的终端设备的框图。
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的基于物理键盘的显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
下面对本申请实施例提供的虚拟内容的显示方法的应用场景进行介绍。
请参见图1，示出了一个实施例中提供的增强现实***10。该增强现实***10包括：终端设备100以及物理键盘200，其中，终端设备100与物理键盘200连接。
在一些实施方式中，终端设备100可以是头戴显示装置，也可以是手机、平板等移动设备。终端设备100为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置，也可以是与外置电子设备连接的头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端，即终端设备100可作为头戴显示装置的处理和存储设备，***或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示。
在一些实施方式中，物理键盘上可设置有标记物201。其中，标记物201可以粘贴附着或集成于物理键盘200上，在此不做限定。设置于物理键盘200上的标记物201的数量可以不作为限定，标记物201的数量可以为一个或者多个。作为一种实施方式，标记物201的数量为4，4个标记物201可以分别设置于物理键盘200的四个边角所在区域，以提升通过标记物201对物理键盘200及其按键进行定位的准确度。
在一些实施方式中，终端设备100与物理键盘200可以通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBee(紫峰技术)等通信方式连接，也可以通过数据线等有线通信连接，在此不做限定。
在终端设备100与物理键盘200被共同使用时，可使标记物201位于终端设备100的视觉范围内，进而使得终端设备100可以采集到包含标记物201的图像，以对标记物201进行识别追踪，得到标记物201相对终端设备100的位置、姿态等空间位置信息，以及标记物201的身份信息等识别结果，进而得到物理键盘200相对终端设备100的位置、姿态等空间位置信息，实现对物理键盘200及其包含的各个按键的定位追踪。终端设备100可根据与物理键盘200之间的相对位置及姿态信息，显示相应的虚拟内容。
在一些实施方式中，标记物201为具有拓扑结构的图案，拓扑结构是指标记物中的子标记物和特征点等之间连通关系。在一些实施方式中，标记物201还可以为光点式的标记，终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中，可在物理键盘200上设置光点和惯性测量单元(Inertial measurement unit，IMU)，终端设备可以通过图像传感器采集物理键盘200上的光点图像，并通过惯性测量单元获取测量数据，根据该光点图像和测量数据即可确定物理键盘200与终端设备100之间的相对空间位置信息，实现对物理键盘200的定位及追踪。其中，物理键盘200上设置的光点可以是可见光点或者红外光点，光点的数量可以是一个或者由多个光点组成的光点序列。
在一些实施方式中，物理键盘200上可以包括多个按键202。物理键盘可以根据用户对按键202的操作，生成操作数据，并将操作数据发送至终端设备100，终端设备100在接收到操作数据后，可以执行相应的操作，例如对显示的虚拟内容进行控制等。
在一些实施方式中，物理键盘200还可以包括触控板，触控板可以设置于物理键盘200的表面，以便用户通过触控板进行操作和控制。
在一些实施方式中，物理键盘200还可以连接其他外部设备，其他外设可以生成操作数据并通过物理键盘200发送至终端设备，实现通过其他外设进行操作和控制。其他外设可以包括鼠标、手柄等，在此不做限定。其中，物理键盘200与其他外设可以通过有线方式连接，例如，其他外设通过连接线接入物理键盘200的外设接口；物理键盘200与其他外设也可以通过无线方式连接，例如，通过蓝牙、ZigBee等无线通信方式连接。
在一些实施方式中，物理键盘200可以为可折叠的便携式键盘，用户通过折叠物理键盘200，使物理键盘200占用面积减小，从而方便用户进行携带。
需要说明的是，物理键盘200并不局限于实体键盘的形式，在一些实施方式中，物理键盘200也可以是移动终端(例如平板电脑、手机等)的触摸屏所显示的虚拟键盘。
下面对具体的基于物理键盘的显示方法进行介绍。
请参阅图2，本申请一个实施例提供了一种基于物理键盘的显示方法，可应用于上述增强现实***中的终端设备，该方法可以包括：
步骤S110：获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键。
在一些实施方式中，物理键盘可以用于实现控制功能的场景，例如物理键盘用于玩电子游戏、被用于控制视频画面、被用于输入内容等场景。
物理键盘被用于实现控制功能时，终端设备与物理键盘可以处于同一现场环境，并且物理键盘上的标记物处于终端设备的图像采集装置的视野范围内，从而终端设备可以通过识别标记物而追踪到物理键盘。
在一些实施方式中，终端设备可以获取终端设备与物理键盘之间的第一相对空间位置信息，以便终端设备根据第一相对空间位置信息生成相关的虚拟内容进行显示。具体地，终端设备可以识别物理键盘上的标记物，以根据识别标记物的识别结果，获取终端设备与物理键盘之间的第一相对空间位置信息。
终端设备识别标记物的识别结果至少包括标记物相对终端设备的位置信息、姿态信息等，以及标记物的身份信息，每个标记物可具备不同的身份信息，从而终端设备可以根据标记物在物理键盘上设置的位置以及上述识别结果，获取终端设备与物理键盘之间的第一相对空间位置信息。终端设备与物理键盘之间的第一相对空间位置信息可以包括：终端设备与物理键盘之间的相对位置信息以及姿态信息等，姿态信息可以为物理键盘相对终端设备的朝向及旋转角度等。
当然，获取终端设备与物理键盘之间的第一相对空间位置信息的具体方式在本申请实施例中可以不作为限定。
步骤S120：确定物理键盘中具有控制功能的一个或多个按键。
在一些实施方式中，物理键盘的一个或多个按键可具有控制功能，即这些按键可以被配置有相应的控制功能，具有控制功能的按键与其具体控制功能的对应关系可以存储于终端设备。例如，在游戏场景中，物理键盘上的至少部分按键可以被配置为技能按键、物品按键、游戏参数的调整按键等；又例如，在视频或者音乐播放的场景中，物理键盘上的至少部分按键可以被配置为播放控制、暂停控制、音量控制、播放进度控制等功能；还例如，在文字内容输入的场景中，物理键盘上的至少部分按键可以被配置为复制、粘贴等快捷功能而起到快捷键的作用。
在一些实施方式中，物理键盘在用于实现控制功能时，终端设备可以确定物理键盘包括的所有按键中具有控制功能的一个或多个按键，具有控制功能的按键的数量不作为限定，可以根据实际场景和需求而定。具体的，终端设备可以根据本地存储的按键与控制功能的对应关系，获取物理键盘上具有控制功能的一个或多个按键。该对应关系可以以物理键盘的配置文件的形式存储于终端设备，配置文件的类型可以为表格等类型，在此不做限定。具有控制功能的按键以及按键与控制功能的对应关系可以由用户根据需求和喜好配置，也可以由厂商预先设置，在此不做限定。
例如，在音乐播放控制的场景中，物理键盘的部分按键具有播放控制功能，按键与播放控制功能的对应关系可以为按键F5对应暂停播放的控制功能，按键F6对应下一首的控制功能，按键F7对应上一首的控制功能，按键F8对应倍速播放的功能，终端设备可以根据该对应关系，确定出物理键盘上具有播放控制功能的按键为F5、F6、F7及F8，以上音乐播放控制的场景中按键与控制功能的对应关系仅为举例，并不用于限定。
步骤S130：根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容。
终端设备可以获取具有控制功能的一个或多个按键中每个按键对应的虚拟指示内容，虚拟指示内容用于终端设备生成与具有控制功能的按键对应的虚拟指示，虚拟指示可以用于指示按键的控制功能。其中，虚拟指示内容可以包括用于生成虚拟指示的三维模型数据，该三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。作为一种实施方式，虚拟指示内容可以为图标内容，图标内容用于表征具体的控制功能；作为另一种实施方式，虚拟指示内容也可以为文字内容，文字内容可以为概括控制功能的描述性文字，例如名称等；作为又一种实施方式，虚拟指示内容也可以为图标与文字结合的内容，具体的虚拟指示内容可以不做限定。
在一些实施方式中，终端设备获取每个具有控制功能的按键对应的虚拟指示内容时，可以根据确定的每个按键所对应的控制功能，确定与每个按键的控制功能所对应的虚拟指示内容。其中，不同控制功能所对应的虚拟指示内容可以不同，虚拟指示内容与控制功能的对应关系可以存储于终端设备，终端设备可以根据虚拟指示内容与控制功能的对应关系，确定与每个按键的控制功能所对应的虚拟指示内容，并将与每个按键的控制功能所对应的虚拟指示内容，作为每个按键对应的虚拟指示内容。
步骤S140：根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息。
终端设备可以根据获得的终端设备与物理键盘之间的第一相对空间位置信息，确定终端设备与每个具有控制功能的按键之间的第二相对空间位置信息，以便后续生成的虚拟指示与按键对应。
在一些实施方式中，终端设备可以根据物理键盘上所有按键中每个按键的位置(即按键相对物理键盘整体的相对位置)，以及终端设备与物理键盘之间的第一相对空间位置信息，确定终端设备与每个具有控制功能的按键之间的第二相对空间位置信息。作为一种具体实施方式，终端设备可以根据物理键盘上每个按键与标记物之间的位置关系，以及终端设备与物理键盘之间的第一相对空间位置信息，确定终端设备与每个具有控制功能的按键之间的第二相对空间位置信息。
在一些实施方式中，物理键盘为移动终端的触控屏所显示的虚拟键盘时，由于不同类型或格式的虚拟键盘中的按键在触控屏上显示的位置不同，因此则终端设备可以根据移动终端显示的虚拟键盘的类型或者格式，确定虚拟键盘的各个按键在触控屏上的位置，例如，虚拟键盘可以是9键类型，也可以是26键类型等，再根据各个按键在触控屏上的位置，以及第一相对空间位置信息，确定终端设备与每个按键之间的第二相对空间位置信息。
在本申请实施例中，终端设备获取每个按键对应的虚拟指示内容，与终端设备获取与每个按键之间的第二相对空间位置信息的先后顺序可以不作为限定，例如，步骤S140可以在步骤S130之前执行，步骤S140也可以在步骤S130之后执行。
步骤S150：基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应。
终端设备在获取到终端设备与每个具有控制功能的按键之间的第二相对空间位置信息，以及每个具有控制功能的按键所对应的虚拟指示内容后，则可以生成与各个具有控制功能的按键匹配的虚拟指示，并将生成的虚拟指示进行显示，以便用户察看到与每个具有控制功能的按键匹配的虚拟指示。
在一些实施方式中，终端设备可以根据与每个具有控制功能的按键之间的第二相对空间位置信息，获取虚拟指示内容在虚拟空间中的渲染位置，再根据渲染位置生成并渲染出三维的虚拟指示，并显示渲染的虚拟指示。显示的虚拟指示的位置与虚拟指示对应的按键对应，该虚拟指示的位置指的是终端设备通过增强现实的方式将虚拟指示叠加显示到真实环境中的位置，也可以理解为用户通过终端设备看到的虚拟指示在真实环境中的位置。
在一些实施方式中，终端设备可以根据每个具有控制功能的按键之间的第二相对空间位置信息，以及每个具有控制功能的按键与对应虚拟指示之间的相对位置关系，获取现实空间中的每个虚拟指示需要叠加显示的位置的空间位置坐标，并将获得的每个空间位置坐标转换为虚拟空间中的空间坐标，从而得到每个虚拟指示在虚拟空间中的渲染坐标，即得到了每个虚拟指示的渲染位置。其中，该渲染位置可用作虚拟指示的渲染坐标，以实现虚拟指示渲染于渲染位置处，渲染坐标指的是虚拟指示在虚拟空间中以预设原点(例如世界坐标原点、虚拟摄像头原点等)的三维空间坐标。作为一种实施方式，每个虚拟指示需要叠加显示的位置与每个具有控制功能的按键之间的相对位置关系可以为，虚拟指示需要叠加显示的位置处于具有控制功能的按键的位置处。
终端设备在得到虚拟空间中每个虚拟指示的渲染坐标之后，终端设备可以根据每个虚拟指示内容构建每个虚拟指示，以及根据每个虚拟指示的渲染坐标渲染每个虚拟指示，其中，渲染虚拟指示可以得到虚拟指示中各个顶点的顶点坐标以及颜色值等。
在一些实施方式中，终端设备生成每个虚拟指示后，可以对所有虚拟指示进行显示。具体地，终端设备构建并渲染出三维的虚拟指示后，可以将虚拟指示转化为虚拟画面，获取虚拟指示的显示数据，该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等，终端设备可根据该显示数据生成显示画面，并将显示画面通过显示屏或投射模组投射到显示镜片上，从而显示出虚拟指示，用户通过头戴显示装置的显示镜片，可以看到虚拟指示叠加显示在真实世界中物理键盘上具有控制功能的按键处，实现增强现实的显示效果，方便用户根据每个按键对应的虚拟指示获知每个按键的控制功能。
在一些实施方式中，当终端设备还显示有虚拟画面时，则用户可以利用物理键盘与虚拟画面进行交互，从而方便用户根据虚拟指示，对具有控制功能的按键进行操作，而实现对虚拟画面的控制。
例如，如图3所示，物理键盘200中的按键A具有放大内容的功能，按键D具有缩小内容的功能，则终端设备可以生成与按键A对应的虚拟的放大功能图标301以及与按键D对应的虚拟的缩小功能图标302，并将虚拟的放大功能图标301以及虚拟的缩小功能图标302进行显示，用户可以通过头戴显示装置的显示镜片，察看到位于按键A的位置处的虚拟的放大功能图标301以及位于按键B的位置处的虚拟的缩小功能图标302，从而了解到按键A具有放大内容的功能，按键D具有缩小内容的功能，便于用户利用物理键盘200进行放大内容的控制和缩小内容的控制。
本申请实施例提供的基于物理键盘的显示方法，终端设备可以根据具有控制功能的按键对应的具体控制功能，生成与具有控制功能的按键匹配的虚拟指示，从而用户可以根据虚拟指示，对具有控制功能的按键进行操作，实现对虚拟内容的控制功能，方便用户与虚拟内容进行交互。
请参阅图4，本申请另一个实施例提供了一种基于物理键盘的显示方法，可应用于上述显示***中的终端设备，该方法可以包括：
步骤S210：获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键。
在本申请实施例中，步骤S210可以参阅上述实施例的内容，在此不再赘述。
步骤S220：确定当前的使用场景。
在本申请实施例中，由于不同的使用场景需求使用物理键盘的按键以及按键的控制功能不同，因此对于不同的使用场景，可以配置与使用场景相应的具有控制功能的按键以及每个具有控制功能的按键的控制功能。
在一些实施方式中，不同使用场景所需求利用物理键盘进行控制的控制功能的数量可以不同，因此不同使用场景中可以设置不同数量的具有控制功能的按键，例如，在不同游戏的游戏场景中，每个游戏需要用户进行的操作数量不同，因此物理键盘上具有控制功能的按键数量不同。进一步的，可以根据每个使用场景所需求的具有控制功能的按键数量，配置物理键盘上该按键数量的按键，作为与每个使用场景对应的具有控制功能的按键。
在一些实施方式中，不同的使用场景对应的具有控制功能的按键之间，也可以存在一个或者多个相同的按键。另外，在一些不同的具体使用场景中，这些相同的按键也可以具有相同的功能，例如，在音乐播放场景以及视频播放场景中，具有控制功能的按键可以均设置为F5、F6、F7及F8，并且F5在音乐播放场景以及视频播放场景中均为暂停播放的控制功能，F6在音乐播放场景以及视频播放场景中均为下一节目的控制功能，F7在音乐播放场景以及视频播放场景中均为上一节目的控制功能，F8在音乐播放场景以及视频播放场景中均为倍速播放的控制功能，以上按键以及控制功能仅为举例。
当然，申请实施例中使用场景所对应的具有控制功能的按键及每个按键对应的控制功能，可以根据实际的使用场景、用户需求等配置，在此不做限定。
终端设备可以获取当前的使用场景，以便根据当前的使用场景确定物理键盘中具有控制功能的按键以及每个按键的控制功能。作为一种实施方式，终端设备可以根据当前运行的应用而确定当前的使用场景，例如，终端设备当前运行的应用为视频播放程序时，则可以确定当前的使用场景为视频播放场景。作为另一种实施方式，终端设备可以根据用户对多个使用场景中目标使用场景的选择操作，而将目标使用场景确定为当前的使用场景。终端设备获取当前的使用场景的方式可以不作为限定。
步骤S230：根据使用场景确定物理键盘中具有控制功能的一个或多个按键，并确定每个按键所对应的控制功能。
在一些实施方式中，每个使用场景与具有控制功能的按键的对应关系以及每个使用场景中每个按键与具体控制功能的对应关系可以预先配置。终端设备可以根据使用场景与具有控制功能的按键的对应关系，确定物理键盘中与当前的使用场景对对应的控制按键，以及根据每个使用场景中每个按键与具体控制功能的对应关系，确定当前的使用场景中每个按键所对应的控制功能。
作为一种实施方式，终端设备中可以存储有场景标识、具有控制功能的按键以及每个按键的控制功能三者的关系对应表，如表1所示，
表1
作为另一种实施方式，终端设备中可以存储有每个使用场景的按键配置文件，配置文件可包括用于描述使用场景所对应的具有控制功能的按键的信息以及用于描述每个按键对应的控制功能的信息。终端设备可以根据当前的使用场景，读取与该使用场景对应的配置文件，从而根据配置文件获取物理键盘中与当前的使用场景对应的按键，以及每个按键对应的控制功能。
当然，具体确定与当前的使用场景对应的按键以及每个按键的控制功能的实施方式可以不作为限定。
步骤S240：根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容。
步骤S250：根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息。
步骤S260：基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应。
在本申请实施例中，步骤S240至步骤S260可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的基于物理键盘的显示方法，根据当前的使用场景确定具有控制功能的按键，并确定每个按键所对应的控制功能，然后生成与这些按键匹配的虚拟指示，从而用户可以根据虚拟指示，对具有控制功能的按键进行操作，实现当前的使用场景所需求的控制功能，方便用户通过物理键盘进行控制。
请参阅图5，本申请又一个实施例提供了一种基于物理键盘的显示方法，可应用于上述显示***中的终端设备，该方法可以包括：
步骤S310：获取用于选择按键的选择指令，并基于选择指令选择物理键盘的一个或多个按键。
在一些实施方式中，在使用物理键盘进行控制功能时，物理键盘上具有控制功能的按键，可以由用户设置。终端设备可以显示用于选择按键的虚拟的按键选择画面，然后根据用户输入的选择指令，选择物理键盘的一个或多个按键，将选择的按键配置为具有控制功能的按键。选择指令的输入可以通过物理键盘输入，也可以根据其他交互设备输入，例如鼠标等。
通过上述方式，用户可根据个人的需求和喜好，而设置具有控制功能的按键进行控制操作，从而可以满足不同用户的需求和喜好。例如，在相同的游戏场景中，用户1喜欢用W、A、S和D进行方向控制，用户2喜欢用1、2、3和5进行方向控制，从而可以满足不同用户的喜好。
步骤S320：获取设置指令，基于设置指令设置每个按键所对应的控制功能。
在一些实施方式中，终端设备在选择物理键盘中具有控制功能的一个或者多个按键之后，则可以接收对每个按键的控制功能进行设置的设置指令，并根据设置指令，将每个按键对应的控制功能设置为与设置指令匹配的控制功能。
终端设备在对将每个具有控制功能的按键所对应的控制功能进行设置之后，则可以将每个具有控制功能的按键与控制功能的对应关系进行存储，以便物理键盘用于实现这些控制功能时，终端设备可以根据该对应关系确定具有控制功能的按键以及每个按键对应的控制功能。
需要说明的是，步骤S310中以及步骤S320中，可以每选择一个具有控制功能的按键，然后设置该按键的控制功能，也可以选择所有具有控制功能的按键之后，再分别设置每个按键对应的控制功能，在此不做限定。
步骤S330：获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键。
步骤S340：确定物理键盘中具有控制功能的一个或多个按键。
步骤S350：根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容。
步骤S360：根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息。
步骤S370：基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应。
在本申请实施例中，步骤S330至步骤S370可以参阅前述实施例的内容，在此不再赘述。
本申请实施例提供的基于物理键盘的显示方法，通过确定具有控制功能的按键所对应的控制功能，然后生成与这些按键匹配的虚拟指示，从而用户可以根据虚拟指示，对具有控制功能的按键进行操作，实现对虚拟内容的控制功能，方便用户与虚拟内容进行交互。另外，具有控制功能的按键以及按键所对应的具体控制功能可以由用户自行设置，因此也满足了用户的需求和喜好。
请参阅图6，本申请再一个实施例提供了一种基于物理键盘的显示方法，可应用于上述显示***中的终端设备，该方法可以包括：
步骤S400：获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键。
步骤S410：确定物理键盘中具有控制功能的一个或多个按键。
步骤S420：根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容。
步骤S430：根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息。
步骤S440：基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应。
在本申请实施例中，步骤S410至步骤S440可以参阅前述实施例的内容，在此不再赘述。
步骤S450：获取待显示的虚拟画面的第一内容数据。
在本申请实施例中，终端设备还可以对待显示的虚拟画面进行显示。待显示的虚拟画面可以是操作***或开启的应用对应的虚拟画面。例如，待显示的虚拟画面可以是虚拟游戏画面；又例如，待显示的虚拟画面可以是虚拟视频画面，再例如；待显示的虚拟画面可以是虚拟的文档画面，以上虚拟画面仅为举例。
在一些实施方式中，终端设备可以获取待显示的虚拟画面的第一内容数据，第一内容数据用于终端设备生成该虚拟画面，第一内容数据可以包括用于生成该虚拟画面的三维模型数据，第一内容数据的具体内容可以参阅前述实施例中虚拟指示内容的描述，在此不再赘述。
步骤S460：获取第一设定区域与物理键盘之间的第一相对位置关系，第一设定区域为虚拟画面需要叠加于现实场景中的叠加区域，第一设定区域处于物理键盘所在区域以外。
在一些实施方式中，终端设备可以获取虚拟画面需要叠加于现实场景中的叠加位置与物理键盘之间的第一相对位置关系，以便生成虚拟画面进行显示。其中，虚拟画面可显示在一个区域，因此终端设备可以获取虚拟画面需要叠加于现实场景中的叠加区域(第一设定区域)与物理键盘之间的第一相对关系。
在一些实施方式中，第一设定区域可以处于物理键盘所在区域外，从而虚拟画面在显示后不会与物理键盘所在区域重叠，方便用户同时察看虚拟画面以及物理键盘上的内容，比如，虚拟画面可悬浮叠加显示在终端设备的正前方等。作为一种具体实施方式，第一设定区域可以物理键盘所在区域以外并且与物理键盘的其中一侧边缘区域对应，其中，边缘区域指的是物理键盘的周边所在区域，例如处于物理键盘所在区域以外并且与第一侧边缘区域相邻。
在一些实施方式中，第一设定区域还可以与物理键盘所在区域成预设夹角，预设夹角的具体大小可以不作为限定，例如，预设夹角可以为45°～70°，又例如，可以为65°～90°等。从而虚拟画面在显示后可以方便用户察看虚拟画面，提升虚拟画面的显示效果。
在以上实施方式下，可以使显示的虚拟画面能与物理键盘结合用作电脑的使用，即虚拟画面模拟电脑的显示屏，物理键盘模拟电脑的键盘，用户仅需要携带物理键盘以及终端设备即可实现电脑的使用。
步骤S470：根据第一相对空间位置信息、第一相对位置关系以及第一内容数据，生成虚拟画面并将虚拟画面进行显示。
在本申请实施例中，终端设备可以根据第一相对空间位置信息以及第一相对位置关系，获取虚拟画面的渲染位置，然后根据渲染位置以及第一内容数据渲染虚拟画面后，将虚拟画面进行显示。终端设备生成虚拟画面并将虚拟画面进行显示，可以参阅前述实施例中生成虚拟指示并将虚拟指示进行显示的描述内容。
需要说明的是，终端设备生成虚拟指示并将虚拟指示进行显示的过程，与终端设备生成虚拟画面并将虚拟画面进行显示的过程的先后顺序可以不作为限定。
步骤S480：当一个或多个按键中存在按键被触发时，获取被触发的按键所对应的显示调整功能。
在一些实施方式中，物理键盘中具有控制功能的按键对应的控制功能可以是显示调整功能。其中，显示调整功能可以为对虚拟画面进行显示调整，例如，对虚拟画面进行比例放大、比例缩小、位置移动等控制功能，在此不做限定。
在一些实施方式中，物理键盘可以检测被触发的按键，并根据被触发的按键生成操作数据，将操作数据发送至终端设备。终端设备可以接收物理键盘生成的操作数据，确定物理键盘中被触发的按键。如果终端设备根据物理键盘发送的操作数据，确定出具有控制功能的按键中存在按键被触发时，则可以确定被触发的按键对应的显示调整功能，以便对虚拟画面进行相应的显示调整。
步骤S490：对虚拟画面进行显示调整功能对应的显示调整。
在一些实施方式中，终端设备在确定出被触发的按键所对应的显示调整功能之后，则可以对虚拟画面进行与该显示调整功能相应的显示调整。例如，被触发的按键对应的显示调整功能为对虚拟画面进行比例放大时，则可以根据该按键被触发一次需要进行比例放大的比例大小，将虚拟画面进行该比例大小的比例放大。
例如，物理键盘可以被用于文档编辑的场景，请同时参见图7及图8，终端设备显示的虚拟画面可以为虚拟的文档画面303，在此场景下，物理键盘200中的按键A具有对文档画面303进行比例放大的功能，按键D具有对文档画面303进行比例缩小的功能，与按键A对应的放大功能图标的显示位置与按键A对应，与按键D对应的缩小功能图标的显示位置与按键D对应，当按键D被触发时，则文档画面303的比例大小被缩小。
本申请实施例提供的虚拟键盘的显示方法，终端设备可以根据具有控制功能的按键对应的具体控制功能，生成与具有控制功能的按键匹配的虚拟指示，还可以生成待显示的虚拟画面并将虚拟画面进行显示，用户可以根据虚拟指示，对具有对虚拟画面进行显示调整功能的按键进行操作，实现对虚拟画面的显示调整，方便用户通过物理键盘与虚拟画面进行交互。
请参阅图9，本申请还一个实施例提供了一种基于物理键盘的显示方法，可应用于上述显示***中的终端设备，该方法可以包括：
步骤S500：获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键。
步骤S510：确定物理键盘中具有控制功能的一个或多个按键。
步骤S520：根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容。
步骤S530：根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息。
步骤S540：基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应。
在本申请实施例中，步骤S510至步骤S540可以参阅前述实施例的内容，在此不再赘述。
步骤S550：获取待显示的虚拟输入框的第二内容数据。
在本申请实施例中，终端设备还可以对虚拟输入框进行显示，虚拟输入框可以是文本输入场景中用于显示输入字符、候选词等文本内容的文本输入框。例如，虚拟输入框可以用于显示输入法所对应的候选词；又例如，虚拟输入框可以用于显示聊天界面中的文本输入区域的内容，以上虚拟输入框仅为举例。
在一些实施方式中，终端设备可以获取待显示的虚拟输入框的第二内容数据，第二内容数据用于终端设备生成该虚拟输入框，第二内容数据第一内容数据的具体内容可以参阅前述实施例中虚拟指示内容的描述，在此不再赘述。
步骤S560：获取第二设定区域与物理键盘之间的第二相对位置关系，第二设定区域为虚拟输入框需要叠加于现实场景中的叠加区域，第二设定区域位于物理键盘的边缘位置所在区域。
在本申请实施例中，与前述实施例中第一设定区域不同的是，第二设定区域位于物理键盘的边缘位置所在区域，其中，物理键盘的边缘位置为物理键盘的周边所在位置。例如，第二设定区域可以是贴合物理键盘相对终端设备的上边缘的区域，物理键盘的上边缘可指的是靠近Esc(退出)键的长边缘。
步骤S570：根据第一相对空间位置信息、第二相对位置关系以及第二内容数据，生成虚拟输入框并将虚拟输入框进行显示。
在本申请实施例中，步骤S570可以参阅前述实施例中步骤S470的描述内容，在此不再赘述。
例如，如图10所示，终端设备可以生成虚拟输入框304并将虚拟输入框304进行显示，用户可以通过头戴显示装置的显示镜片，可观察看到虚拟输入框304与物理键盘200的上边缘位置贴合，给用户虚拟输入框304吸附在物理键盘200的视觉效果，便于用户在用物理键盘200进行文字输入时可以同时看到物理键盘200和虚拟输入框304，方便用户进行文字输入。
需要说明的是，终端设备生成虚拟指示并将虚拟指示进行显示的过程，与终端设备生成虚拟输入框并将虚拟输入框进行显示的过程的先后顺序可以不作为限定。
在一些实施方式中，物理键盘中具有控制功能的按键所对应的控制功能可以为显示调整功能，终端设备可以根据具有控制功能的按键中被触发的按键，对虚拟输入框进行相应的显示调整。
步骤S580：获取物理键盘中用于输入文本的按键的操作数据。
在一些实施方式中，物理键盘中可以包括用于输入文本的按键，用于输入文本的具体按键可以不作为限定。终端设备可以接收物理键盘检测到被触发的按键，而生成的用于输入文本的按键的操作数据。
在一些实施方式中，用于输入文本的按键可以与具有控制功能的按键部分相同，在需要进行这部分相同的按键进行输入文本时，可以对这部分按键的模式进行切换，以使这部分按键从用于控制功能的模式切换为输入文本的模式。
步骤S590：根据操作数据生成用于在虚拟输入框中显示的虚拟文本信息，并将虚拟文本信息进行显示。
在本申请实施例中，终端设备可以根据用于输入文本的按键的操作数据，获取用户输入的文本内容，并根据文本内容生成用于在虚拟输入框中显示的虚拟文本信息，将虚拟文本信息进行显示。
在一些实施方式中，本申请实施例中终端设备生成虚拟输入框并将虚拟输入框的实施方式，也可以与前述实施例中终端设备生成虚拟画面并将虚拟画面进行显示的实施方式结合，即终端设备既显示前述实施例中的虚拟画面，也显示虚拟输入框。例如，在前述实施例中终端设备显示虚拟文档内容的场景中，终端设备也还可以显示虚拟输入框，而虚拟输入框可以用于显示输入法对应的内容(例如候选词)，从而用户在输入文本内容时能同时看到物理键盘上的按键以及输入法对应的内容，方便用户进行输入文本至虚拟文档内容中。
在一些实施方式中，终端设备还可以生成用于叠加显示于物理键盘的虚拟装饰内容，并将虚拟装饰内容进行显示，从而达到对物理键盘的装饰效果，提升物理键盘的视觉效果。在一种具体的实施方式中，终端设备可以生成带有不同色彩的闪烁虚拟内容，闪烁虚拟内容的显示位置可以与物理键盘的四周的位置对应，并将闪烁虚拟内容进行显示，实现将虚拟的荧光内容叠加显示于物理键盘的四周。对于物理键盘不同的使用情况，可显示不同的虚拟装饰内容，例如，启动时可显示带有不同色彩的闪烁虚拟内容，每个按键上可叠加显示有光晕效果，当按键被按下时，可改变光晕效果的颜色等，但不限于此。作为另一种具体的实施方式，终端设备可以生成与各个按键的键帽内容(键帽上印刷的文字、图案等)所对应的虚拟键帽内容，虚拟键帽内容的显示位置与按键对应，并将虚拟键帽内容进行显示，实现将虚拟键帽内容叠加显示于按键。当然，以上两种具体实施方式也可以结合，从而实现按键四周叠加显示有荧光内容，并且按键上叠加显示由虚拟键帽内容，而达到对物理键盘的装饰效果，提升用户的视觉体验。
本申请实施例提供的基于物理键盘的显示方法，终端设备可以根据具有控制功能的按键对应的具体控制功能，生成与具有控制功能的按键匹配的虚拟指示，方便用户了解按键对应的控制功能。另外，终端设备还可以生成待显示的虚拟输入框并将虚拟输入框进行显示，并且虚拟输入框叠加于现实场景中的位置位于物理键盘所在区域内并靠近物理键盘的边缘位置所在区域，便于用户在用物理键盘进行文字输入时可以同时看到物理键盘和虚拟输入框，方便了用户进行文字输入。
请参见图11，其示出了本申请提供的一种基于物理键盘的显示装置400的结构框图。该基于物理键盘的显示装置400应用于上述显示***中的终端设备。该基于物理键盘的显示装置400包括：第一位置获取模块410、按键确定模块420、内容获取模块430、第二位置获取模块440以及内容生成模块450。其中，第一位置获取模块410用于获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键；按键确定模块420用于确定物理键盘中具有控制功能的一个或多个按键；内容获取模块430用于根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容；第二位置获取模块440用于根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息；内容生成模块450用于基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应。
在一些实施方式中，按键确定模块420可以包括场景确定单元以及按键获取单元。场景确定单用于确定当前的使用场景；按键获取单元用于根据使用场景确定物理键盘中具有控制功能的一个或多个按键，并确定每个按键所对应的控制功能。
在一些实施方式中，该基于物理键盘的显示装置400还可以包括指令获取模块以及功能设置模块。指令获取模块用于在获取终端设备与物理键盘之间的第一相对空间位置信息之前，获取用于选择按键的选择指令，并基于选择指令选择物理键盘的一个或多个按键；功能设置模块用于获取设置指令，基于设置指令设置每个按键所对应的控制功能。
在一些实施方式中，该基于物理键盘的显示装置400还可以包括第一数据获取模块、第一位置关系获取模块以及画面生成模块。第一数据获取模块用于；第一位置关系获取模块用于；画面生成模块用于根据第一相对空间位置信息、第一相对位置关系以及第一内容数据，生成虚拟画面并将虚拟画面进行显示。
在该实施方式下，该基于物理键盘的显示装置400还可以包括：触发检测模块以及画面调整模块。触发检测模块用于当一个或多个按键中存在按键被触发时，获取被触发的按键所对应的显示调整功能；画面调整模块用于对虚拟画面进行显示调整功能对应的显示调整。
在一些实施方式中，该基于物理键盘的显示装置400还可以包括：第二数据获取模块、第二位置关系获取模块以及输入框生成模块。第二数据获取模块用于获取待显示的虚拟输入框的第二内容数据；第二位置关系获取模块用于获取第二设定区域与物理键盘之间的第二相对位置关系，第二设定区域为虚拟输入框需要叠加于现实场景中的叠加区域，第二设定区域位于物理键盘所在区域内并且靠近物理键盘的边缘位置所在区域；输入框生成模块用于根据第一相对空间位置信息、第二相对位置关系以及第二内容数据，生成虚拟输入框并将虚拟输入框进行显示。
在该实施方式下，该基于物理键盘的显示装置400还可以包括：操作数据获取模块以及输入控制模块。操作数据获取模块用于获取物理键盘中用于输入文本的按键的操作数据；输入控制模块用于根据操作数据生成用于在虚拟输入框中显示的虚拟文本信息，并将虚拟文本信息进行显示。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上，本申请提供的方案，通过获取终端设备与物理键盘之间的第一相对空间位置信息，物理键盘包括多个按键，确定物理键盘中具有控制功能的一个或多个按键，根据确定的每个按键所对应的控制功能，分别获取与每个按键对应的虚拟指示内容，根据第一相对空间位置信息，分别获取终端设备与每个按键之间的第二相对空间位置信息，基于每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，虚拟指示的显示位置与匹配的按键对应，从而用户可以根据虚拟指示，对具有控制功能的按键进行操作，实现对虚拟内容的控制功能，方便用户与虚拟内容进行交互。
请参考图12，其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示设备等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件：处理器110、存储器120、图像采集装置130，存储器120中可存储有一个或多个计算机程序，计算机程序可被配置为由一个或多个处理器110执行，以用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。
在本申请实施例中，图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头，也可以是彩色摄像头，具体的摄像头类型在本申请实施例中并不作为限定。
在一个实施例中，终端设备还可包括如下一个或多个部件：显示模组、光学模组、通信模块以及电源。显示模组可包括显示控制单元，显示控制单元用于接收处理器渲染后的虚拟内容的显示图像，将该显示图像显示并投射至光学模组上，使用户能够通过光学模组观看到虚拟内容。其中，显示模组可以是显示屏或投射装置等，用于显示图像。光学模组可采用离轴光学***或波导光学***，显示模组显示的显示图像经光学模组后，能够被投射至用户的眼睛。用户通过光学模组可看到显示模组投射的显示图像。在一些实施方式中，用户还能够透过光学模组观察到现实环境，感受虚拟内容与现实环境叠加后的视觉效果。通信模块可是蓝牙、WiFi、ZigBee等模块，终端设备可通过通信模块与交互设备通信连接，以进行信息以及指令的交互。电源可为整个终端设备进行供电，保证终端设备各个部件的正常运行。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种基于物理键盘的显示方法，其特征在于，所述方法包括：
获取终端设备与物理键盘之间的第一相对空间位置信息，所述物理键盘包括多个按键；
确定所述物理键盘中具有控制功能的一个或多个按键；
根据确定的每个按键所对应的控制功能，分别获取与所述每个按键对应的虚拟指示内容；
根据所述第一相对空间位置信息，分别获取所述终端设备与所述每个按键之间的第二相对空间位置信息；
基于所述每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，所述虚拟指示的显示位置与匹配的按键对应。
2.根据权利要求1所述的方法，其特征在于，所述确定所述物理键盘中具有控制功能的一个或多个按键，包括：
确定当前的使用场景；
根据所述使用场景确定所述物理键盘中具有控制功能的一个或多个按键，并确定每个按键所对应的控制功能。
3.根据权利要求1所述的方法，其特征在于，在所述获取终端设备与物理键盘之间的第一相对空间位置信息之前，所述方法还包括：
获取用于选择按键的选择指令，并基于所述选择指令选择物理键盘的一个或多个按键；
获取设置指令，基于所述设置指令设置每个按键所对应的控制功能。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
获取待显示的虚拟画面的第一内容数据；
获取第一设定区域与所述物理键盘之间的第一相对位置关系，所述第一设定区域为所述虚拟画面需要叠加于现实场景中的叠加区域，所述第一设定区域处于所述物理键盘所在区域以外；
根据所述第一相对空间位置信息、第一相对位置关系以及所述第一内容数据，生成所述虚拟画面并将所述虚拟画面进行显示。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述一个或多个按键中存在按键被触发时，获取被触发的按键所对应的显示调整功能；
对所述虚拟画面进行所述显示调整功能对应的显示调整。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
获取待显示的虚拟输入框的第二内容数据；
获取第二设定区域与所述物理键盘之间的第二相对位置关系，所述第二设定区域为所述虚拟输入框需要叠加于现实场景中的叠加区域，所述第二设定区域位于所述物理键盘的边缘位置所在区域；
根据所述第一相对空间位置信息、所述第二相对位置关系以及所述第二内容数据，生成所述虚拟输入框并将所述虚拟输入框进行显示。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取所述物理键盘中用于输入文本的按键的操作数据；
根据所述操作数据生成用于在所述虚拟输入框中显示的虚拟文本信息，并将所述虚拟文本信息进行显示。
8.一种基于物理键盘的显示装置，其特征在于，所述装置包括：第一位置获取模块、按键确定模块、内容获取模块、第二位置获取模块以及内容生成模块，其中，
所述第一位置获取模块用于获取终端设备与物理键盘之间的第一相对空间位置信息，所述物理键盘包括多个按键；
所述按键确定模块用于确定所述物理键盘中具有控制功能的一个或多个按键；
所述内容获取模块用于根据确定的每个按键所对应的控制功能，分别获取与所述每个按键对应的虚拟指示内容；
所述第二位置获取模块用于根据所述第一相对空间位置信息，分别获取所述终端设备与所述每个按键之间的第二相对空间位置信息；
所述内容生成模块用于基于所述每个按键对应的第二相对空间位置信息和虚拟指示内容，生成与确定的各个按键分别匹配的虚拟指示，所述虚拟指示的显示位置与匹配的按键对应。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910684470.7A CN110442245A (zh) | 2019-07-26 | 2019-07-26 | 基于物理键盘的显示方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910684470.7A CN110442245A (zh) | 2019-07-26 | 2019-07-26 | 基于物理键盘的显示方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442245A true CN110442245A (zh) | 2019-11-12 |
Family
ID=68431814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910684470.7A Pending CN110442245A (zh) | 2019-07-26 | 2019-07-26 | 基于物理键盘的显示方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110442245A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111158825A (zh) * | 2019-12-27 | 2020-05-15 | 联想(北京)有限公司 | 一种控制方法及*** |
| CN114706489A (zh) * | 2022-02-28 | 2022-07-05 | 北京所思信息科技有限责任公司 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
| US20220253130A1 (en) * | 2021-02-08 | 2022-08-11 | Multinarity Ltd | Keyboard sensor for augmenting smart glasses sensor |
| US11475650B2 (en) | 2021-02-08 | 2022-10-18 | Multinarity Ltd | Environmentally adaptive extended reality display system |
| US11480791B2 (en) | 2021-02-08 | 2022-10-25 | Multinarity Ltd | Virtual content sharing across smart glasses |
| CN115633119A (zh) * | 2022-09-24 | 2023-01-20 | 深圳市般若造物科技有限公司 | 多功能键盘控制方法、多功能键盘、控制装置及存储介质 |
| WO2023049248A1 (en) * | 2021-09-24 | 2023-03-30 | Apple Inc. | Method and device for facilitating interactions with a peripheral device |
| US11748056B2 (en) | 2021-07-28 | 2023-09-05 | Sightful Computers Ltd | Tying a virtual speaker to a physical space |
| US11846981B2 (en) | 2022-01-25 | 2023-12-19 | Sightful Computers Ltd | Extracting video conference participants to extended reality environment |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140035819A1 (en) * | 2012-08-03 | 2014-02-06 | Research In Motion Limited | Method and Apparatus Pertaining to an Augmented-Reality Keyboard |
| CN106383652A (zh) * | 2016-08-31 | 2017-02-08 | 北京极维客科技有限公司 | 一种虚拟输入方法及***装置 |
-
2019
- 2019-07-26 CN CN201910684470.7A patent/CN110442245A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140035819A1 (en) * | 2012-08-03 | 2014-02-06 | Research In Motion Limited | Method and Apparatus Pertaining to an Augmented-Reality Keyboard |
| CN106383652A (zh) * | 2016-08-31 | 2017-02-08 | 北京极维客科技有限公司 | 一种虚拟输入方法及***装置 |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111158825B (zh) * | 2019-12-27 | 2022-08-19 | 联想(北京)有限公司 | 一种控制方法及*** |
| CN111158825A (zh) * | 2019-12-27 | 2020-05-15 | 联想(北京)有限公司 | 一种控制方法及*** |
| US11609607B2 (en) | 2021-02-08 | 2023-03-21 | Multinarity Ltd | Evolving docking based on detected keyboard positions |
| US11516297B2 (en) | 2021-02-08 | 2022-11-29 | Multinarity Ltd | Location-based virtual content placement restrictions |
| US11620799B2 (en) | 2021-02-08 | 2023-04-04 | Multinarity Ltd | Gesture interaction with invisible virtual objects |
| US11480791B2 (en) | 2021-02-08 | 2022-10-25 | Multinarity Ltd | Virtual content sharing across smart glasses |
| US11481963B2 (en) | 2021-02-08 | 2022-10-25 | Multinarity Ltd | Virtual display changes based on positions of viewers |
| US11496571B2 (en) | 2021-02-08 | 2022-11-08 | Multinarity Ltd | Systems and methods for moving content between virtual and physical displays |
| US11514656B2 (en) | 2021-02-08 | 2022-11-29 | Multinarity Ltd | Dual mode control of virtual objects in 3D space |
| US11927986B2 (en) | 2021-02-08 | 2024-03-12 | Sightful Computers Ltd. | Integrated computational interface device with holder for wearable extended reality appliance |
| US11924283B2 (en) | 2021-02-08 | 2024-03-05 | Multinarity Ltd | Moving content between virtual and physical displays |
| US11561579B2 (en) | 2021-02-08 | 2023-01-24 | Multinarity Ltd | Integrated computational interface device with holder for wearable extended reality appliance |
| US11567535B2 (en) | 2021-02-08 | 2023-01-31 | Multinarity Ltd | Temperature-controlled wearable extended reality appliance |
| US11574451B2 (en) | 2021-02-08 | 2023-02-07 | Multinarity Ltd | Controlling 3D positions in relation to multiple virtual planes |
| US11882189B2 (en) | 2021-02-08 | 2024-01-23 | Sightful Computers Ltd | Color-sensitive virtual markings of objects |
| US11580711B2 (en) | 2021-02-08 | 2023-02-14 | Multinarity Ltd | Systems and methods for controlling virtual scene perspective via physical touch input |
| US11582312B2 (en) | 2021-02-08 | 2023-02-14 | Multinarity Ltd | Color-sensitive virtual markings of objects |
| US11588897B2 (en) | 2021-02-08 | 2023-02-21 | Multinarity Ltd | Simulating user interactions over shared content |
| US11592872B2 (en) | 2021-02-08 | 2023-02-28 | Multinarity Ltd | Systems and methods for configuring displays based on paired keyboard |
| US11592871B2 (en) | 2021-02-08 | 2023-02-28 | Multinarity Ltd | Systems and methods for extending working display beyond screen edges |
| US11601580B2 (en) | 2021-02-08 | 2023-03-07 | Multinarity Ltd | Keyboard cover with integrated camera |
| US11599148B2 (en) | 2021-02-08 | 2023-03-07 | Multinarity Ltd | Keyboard with touch sensors dedicated for virtual keys |
| US11574452B2 (en) | 2021-02-08 | 2023-02-07 | Multinarity Ltd | Systems and methods for controlling cursor behavior |
| US20220253130A1 (en) * | 2021-02-08 | 2022-08-11 | Multinarity Ltd | Keyboard sensor for augmenting smart glasses sensor |
| US11475650B2 (en) | 2021-02-08 | 2022-10-18 | Multinarity Ltd | Environmentally adaptive extended reality display system |
| US11627172B2 (en) | 2021-02-08 | 2023-04-11 | Multinarity Ltd | Systems and methods for virtual whiteboards |
| US11863311B2 (en) | 2021-02-08 | 2024-01-02 | Sightful Computers Ltd | Systems and methods for virtual whiteboards |
| US11650626B2 (en) | 2021-02-08 | 2023-05-16 | Multinarity Ltd | Systems and methods for extending a keyboard to a surrounding surface using a wearable extended reality appliance |
| US11811876B2 (en) | 2021-02-08 | 2023-11-07 | Sightful Computers Ltd | Virtual display changes based on positions of viewers |
| US11797051B2 (en) | 2021-02-08 | 2023-10-24 | Multinarity Ltd | Keyboard sensor for augmenting smart glasses sensor |
| US11861061B2 (en) | 2021-07-28 | 2024-01-02 | Sightful Computers Ltd | Virtual sharing of physical notebook |
| US11809213B2 (en) | 2021-07-28 | 2023-11-07 | Multinarity Ltd | Controlling duty cycle in wearable extended reality appliances |
| US11816256B2 (en) | 2021-07-28 | 2023-11-14 | Multinarity Ltd. | Interpreting commands in extended reality environments based on distances from physical input devices |
| US11829524B2 (en) | 2021-07-28 | 2023-11-28 | Multinarity Ltd. | Moving content between a virtual display and an extended reality environment |
| US11748056B2 (en) | 2021-07-28 | 2023-09-05 | Sightful Computers Ltd | Tying a virtual speaker to a physical space |
| WO2023049248A1 (en) * | 2021-09-24 | 2023-03-30 | Apple Inc. | Method and device for facilitating interactions with a peripheral device |
| US11877203B2 (en) | 2022-01-25 | 2024-01-16 | Sightful Computers Ltd | Controlled exposure to location-based virtual content |
| US11846981B2 (en) | 2022-01-25 | 2023-12-19 | Sightful Computers Ltd | Extracting video conference participants to extended reality environment |
| US11941149B2 (en) | 2022-01-25 | 2024-03-26 | Sightful Computers Ltd | Positioning participants of an extended reality conference |
| CN114706489B (zh) * | 2022-02-28 | 2023-04-25 | 北京所思信息科技有限责任公司 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
| CN114706489A (zh) * | 2022-02-28 | 2022-07-05 | 北京所思信息科技有限责任公司 | 一种输入设备的虚拟方法、装置、设备和存储介质 |
| CN115633119B (zh) * | 2022-09-24 | 2024-02-20 | 深圳市般若造物科技有限公司 | 多功能键盘控制方法、多功能键盘、控制装置及存储介质 |
| CN115633119A (zh) * | 2022-09-24 | 2023-01-20 | 深圳市般若造物科技有限公司 | 多功能键盘控制方法、多功能键盘、控制装置及存储介质 |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442245A (zh) | 基于物理键盘的显示方法、装置、终端设备及存储介质 | |
| CN106575354B (zh) | 有形界面对象的虚拟化 | |
| CN107852443B (zh) | 信息处理设备、信息处理方法和程序 | |
| EP2521097B1 (en) | System and Method of Input Processing for Augmented Reality | |
| CN107851299B (zh) | 信息处理装置、信息处理方法以及程序 | |
| CN110163942B (zh) | 一种图像数据处理方法和装置 | |
| CN111158469A (zh) | 视角切换方法、装置、终端设备及存储介质 | |
| CN110456907A (zh) | 虚拟画面的控制方法、装置、终端设备及存储介质 | |
| US20220245859A1 (en) | Data processing method and electronic device | |
| CN108038726B (zh) | 物品展示方法及装置 | |
| CN111701238A (zh) | 虚拟画卷的显示方法、装置、设备及存储介质 | |
| US11244511B2 (en) | Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device | |
| JP2010134738A (ja) | 端末装置、表示制御方法および表示制御プログラム | |
| US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
| KR20090001667A (ko) | 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치및 방법 | |
| CN111383345B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
| US20130057574A1 (en) | Storage medium recorded with program, information processing apparatus, information processing system, and information processing method | |
| CN112581571B (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| US8643679B2 (en) | Storage medium storing image conversion program and image conversion apparatus | |
| CN111913674A (zh) | 虚拟内容的显示方法、装置、***、终端设备及存储介质 | |
| KR20150079387A (ko) | 카메라 광 데이터로 가상 환경을 조명하는 방법 | |
| CN111161396A (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
| CN111913560A (zh) | 虚拟内容的显示方法、装置、***、终端设备及存储介质 | |
| KR101983233B1 (ko) | 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 | |
| CN115907912A (zh) | 提供商品虚拟试用信息的方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |