CN105718054A - 增强现实物的非接触式智能终端控制方法及装置、*** - Google Patents

增强现实物的非接触式智能终端控制方法及装置、*** Download PDF

Info

Publication number
CN105718054A
CN105718054A CN201610031686.XA CN201610031686A CN105718054A CN 105718054 A CN105718054 A CN 105718054A CN 201610031686 A CN201610031686 A CN 201610031686A CN 105718054 A CN105718054 A CN 105718054A
Authority
CN
China
Prior art keywords
layout
intelligent terminal
characteristic body
augmented reality
terminal control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610031686.XA
Other languages
English (en)
Other versions
CN105718054B (zh
Inventor
虞琼君
魏悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sky Ci Information Technology (shanghai) Co Ltd
Original Assignee
Sky Ci Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sky Ci Information Technology (shanghai) Co Ltd filed Critical Sky Ci Information Technology (shanghai) Co Ltd
Priority to CN201610031686.XA priority Critical patent/CN105718054B/zh
Publication of CN105718054A publication Critical patent/CN105718054A/zh
Application granted granted Critical
Publication of CN105718054B publication Critical patent/CN105718054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种增强现实物的非接触式智能终端控制方法及装置、***，包括：特征物识别装置：采集图像，从所述图像中识别出多个特征物；特征物布局识别装置：识别出所述多个特征物之间的布局关系；控制指令生成装置：根据所述布局关系生成智能终端控制指令。本发明使用特征物作为输入媒介对智能终端进行非接触式的控制，使得控制体验更为人性化，并给特殊人群(例如不会使用键盘的儿童)带来电脑操作上的便利。使用增强现实技术对现实场景中的特征物(例如七巧板)拼成的图形融合叠加虚拟的视觉、声音信息。利用智能终端的联网功能，通过互联网，利于实现各个玩家之间的交流与互动，可以实现远程交互的七巧板新玩法。

Description

增强现实物的非接触式智能终端控制方法及装置、***
技术领域
本发明涉及增强现实与智能终端的非接触控制方法，具体地，涉及增强现实物的非接触式智能终端控制方法及装置、***。
背景技术
非接触式智能终端控制，是区别与鼠标、键盘、触摸屏等传统方式的控制。增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过智能终端等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
将增强现实与智能终端的非接触控制这两种技术结合起来能够使得控制体验更为人性化和给特殊人群(例如不会使用键盘的儿童)带来电脑操作上的便利。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种增强现实物的非接触式智能终端控制方法及装置、***。
根据本发明提供的一种增强现实物的非接触式智能终端控制装置，包括：
特征物识别装置：采集图像，从所述图像中识别出多个特征物；
特征物布局识别装置：识别出所述多个特征物之间的布局关系；
控制指令生成装置：根据所述布局关系生成智能终端控制指令。
优选地，还包括：
图像处理装置：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
优选地，所述特征物识别装置，包括：
特征提取识别装置：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
优选地，所述特征物布局识别装置，包括：
布局匹配装置：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
优选地，所述布局匹配装置，包括如下任一个装置：
-外廓匹配装置：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配装置：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
优选地，所述控制指令生成装置，包括：
指令匹配装置：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
根据本发明提供的一种增强现实物的非接触式智能终端控制***，包括带摄像头的智能终端，所述智能终端包括上述的增强现实物的非接触式智能终端控制装置。
优选地，还包括取景支架；
智能终端安装在所述取景支架上；
设置在所述取景支架上的反射镜将所述取景支架前方平面上的景象反射至智能终端的摄像头；
根据本发明提供的一种增强现实物的非接触式智能终端控制方法，包括：
特征物识别步骤：采集图像，从所述图像中识别出多个特征物；
特征物布局识别步骤：识别出所述多个特征物之间的布局关系；
控制指令生成步骤：根据所述布局关系生成智能终端控制指令。
优选地，还包括：
图像处理步骤：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
优选地，所述特征物识别步骤，包括：
特征提取识别步骤：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
优选地，所述特征物布局识别步骤，包括：
布局匹配步骤：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
优选地，所述布局匹配步骤，包括如下任一个步骤：
-外廓匹配步骤：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配步骤：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
优选地，所述控制指令生成步骤，包括：
指令匹配步骤：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
与现有技术相比，本发明具有如下的有益效果：
1、使用特征物作为输入媒介对智能终端进行非接触式的控制，使得控制体验更为人性化，并给特殊人群(例如不会使用键盘的儿童)带来电脑操作上的便利。
2、使用增强现实技术对现实场景中的特征物(例如七巧板)拼成的图形融合叠加虚拟的视觉、声音信息。
3、利用智能终端的联网功能，通过互联网，利于实现各个玩家之间的交流与互动，可以实现远程交互的七巧板新玩法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的步骤流程图。
图2为本发明的结构示意图。
图3为本发明的效果示意图。
图中：
1-七巧板实体
2-反光镜
3-平板智能终端的前置摄像头
4-平板智能终端
5-取景支架
6-桌面
7-玩家摆放七巧板的手
8-摄像头拍摄到的玩家的手
9-摄像头拍摄到的摆放好的七巧板图案
10-合成的三维虚拟场景和物体
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种增强现实物的非接触式智能终端控制装置，包括：
特征物识别装置：采集图像，从所述图像中识别出多个特征物；
特征物布局识别装置：识别出所述多个特征物之间的布局关系；
控制指令生成装置：根据所述布局关系生成智能终端控制指令；
图像处理装置：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
所述特征物识别装置，包括：
特征提取识别装置：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
所述特征物布局识别装置，包括：
布局匹配装置：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
所述布局匹配装置，包括如下任一个装置：
-外廓匹配装置：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配装置：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
所述控制指令生成装置，包括：
指令匹配装置：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
根据本发明提供的一种增强现实物的非接触式智能终端控制***，包括带摄像头的智能终端，所述智能终端包括上述的增强现实物的非接触式智能终端控制装置。
所述增强现实物的非接触式智能终端控制***还包括取景支架；智能终端安装在所述取景支架上；设置在所述取景支架上的反射镜将所述取景支架前方平面上的景象反射至智能终端的摄像头。
本发明所述的增强现实物的非接触式智能终端控制装置可以通过根据本发明提供的一种增强现实物的非接触式智能终端控制方法中的步骤流程实现。
具体地，所述增强现实物的非接触式智能终端控制方法，包括：
特征物识别步骤：采集图像，从所述图像中识别出多个特征物；
特征物布局识别步骤：识别出所述多个特征物之间的布局关系；
控制指令生成步骤：根据所述布局关系生成智能终端控制指令；
图像处理步骤：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
所述特征物识别步骤，包括：
特征提取识别步骤：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
所述特征物布局识别步骤，包括：
布局匹配步骤：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
所述布局匹配步骤，包括如下任一个步骤：
-外廓匹配步骤：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配步骤：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
所述控制指令生成步骤，包括：
指令匹配步骤：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
在一个优选例中，特征物的数量共有7个，分别为七巧板中的各个拼板。取景支架的本体支撑平板智能终端以一定的角度朝向玩家，反光镜的角度恰好能够将平板智能终端前的一片桌面区域画面反射给平板智能终端的正面摄像头，这个桌面区域画面显示在平板智能终端的屏幕中。优选地采用低色彩饱和度的纯色桌面。当识别出七巧板所拼接为一条鱼的形状时，图像处理装置对画面进行渲染，显示屏显示七巧板所拼接成的鱼在海洋中遨游，并可以配合以声、光效果。进一步地，通过联网可以多人实现在线游戏。
例如，玩家A将平板智能终端安放在桌面的支架上，正面摄像头对准支架上的反光镜。游戏开始后，玩家用实体七巧板在平板智能终端前的桌面上拼出一个图案。反光镜将桌面上平板智能终端前的一片区域反射到平板智能终端的前置摄像头上，平板智能终端持续拍摄此桌面区域的画面，当识别到玩家用七巧板拼出的特定图案时，启动三维渲染模块，渲染此图案所对应的三维虚拟场景。渲染的三维虚拟场景与摄像头所拍摄到的桌面实景由以现实增强方式叠加合成在一起，显示在屏幕上。在显示画面的同时，平板智能终端播放此七巧板图案和虚拟场景所对应的语音与音乐。在通过网络联通的另一个玩家处，玩家B以相同的方式进行游戏。在双方的拼放图案完成后，七巧板判定模块将判定结果输出予以量化，将其生成数据包，通过网络发送到对手玩家的设备上，同时接收对战玩家设备发来的数据包，再将对战的结果一起渲染为三维虚拟画面叠加在最终的显示画面上。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种增强现实物的非接触式智能终端控制装置，其特征在于，包括：
特征物识别装置：采集图像，从所述图像中识别出多个特征物；
特征物布局识别装置：识别出所述多个特征物之间的布局关系；
控制指令生成装置：根据所述布局关系生成智能终端控制指令。
2.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，还包括：
图像处理装置：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
3.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，所述特征物识别装置，包括：
特征提取识别装置：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
4.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，所述特征物布局识别装置，包括：
布局匹配装置：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
5.根据权利要求4所述的增强现实物的非接触式智能终端控制装置，其特征在于，所述布局匹配装置，包括如下任一个装置：
-外廓匹配装置：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配装置：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
6.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，所述控制指令生成装置，包括：
指令匹配装置：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
7.一种增强现实物的非接触式智能终端控制***，包括带摄像头的智能终端，其特征在于，所述智能终端包括权利要求1至6中任一项所述的增强现实物的非接触式智能终端控制装置。
8.根据权利要求7所述的增强现实物的非接触式智能终端控制***，其特征在于，还包括取景支架；
智能终端安装在所述取景支架上；
设置在所述取景支架上的反射镜将所述取景支架前方平面上的景象反射至智能终端的摄像头。
9.一种增强现实物的非接触式智能终端控制方法，其特征在于，包括：
特征物识别步骤：采集图像，从所述图像中识别出多个特征物；
特征物布局识别步骤：识别出所述多个特征物之间的布局关系；
控制指令生成步骤：根据所述布局关系生成智能终端控制指令。
10.根据权利要求9所述的增强现实物的非接触式智能终端控制方法，其特征在于，还包括：
图像处理步骤：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
CN201610031686.XA 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、*** Active CN105718054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610031686.XA CN105718054B (zh) 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610031686.XA CN105718054B (zh) 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、***

Publications (2)

Publication Number Publication Date
CN105718054A true CN105718054A (zh) 2016-06-29
CN105718054B CN105718054B (zh) 2019-05-10

Family

ID=56147240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610031686.XA Active CN105718054B (zh) 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、***

Country Status (1)

Country Link
CN (1) CN105718054B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709959A (zh) * 2017-01-09 2017-05-24 成都市极米科技有限公司 巧板识别方法、装置及电子设备
CN108345907A (zh) * 2018-02-09 2018-07-31 广东美的制冷设备有限公司 识别方法、增强现实设备及存储介质
CN109453508A (zh) * 2018-10-29 2019-03-12 奇想空间（北京）教育科技有限公司 基于七巧板的游乐设备
CN110569907A (zh) * 2019-09-10 2019-12-13 网易（杭州）网络有限公司 拼接图形的识别方法及装置、计算机存储介质、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081319A (zh) * 2012-02-06 2014-10-01 索尼公司 信息处理设备和信息处理方法
CN104662602A (zh) * 2012-09-27 2015-05-27 京瓷株式会社 显示装置、控制***和控制程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104081319A (zh) * 2012-02-06 2014-10-01 索尼公司 信息处理设备和信息处理方法
CN104662602A (zh) * 2012-09-27 2015-05-27 京瓷株式会社 显示装置、控制***和控制程序

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709959A (zh) * 2017-01-09 2017-05-24 成都市极米科技有限公司 巧板识别方法、装置及电子设备
CN106709959B (zh) * 2017-01-09 2019-12-17 成都极米科技股份有限公司 巧板识别方法、装置及电子设备
CN108345907A (zh) * 2018-02-09 2018-07-31 广东美的制冷设备有限公司 识别方法、增强现实设备及存储介质
CN109453508A (zh) * 2018-10-29 2019-03-12 奇想空间（北京）教育科技有限公司 基于七巧板的游乐设备
CN110569907A (zh) * 2019-09-10 2019-12-13 网易（杭州）网络有限公司 拼接图形的识别方法及装置、计算机存储介质、电子设备
CN110569907B (zh) * 2019-09-10 2022-03-04 网易（杭州）网络有限公司 拼接图形的识别方法及装置、计算机存储介质、电子设备

Also Published As

Publication number Publication date
CN105718054B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
Balakrishnan et al. Interaction of spatial computing in augmented reality
US9996979B2 (en) Augmented reality technology-based handheld viewing device and method thereof
Orlosky et al. Virtual and augmented reality on the 5G highway
US20180197345A1 (en) Augmented reality technology-based handheld viewing device and method thereof
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
Coppens Merging real and virtual worlds: An analysis of the state of the art and practical evaluation of Microsoft Hololens
Tacgin Virtual and augmented reality: an educational handbook
CN113382790B (zh) 用于增强现实的玩具***
CN105718054A (zh) 增强现实物的非接触式智能终端控制方法及装置、***
CN106730815A (zh) 一种易实现的体感互动方法及***
CN204028887U (zh) 一种基于增强现实技术的手持式阅览设备
CN105184858A (zh) 一种增强现实移动终端的方法
Nguyen et al. Real-time 3D human capture system for mixed-reality art and entertainment
McMenemy et al. A hitchhiker's guide to virtual reality
Song et al. An immersive VR system for sports education
US20220107681A1 (en) User interactions in virtual reality
Lochner et al. VR natural walking in impossible spaces
Loijens et al. What is augmented reality?
Berger-Haladová et al. Towards Augmented Reality Educational Authoring
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법
CN111651048B (zh) 多虚拟对象排列展示方法、装置、电子设备及存储介质
WO2024077518A1 (zh) 基于增强现实的界面显示方法、装置、设备、介质和产品
TWI839830B (zh) 混合現實交互方法、裝置、電子設備及介質
WO2023119715A1 (ja) 映像生成方法及び画像生成プログラム
Mubarak et al. AR markerless game

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant