CN105718054B - 增强现实物的非接触式智能终端控制方法及装置、*** - Google Patents

增强现实物的非接触式智能终端控制方法及装置、*** Download PDF

Info

Publication number
CN105718054B
CN105718054B CN201610031686.XA CN201610031686A CN105718054B CN 105718054 B CN105718054 B CN 105718054B CN 201610031686 A CN201610031686 A CN 201610031686A CN 105718054 B CN105718054 B CN 105718054B
Authority
CN
China
Prior art keywords
characteristic body
layout
terminal control
intelligent terminal
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610031686.XA
Other languages
English (en)
Other versions
CN105718054A (zh
Inventor
虞琼君
魏悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sky Ci Information Technology (shanghai) Co Ltd
Original Assignee
Sky Ci Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sky Ci Information Technology (shanghai) Co Ltd filed Critical Sky Ci Information Technology (shanghai) Co Ltd
Priority to CN201610031686.XA priority Critical patent/CN105718054B/zh
Publication of CN105718054A publication Critical patent/CN105718054A/zh
Application granted granted Critical
Publication of CN105718054B publication Critical patent/CN105718054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种增强现实物的非接触式智能终端控制方法及装置、***，包括：特征物识别装置：采集图像，从所述图像中识别出多个特征物；特征物布局识别装置：识别出所述多个特征物之间的布局关系；控制指令生成装置：根据所述布局关系生成智能终端控制指令。本发明使用特征物作为输入媒介对智能终端进行非接触式的控制，使得控制体验更为人性化，并给特殊人群(例如不会使用键盘的儿童)带来电脑操作上的便利。使用增强现实技术对现实场景中的特征物(例如七巧板)拼成的图形融合叠加虚拟的视觉、声音信息。利用智能终端的联网功能，通过互联网，利于实现各个玩家之间的交流与互动，可以实现远程交互的七巧板新玩法。

Description

增强现实物的非接触式智能终端控制方法及装置、***
技术领域
本发明涉及增强现实与智能终端的非接触控制方法，具体地，涉及增强现实物的非接触式智能终端控制方法及装置、***。
背景技术
非接触式智能终端控制，是区别与鼠标、键盘、触摸屏等传统方式的控制。增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过智能终端等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
将增强现实与智能终端的非接触控制这两种技术结合起来能够使得控制体验更为人性化和给特殊人群(例如不会使用键盘的儿童)带来电脑操作上的便利。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种增强现实物的非接触式智能终端控制方法及装置、***。
根据本发明提供的一种增强现实物的非接触式智能终端控制装置，包括：
特征物识别装置：采集图像，从所述图像中识别出多个特征物；
特征物布局识别装置：识别出所述多个特征物之间的布局关系；
控制指令生成装置：根据所述布局关系生成智能终端控制指令。
优选地，还包括：
图像处理装置：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
优选地，所述特征物识别装置，包括：
特征提取识别装置：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
优选地，所述特征物布局识别装置，包括：
布局匹配装置：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
优选地，所述布局匹配装置，包括如下任一个装置：
-外廓匹配装置：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配装置：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
优选地，所述控制指令生成装置，包括：
指令匹配装置：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
根据本发明提供的一种增强现实物的非接触式智能终端控制***，包括带摄像头的智能终端，所述智能终端包括上述的增强现实物的非接触式智能终端控制装置。
优选地，还包括取景支架；
智能终端安装在所述取景支架上；
设置在所述取景支架上的反射镜将所述取景支架前方平面上的景象反射至智能终端的摄像头；
根据本发明提供的一种增强现实物的非接触式智能终端控制方法，包括：
特征物识别步骤：采集图像，从所述图像中识别出多个特征物；
特征物布局识别步骤：识别出所述多个特征物之间的布局关系；
控制指令生成步骤：根据所述布局关系生成智能终端控制指令。
优选地，还包括：
图像处理步骤：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
优选地，所述特征物识别步骤，包括：
特征提取识别步骤：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
优选地，所述特征物布局识别步骤，包括：
布局匹配步骤：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
优选地，所述布局匹配步骤，包括如下任一个步骤：
-外廓匹配步骤：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配步骤：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
优选地，所述控制指令生成步骤，包括：
指令匹配步骤：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
与现有技术相比，本发明具有如下的有益效果：
1、使用特征物作为输入媒介对智能终端进行非接触式的控制，使得控制体验更为人性化，并给特殊人群(例如不会使用键盘的儿童)带来电脑操作上的便利。
2、使用增强现实技术对现实场景中的特征物(例如七巧板)拼成的图形融合叠加虚拟的视觉、声音信息。
3、利用智能终端的联网功能，通过互联网，利于实现各个玩家之间的交流与互动，可以实现远程交互的七巧板新玩法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的步骤流程图。
图2为本发明的结构示意图。
图3为本发明的效果示意图。
图中：
1-七巧板实体
2-反光镜
3-平板智能终端的前置摄像头
4-平板智能终端
5-取景支架
6-桌面
7-玩家摆放七巧板的手
8-摄像头拍摄到的玩家的手
9-摄像头拍摄到的摆放好的七巧板图案
10-合成的三维虚拟场景和物体
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种增强现实物的非接触式智能终端控制装置，包括：
特征物识别装置：采集图像，从所述图像中识别出多个特征物；
特征物布局识别装置：识别出所述多个特征物之间的布局关系；
控制指令生成装置：根据所述布局关系生成智能终端控制指令；
图像处理装置：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
所述特征物识别装置，包括：
特征提取识别装置：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
所述特征物布局识别装置，包括：
布局匹配装置：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
所述布局匹配装置，包括如下任一个装置：
-外廓匹配装置：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配装置：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
所述控制指令生成装置，包括：
指令匹配装置：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
根据本发明提供的一种增强现实物的非接触式智能终端控制***，包括带摄像头的智能终端，所述智能终端包括上述的增强现实物的非接触式智能终端控制装置。
所述增强现实物的非接触式智能终端控制***还包括取景支架；智能终端安装在所述取景支架上；设置在所述取景支架上的反射镜将所述取景支架前方平面上的景象反射至智能终端的摄像头。
本发明所述的增强现实物的非接触式智能终端控制装置可以通过根据本发明提供的一种增强现实物的非接触式智能终端控制方法中的步骤流程实现。
具体地，所述增强现实物的非接触式智能终端控制方法，包括：
特征物识别步骤：采集图像，从所述图像中识别出多个特征物；
特征物布局识别步骤：识别出所述多个特征物之间的布局关系；
控制指令生成步骤：根据所述布局关系生成智能终端控制指令；
图像处理步骤：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
所述特征物识别步骤，包括：
特征提取识别步骤：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
所述特征物布局识别步骤，包括：
布局匹配步骤：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系。
所述布局匹配步骤，包括如下任一个步骤：
-外廓匹配步骤：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配步骤：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
所述控制指令生成步骤，包括：
指令匹配步骤：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
在一个优选例中，特征物的数量共有7个，分别为七巧板中的各个拼板。取景支架的本体支撑平板智能终端以一定的角度朝向玩家，反光镜的角度恰好能够将平板智能终端前的一片桌面区域画面反射给平板智能终端的正面摄像头，这个桌面区域画面显示在平板智能终端的屏幕中。优选地采用低色彩饱和度的纯色桌面。当识别出七巧板所拼接为一条鱼的形状时，图像处理装置对画面进行渲染，显示屏显示七巧板所拼接成的鱼在海洋中遨游，并可以配合以声、光效果。进一步地，通过联网可以多人实现在线游戏。
例如，玩家A将平板智能终端安放在桌面的支架上，正面摄像头对准支架上的反光镜。游戏开始后，玩家用实体七巧板在平板智能终端前的桌面上拼出一个图案。反光镜将桌面上平板智能终端前的一片区域反射到平板智能终端的前置摄像头上，平板智能终端持续拍摄此桌面区域的画面，当识别到玩家用七巧板拼出的特定图案时，启动三维渲染模块，渲染此图案所对应的三维虚拟场景。渲染的三维虚拟场景与摄像头所拍摄到的桌面实景由以现实增强方式叠加合成在一起，显示在屏幕上。在显示画面的同时，平板智能终端播放此七巧板图案和虚拟场景所对应的语音与音乐。在通过网络联通的另一个玩家处，玩家B以相同的方式进行游戏。在双方的拼放图案完成后，七巧板判定模块将判定结果输出予以量化，将其生成数据包，通过网络发送到对手玩家的设备上，同时接收对战玩家设备发来的数据包，再将对战的结果一起渲染为三维虚拟画面叠加在最终的显示画面上。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种增强现实物的非接触式智能终端控制装置，其特征在于，包括：
特征物识别装置：采集图像，从所述图像中识别出多个特征物；
特征物布局识别装置：识别出所述多个特征物之间的布局关系；
控制指令生成装置：根据所述布局关系生成智能终端控制指令；
所述特征物布局识别装置，包括：
布局匹配装置：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系；
所述布局匹配装置，包括如下任一个装置：
-外廓匹配装置：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配装置：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
2.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，还包括：
图像处理装置：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
3.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，所述特征物识别装置，包括：
特征提取识别装置：根据如下任一种或任多种要素构成的特征，从所述图像中识别出具有所述特征的实体特征物：
-形状；
-颜色；
-图案；
-线条；
-纹理。
4.根据权利要求1所述的增强现实物的非接触式智能终端控制装置，其特征在于，所述控制指令生成装置，包括：
指令匹配装置：从预设的布局关系与指令对应表中，查找出与随哦数布局关系对应的智能终端控制指令。
5.一种增强现实物的非接触式智能终端控制***，包括带摄像头的智能终端，其特征在于，所述智能终端包括权利要求1至4中任一项所述的增强现实物的非接触式智能终端控制装置。
6.根据权利要求5所述的增强现实物的非接触式智能终端控制***，其特征在于，还包括取景支架；
智能终端安装在所述取景支架上；
设置在所述取景支架上的反射镜将所述取景支架前方平面上的景象反射至智能终端的摄像头。
7.一种增强现实物的非接触式智能终端控制方法，其特征在于，包括：
特征物识别步骤：采集图像，从所述图像中识别出多个特征物；
特征物布局识别步骤：识别出所述多个特征物之间的布局关系；
控制指令生成步骤：根据所述布局关系生成智能终端控制指令；
所述特征物布局识别步骤，包括：
布局匹配步骤：以匹配方式，从预设布局集合中查找到相匹配的预设布局作为所述布局关系；
所述布局匹配步骤，包括如下任一个步骤：
-外廓匹配步骤：检测得到所述多个特征物所拼接成形状的外廓，从预设布局集合中查找出与该外廓相匹配的预设布局；
-外包络匹配步骤：检测所述多个特征物中各个特征物的几何中心点，得到所述各个特征物的几何中心点的外包络线，从预设布局集合中查找出与该外包络线相匹配的预设布局。
8.根据权利要求7所述的增强现实物的非接触式智能终端控制方法，其特征在于，还包括：
图像处理步骤：根据所述智能终端控制指令显示按照所述布局关系排布的所述多个特征物。
CN201610031686.XA 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、*** Active CN105718054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610031686.XA CN105718054B (zh) 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610031686.XA CN105718054B (zh) 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、***

Publications (2)

Publication Number Publication Date
CN105718054A CN105718054A (zh) 2016-06-29
CN105718054B true CN105718054B (zh) 2019-05-10

Family

ID=56147240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610031686.XA Active CN105718054B (zh) 2016-01-18 2016-01-18 增强现实物的非接触式智能终端控制方法及装置、***

Country Status (1)

Country Link
CN (1) CN105718054B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709959B (zh) * 2017-01-09 2019-12-17 成都极米科技股份有限公司 巧板识别方法、装置及电子设备
CN108345907B (zh) * 2018-02-09 2022-02-11 广东美的制冷设备有限公司 识别方法、增强现实设备及存储介质
CN109453508A (zh) * 2018-10-29 2019-03-12 奇想空间（北京）教育科技有限公司 基于七巧板的游乐设备
CN110569907B (zh) * 2019-09-10 2022-03-04 网易（杭州）网络有限公司 拼接图形的识别方法及装置、计算机存储介质、电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6041604B2 (ja) * 2012-09-27 2016-12-14 京セラ株式会社 表示装置、制御システムおよび制御プログラム

Also Published As

Publication number Publication date
CN105718054A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN107852573B (zh) 混合现实社交交互
US7445549B1 (en) Networked portable and console game systems
US7905779B2 (en) Video game including effects for providing different first person experiences of the same video game world and a storage medium storing software for the video game
US8866848B2 (en) Image processing device, control method for an image processing device, program, and information storage medium
CN105718054B (zh) 增强现实物的非接触式智能终端控制方法及装置、***
US10380803B1 (en) Methods and systems for virtualizing a target object within a mixed reality presentation
WO2016011788A1 (zh) 一种基于增强现实技术的手持式阅览设备及其方法
US20180197345A1 (en) Augmented reality technology-based handheld viewing device and method thereof
KR102090891B1 (ko) 눈 이미지를 생성하는 방법 및 디바이스
WO2010020739A1 (en) Entertainment device and method of interaction
CN106730815A (zh) 一种易实现的体感互动方法及***
JP2013097473A (ja) ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム
JP2012164236A (ja) 対象物
JP2013094303A (ja) ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム
US6717575B2 (en) Image drawing method, image drawing apparatus, recording medium, and program
JP2005319029A (ja) プログラム、情報記憶媒体および画像生成システム
JP2002092633A (ja) ゲームシステム及び情報記憶媒体
JP2012164235A (ja) プログラム、情報記憶媒体、読み取り装置、及びサーバ
CN114425162A (zh) 一种视频处理方法和相关装置
JP2005209217A (ja) ゲームシステム及び情報記憶媒体
JP2003175274A (ja) ゲームシステム及び情報記憶媒体
JP2005275796A (ja) プログラム、情報記憶媒体、及び画像生成システム
JP2005319106A (ja) プログラム、情報記憶媒体、及び画像生成システム
JP2002373348A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2007164651A (ja) プログラム、情報記憶媒体及び画像生成システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant