WO2015000286A1 - 基于增强现实的三维互动学习***及方法 - Google Patents

基于增强现实的三维互动学习***及方法 Download PDF

Info

Publication number
WO2015000286A1
WO2015000286A1 PCT/CN2014/000642 CN2014000642W WO2015000286A1 WO 2015000286 A1 WO2015000286 A1 WO 2015000286A1 CN 2014000642 W CN2014000642 W CN 2014000642W WO 2015000286 A1 WO2015000286 A1 WO 2015000286A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
teaching aid
physical teaching
spatial orientation
information
Prior art date
Application number
PCT/CN2014/000642
Other languages
English (en)
French (fr)
Inventor
熊剑明
Original Assignee
央数文化(上海)股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 央数文化(上海)股份有限公司 filed Critical 央数文化(上海)股份有限公司
Publication of WO2015000286A1 publication Critical patent/WO2015000286A1/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Definitions

  • the camera device is configured to perform video collection on a real environment after the augmented reality application is started;
  • the information processing apparatus further includes:
  • the three-dimensional rendering module is configured to control, according to the current spatial orientation information, the virtual object to perform synchronous display in a corresponding position in the video image.
  • the augmented reality application employs multi-thread programming, including a background thread for running a video capture operation and a main thread for running other functional operations.
  • the identification information is a two-dimensional code.
  • the three-dimensional interactive learning system prestores at least one template pattern, each of the template patterns corresponding to one of the three-dimensional models; and the identification module is configured to extract the Determining, by the predetermined image matching algorithm, whether the two-dimensional code matches the template pattern by using a predetermined image matching algorithm, and if yes, determining that the matching three-dimensional model corresponding to the template pattern is the physical teaching aid Corresponding said three-dimensional model -
  • 1 is a pixel value of the template pattern, which is a pixel value of the two-dimensional code; when S ; approaches 1, r approaches 1 and the extracted two-dimensional code is The template patterns are compared in N different orientations respectively; or
  • E s is the average gray level of the two-dimensional code
  • E t is the average gray level of the template pattern
  • the present invention also provides a three-dimensional interactive learning method based on augmented reality, including steps having -
  • the step of the information processing apparatus calculating the spatial orientation information of the physical teaching aid further includes:
  • the information processing device when the user moves the entity teaching aid in a real environment, the information processing device performs moving object tracking on the entity teaching aid, and calculates current spatial orientation information of the entity teaching aid in real time;
  • the step of placing the virtual object in a corresponding position in the video image according to the spatial orientation information of the physical teaching aid further includes:
  • the information processing device controls the virtual object to perform synchronous display on a corresponding position in the video image according to the current spatial orientation information.
  • the augmented reality application employs multi-thread programming, including a background thread for running a video capture operation and a main thread for running other functional operations.
  • the step of the information processing device calculating the spatial orientation information of the physical teaching aid further includes:
  • the information processing device calculates two-dimensional spatial orientation information of the physical teaching aid in the physical teaching aid space coordinate system; and converts the two-dimensional spatial orientation information into an imaging device according to the calibration parameter of the imaging device Three-dimensional spatial orientation information of the spatial coordinate system;
  • step of displaying the virtual object in a corresponding position in the video image according to the spatial orientation information of the physical teaching aid further comprising:
  • the information processing device displays the virtual object at a corresponding position in the video image according to the three-dimensional spatial orientation information.
  • the information processing device root is based on a real-time rendering frame rate, and each time an M frame is rendered, the camera device acquires an image, which is processed by the information processing device. Processing the image; from the 0th frame to the first period of the N*M frame, the information processing apparatus obtains the spatial orientation information of the physical teaching aid N times; the information processing apparatus is at the first During the second period from the NM frame to the 2N*M frame, the information processing apparatus constructs the N-time Bezier curve by using the result of the first N times of visual capture, thereby estimating any frame. The spatial orientation information of the physical teaching aid is applied to the virtual object.
  • the physical teaching aids are teaching cards, teaching books, and teaching dies.
  • the identification information is a two-dimensional code.
  • the step of the information processing apparatus identifying the identification information on the entity teaching aid and analyzing the three-dimensional model corresponding to the identification information includes :
  • the information processing device extracts the two-dimensional code on the entity teaching aid, and identifies whether the two-dimensional code matches the template pattern by a predetermined image matching algorithm;
  • the formula of the image matching algorithm is:
  • T ⁇ is the pixel value of the template pattern, S ; is the pixel value of the two-dimensional code; when approaching 1, r approaches 1 and the extracted two-dimensional code Comparing with the template pattern in N different orientations; or
  • E s is the average gray level of the two-dimensional code
  • E t is the average gray level of the template pattern
  • the present invention provides a three-dimensional interactive learning system and method based on augmented reality in order to solve the problem of low interest and poor teaching effect of the existing multimedia teaching device.
  • the system passes the camera.
  • the device performs video capture to display the real environment on the display device; at this time, the user can move the physical teaching aid with the identification information to the shooting range of the camera device, and the system identifies the identification information and the spatial orientation information of the physical teaching aid, the entity
  • the teaching aid is preferably a teaching card, and the identification information is preferably a two-dimensional code; then the system acquires the three-dimensional model corresponding to the identification information and renders it into a corresponding virtual object, and places the virtual object on the video image according to the spatial orientation information of the physical teaching aid.
  • the corresponding position in the display is mixed with the real environment.
  • the invention introduces the augmented reality technology into the multimedia teaching device, and superimposes the real environment and the virtual object into the same scene in real time, and the two kinds of information complement and superimpose each other, thereby bringing a new experience of the sensory effect to the user, and simultaneously utilizing Human instinct for three-dimensional spatial cognition to improve the user's learning ability and memory ability, thereby improving the teaching effect.
  • the user can move the entity teaching aids at will, the system will track the position of the physical teaching aids, and control the virtual objects to be synchronized according to the real space movements. Description
  • FIG. 1 is a schematic structural diagram of a three-dimensional interactive learning system based on augmented reality according to the present invention
  • FIG. 2 is a schematic diagram showing a calculation principle of spatial orientation information of a physical teaching aid according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram showing the principle of a contour extraction algorithm in an embodiment of the present invention.
  • FIG. 4 is a schematic diagram showing the principle of a quadrilateral detection algorithm in an embodiment of the present invention.
  • FIG. 5 is a schematic diagram showing the principle of a quadrilateral coordinate algorithm in an embodiment of the present invention.
  • FIG. 6 is a corresponding relationship diagram between a template plane and an imaging plane in the embodiment of the present invention -
  • FIG. 7 is a schematic diagram showing the principle of comparing a two-dimensional code and a template pattern in four different orientations in an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of a principle of delay rendering in an embodiment of the present invention.
  • FIG. 9 is a schematic diagram showing the principle of multi-thread operation of an augmented reality application according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of a three-dimensional interactive learning method based on augmented reality according to the present invention.
  • FIG. 11 is a flow chart of a preferred augmented reality based three-dimensional interactive learning method of the present invention. Detailed ways
  • the three-dimensional interactive learning system 100 includes an information processing device 10, a camera device 20, a display device 30, and at least one physical teaching aid 40, wherein:
  • Each of the entity teaching aids 40 is provided with an identification information, and each of the identification information corresponds to a three-dimensional model.
  • the physical teaching aid 40 is preferably a teaching card, such as a literacy card and an identification card.
  • the physical teaching aid 40 can also be a teaching book, a teaching mold, and the like.
  • the identification information is preferably a two-dimensional code, and the two-dimensional code can be composed of various characters, patterns, and the like.
  • the physical teaching aid 40 corresponds to at least one vocabulary, object, phenomenon and the like.
  • the camera device 20 is configured to perform video collection on a real environment after the augmented reality application is started.
  • the imaging device 20 preferably employs a camera. What is more, at the same time, the ordinary camera and the infrared camera are used as the camera device 20, which form complementary advantages and solve the fatal problem that the two-dimensional code input fails when the light in the real environment is weak.
  • the augmented reality application refers to various types of application categories of knowledge education, such as nature, ocean, universe, and the like.
  • Each augmented reality application can have specific interactions and game logic.
  • various multimedia resources are used according to specific application logic, including three-dimensional models, images, sound effects, animations, and other special effects (for example, when the literacy card appears in the video image, the corresponding three-dimensional model is displayed and Trigger smoke effects).
  • Users can learn basic information about each augmented reality application through the application browser, and select and execute the augmented reality application of interest.
  • the display device 30 is configured to display a video image of a real environment.
  • the display device 30 can be a screen of a computer, a communication terminal, or a television.
  • the information processing device 10 may be a computer, a communication terminal, a television, etc., and the communication terminal may be Description
  • the information processing device 10 further includes -
  • the identification module 11 is configured to identify the identification information on the physical teaching aid 40 when the user moves the physical teaching aid 40 to the shooting range of the imaging device 20, and analyze the three-dimensional model corresponding to the identification information.
  • the three-dimensional model is pre-existing in the three-dimensional interactive learning system 100.
  • the orientation calculation module 12 is configured to calculate spatial orientation information of the physical teaching aid 40.
  • the orientation calculation module 12 is configured to calculate the two-dimensional spatial orientation information of the physical teaching aid 40 in the physical teaching aid spatial coordinate system. And according to the calibration parameters of the camera device 20, the two-dimensional spatial orientation information is converted into a three-dimensional spatial orientation of the space coordinate system of the camera device.
  • the three-dimensional rendering module 13 is configured to render a virtual three-dimensional model and other virtual environments, preferably for acquiring a three-dimensional model corresponding to the identification information, and rendering the three-dimensional model to generate a corresponding virtual object, and according to the spatial orientation information of the physical teaching aid 40.
  • the virtual object is placed at a corresponding position in the video image, and the virtual object and the real environment are mixed and displayed in the display device 30.
  • the three-dimensional rendering module 13 is configured to display the virtual object in a corresponding position in the video image according to the three-dimensional spatial orientation information of the physical teaching aid 40.
  • the orientation calculation module 12 of the information processing apparatus 10 is configured to perform moving object tracking on the physical teaching aid 40 when the user moves the physical teaching aid 40 in the real environment, and calculate the current spatial orientation of the physical teaching aid 40 in real time. information.
  • the three-dimensional rendering module 13 is configured to control the synchronous display of the virtual object in the corresponding position in the video image according to the current spatial orientation information.
  • the user can move the entity teaching aid 40 at will, the system 100 will perform position tracking on the physical teaching aid 40, and control the virtual object to be synchronously displayed according to the action of the physical teaching aid 40 in the real space, so as to achieve the purpose of the user to control the free movement of the virtual object.
  • the invention is derived from computer graphics recognition control technology and three-dimensional model instant rendering technology.
  • computer graphics recognition control technology provides an important application premise for augmented reality systems, camera calibration technology, moving object tracking technology and spatial registration technology of 3D objects for the consistency and real-time interaction of virtual and real space Provided the possibility.
  • the pre-created 3D virtual object is placed according to the spatial position information provided by the two-dimensional code, and is mixed and displayed with the real environment;
  • the user can control the free movement of the virtual object by moving the two-dimensional code (ie, the physical teaching aid).
  • the user moves the physical teaching aid (such as a literacy card with a two-dimensional code) in real space, and the virtual objects projected on the image captured by the camera on the screen are synchronized according to the real space motion.
  • the present invention can provide a more vivid sensory experience for the user by using multimedia forms such as text, sound, pictures, animation, and movies.
  • multimedia forms such as text, sound, pictures, animation, and movies.
  • the present invention solves the problem that children are boring in the process of learning vocabulary, objects, phenomena, and the like, and provides a visually sensory experience with a whole new fun. Project virtual objects onto the screen and let illusory objects appear in the real world. At the same time, humans can observe objects, understand and learn various kinds of knowledge through the natural reaction of humans to 3D space.
  • the physical teaching aid 40 is a quadrilateral literacy card
  • the camera device 20 is a camera.
  • the literacy card spatial orientation is extracted to calculate the literacy card space coordinate system (origin 0 nieth, coordinate axis is X tract, Y n , Z a ) is the representation in the reference coordinate system.
  • the method for extracting the spatial orientation of the literacy card specifically includes - [0101] 1) marking the connected region in the video image. First, the image needs to be binarized.
  • a fixed threshold binarization For example, a pixel whose luminance value is higher than 100 is set to 1, and the others are set to 0. Then, a progressive scan (from left to right, top to bottom) is performed on the binary image, and pixels having the same pixel value and adjacent pixels are marked with the same number as the connected region.
  • Contour extraction algorithm As shown in FIG. 3, for each connected region, the uppermost and leftmost edge points (dark pixels in FIG. b) are first found as the starting point of the contour search. Then search in the possible 8 directions (Fig. a) and find the pixels with the same label as the next contour point. The first search starts from direction 2 (because the starting point is already at the top and left), and when it is turned counterclockwise to direction 4, the pixels with the same label are found as the new contour point. The starting direction of the next search is (this direction +5) modulo 8 , so the second search starts from direction 1 and turns to direction 3 to find a new contour point (Fig. c). Other contour points are derived by analogy until the algorithm returns to the starting point.
  • Quadrilateral detection algorithm As shown in FIG. 4, first traverse the entire contour point sequence, find the point farthest from the starting point (number 0), mark it, and then pair (0, n t ) and ( ⁇ respectively) Two segments of , 0) are processed. At (0, ⁇ ), the connection from the search point and the farthest point 0 ⁇ point, if the distance exceeds a given width value, it indicates that new vertices found, labeled ⁇ 2, then continue processing (0 , ) and ( ⁇ 2 , ⁇ ,) segments. In the recursive process, if three vertices are found (including a total of four vertices at the starting point), the outline is proved to be a quadrilateral.
  • Quadrilateral coordinate algorithm using camera calibration parameters, the two-dimensional coordinates of the image space are converted into three-dimensional coordinates of the camera space,
  • ( Xl , Yl ) is the image pixel coordinate (the origin is in the upper left corner of the image), and ( X(:, y c ) is the representation of the image pixel in the camera coordinate system; s ⁇ Sy is the scaling factor, and the unit is Pixels per pixel (pixel/mm), ( Cl , c y ) is the pixel coordinate of the camera coordinate system z.
  • imaging The z coordinate of all points on the plane is f. From this, the representation of the four vertices P0 ⁇ P3 of the quadrilateral in the image in the camera coordinate system can be calculated, as shown in Fig. 5.
  • the three-dimensional interactive learning system 100 prestores at least one template pattern, each template pattern corresponding to a three-dimensional model.
  • the identification module 11 is configured to extract the two-dimensional code on the physical teaching aid 40, and identify whether the two-dimensional code matches the template pattern by using a predetermined image matching algorithm, and if yes, determine that the three-dimensional model corresponding to the matched template pattern is the three-dimensional corresponding to the physical teaching aid 40. model.
  • the literacy card is taken as an example to describe the two-dimensional code identification in detail:
  • Each detected quadrilateral image area is compared with a template pattern in the system database to find the best match, and the number of the template pattern is recorded.
  • the template pattern has a uniform resolution, such as 32*32, so before the comparison, the quadrilateral image region needs to be normalized, that is, the rectangular projection is transformed into a square region by using the perspective projection homography matrix transformation.
  • the coordinates ( Xi , y , ) of the projection point on the imaging plane can be obtained by the homography matrix (Equation 3), and ( Xl , The pixel value of y ; ) is given (x t , y t ).
  • the average gray level of the entire image may be first counted and the average gray level subtracted from a single pixel value, as shown in Equation 5.
  • the present invention adopts a delayed rendering technique, first backs up a plurality of two-dimensional code recognition results before the current frame, and delays the motion of the virtual object by a corresponding number of frames, thereby reserved for real-time processing of video input.
  • FIG. 10 is a flowchart of a three-dimensional interactive learning method based on augmented reality according to the present invention, which can be implemented by the three-dimensional interactive learning system 100 shown in FIG. 1, and includes the following steps:
  • Step S102 After the augmented reality application is started, video capture is performed on the real environment by the camera device 20.
  • Step S105 the information processing apparatus 10 calculates spatial orientation information of the physical teaching aid 40.
  • Step S106 the information processing apparatus 10 acquires the three-dimensional model corresponding to the identification information, and renders the three-dimensional model to generate a corresponding virtual object, and according to the spatial orientation of the physical teaching aid 40.
  • the information is displayed by placing the virtual object at a corresponding position in the video image.
  • the information processing apparatus 10 extracts the two-dimensional code on the entity teaching aid 40, and identifies whether the two-dimensional code matches the template pattern by a predetermined image matching algorithm.
  • E s is the average gray level of the two-dimensional code
  • E t is the average gray level of the template pattern
  • FIG. 11 is a flowchart of a three-dimensional interactive learning method based on the augmented reality of the present invention, which can be implemented by the three-dimensional interactive learning system 100 shown in FIG. 1.
  • the information processing apparatus 10 in this embodiment uses a computer and a camera.
  • the device 20 employs a camera
  • the display device 30 employs a computer screen
  • the physical teaching aid 40 employs a teaching card
  • the teaching card is provided with a two-dimensional code.
  • the method includes the steps of -
  • Step S112 the user starts an AR application.
  • Step S115 the user moves the teaching card in front of the camera, and the teaching card is provided with a two-dimensional code.
  • the user can now move the QR code to the shooting range of the camera and move the position of the QR code at will.
  • Step S118 the user provides the three-dimensional information implied in the real background image through interaction, so that the 3D virtual object can directly interact with the three-dimensional information, thereby greatly improving the interactive entertainment of the system.
  • the entity teaching aid is preferably a teaching card
  • the identification information is preferably a two-dimensional code
  • the system acquires the three-dimensional model corresponding to the identification information and renders it into a corresponding virtual object, and virtualizes according to the spatial orientation information of the physical teaching aid.
  • Objects are placed at corresponding locations in the video image for display in a mixed environment with the real environment.
  • the invention introduces the augmented reality technology into the multimedia teaching device, and superimposes the real environment and the virtual object into the same scene in real time, and the two kinds of information complement and superimpose each other, thereby bringing a new experience of the sensory effect to the user, and simultaneously utilizing Human instinct for three-dimensional spatial cognition to improve the user's learning ability and memory ability, thereby improving the teaching effect.
  • the user can move the entity teaching aids at will, the system will track the position of the physical teaching aids, and control the virtual objects to be synchronously displayed according to the actions of the real space, so as to achieve the purpose of free movement of the virtual objects controlled by the user, and generate rich interactions.
  • the effect of entertaining and entertaining are examples of entertaining and entertaining.
  • the invention is especially suitable for multimedia interactive teaching of children and adolescents.
  • the invention may, of course, be embodied in a variety of other embodiments, and various modifications and changes can be made in accordance with the present invention without departing from the spirit and scope of the invention. These respective changes and modifications are intended to fall within the scope of the appended claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于增强现实的三维互动学习***及方法，所述***包括信息处理装置、摄像装置、显示装置和至少一实体教具，所述实体教具设有标识信息；所述摄像装置用于在启动增强现实应用后，对真实环境进行视频采集；所述信息处理装置包括：识别模块，用于识别实体教具上的标识信息；方位计算模块，用于计算出实体教具的空间方位信息；三维渲染模块，用于获取标识信息对应的三维模型并渲染生成对应的虚拟物体，根据实体教具的空间方位信息，将虚拟物体放置于视频图像中的相应位置进行显示。借此，本发明能够将真实环境和虚拟物体实时地叠加到了同一场景中，为用户提供更为生动的感官体验，同时利用人类对三维空间认知的本能提高了教学效果。

Description

基于增强现实的三维互动学习***及方法 技术领域
[0001 ] 本发明涉及多媒体互动教学装置技术领域，尤其涉及一种基于增强现实的三维互 动学习***及方法。 背景技术
[0002] 目前市场上较主流的多媒体教学装置包括早教机、点读机、点读笔、电子书 /书 包、识字卡片、电脑教育软件。 现有多媒体教学装置存在如下缺陷：
[0003] 1、传统多媒体教学装置的趣味性低，难以调动儿童的主动性。
说
[0004] 2、高科教育类的多媒体教学装置操作较为复杂，用户门槛较高。
[0005] 3、没有很好的可带动家庭互动的多媒体教学装置。
[0006] 随着计算机时代不断进步，文字和图片在学***板电脑虽然改变了键盘和鼠标的交互方式，但是依然停留在二维平面交互上。
[0007] AR (Augmented Reality，增强现实）是近年来的科学研究热点之一。 增强现实也 被称之为混合现实，其通过计算机技术，将虚拟信息应用到真实世界，真实环境和虚拟物体 实时地叠加到了同一个画面或空间。 增强现实提供了在一般情况下，不同于人类可感知的 信息。 它不仅展现了真实世界的信息，而且将虚拟信息同时显示出来，两种信息相互补充、 叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一 起，便可看到真实的世界围绕着它。 增强现实借助计算机图形技术和可视化技术产生真实 环境中不存在的虚拟物体，并通过传感技术将虚拟物体准确放置在真实环境中，借助显示 设备将虛拟物体与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境。 因此 增强现实***具有虚实结合、实时交互、三维注册的新特点。增强现实利用计算机生成一种 逼真的视、听、力、触和动等感觉的虚拟环境，通过各种传感设备使用户沉浸于该环境中，实 现用户和环境直接进行自然交互。但目前尚未有将增强现实技术引入到多媒体教学中的先 例。
[0008] 综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以改进。 发明内容
[0009] 针对上述的缺陷，本发明的目的在于提供一种基于增强现实的三维互动学习*** 及方法，其能够将真实环境和虚拟物体实时地叠加到了同一场景中，为用户提供更为生动 的感官体验，同时利用人类对三维空间认知的本能提高了教学效果。
[0010] 为了实现上述目的，本发明提供一种基于增强现实的三维互动学习***，包括信 息处理装置、摄像装置、显示装置和至少一个实体教具；
[001 1 ] 每个所述实体教具上设有一个标识信息，每个所述标识信息对应一个三维模型；
[0012] 所述摄像装置，用于在增强现实应用启动后，对真实环境进行视频采集；
[0013] 所述显示装置，用于显示所述真实环境的视频图像； 说 明 书
[0014] 所述信息处理装置进一步包括：
[0015] 识别模块，用于当用户将所述实体教具移动至所述摄像装置的拍摄范围时，识别 出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；
[0016] 方位计算模块，用于计算出所述实体教具的空间方位信息；
[0017] 三维渲染模块，用于获取所述标识信息对应的所述三维模型，并将所述三维模型 渲染生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放 置于所述视频图像中的相应位置进行显示。
[0018] 根据本发明所述的三维互动学习***，所述方位计算模块用于当用户在真实环境 中移动所述实体教具时，对所述实体教具进行运动物体跟踪，实时计算出所述实体教具的 当前空间方位信息；
[0019] 所述三维渲染模块用于根据所述当前空间方位信息，控制所述虚拟物体在所述视 频图像中的相应位置进行同步显示。
[0020] 根据本发明所述的三维互动学习***，所述增强现实应用启动后，根据具体的应 用逻辑使用各种多媒体资源。
[0021 ] 根据本发明所述的三维互动学习***，所述增强现实应用采用多线程编程，包括 用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。
[0022] 根据本发明所述的三维互动学习***，所述方位计算模块用于计算出所述实体教 具在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置的标定参数，将所 述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息；
[0023] 所述三维渲染模块用于根据所述三维空间方位信息，将所述虚拟物体放置于所述 视频图像中的相应位置进行显示。
[0024] 根据本发明所述的三维互动学习***，所述三维渲染模块以实时渲染帧率为基 准,每渲染 M帧时，所述摄像装置采集一张图像，由所述识别模块和所述方位计算模块对所 述图像进行处理；从第 0帧到第 N*M帧的第一期间，所述方位计算模块得到 N次所述实体教 具的所述空间方位信息；所述三维渲染模块在所述第一期间不激活任何所述虚拟物体；从 第 NM帧到 2N*M帧的第二期间，所述三维渲染模块利用视觉捕捉前 N次的结果构造 N次贝 塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述虚 拟物体上。
[0025] 根据本发明所述的三维互动学习***，所述实体教具为教学卡片、教学书籍、教学 模具。
[0026] 根据本发明所述的三维互动学习***，所述标识信息为二维码。
[0027] 根据本发明所述的三维互动学习***，所述三维互动学习***预存有至少一个模 板图案，每个所述模板图案对应一个所述三维模型；所述识别模块用于提取出所述实体教 具上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板图案是否匹配， 若是则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应的所述三维模 型-
[0028] 根据 维互动学习***，所述图像匹配算法的公式为 -
Figure imgf000004_0001
说 明 书
[0030] 其中 1 为所述模板图案的像素值， 为所述二维码的像素值；当 S;趋近于 1 时， r趋近于 1，并将提取出来的所述二维码与所述模板图案分别在 N个不同朝向上进行比较； 或者
[0031 ] 所述图像匹配算法的公式为：
Figure imgf000005_0001
[0033] 其中 Es为所述二维码的平均灰度， Et为所述模板图案的平均灰度。
[0034] 本发明还提供一种基于增强现实的三维互动学习方法，包括步骤有 -
[0035] 在每个实体教具上设置一个标识信息，每个所述标识信息对应一个三维模型；
[0036] 在增强现实应用启动后，通过摄像装置对真实环境进行视频采集；
[0037] 显示装置显示所述真实环境的视频图像；
[0038] 当用户将所述实体教具移动至所述摄像装置的拍摄范围时，信息处理装置识别出 所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；
[0039] 所述信息处理装置计算出所述实体教具的空间方位信息；
[0040] 所述信息处理装置获取所述标识信息对应的所述三维模型，并将所述三维模型渲 染生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置 于所述视频图像中的相应位置进行显示。
[0041 ] 根据本发明所述的三维互动学习方法，所述信息处理装置计算出所述实体教具的 空间方位信息的步骤还包括： '
[0042] 当用户在真实环境中移动所述实体教具时，所述信息处理装置对所述实体教具进 行运动物体跟踪，实时计算出所述实体教具的当前空间方位信息；
[0043] 所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图 像中的相应位置进行显示的步骤还包括：
[0044] 所述信息处理装置根据所述当前空间方位信息，控制所述虚拟物体在所述视频图 像中的相应位置进行同步显示。
[0045] 根据本发明所述的三维互动学习方法，所述增强现实应用启动后，根据具体的应 用逻辑使用各种多媒体资源。
[0046] 根据本发明所述的三维互动学习方法，所述增强现实应用采用多线程编程，包括 用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。
[0047] 根据本发明所述的三维互动学习方法，所述信息处理装置计算出所述实体教具的 空间方位信息的步骤还包括：
[0048] 所述信息处理装置计算出所述实体教具在实体教具空间坐标系中的二维空间方 位信息；并根据所述摄像装置的标定参数，将所述二维空间方位信息换算为摄像装置空间 坐标系的三维空间方位信息；
[0049] 所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图 像中的相应位置进行显示的步骤还包括：
[0050] 所述信息处理装置根据所述三维空间方位信息,将所述虚拟物体放置于所述视频 图像中的相应位置进行显示。 [0051 ] 根据本发明所述的三维互动学习方法，所述信息处理装置根以实时渲染帧率为基 准，每渲染 M帧时，所述摄像装置采集一张图像，由所述信息处理装置对所述图像进行处 理；从第 0帧到第 N*M帧的第一期间，所述信息处理装置得到 N次所述实体教具的所述空间 方位信息；所述信息处理装置在所述第一期间不激活任何所述虚拟物体；从第 NM帧到 2N*M 帧的第二期间，所述信息处理装置利用视觉捕捉前 N次的结果构造 N次贝塞尔曲线，从而估 算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述虚拟物体上。
[0052] 根据本发明所述的三维互动学习方法，所述实体教具为教学卡片、教学书籍、教学 模具。
[0053] 根据本发明所述的三维互动学习方法，所述标识信息为二维码。
[0054] 根据本发明所述的三维互动学习方法，所述信息处理装置识别出所述实体教具上 的所述标识信息，并分析出所述标识信说息对应的所述三维模型的步骤包括：
[0055] 预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；
[0056] 所述信息处理装置提取出所述实体教具上的所述二维码，通过预定的图像匹配算 法识别所述二维码与所述模板图案是否匹配；
[0057] 若是，则判定匹配的所述模板图案对应的书所述三维模型为所述实体教具对应的所 述三维模型。
[0058] 根据本发明所述的三维互动学习方法，所述图像匹配算法的公式为： 一」
[0060] 其中 T\为所述模板图案的像素值， S;为所述二维码的像素值；当 趋近于 1 时， r趋近于 1，并将提取出来的所述二维码与所述模板图案分别在 N个不同朝向上进行比较； 或者
[0061 ] [0062]
Figure imgf000006_0001
[0063] 其中 Es为所述二维码的平均灰度， Et为所述模板图案的平均灰度。
[0064] 本发明为解决现有多媒体教学装置所存在的趣味性低、教学效果差的问题，提供 一种基于增强现实的三维互动学习***和方法，当用户启动增强现实应用后，***通过摄 像装置进行视频采集，将真实环境显示于显示装置上；此时用户可以将设有标识信息的实 体教具移动至摄像装置的拍摄范围，***识别出实体教具的标识信息和空间方位信息，所 述实体教具优选为教学卡片，所述标识信息优选为二维码；然后***获取所述标识信息对 应的三维模型并渲染成对应的虚拟物体，根据实体教具的空间方位信息，将虚拟物体放置 于视频图像中的相应位置以与真实环境进行混合显示。 借此，本发明将增强现实技术引入 到多媒体教学装置，将真实环境和虚拟物体实时地叠加到了同一场景中，两种信息相互补 充和叠加，给用户带来感官效果真实的全新体验，同时利用人类对三维空间认知的本能来 提高用户的学习能力和记忆能力，进而提高了教学效果。更好的是，用户可以随意移动实体 教具，***将对实体教具进行位置跟踪，并控制虚拟物体根据真实空间的动作进行同步显 说 明 书
示，以达到由用户控制虚拟物体自由移动的目的，产生丰富的交互体验，实现寓教于乐的效 果。 本发明尤其适用于少年儿童的多媒体互动教学。 附图说明
[0065] 图 1是本发明基于增强现实的三维互动学习***的结构示意图；
[0066] 图 2是本发明实施例中实体教具的空间方位信息的计算原理示意图；
[0067] 图 3是本发明实施例中轮廓提取算法的原理示意图；
[0068] 图 4是本发明实施例中四边形检测算法的原理示意图；
[0069] 图 5是本发明实施例中四边形坐标算法的原理示意图；
[0070] 图 6是本发明实施例中模板平面与成像平面的对应关系图 -,
[0071 ] 图 7是本发明实施例中二维码与模板图案在四个不同朝向进行比较的原理示意 图；
[0072] 图 8是本发明实施例中延迟渲染的原理示意图；
[0073] 图 9是本发明实施例中增强现实应用的多线程运行的原理示意图；
[0074] 图 10是本发明基于增强现实的三维互动学习方法的流程图；
[0075] 图 11是本发明优选基于增强现实的三维互动学习方法的流程图。 具体实施方式
[0076] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0077] 图 1是本发明基于增强现实的三维互动学习***的结构示意图，所述三维互动学 习*** 100包括信息处理装置 10、摄像装置 20、显示装置 30和至少一个实体教具 40，其中：
[0078] 每个所述实体教具 40上设有一个标识信息，每个标识信息对应一个三维模型。
[0079] 所述实体教具 40优选为教学卡片，例如识字卡和识物卡等，当然实体教具 40也可 以是教学书籍、教学模具等。 所述标识信息优选为二维码，所述二维码可由各种字符、图案 等构成。 实体教具 40对应的至少一个词汇、物体、现象等知识。
[0080] 所述摄像装置 20，用于在增强现实应用启动后，对真实环境进行视频采集。
[0081 ] 所述摄像装置 20优选采用摄像头。更好的是，同时采用普通摄像头和红外摄像头 作为摄像装置 20，形成优势互补，解决了真实环境光线较弱时二维码输入失效这一致命问 题。
[0082] 所述增强现实应用指的是各类知识教育的应用程序类别，比如大自然，海洋，宇宙 等等。 每个增强现实应用可有具体的互动方式和游戏逻辑。 优选的是，增强现实应用启动 后，根据具体的应用逻辑使用各种多媒体资源，包括三维模型、图像、音效、动画及其他特效 (例如当识字卡出现在视频图像中时，显示对应三维模型并触发烟雾特效)。 用户可通过应 用浏览器了解各个增强现实应用的基本信息，选择并执行感兴趣的增强现实应用。
[0083] 所述显示装置 30，用于显示真实环境的视频图像。 所述显示装置 30可以是计算 机、通信终端、电视机的屏幕。
[0084] 所述信息处理装置 10可以是计算机、通信终端、电视机等，所述通信终端可以是 说 明 书
手机、 PDA (Personal Digital Assi stant，个人数字助理）、平板电脑等。 所述信息处理装 置 10进一步包括 -
[0085] 识别模块 11，用于当用户将实体教具 40移动至摄像装置 20的拍摄范围时，识别出 实体教具 40上的标识信息，并分析出所述标识信息对应的三维模型。所述三维模型预存在 三维互动学习*** 100中。
[0086] 方位计算模块 12，用于计算出实体教具 40的空间方位信息。 优选的是，方位计算 模块 12用于计算出实体教具 40在实体教具空间坐标系中的二维空间方位信息。并根据摄 像装置 20的标定参数，将二维空间方位信息换算为摄像装置空间坐标系的三维空间方位 n息
[0087] 三维渲染模块 13，用于渲染虚拟三维模型以及其他虚拟环境，优选用于获取标识 信息对应的三维模型，并将三维模型渲染生成对应的虚拟物体，并根据实体教具 40的空间 方位信息，将虚拟物体放置于视频图像中的相应位置，实现虚拟物体与真实环境在显示装 置 30中进行混合显示。优选的是，三维渲染模块 13用于根据实体教具 40的三维空间方位 信息，将虚拟物体放置于视频图像中的相应位置进行显示。
[0088] 优选的是，所述信息处理装置 10的方位计算模块 12用于当用户在真实环境中移 动实体教具 40时，对实体教具 40进行运动物体跟踪，实时计算出实体教具 40的当前空间 方位信息。三维渲染模块 13用于根据当前空间方位信息，控制虚拟物体在视频图像中的相 应位置进行同步显示。 这样，用户可以随意移动实体教具 40，*** 100将对实体教具 40进 行位置跟踪，并控制虚拟物体根据真实空间中实体教具 40的动作进行同步显示，以实现由 用户控制虚拟物体自由移动的目的，产生丰富的交互体验。
[0089] 本发明源于计算机图形识别控制技术和三维模型即时渲染技术。
[0090] 一、计算机图形识别控制技术：计算机视觉技术为增强现实***提供了重要的应 用前提，摄像机标定技术、运动物体跟踪技术以及 3D物体的空间注册技术为虚实空间的一 致性结合以及实时交互提供了可能。
[0091] 1、采用摄像头作为视频采集设备，将真实环境显示在屏幕上，并能够对真实环境 中的二维码等标识信息进行识别，从而得到码值信息和空间位置信息；
[0092] 2、按照二维码提供的空间位置信息放置预先创建好的 3D虚拟物体，并与真实环 境进行混合显示；
[0093] 3、用户通过移动二维码（即实体教具)即可达到控制虚拟物体自由移动的目的。用 户在真实空间移动实体教具（例如带有二维码的识字卡)，在屏幕上通过摄像头捕到的图像 上投射出的虚拟物体根据真实空间动作进行同步。
[0094] 二、三维模型即时渲染技术：
[0095] 1 )实现虚拟物体的实时绘制，使其能达到近似照片级别的真实感，使虚拟物体与 真实环境之间具有较高的视觉一致性；
[0096] 2)通过图像的三维建模技术，可使虚拟物体和真实环境的交互成为可能；
[0097] 3)通过图形学中的几何求交和碰撞检测技术，使增强现实***中的虚实物体能相 互作用，从而产生逼真的物理效果。
[0098] 另外，本发明通过使用文字、声音、图片、动画、影片等多媒体形式，增强现实*** 可为用户提供更为生动的感官体验。 说 明 书
[0099] 本发明解决儿童在学习词汇、物体、现象等知识过程中枯燥乏味的问题，提供一全 新乐趣的视觉感官体验。 将虚拟物体投射到荧幕上，让虚幻物体出现在现实世界中。 同时 可通过人类对 3D空间的自然反应去观察物体、了解并且学习各种知识。
[0100] 图 2是本发明实施例中实体教具的空间方位信息的计算原理示意图，所述实体教 具 40为四边形的识字卡，所述摄像装置 20为摄像机。 以摄像机空间坐标系（原点 0ε，坐标 轴为 Xe， Yc, Zc )为基准坐标系，则识字卡空间方位的提取就是计算识字卡空间坐标系（原点 0„，坐标轴为 X„， Yn, Za)在基准坐标系中的表示。 识字卡的空间方位的提取方法具体包括 - [0101 ] 1 )标记出视频图像中的连通区域。 首先需对图像进行二值化,一般使用固定阈值 二值化，例如将亮度值高于 100的像素设为 1，其他设为 0。 然后在二值图上进行逐行扫描 (从左到右、从上到下），对像素值相同且相邻的像素用同一数字进行标记作为连通区域。
[0102] 2 )对于每个连通区域，提取该连通区域的轮廓，并通过直线检测算法验证轮廓是 否呈四边形（因为根据透视投影原理，四边形的识字卡在视频图像中的成像应为凸四边形）; 对于四边形区域，计算出其四个顶点在图像空间中的二维坐标。
[0103] 轮廓提取算法：如图 3所示，对于每个连通区域，首先找到处于最上边和最左边的 边缘点（图 b中的深色像素)，将其作为轮廓搜索的起始点。 再向可能的 8个方向（图 a)进 行搜索，找到有相同标号的像素作为下一个轮廓点。第一次搜索从方向 2开始（因为起始点 已经处于最上及最左)，按逆时针转到方向 4时，找到相同标号的像素，作为新的轮廓点。下 一次搜索的起始方向为（本次方向 +5 )对 8取模，因此第 2次搜索从方向 1开始，转到方向 3时，找到新轮廓点（图 c)。 以此类推得到其他轮廓点，直到重新回到起始点算法中止。
[0104] 四边形检测算法：如图 4所示，首先遍历整个轮廓点序列，找到与起始点（序号为 0 )距离最远的点，标记为 ，然后分别对（0， nt)和（ηι，0 )的两个分段进行处理。 在（0， Πι ) 上，搜索距离 0点和 ηι点的连线最远的点，如果距离超过给定的阔值，则表明找到了新的顶 点，标记为 η2，然后继续处理（0， )和（η2， η,)分段。 递归过程中，如果找到 3个顶点（包括 起始点共 4个顶点），则证明轮廓为四边形。
[0105] 四边形坐标算法：利用摄像机标定参数，将图像空间的二维坐标换算为摄像机空 间的三维坐标，
[0106] (Xi,y (公式 i )
Figure imgf000009_0001
[0107] ( Xl, Yl)为图像像素坐标（原点在图像左上角），而（X(:， yc)为该图像像素在摄像机 坐标系中的表示； s^ Sy为缩放因子，单位为像素每亳米（pixel/mm), (Cl， cy)为摄像机坐标 系的 z。轴与成像平面交点所在的像素坐标。 此外，由于成像平面与摄像机的距离等于摄像 机的焦距 f,因此成像平面上所有点的 z坐标均为 f。 由此，可计算出图像上四边形四个顶 点 P0〜 P3在摄像机坐标系中的表示，如图 5所示。
[0108] 根据平行线投影原理，计算识字卡坐标系轴向量（Xra， Υ„, Zm )在摄像机坐标系中的 表示。 正方形识字卡与轴向量 平行的两条边分别为 Q 和 C2C3，记平面 0eC< (如上图所 示黄色平面 A)的法线为1^，平面 0。C2C3 (紫色平面 B)的法线为 n2，则轴向量 Χ„=ηι*η2 (x表 示向量叉乘运算）。 此外，由于 (:< 与 C2C3在成像平面上的投影分别为 和 P2P3，而 P。〜 P3的坐标己知，因此
Figure imgf000009_0002
n2=OcP2*OcP3。同理计算得到轴向量 YB，而轴向量 Z„=Xra*Y„； 说 明 书
[0109] 计算摄像机空间中识字卡中心 0Π在摄像装置空间坐标系中的表示。 如图 5所示， 由于已经得到（Xm， Yffl， Ζπ)，且已知识字卡尺寸为 s，则识字卡顶点可表达为 C。=0ra+ (-s/2) X„+ (s/2) Y„，将 C。及其在成像平面上的投影 P。的坐标值代入公式 2 (透视投影方程) 中，即可得到关于 的方程。 同样方法应用于 ， C2， C3，通过解方程组的形势，计算出
¾。 = i (GXf Cy) ， （公式 2)
[01 10] 三维互动学习*** 100预存有至少一个模板图案，每个模板图案对应一个三维模 型。 识别模块 11用于提取出实体教具 40上的二维码,通过预定的图像匹配算法识别二维 码与模板图案是否匹配，若是则判定匹配的模板图案对应的三维模型为实体教具 40对应 的三维模型。
[01 1 1 ] 下面对识字卡为例，对二维码识别进行详细描述：
[01 12] 将每一个检测得到的四边形图像区域，与***数据库中的模板图案进行比较，找 到最佳匹配，并记录模板图案的编号。
[01 13] 模板图案具有统一的分辨率，如 32*32,因此在比较之前，需对四边形图像区域进 行归一化处理，即利用透视投影单应矩阵变换，将四边形区域变形为正方形区域。如图 6，对 于模板图像平面上任意一点（ xt， yt )，通过单应矩阵（公式 3)可得到它在成像平面上投影点 的坐标（Xi， y, )，并将（Xl， y; )的像素值赋予（xt， yt)。 为求解单应矩阵各项的值，代入正方 形模板平面四个顶点的坐标，如（0，0)，（32, 0)，（32, 32)，（32, 0)，以及先前求得的成像平面 上四边形的顶点坐标，列方程组求解。
[01 14] w -
Figure imgf000010_0001
[0115] 图像匹配算法的原理如公式 4所示，其中 1\为模板图案的像素值， 为二维码的 像素值 当 趋近于 η时， r趋近于 1。 由于识字卡可任意翻转，因此需将提取出来的图案 与模板在四个不同朝向的图案进行比较，如图 7所示。
[0116] r - ΙνΜ-ΐ β2. I . W (公式 4)
[01 17] 此外，为了减轻变化的光照环境对图像匹配的影响，可首先统计出整个图像的平 均灰度,并用单一像素值减去平均灰度，如公式 5所示。
[0118] W 一 ^ ^ ~ ∑i=0 i (公式 5 )
[01 19] 其中 Es为二维码的平均灰度， Et为模板图案的平均灰度。
[0120] 当二维码移动速度过快或偏离摄像头拍摄角度过大时，很容易发生二维码识别瞬 时失败的情况，进而造成与其关联的虚拟物体的显示发生卡顿现象，严重影响到用户体验。 为了解决该问题，本发明采用延迟渲染技术，首先对当前帧以前的若干二维码识别结果进 行备份，并将其对虚拟物体的运动驱动延迟相应的帧数，从而为实时处理视频输入预留出 一定时间边际；虚拟物体的瞬时位置并不直接对应于二维码的空间位置，而是由前面几帧 二维码的位置插值得到，从而大大提高了虚拟物体移动的平滑性。 [0121 ] 本发明延迟渲染技术的思想是：三维渲染模块 13以实时渲染帧率为基准，每渲染 M帧时，摄像装置 20采集一张图像，由识别模块 11和方位计算模块 12对图像进行处理。从 第 0帧到第 N*M帧的第一期间，方位计算模块 12得到 N次实体教具 40的空间方位信息。三 维渲染模块 13在第一期间不激活任何虚拟物体。从第 N 帧到 2N*M帧的第二期间，三维渲 染模块 13利用视觉捕捉前 N次的结果构造 N次贝塞尔曲线，从而估算得到任何一帧的实体 教具 40的空间方位信息，并作用于虚拟物体上。
[0122] 图 8是本发明实施例中延迟渲染的原理示意图，以渲染引擎实时渲染帧率为基 准，每渲染 n帧时，摄像机采集一张图像；视觉引擎对图像进行处理，提取识字卡的方位。第 0帧到第 3n帧，视觉引擎得到 4次识字卡的方位；这期间，渲染引擎不激活任何虚拟物体， 即所谓延迟渲染。 第 3η帧到 6η帧，渲染引擎利用视觉捕捉前 4次的结果构造三次贝塞尔 曲线，从而估算得到任何一帧的识字卡方位，并作用于虚拟物体上。
说
[0123] 延迟渲染会造成虚拟物体的移动会滞后于真实的识字卡。如果实时渲染的帧率为 30帧每秒，取 η=3，则延迟 3η帧等于延迟 9/30=0. 3秒，因此对人机互动的影响很小。 随着 渲染帧率的提升，实际延迟时间会进一步缩短。
[0124] 为了避免图像采集过程占用过多的 CPU书时间，进而导致应用程序出现卡顿现象， 本发明的增强现实应用采用了多线程编程，包括用于运行视频采集操作的背景线程和用于 运行其他功能操作的主线程。如图 9所示，将图像采集操作放入背景线程中运行，而在主线 程负责运行程序主要逻辑和渲染操作。
[0125] 图 10是本发明基于增强现实的三维互动学习方法的流程图，其可通过如图 1所示 的三维互动学习*** 100实现，包括步骤有：
[0126] 步骤 S101，在每个实体教具 40上设置一个标识信息，每个所述标识信息对应一个 三维模型。
[0127] 所述实体教具 40优选为教学卡片，例如识字卡和识物卡等，当然实体教具 40也可 以是教学书籍、教学模具等。 所述标识信息优选为二维码，所述二维码可由各种字符、图案 等构成。 实体教具 40对应的至少一个词汇、物体、现象等知识。
[0128] 步骤 S102,在增强现实应用启动后，通过摄像装置 20对真实环境进行视频采集。
[0129] 所述摄像装置 20优选采用摄像头。更好的是，同时采用普通摄像头和红外摄像头 作为摄像装置 20，形成优势互补，解决了真实环境光线较弱时二维码输入失效这一致命问 题。
[0130] 所述增强现实应用指的是各类知识教育的应用程序类别，比如大自然，海洋，宇宙 等等。 每个增强现实应用可有具体的互动方式和游戏逻辑。 优选的是，增强现实应用启动 后，根据具体的应用逻辑使用各种多媒体资源，包括三维模型、图像、音效、动画及其他特效 (例如当识字卡出现在视频图像中时，显示对应三维模型并触发烟雾特效)。 用户可通过应 用浏览器了解各个增强现实应用的基本信息，选择并执行感兴趣的增强现实应用。 优选的 是，所述增强现实应用采用多线程编程，包括用于运行视频采集操作的背景线程和用于运 行其他功能操作的主线程。
[0131 ] 步骤 S103，显示装置 30显示所述真实环境的视频图像。
[0132] 所述显示装置 30可以是计算机、通信终端、电视机的屏幕。
[0133] 步骤 S104,当用户将所述实体教具 40移动至所述摄像装置 20的拍摄范围时，信息 说 明 书
处理装置 10识别出所述实体教具 40上的所述标识信息，并分析出所述标识信息对应的所 述三维模型。
[0134] 所述信息处理装置 10可以是计算机、通信终端、电视机等，所述通信终端可以是 手机、 PDA、平板电脑等。 所述三维模型预存在三维互动学习*** 100中。
[0135] 步骤 S105,所述信息处理装置 10计算出所述实体教具 40的空间方位信息。
[0136] 本步骤优选的是，当用户在真实环境中移动所述实体教具 40时，所述信息处理装 置 10对所述实体教具 40进行运动物体跟踪，实时计算出所述实体教具 40的当前空间方位 信息。
[0137] 步骤 S 106，所述信息处理装置 10获取所述标识信息对应的所述三维模型，并将所 述三维模型渲染生成对应的虚拟物体，并根据所述实体教具 40的所述空间方位信息，将所 述虚拟物体放置于所述视频图像中的相应位置进行显示。
[0138] 本步骤优选的是，所述信息处理装置 10根据所述当前空间方位信息，控制所述虚 拟物体在所述视频图像中的相应位置进行同步显示。
[0139] 优选的是，所述步骤 S104包括 -
[0140] 1 )预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型。
[0141 ] 2 )所述信息处理装置 10提取出所述实体教具 40上的所述二维码，通过预定的图 像匹配算法识别所述二维码与所述模板图案是否匹配。
[0142] 3 )若是，则判定匹配的所述模板图案对应的所述三维模型为所述实体教具 40对 应的所述三维模型。
Σΐί^ '：
[0143] 所述图像匹配算法的公式为： r =
[0144] 其中 1 为所述模板图案的像素值， Sf 为所述二维码的像素值。 当 趋近于 1\时， r趋近于 1，并将提取出来的所述二维码与所述模板图案分别在 N个不同朝向上进行比较。 或者
Figure imgf000012_0001
[0147] 其中 Es为所述二维码的平均灰度， Et为所述模板图案的平均灰度。
[0148] 优选的是，所述步骤 S105还包括：所述信息处理装置 10计算出所述实体教具 40 在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置 20的标定参数，将所 述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息。
[0149] 优选的是，所述步骤 S106还包括：所述信息处理装置 10根据所述三维空间方位信 息，将所述虚拟物体放置于所述视频图像中的相应位置进行显示。
[0150] 优选的是，所述步骤 S106还包括：所述信息处理装置 10根以实时渲染帧率为基 准，每渲染 M帧时，所述摄像装置 20采集一张图像，由所述信息处理装置 10对所述图像进 行处理。从第 0帧到第 N*M帧的第一期间，所述信息处理装置 10得到 N次所述实体教具 40 的所述空间方位信息。所述信息处理装置 10在所述第一期间不激活任何所述虚拟物体。从 说 明 书
第 NM帧到 2N*M帧的第二期间，所述信息处理装置 10利用视觉捕捉前 N次的结果构造 N次 贝塞尔曲线，从而估算得到任何一帧的所述实体教具 40的所述空间方位信息，并作用于所 述虚拟物体上。
[0151 ] 本发明利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟环境，通过各 种传感设备使用户沉浸与该环境中，实现用户和环境自然交互。通过互动可寓教于乐，把语 言学习，图像认知和三维数字模型有机地联系到了一起，用户就越容易记住所学的内容。研 究证明，本发明可以促使学习效率提高 10〜 20%，同时可大大提升大脑记忆效果。
[0152] 图 11是本发明优选基于增强现实的三维互动学习方法的流程图，其可通过如图 1 所示的三维互动学习*** 100实现，本实施例中的信息处理装置 10采用计算机，摄像装置 20采用摄像头，显示装置 30采用计算机屏幕，实体教具 40采用教学卡片，且所述教学卡片 上设有二维码。 所述方法包括步骤有 -
[0153] 步骤 S111，用户通过互联网获得若干个 AR (增强现实）应用。 AR应用指的是各类 知识教育的应用程序类别，比如大自然，海洋，宇宙等等。
[0154] 步骤 S112,用户启动一个 AR应用。
[0155] 步骤 S113， AR应用启动后，摄像头开始工作。 即采用摄像头作为视频采集设备对 真实环境进行视频采集。
[0156] 步骤 S114，将真实环境显示在计算机屏幕上。
[0157] 步骤 S115,用户在摄像头前移动教学卡片，该教学卡片上设有二维码。用户此时即 可将二维码移动至摄像头的拍摄范围内并随意移动二维码的位置。
[0158] 步骤 S116,***对教学卡片的二维码进行自动跟踪和识别。
[0159] 步骤 S117，***将二维码对应的 3D虚拟物品显示在计算机屏幕上。
[0160] 步骤 S118，用户通过交互来提供真实背景图像中隐含的三维信息，从而使 3D虚拟 物体能与这些三维信息进行直接交互，大大提高***的互动娱乐性。
[0161 ] 步骤 S119,用户退出应用。
[0162] 借此，用户可通过教学卡片在摄像头前面的识别，激活三维模型和动画的显示；通 过对教学卡片的空间移动，旋转进行交互，而产生丰富的交互体验。
[0163] 综上所述，本发明为解决现有多媒体教学装置所存在的趣味性低、教学效果差的 问题,提供一种基于增强现实的三维互动学习***和方法，当用户启动增强现实应用后，系 统通过摄像装置进行视频采集，将真实环境显示于显示装置上；此时用户可以将设有标识 信息的实体教具移动至摄像装置的拍摄范围，***识别出实体教具的标识信息和空间方位 信息，所述实体教具优选为教学卡片，所述标识信息优选为二维码；然后***获取所述标识 信息对应的三维模型并渲染成对应的虚拟物体，根据实体教具的空间方位信息，将虚拟物 体放置于视频图像中的相应位置以与真实环境进行混合显示。 借此，本发明将增强现实技 术引入到多媒体教学装置，将真实环境和虚拟物体实时地叠加到了同一场景中，两种信息 相互补充和叠加，给用户带来感官效果真实的全新体验，同时利用人类对三维空间认知的 本能来提高用户的学习能力和记忆能力，进而提高了教学效果。更好的是,用户可以随意移 动实体教具，***将对实体教具进行位置跟踪，并控制虚拟物体根据真实空间的动作进行 同步显示，以达到由用户控制虚拟物体自由移动的目的，产生丰富的交互体验，实现寓教于 乐的效果。 本发明尤其适用于少年儿童的多媒体互动教学。 [0164] 当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟 悉本领域的技术人员当可根据本发明作出各种相应的改变和变形.但这些相应的改变和变 形都应属于本发明所附的权利要求的保护范围。
说
书

Claims

权 利 要 求 书
1. 一种基于增强现实的三维互动学习***，其特征在于，包括信息处理装置、摄像装 置、显示装置和至少一个实体教具；
每个所述实体教具上设有一个标识信息，每个所述标识信息对应一个三维模型； 所述摄像装置，用于在增强现实应用启动后，对真实环境进行视频采集；
所述显示装置，用于显示所述真实环境的视频图像；
所述信息处理装置进一步包括：
识别模块，用于当用户将所述实体教具移动至所述摄像装置的拍摄范围时，识别出所 述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；
方位计算模块，用于计算出所述实体教具的空间方位信息；
三维渲染模块，用于获取所述标识信息对应的所述三维模型，并将所述三维模型渲染 生成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于 所述视频图像中的相应位置进行显示。
2. 根据权利要求 1所述的三维互动学习***，其特征在于，所述方位计算模块用于当 用户在真实环境中移动所述实体教具时，对所述实体教具进行运动物体跟踪，实时计算出 所述实体教具的当前空间方位信息；
所述三维渲染模块用于根据所述当前空间方位信息，控制所述虚拟物体在所述视频图 像中的相应位置进行同步显示。
3. 根据权利要求 2所述的三维互动学习***，其特征在于，所述增强现实应用启动后， 根据具体的应用逻辑使用各种多媒体资源。
4. 根据权利要求 2所述的三维互动学习***，其特征在于，所述增强现实应用采用多 线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。
5. 根据权利要求 2所述的三维互动学习***，其特征在于，所述方位计算模块用于计 算出所述实体教具在实体教具空间坐标系中的二维空间方位信息；并根据所述摄像装置的 标定参数，将所述二维空间方位信息换算为摄像装置空间坐标系的三维空间方位信息； 所述三维渲染模块用于根据所述三维空间方位信息，将所述虚拟物体放置于所述视频 图像中的相应位置进行显示。
6. 根据权利要求 2所述的三维互动学习***，其特征在于，所述三维渲染模块以实时 渲染帧率为基准，每渲染 M帧时，所述摄像装置采集一张图像，由所述识别模块和所述方位 计算模块对所述图像进行处理；从第 0帧到第 N*M帧的第一期间，所述方位计算模块得到 N 次所述实体教具的所述空间方位信息；所述三维渲染模块在所述第一期间不激活任何所述 虚拟物体；从第 NM帧到 2N*M帧的第二期间，所述三维渲染模块利用视觉捕捉前 N次的结果 构造 N次贝塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作 用于所述虚拟物体上。
7. 根据权利要求 2所述的三维互动学习***，其特征在于，所述实体教具为教学卡片、 教学书籍、教学模具。
8.根据权利要求 1〜 7任一项所述的三维互动学习***，其特征在于，所述标识信息为 二维码。
9. 根据权利要求 8所述的三维互动学习***,其特征在于，所述三维互动学习***预 存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；所述识别模块用于提 权 利 要 求 书
取出所述实体教具上的所述二维码，通过预定的图像匹配算法识别所述二维码与所述模板 图案是否匹配，若是则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应 的所述三维模型。
10. 所述的三维互动学习***，其特征在于，所述图像匹配算法的公式
Figure imgf000016_0001
其中 T 为所述模板图案的像素值， Si为所述二维码的像素值；当 Si趋近于 Ti时， r趋 近于 1，并将提取出来的所述二维码与所述模板图案分别在 N个不同朝向上进行比较；或者 所
Figure imgf000016_0002
其 Es为所述二维码的平均灰度，
11. 一种基于增强现实的三维互动学习方法，其特征在于，包括步骤有 - 在每个实体教具上设置一个标识信息,每个所述标识信息对应一个三维模型； 在增强现实应用启动后，通过摄像装置对真实环境进行视频采集；
显示装置显示所述真实环境的视频图像；
当用户将所述实体教具移动至所述摄像装置的拍摄范围时，信息处理装置识别出所述 实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型；
所述信息处理装置计算出所述实体教具的空间方位信息；
所述信息处理装置获取所述标识信息对应的所述三维模型，并将所述三维模型渲染生 成对应的虚拟物体，并根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所 述视频图像中的相应位置进行显示。
12. 根据权利要求 11所述的三维互动学习方法，其特征在于，所述信息处理装置计算 出所述实体教具的空间方位信息的步骤还包括 - 当用户在真实环境中移动所述实体教具时，所述信息处理装置对所述实体教具进行运 动物体跟踪，实时计算出所述实体教具的当前空间方位信息；
所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中 的相应位置进行显示的步骤还包括：
所述信息处理装置根据所述当前空间方位信息，控制所述虚拟物体在所述视频图像中 的相应位置进行同步显示。
13. 根据权利要求 12所述的三维互动学习方法，其特征在于，所述增强现实应用启动 后，根据具体的应用逻辑使用各种多媒体资源。
14. 根据权利要求 12所述的三维互动学习方法，其特征在于，所述增强现实应用采用 多线程编程，包括用于运行视频采集操作的背景线程和用于运行其他功能操作的主线程。
15. 根据权利要求 12所述的三维互动学习方法，其特征在于，所述信息处理装置计算 出所述实体教具的空间方位信息的步骤还包括：
所述信息处理装置计算出所述实体教具在实体教具空间坐标系中的二维空间方位信 权 利 要 求 书
息；并根据所述摄像装置的标定参数，将所述二维空间方位信息换算为摄像装置空间坐标 系的三维空间方位信息；
所述根据所述实体教具的所述空间方位信息，将所述虚拟物体放置于所述视频图像中 的相应位置进行显示的步骤还包括：
所述信息处理装置根据所述三维空间方位信息，将所述虚拟物体放置于所述视频图像 中的相应位置进行显示。
16. 根据权利要求 12所述的三维互动学习方法，其特征在于，所述信息处理装置根以 实时渲染帧率为基准，每渲染 M帧时，所述摄像装置采集一张图像，由所述信息处理装置对 所述图像进行处理：从第 0帧到第 N*M帧的第一期间，所述信息处理装置得到 N次所述实体 教具的所述空间方位信息；所述信息处理装置在所述第一期间不激活任何所述虚拟物体； 从第 NM帧到 2N*M帧的第二期间，所述信息处理装置利用视觉捕捉前 N次的结果构造 N次 贝塞尔曲线，从而估算得到任何一帧的所述实体教具的所述空间方位信息，并作用于所述 虚拟物体上。
17. 根据权利要求 12所述的三维互动学习方法,其特征在于,所述实体教具为教学卡 片、教学书籍、教学模具。
18. 根据权利要求 11〜 17任一项所述的三维互动学习方法,其特征在于，所述标识信 息为二维码。
19. 根据权利要求 18所述的三维互动学习方法，其特征在于，所述信息处理装置识别 出所述实体教具上的所述标识信息，并分析出所述标识信息对应的所述三维模型的步骤包 括：
预存有至少一个模板图案，每个所述模板图案对应一个所述三维模型；
所述信息处理装置提取出所述实体教具上的所述二维码,通过预定的图像匹配算法识 别所述二维码与所述模板图案是否匹配；
若是,则判定匹配的所述模板图案对应的所述三维模型为所述实体教具对应的所述三 维模型。
述的三维互动学习方法，其特征在于，所述图像匹配算法的公
¾力
Figure imgf000017_0001
其中 1\为所述模板图案的像素值， S,为所述二维码的像素值；当 趋近于 Tt时， r趋 近于 1，并将提取出来的所述二维码与所述模板图案分别在 N个不同朝向上进行比较；或者
Figure imgf000017_0002
其中 Es为所述二维码的平均灰度， Et为所述模板图案的平均灰度。
PCT/CN2014/000642 2013-07-03 2014-07-04 基于增强现实的三维互动学习***及方法 WO2015000286A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310275818.XA CN103366610B (zh) 2013-07-03 2013-07-03 基于增强现实的三维互动学习***及方法
CN201310275818.X 2013-07-03

Publications (1)

Publication Number Publication Date
WO2015000286A1 true WO2015000286A1 (zh) 2015-01-08

Family

ID=49367850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2014/000642 WO2015000286A1 (zh) 2013-07-03 2014-07-04 基于增强现实的三维互动学习***及方法

Country Status (2)

Country Link
CN (1) CN103366610B (zh)
WO (1) WO2015000286A1 (zh)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610B (zh) * 2013-07-03 2015-07-22 央数文化(上海)股份有限公司 基于增强现实的三维互动学习***及方法
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
CN103777757B (zh) * 2014-01-15 2016-08-31 天津大学 一种结合显著性检测的在增强现实中放置虚拟对象的***
CN104933278B (zh) * 2014-03-20 2018-08-10 中国科学院软件研究所 一种用于言语障碍康复训练的多通道交互方法和***
GB201404990D0 (en) * 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
US10297653B2 (en) * 2014-07-23 2019-05-21 Sony Corporation Display device, method of manufacturing display device, and electronic apparatus
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
WO2016030848A2 (en) * 2014-08-28 2016-03-03 Mehta Uday Method and system for augmented reality based learning, monitoring and evaluation
CN104219584B (zh) * 2014-09-25 2018-05-01 广东京腾科技有限公司 基于增强现实的全景视频交互方法和***
CN104269079A (zh) * 2014-09-30 2015-01-07 张启熙 基于镜面反射和增强现实技术的移动终端幼教***及方法
CN104665529B (zh) * 2015-02-13 2016-06-08 南通明德塑胶有限公司 一种益智型智能早教地垫识别方法
CN104778869A (zh) * 2015-03-25 2015-07-15 西南科技大学 即时更新三维可视化教学***及其建立方法
CN106156708A (zh) * 2015-04-15 2016-11-23 北京赛伯传奇科技有限公司 精准图像识别***
CN106156152A (zh) * 2015-04-15 2016-11-23 北京赛伯传奇科技有限公司 图像识别浏览器
CN104835060B (zh) * 2015-04-29 2018-06-19 华为技术有限公司 一种虚拟产品对象的对比方法和装置
CN104851327A (zh) * 2015-05-30 2015-08-19 河南科技大学 一种政治教学***
CN104899808A (zh) * 2015-06-25 2015-09-09 盐城金意光电科技有限公司 一种适用于儿童启蒙教育的***及方法
CN106708249B (zh) * 2015-07-31 2020-03-03 北京智谷睿拓技术服务有限公司 交互方法、交互装置及用户设备
CN105139701A (zh) * 2015-09-16 2015-12-09 华中师范大学 一种互动式幼儿教学***
CN105261041A (zh) * 2015-10-19 2016-01-20 联想(北京)有限公司 一种信息处理方法及电子设备
CN106571072A (zh) * 2015-10-26 2017-04-19 苏州梦想人软件科技有限公司 基于增强现实幼教卡片的实现方法
CN105323252A (zh) * 2015-11-16 2016-02-10 上海璟世数字科技有限公司 基于增强现实技术实现互动的方法、***和终端
CN105430311A (zh) * 2015-11-16 2016-03-23 上海尚镜信息科技有限公司 红外跟踪投影***和方法
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置
CN105844979A (zh) * 2015-12-15 2016-08-10 齐建明 增强现实图书、基于增强现实图书的教育***和方法
CN105608934B (zh) * 2015-12-21 2018-09-04 大连新锐天地传媒有限公司 Ar儿童故事早教舞台剧***
CN107025830A (zh) * 2016-01-29 2017-08-08 北京新唐思创教育科技有限公司 一种教学实验的模拟方法及装置
CN105786178B (zh) * 2016-02-23 2019-04-09 广州视睿电子科技有限公司 场景对象信息呈现方法和***
CN105590483A (zh) * 2016-02-29 2016-05-18 陈怡帆 实体教具和app相结合的儿童教学产品及其教学方法
CN105719519A (zh) * 2016-04-27 2016-06-29 深圳前海勇艺达机器人有限公司 一种分等级教学功能的机器人
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习***及方法
CN106127858B (zh) * 2016-06-24 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN106127860A (zh) * 2016-06-29 2016-11-16 大连新锐天地传媒有限公司 基于增强现实的三维引擎中富媒体文件的展现方法及***
CN106251404B (zh) * 2016-07-19 2019-02-01 央数文化(上海)股份有限公司 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN106056992A (zh) * 2016-07-20 2016-10-26 广东沃赛科技有限公司 Ar增强现实教学***
CN106057002B (zh) * 2016-08-04 2019-03-29 杭州欢度科技有限公司 一种课堂教学互动***
CN106251714B (zh) * 2016-08-26 2021-11-16 新道科技股份有限公司 一种仿真教学***和方法
CN106128212B (zh) * 2016-08-27 2019-02-12 大连新锐天地传媒有限公司 基于增强现实技术的书法学习***及方法
CN107798703B (zh) * 2016-08-30 2021-04-30 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法以及装置
CN106408667B (zh) * 2016-08-30 2019-03-05 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106408666B (zh) * 2016-08-31 2019-06-21 重庆玩艺互动科技有限公司 混合现实实境演示方法
CN106601043A (zh) * 2016-11-07 2017-04-26 爱可目（北京）科技股份有限公司 一种基于增强现实的多媒体互动教育设备及方法
CN106780680A (zh) * 2016-11-28 2017-05-31 幻想现实（北京）科技有限公司 基于增强现实技术的三维动画生成方法、终端及***
CN106843473B (zh) * 2016-12-30 2020-04-10 武汉市马里欧网络有限公司 基于ar的儿童涂色***及方法
CN108427498A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的交互方法和装置
CN107133896A (zh) * 2017-05-22 2017-09-05 浙江精益佰汇数字技术有限公司 多人互动的基于虚拟现实技术的沉浸式教学平台与实现方法
CN109240484A (zh) * 2017-07-10 2019-01-18 北京行云时空科技有限公司 一种增强现实***中的交互方法、装置及设备
CN109285434A (zh) * 2017-07-20 2019-01-29 上海健康医学院 一种人体呼吸形态的互动学习***
CN107316531A (zh) * 2017-08-15 2017-11-03 科盾科技股份有限公司北京分公司 一种模拟训练***及其客户端
CN107743221A (zh) * 2017-10-30 2018-02-27 上海麦界信息技术有限公司 一种基于3d模式的电视节目互动方法
CN107742266A (zh) * 2017-11-02 2018-02-27 北京善学云科技有限公司 一种基于增强现实的教学***
CN109754644A (zh) * 2017-11-06 2019-05-14 彼乐智慧科技（北京）有限公司 一种基于增强现实技术的教学方法及***
CN107888934A (zh) * 2017-11-22 2018-04-06 广东电网有限责任公司教育培训评价中心 一种基于ar技术的变电技能直播***
CN108022301B (zh) 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
CN109903391A (zh) * 2017-12-10 2019-06-18 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及***
CN108053493B (zh) * 2017-12-25 2022-03-01 北京软通智慧城市科技有限公司 数字模型获得方法及装置
CN108269307B (zh) * 2018-01-15 2023-04-07 歌尔科技有限公司 一种增强现实交互方法及设备
CN108257218A (zh) * 2018-01-17 2018-07-06 北京网信云服信息科技有限公司 信息交互控制方法、装置及设备
CN108364504B (zh) * 2018-01-23 2019-12-27 浙江中新电力工程建设有限公司自动化分公司 增强现实三维互动学习***及控制方法
CN108427499A (zh) * 2018-02-13 2018-08-21 视辰信息科技(上海)有限公司 一种ar***及ar设备
CN108536282A (zh) * 2018-03-02 2018-09-14 上海易武数码科技有限公司 一种基于多用户条形码动作捕捉的增强现实互动方法及装置
CN108389249B (zh) * 2018-03-06 2022-07-19 深圳职业技术学院 一种多兼容性的vr/ar空间教室及其构建方法
CN108492360B (zh) * 2018-03-22 2022-07-26 北京软通智慧科技有限公司 一种数字模型生成方法及装置
CN108389452A (zh) * 2018-03-23 2018-08-10 四川科华天府科技有限公司 一种电化情景教学模型及教学方法
CN108417116A (zh) * 2018-03-23 2018-08-17 四川科华天府科技有限公司 一种可视化编辑的智能课堂设计***及设计方法
CN108492632A (zh) * 2018-03-23 2018-09-04 四川科华天府科技有限公司 一种基于情景化教学的课堂教学***
CN108648266B (zh) * 2018-05-04 2022-04-05 钱俊达 一种全通透扫描3d空间模型的管理方法和***
CN110478892A (zh) * 2018-05-14 2019-11-22 彼乐智慧科技（北京）有限公司 一种三维交互的方法及***
CN110544311B (zh) * 2018-05-29 2023-04-25 百度在线网络技术（北京）有限公司 安全警示方法、装置及存储介质
CN108665744A (zh) * 2018-07-13 2018-10-16 王洪冬 一种智能化的英语辅助学习***
CN108877340A (zh) * 2018-07-13 2018-11-23 李冬兰 一种基于增强现实技术的智能化英语辅助学习***
CN109189210A (zh) 2018-08-06 2019-01-11 百度在线网络技术（北京）有限公司 混合现实交互方法、装置及存储介质
CN109102047B (zh) * 2018-08-08 2021-08-06 深圳市易晨虚拟现实技术有限公司 基于adt积木的摆放效果展示方法及其***
CN109063799B (zh) * 2018-08-10 2020-06-16 珠海格力电器股份有限公司 设备的定位方法和装置
CN110858134B (zh) * 2018-08-22 2023-04-28 阿里巴巴集团控股有限公司 数据、显示处理方法、装置、电子设备和存储介质
CN108874156A (zh) * 2018-08-30 2018-11-23 合肥虹慧达科技有限公司 增强现实交互***及其使用方法
CN109215413A (zh) * 2018-09-21 2019-01-15 福州职业技术学院 一种基于移动增强现实的模具设计教学方法、***及移动终端
CN109360275B (zh) * 2018-09-30 2023-06-20 北京观动科技有限公司 一种物品的展示方法、移动终端及存储介质
CN109389538A (zh) * 2018-09-30 2019-02-26 武汉比城比特数字科技有限公司 一种基于ar技术的智慧校园教育装备管理***
CN111223187A (zh) * 2018-11-23 2020-06-02 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及***
CN110009952A (zh) * 2019-04-12 2019-07-12 上海乂学教育科技有限公司 基于增强现实的自适应学习移动终端及学习方法
CN110119202B (zh) * 2019-04-24 2024-01-19 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及***
CN110322568A (zh) * 2019-06-26 2019-10-11 杜剑波 用于专业教学的增强现实***以及方法
CN110727350A (zh) * 2019-10-09 2020-01-24 武汉幻石佳德数码科技有限公司 一种基于增强现实的物体识别方法、终端设备及存储介质
CN110865708B (zh) * 2019-11-14 2024-03-15 杭州网易云音乐科技有限公司 虚拟内容载体的交互方法、介质、装置和计算设备
CN110930805A (zh) * 2019-12-20 2020-03-27 国网湖北省电力公司咸宁供电公司 变电站三维仿真***
CN110992745A (zh) * 2019-12-23 2020-04-10 英奇源(北京)教育科技有限公司 一种基于体感设备辅助幼儿认识四季的互动方法及其***
US11361754B2 (en) 2020-01-22 2022-06-14 Conduent Business Services, Llc Method and system for speech effectiveness evaluation and enhancement
WO2021197016A1 (en) * 2020-04-01 2021-10-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for enhancing subjects in videos
CN111459050B (zh) * 2020-04-08 2023-03-24 北华大学 一种基于双网互联的智慧仿真型护理教学***及教学方法
CN111752391A (zh) * 2020-06-30 2020-10-09 广州志胜游艺设备有限公司 一种虚拟互动方法及计算机可读存储介质
CN112017129A (zh) * 2020-08-28 2020-12-01 湖南尚珂伊针纺有限公司 一种高效率袜子数字模型生产装置
US11494996B2 (en) 2020-11-30 2022-11-08 International Business Machines Corporation Dynamic interaction deployment within tangible mixed reality
CN112598938A (zh) * 2020-12-28 2021-04-02 深圳市艾利特医疗科技有限公司 基于增强现实的认知功能训练***、方法、装置、设备及存储介质
CN112734943A (zh) * 2021-01-27 2021-04-30 昭通亮风台信息科技有限公司 基于ar的电子书***、运行方法及电子书数据结构运行方法
CN113282171B (zh) * 2021-05-14 2024-03-12 中国海洋大学 一种甲骨文增强现实内容交互***、方法、设备及终端
US11568612B2 (en) 2021-06-08 2023-01-31 International Business Machines Corporation Personalized reactive augmented reality association
CN113689577B (zh) * 2021-09-03 2024-06-04 上海涞秋医疗科技有限责任公司 虚拟三维模型与实体模型匹配的方法、***、设备及介质
CN114596217A (zh) * 2022-01-24 2022-06-07 周琦 教具制造偏差解析***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴***及方法
CN102509348A (zh) * 2011-09-26 2012-06-20 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
CN103093225A (zh) * 2013-01-05 2013-05-08 武汉矽感科技有限公司 二维码图像的二值化方法
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习***及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110379A (zh) * 2011-02-22 2011-06-29 黄振强 多媒体增强现实读物
CN102411854B (zh) * 2011-09-01 2014-01-29 苏州梦想人软件科技有限公司 基于增强现实的课堂教学混合技术应用***及方法
CN202331859U (zh) * 2011-10-13 2012-07-11 苏州梦想人软件科技有限公司 一种基于增强现实技术的学习***
CN103035135B (zh) * 2012-11-27 2014-12-10 北京航空航天大学 基于增强现实技术的儿童认知***及认知方法
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴***及方法
CN102509348A (zh) * 2011-09-26 2012-06-20 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
CN103093225A (zh) * 2013-01-05 2013-05-08 武汉矽感科技有限公司 二维码图像的二值化方法
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习***及方法

Also Published As

Publication number Publication date
CN103366610B (zh) 2015-07-22
CN103366610A (zh) 2013-10-23

Similar Documents

Publication Publication Date Title
WO2015000286A1 (zh) 基于增强现实的三维互动学习***及方法
CN106462242B (zh) 使用视线跟踪的用户界面控制
CN108875633B (zh) 表情检测与表情驱动方法、装置和***及存储介质
CN107688391B (zh) 一种基于单目视觉的手势识别方法和装置
Lv et al. Multimodal hand and foot gesture interaction for handheld devices
US20180224948A1 (en) Controlling a computing-based device using gestures
CN104102412B (zh) 一种基于增强现实技术的手持式阅览设备及其方法
TWI654539B (zh) 虛擬實境交互方法、裝置與系統
Steimle et al. Flexpad: highly flexible bending interactions for projected handheld displays
US10698475B2 (en) Virtual reality interaction method, apparatus and system
CN111417983A (zh) 基于事件相机的可变形对象跟踪
TW201324235A (zh) 手勢輸入的方法及系統
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及***
CN106464773B (zh) 增强现实的装置及方法
US10853651B2 (en) Virtual reality interaction method, apparatus and system
CN204028887U (zh) 一种基于增强现实技术的手持式阅览设备
CN104035557A (zh) 一种基于关节活跃度的Kinect动作识别方法
WO2015153673A1 (en) Providing onscreen visualizations of gesture movements
WO2016070800A1 (zh) 移动设备的虚拟球模拟及控制的方法
CN106293099A (zh) 手势识别方法及***
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2023124691A1 (zh) 增强现实场景的展示
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
Umeda et al. Real-time manga-like depiction based on interpretation of bodily movements by using kinect

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14819772

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM DATED 19.04.2016)

122 Ep: pct application non-entry in european phase

Ref document number: 14819772

Country of ref document: EP

Kind code of ref document: A1