CN108255822A - 一种交互式图书阅读方法、装置及*** - Google Patents

一种交互式图书阅读方法、装置及*** Download PDF

Info

Publication number
CN108255822A
CN108255822A CN201611233501.XA CN201611233501A CN108255822A CN 108255822 A CN108255822 A CN 108255822A CN 201611233501 A CN201611233501 A CN 201611233501A CN 108255822 A CN108255822 A CN 108255822A
Authority
CN
China
Prior art keywords
books
image information
multimedia content
described image
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611233501.XA
Other languages
English (en)
Inventor
李国华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Oxygen Orange Interactive Entertainment Co Ltd
Original Assignee
Shenzhen Oxygen Orange Interactive Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Oxygen Orange Interactive Entertainment Co Ltd filed Critical Shenzhen Oxygen Orange Interactive Entertainment Co Ltd
Priority to CN201611233501.XA priority Critical patent/CN108255822A/zh
Publication of CN108255822A publication Critical patent/CN108255822A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种交互式图书阅读方法、装置及***，涉及了电子产品领域，所述交互式图书阅读方法包括：获取图书的图像信息；对所述图像信息进行校正和识别处理；根据识别的结果加载并播放对应的多媒体内容。本发明实施例中通过将静态、平面的图书转换成动态、立体的多媒体内容，使图书的阅读方式更加丰富生动，提高阅读或学习的兴趣和效率；并将图书的图像信息与其对应的多媒体内容的交互，增加了形态丰富的音频、视频以及良好的用户交互体验。

Description

一种交互式图书阅读方法、装置及***
技术领域
本发明涉及电子产品领域，特别是涉及了一种交互式图书阅读方法、装置及***。
背景技术
在现代化的社会中，传统的印刷读物已经流行了几千年的时间。而印刷读物的纸质极具质感，在阅读印刷读物的过程中，印刷读物的材料在灯光的漫反射作用下，有利于缓解阅读时的视觉疲劳。
但不可否认的是传统的印刷读物主要是以看为主，在这种完全静态的阅读方式中，读者往往只能通过阅读的过程来发挥自己的想象力，理解书中的意思和意境，这样读者就缺乏了良好的互动体验，而且不能够形象的展示印刷读物的内容；而电子读物，也只是单纯的把印刷读物上的内容复制到电子设备的屏幕上，这样是可以方便的携带并分享印刷读物上的内容，但却依旧停留在印刷读物的阅读方式上，同样缺乏良好的用户互动体验。
发明内容
本发明的目的在于针对现有技术存在的技术问题，提供一种交互式图书阅读方法、装置及***，主要解决了现有的传统印刷读物和电子读物之间阅读形式不足的问题。
为了解决以上提出的问题，本发明采用的技术方案为：
本发明公开了一种交互式图书阅读方法，包括如下步骤：
获取图书的图像信息；
对所述图像信息进行校正和识别处理；
根据识别的结果加载并播放对应的多媒体内容。
作为本发明的进一步改进，在所述获取图书的图像信息之前还包括：
获取预存图书的图像信息与多媒体内容的匹配数据。
作为本发明的进一步改进，所述对所述图像信息进行校正和识别处理包括：
对所述图像信息进行校正处理；
对校正后的图像信息进行区域的划分，并设定原始坐标值；
识别所述图像信息，判断所述原始坐标值是否发生变化。
作为本发明的进一步改进，所述多媒体内容包括音频和/或视频。
作为本发明的进一步改进，本发明实施例提供了一种交互式图书阅读装置，所述装置包括：
图像获取模块，用于获取图书的图像信息；
识别模块，用于对所述图像信息进行校正和识别处理；
播放模块，用于根据识别的结果加载并播放对应的多媒体内容。
作为本发明的进一步改进，所述装置还包括数据存储模块，用于获取预存图书的图像信息与多媒体内容的匹配数据。
作为本发明的进一步改进，所述识别模块包括：
校正单元，用于对所述图像信息进行校正处理；
处理单元，用于对校正后的图像信息进行区域的划分，并设定原始坐标值；
识别单元，用于识别所述图像信息，判断所述原始坐标值是否发生变化。
作为本发明的进一步改进，所述多媒体内容包括音频和/或视频。
作为本发明的进一步改进，本发明实施例提供了一种交互式图书阅读***，所述***包括终端以及与终端电性连接的图像获取装置；所述图像获取装置用于获取图书的图像信息；所述终端用于对所述图像信息进行校正和识别处理，并根据识别的结果加载并播放对应的多媒体内容。
作为本发明的进一步改进，所述***还包括一投影镜头，所述投影镜头平行设于所述图像获取装置上，所述投影镜头用于将所述终端中所播放的多媒体内容实时、准确的投影到图书上。
与现有技术相比，本发明的有益效果在于：
本发明实施例中通过将静态、平面的图书转换成动态、立体的多媒体内容，使图书的阅读方式更加丰富生动，提高阅读或学习的兴趣和效率；并将图书的图像信息与其对应的多媒体内容的交互，增加了形态丰富的音频、视频以及良好的用户交互体验。
附图说明
图1为本发明一个实施例所述交互式图书阅读方法的步骤流程图；
图2为本发明另一个实施例所述交互式图书阅读方法的步骤流程图；
图3为本发明实施例所述交互式图书阅读装置的示意图；
图4为本发明实施例所述交互式图书阅读***一种实现形式的示意图；
图5为本发明实施例所述交互式图书阅读***另一种实现形式的侧视图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
参照图1所示，为本发明一个实施例所述交互式图书阅读方法的步骤流程图，其方法包括：
S101：获取图书的图像信息。
本发明实施例通过图像获取装置获取图书当前的图像信息，所述获取图像信息的过程是实时进行的，当用户对图书进行翻页等操作时，本发明实施例继续获取图书当前的图像信息。
在本发明的实施例中，所述的图像获取装置可以为摄像头设备或其他光学元件设备。
S102：对所述图像信息进行校正和识别处理。
在本发明的实施例中，当用户点击图书的对应区域时，由于图书在某些情况下不是正对着所述图像获取装置，本发明实施例通过所述图像获取装置所获取的图书当前的图像信息可能是倾斜的图案或文字，本发明实施例根据所获取的所述图像信息，对所述图像信息进行校正处理，将所述图像信息校正为平面的规则图案或文字；当本发明实施例直接识别图书上的图像信息时，所述图像信息为图像获取装置获取的原始图像信息。
S103：根据识别的结果加载并播放对应的多媒体内容。
本发明实施例根据识别的结果，加载并播放与所述识别的结果对应的多媒体内容，所述多媒体内容包括音频和/或视频；在本发明的实施例中，所述识别的结果为图案时，所述加载的多媒体内容为以视频等形式播放；所述识别的结果为文字时，所述加载的多媒体内容为以音频等形式播放。
例如，当用户在图书上做点击动作，所述图像获取装置可实时获取用户点击动作所在的触发子区域的图像信息并识别，本发明实施例根据识别的结果，加载并播放所述触发子区域对应的多媒体子内容；例如，当所述图书的触发子区域为蝴蝶的翅膀时，用户点击图书的触发子区域，本发明实施例根据所述触发子区域的图像信息，加载并播放与其对应的多媒体子内容，该多媒体子内容可为飞行中的蝴蝶或为采蜜的蝴蝶等。
可选的，本发明实施例加载并播放对应的多媒体内容可由平行设于所述图像获取装置上的投影装置投影到图书上；当在所述投影装置的投影区域内移动或者旋转图书时，本发明实施例播放的多媒体内容也会跟随着移动或者旋转，即所述投影装置投影的多媒体内容也会跟随着移动或者旋转，使用户远离电子显示屏的伤害，回归自然、健康的阅读方式。
在本发明的实施例中，当用户翻到图书的任意一页时，将对应加载并播放那一页的图像信息对应的多媒体内容；例如，当用户翻到第一页时，根据第一页的图像信息对应加载并播放多媒体内容a，所述多媒体内容a包括所述图书第一页中的图案以及文字，对于图书书页上所述的图案以视频的形式播放，对于所述的文字则以音频的形式播放。
可选的，当图书处于封面时，本发明实施例根据封面的图像信息，加载并播放的多媒体内容可以为图书的书名、作者、出版社、图书介绍等；当图书处于封底时，本发明实施例根据封低的图像信息，加载并播放的多媒体内容可以为图书的书籍价格、条形码等。
可选的，当用户更换图书时，本发明实施例根据当前图书的图像信息自动读取与其对应的预先保存的多媒体内容。
在本发明的实施例中，所述交互式图书阅读方法通过获取图书的图像信息，对所述图像信息进行校正和识别处理，根据识别的结果加载并播放对应的多媒体内容；本发明实施例所述方法将图书的图像信息与其对应的多媒体内容进行交互，增加了形态丰富的音频、视频，使用户具有良好的交互体验。
在上述实施例的基础上，参照图2所示，为本发明另一个实施例所述交互式图书阅读方法的步骤流程图，包括：
S201：获取预存图书的图像信息与多媒体内容的匹配数据。
在步骤201中，获取预存图书中的图像信息，并分别与相对应的多媒体内容进行智能匹配，提前保存匹配后的所述多媒体内容，所述多媒体内容可为视频、音频等。
例如，所述图书第一页中对应的图像信息，分别与第一页的图像信息相对应的多媒体内容a进行智能匹配；此外，所述图像信息也可划分为多个触发子区域(1，2，3，…)，并分别与其对应的多媒体子内容(a1，a2，a3，…)进行智能匹配，保存匹配后的多媒体子内容；以此类推，可将所述图书中的所有图像信息均与其对应的多媒体内容进行智能匹配并保存。
S202：获取图书的图像信息。
本发明实施例通过图像获取装置获取图书当前的图像信息，所述获取图像信息的过程是实时进行的，当用户对图书进行翻页等操作时，本发明实施例继续获取图书当前的图像信息。
在本发明的实施例中，所述的图像获取装置可以为摄像头或其他光学元件。
S203：对所述图像信息进行校正处理。
在本发明的实施例中，当用户点击图书的对应区域时，通过读取预先存储在本地的***数据来获取图案校正算法，或通过网络从服务器同步获取图案校正算法；由于图书在某些情况下不是正对着所述图像获取装置，本发明实施例通过所述图像获取装置所获取的图书当前的图像信息可能是倾斜的图案或文字，本发明实施例通过接收所获取的所述图像信息，并根据所述图案校正算法对所述图像信息进行校正处理，将所述图像信息校正为平面的规则图案或文字。
可选的，所述图像校正算法包括透视变换算法以及控制点变换算法；本发明实施例所述图像校正算法为透视变换算法，所述透视变换算法主要是依据摄像机的成像原理，实现图像校正。
S204：对校正后的图像信息进行区域的划分，并设定原始坐标值。
将所述校正后的图像信息进行区域划分，所述区域可通过网格的形式划分为多个子区域，并把所述每个子区域进行坐标化，给所述校正后的图像信息设定原始坐标值；例如，所述区域可等效为一个直线坐标轴，并将所述区域的左下角的点设定为坐标轴原点，所述校正后的图像信息的原始坐标值为(2,3)，在本发明的实施例中，所述原始坐标值(2,3)表示的是所述原始坐标值的横坐标为2，所述原始坐标值的纵坐标为3。
可选的，用于所述区域的划分的网格规格可设定为50×50或100×100等；但所述网格的规格不限于此，可根据实际的需求设定，所述网格的规格可设定为其他规格。
S205：识别所述图像信息，判断所述原始坐标值是否发生变化。
在本发明的实施例中，图像获取装置可实时获取图书的图像信息，识别所述图像信息包括识别图书当前页面原始的图像信息或识别校正后的图像信息；当用户点击图书的对应区域时，图像获取装置实时获取该图书区域的图像信息，所述图像信息为倾斜的图案或文字，基于S203和S204，对所述图像信息进行校正处理，并识别校正后的图像信息，给所述校正后的图像信息设定坐标值。
当用户在图书上的对应区域做点击动作时，所述校正后的图像信息对应区域的原始坐标值也发生变化；在上述步骤204中，例如，所述对应区域的原始坐标值假定为(2,3)，相对于所述原始坐标值，用户点击图书所在的区域，即所述校正后的图像信息的对应区域，其坐标值由原始坐标值(2,3)变成(5,8)，则该对应区域为触发子区域；本发明实施例通过识别对应区域的原始坐标值的变化来确认触发子区域。
S206：根据识别的结果加载并播放对应的多媒体内容。
本发明实施例根据识别的结果，加载并播放与所述触发子区域对应的图像信息的多媒体内容，所述多媒体内容包括音频和/或视频；在本发明的实施例中，所述识别的结果为图案时，所述加载的多媒体内容为以视频等形式播放；所述识别的结果为文字时，所述加载的多媒体内容为以音频等形式播放。
例如，当用户点击图书的触发子区域为蝴蝶的翅膀时，本发明实施例根据所述触发子区域的图像信息，加载并播放与其对应的多媒体子内容，该多媒体子内容可为飞行中的蝴蝶或为采蜜的蝴蝶等。
可选的，本发明实施例加载并播放对应的多媒体内容可由平行设于所述图像获取装置上的投影装置投影到图书上；当在所述投影装置的投影区域内移动或者旋转图书时，本发明实施例播放的多媒体内容也会跟随着移动或者旋转，即所述投影装置投影的多媒体内容也会跟随着移动或者旋转，使用户远离电子显示屏的伤害，回归自然、健康的阅读方式。
在本发明的实施例中，当用户翻到图书的任意一页时，将对应加载并播放那一页的图像信息对应的多媒体内容；例如，当用户翻到第一页时，根据第一页的图像信息对应加载并播放多媒体内容a，所述多媒体内容a包括所述图书第一页中的图案以及文字，对于图书书页上所述的图案以视频的形式播放，对于所述的文字则以音频的形式播放。
在本发明的实施例中，当图书处于封面时，本发明实施例根据封面的图像信息，加载并播放的多媒体内容可以为图书的书名、作者、出版社、图书介绍等；当图书处于封底时，本发明实施例根据封底的图像信息，加载并播放的多媒体内容可以为图书的书籍价格、条形码等。
可选的，当用户更换图书时，本发明实施例根据当前图书的图像信息自动读取与其对应的预先保存的多媒体内容。
在本发明的实施例中，所述交互式图书阅读方法通过获取预存图书的图像信息与多媒体内容的匹配数据，再获取图书的图像信息，并对所述图像信息进行校正处理，对校正后的图像信息进行区域的划分，设定原始坐标值，再识别所述图像信息，判断所述原始坐标值是否发生变化，根据识别的结果加载并播放对应的多媒体内容；本发明实施例所述方法将图书的图像信息与其对应的多媒体内容进行交互，增加了形态丰富的音频、视频，使用户具有良好的交互体验。
参照图3所示，本发明的实施例还提供了一种交互式图书阅读装置，所述装置包括图像获取模块1、识别模块2、播放模块3以及数据存储模块4；
所述图像获取模块1用于获取图书的图像信息；在本发明的实施例中，通过所述图像获取模块1获取图书当前的图像信息，所述获取图像信息的过程是实时进行的，当用户对图书进行翻页等操作时，本发明实施例所述图像获取模块1继续获取图书当前的图像信息
所述识别模块2用于对所述图像信息进行校正和识别处理；所述识别模块2还包括校正单元21、处理单元22以及识别单元23。
所述校正单元21用于对所述图像信息进行校正处理；在本发明的实施例中，当用户点击图书的对应区域时，所述校正单元21通过读取预先存储在本地的***数据来获取图案校正算法，或通过网络从服务器同步获取图案校正算法；由于图书在某些情况下不是正对着所述图像获取模块1，本发明实施例通过所述图像获取模块1所获取的图书当前的图像信息可能是倾斜的图案或文字，本发明实施例通过接收所获取的所述图像信息，所述校正单元21根据所述图案校正算法对所述图像信息进行校正处理，并将所述图像信息校正为平面的规则图案或文字。
可选的，所述图像校正算法包括透视变换算法以及控制点变换算法；本发明实施例所述图像校正算法为透视变换算法，所述透视变换算法主要是依据摄像机的成像原理，实现图像校正。
所述处理单元22用于将校正后的图像信息进行区域的划分，并设定原始坐标值；在本发明的实施例中，所述处理单元22可将所述区域通过网格的形式划分为多个子区域，并把所述每个子区域进行坐标化，同时给所述校正后的图像信息设定原始坐标值；例如，所述区域可等效为一个直线坐标轴，并将所述区域的左下角的点设定为坐标轴原点，所述校正后的图像信息的原始坐标值为(2,3)，在本发明的实施例中，所述原始坐标值(2,3)表示的是所述原始坐标值的横坐标为2，所述原始坐标值的纵坐标为3。
可选的，用于所述区域的划分的网格规格可设定为50×50或100×100等；但所述网格的规格不限于此，可根据实际的需求设定，所述网格的规格可设定为其他规格。
所述识别单元23用于识别所述图像信息，判断所述原始坐标值是否发生变化；在本发明的实施例中，图像获取装置可实时获取图书的图像信息，识别所述图像信息包括识别图书当前页面原始的图像信息或识别校正后的图像信息；当用户点击图书的对应区域时，图像获取装置实时获取该图书区域的图像信息，所述图像信息为倾斜的图案或文字，基于S203和S204，对所述图像信息进行校正处理，并识别校正后的图像信息，给所述校正后的图像信息设定坐标值。
当用户在图书上的相应区域做点击动作时，所述校正后的图像信息对应区域的原始坐标值也发生变化，在上述步骤204中，例如，所述对应区域的原始坐标值假定为(2,3)，相对于所述原始坐标值，在用户点击图书所在的区域时，在所述校正后的图像信息的对应区域的坐标值由原始坐标值(2,3)变成(5,8)，则该对应区域为触发子区域，即本发明实施例通过所述识别单元23识别对应区域的原始坐标值的变化来确认触发子区域。
所述播放模块3用于根据识别的结果加载并播放对应的多媒体内容；在本发明的实施例中，所述播放模块3根据识别的结果，加载并播放与所述触发子区域对应的图像信息的多媒体内容，所述多媒体内容包括音频和/或视频；在本发明的实施例中，所述识别的结果为图案时，所述播放模块3加载的多媒体内容为以视频等形式播放；所述识别的结果为文字时，所述播放模块3加载的多媒体内容为以音频等形式播放。
例如，当所述图书的触发子区域为蝴蝶的翅膀时，用户点击图书的触发子区域，所述播放模块3可根据所述触发子区域的图像信息，加载并播放与其对应的多媒体子内容，该多媒体子内容可为飞行中的蝴蝶或为采蜜的蝴蝶等。
在本发明的实施例中，所述所述播放模块3播放的多媒体内容可通过平行设于所述播放模块3上的投影装置投影到图书上；当在所述投影装置的投影区域内移动或者旋转图书时，所述播放模块3播放的多媒体内容也会跟随着移动或者旋转，即所述投影装置投影的多媒体内容也会跟随着移动或者旋转，使用户远离电子显示屏的伤害，回归自然、健康的阅读方式。
在本发明的实施例中，当用户翻到图书的任意一页时，所述播放模块3对应加载并播放那一页的图像信息对应的多媒体内容；例如，当用户翻到第一页时，所述播放模块3根据第一页的图像信息对应加载并播放多媒体内容a，所述多媒体内容a包括所述图书第一页中的图案以及文字，对于图书书页上所述的图案以视频的形式播放，对于所述的文字则以音频的形式播放。
在本发明的实施例中，当图书处于封面时，所述播放模块3根据封面的图像信息，加载并播放的多媒体内容可以为图书的书名、作者、出版社、图书介绍等；当图书处于封底时，所述播放模块3根据封底的图像信息，加载并播放的多媒体内容可以为图书的书籍价格、条形码等。
可选的，当用户更换图书时，所述播放模块3可根据当前图书的图像信息自动读取与其对应的预先保存的多媒体内容。
所述数据存储模块4用于获取预存图书的图像信息与多媒体内容的匹配数据；在本发明的实施例中，将获取的预存图书中的图像信息，分别与相对应的多媒体内容进行智能匹配，通过所述数据存储模块4提前保存匹配后的所述多媒体内容，所述多媒体内容可为视频、音频等。
例如，将所述图书第一页中对应的图像信息，分别与第一页的图像信息相对应的多媒体内容a进行智能匹配；此外，所述图像信息也可划分为多个触发子区域(1，2，3，…)，并分别与其对应的多媒体子内容(a1，a2，a3，…)进行智能匹配，通过所述数据存储模块4保存匹配后的多媒体子内容；以此类推，可将所述图书中的所有图像信息均与其对应的多媒体内容进行智能匹配并保存在所述数据存储模块4。
在本发明的实施例中，所述交互式图书阅读的装置通过所述数据存储模块4将获取预存图书的图像信息与多媒体内容的匹配数据，再通过所述图像获取模块1获取图书的图像信息，所述校正单元21对所述图像信息进行校正处理，所述处理单元22将校正后的图像信息进行区域的划分，并设定原始坐标值，所述识别单元23识别所述图像信息，判断所述原始坐标值是否发生变化，所述播放模块3根据识别的结果加载并播放对应的多媒体内容；本发明实施例所述装置可将图书的图像信息与其对应的多媒体内容进行交互，增加了形态丰富的音频、视频，使用户具有良好的交互体验。
参照图4所示，为本发明实施例所述交互式图书阅读***的结构示意图，所述***包括终端5以及与所述终端5电性连接的图像获取装置6；所述图像获取装置6用于获取图书的图像信息；所述终端5用于对所述图像信息进行校正和识别处理，并根据识别的结果加载并播放对应的多媒体内容。
所述***还包括设于所述终端5背面的支架7，所述支架7用于支撑并固定所述终端5；还包括与所述终端5电性连接的存储器(图未示)，所述存储器设置在所述终端5的内部，在本发明的实施例中，所述存储器可为SD(Secure Digital Memory Card)卡、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)等。
可选的，所述终端5可为平板设备、带有平板设备的机器人设备和独立设备，且所述终端5可适配安装IOS、Android以及Windows***等。
可选的，所述图像获取装置6可为可旋转摄像头，所述可旋转摄像头用于其调整方向，使图书处于其视野的范围内；在本发明的实施例中，所述图像获取装置6上还可以安装一个与其平行的投影镜头61，所述投影镜头61用于将所述终端5中所播放的多媒体内容实时、准确的投影到图书上。
可选的，当所述图像获取装置6上设有投影镜头61时，所述投影镜头61可将所述终端5上加载并播放的多媒体内容投影到图书上；当在所述投影镜头61的投影区域内移动或者旋转图书时，所述终端5上播放的多媒体内容也会跟随着移动或者旋转，即所述投影镜头投影的多媒体内容也会跟随着移动或者旋转，使用户远离电子显示屏的伤害，回归自然、健康的阅读方式；在本发明的实施例中，图4所示虚线框为所述投影镜头的投影区域，但虚线框不在本发明的保护范围内，且所述虚线框内的图案标识仅为示意性，表示该图案标识为此刻图书的图像信息所对应的多媒体内容，并可随着图书的运动而运动。
可选的，当所述图像获取装置6为不可旋转摄像头时，结合图5所示，所述图像获取装置6还包括与不可旋转摄像头配套使用的摄像头反射镜62,所述摄像头反射镜62安装于所述不可旋转摄像头上，用于将其朝向区域内的图像信息反射给所述图像获取装置6，使所述图像获取装置6获取更大范围内的图像信息。
在本发明的实施例中，所述交互式图书阅读***通过所述存储器将获取预存图书的图像信息与多媒体内容的匹配数据，再通过所述图像获取装置6获取图书的图像信息，所述终端5对所述图像信息进行校正和识别处理，并将校正后的图像信息进行区域的划分，设定原始坐标值，再识别所述图像信息，判断所述原始坐标值是否发生变化，然后根据识别的结果加载并播放对应的多媒体内容；本发明实施例所述***可将图书的图像信息与其对应的多媒体内容进行交互，增加了形态丰富的音频、视频，使用户具有良好的交互体验。
本发明实施例所述交互式图书阅读方法、装置及***通过将静态、平面的图书转换成动态、立体的多媒体内容，使图书的阅读方式更加丰富生动，提高阅读或学习的兴趣和效率；并将图书的图像信息与其对应的多媒体内容的交互，增加了形态丰富的音频、视频以及良好的用户交互体验。
在本申请所提供的实施例中，应该理解到，所揭露的方法、装置及***，均可以通过其它的方式实现。例如，以上所描述的装置仅仅是示意性的，例如，所述模块或单元的划分，仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明的实施例并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，也都包含在本发明的保护范围之内。

Claims (10)

1.一种交互式图书阅读方法，其特征在于，所述方法包括：
获取图书的图像信息；
对所述图像信息进行校正和识别处理；
根据识别的结果加载并播放对应的多媒体内容。
2.根据权利要求1所述的交互式图书阅读方法，其特征在于，在所述获取图书的图像信息之前还包括：
获取预存图书的图像信息与多媒体内容的匹配数据。
3.根据权利要求1所述的交互式图书阅读方法，其特征在于，所述对所述图像信息进行校正和识别处理包括：
对所述图像信息进行校正处理；
对校正后的图像信息进行区域的划分，并设定原始坐标值；
识别所述图像信息，判断所述原始坐标值是否发生变化。
4.根据权利要求1所述的交互式图书阅读方法，其特征在于：所述多媒体内容包括音频和/或视频。
5.一种交互式图书阅读装置，其特征在于，所述装置包括：
图像获取模块，用于获取图书的图像信息；
识别模块，用于对所述图像信息进行校正和识别处理；
播放模块，用于根据识别的结果加载并播放对应的多媒体内容。
6.根据权利要求5所述的交互式图书阅读装置，其特征在于：所述装置还包括数据存储模块，用于获取预存图书的图像信息与多媒体内容的匹配数据。
7.根据权利要求5所述的交互式图书阅读装置，其特征在于，所述识别模块包括：
校正单元，用于对所述图像信息进行校正处理；
处理单元，用于对校正后的图像信息进行区域的划分，并设定原始坐标值；
识别单元，用于识别所述图像信息，判断所述原始坐标值是否发生变化。
8.根据权利要求5所述的交互式图书阅读装置，其特征在于：所述多媒体内容包括音频和/或视频。
9.一种交互式图书阅读***，其特征在于：所述***包括终端以及与终端电性连接的图像获取装置；所述图像获取装置用于获取图书的图像信息；所述终端用于对所述图像信息进行校正和识别处理，并根据识别的结果加载并播放对应的多媒体内容。
10.根据权利要求9所述的交互式图书阅读***，其特征在于：所述***还包括一投影镜头，所述投影镜头平行设于所述图像获取装置上，所述投影镜头用于将所述终端中所播放的多媒体内容实时、准确的投影到图书上。
CN201611233501.XA 2016-12-28 2016-12-28 一种交互式图书阅读方法、装置及*** Pending CN108255822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611233501.XA CN108255822A (zh) 2016-12-28 2016-12-28 一种交互式图书阅读方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611233501.XA CN108255822A (zh) 2016-12-28 2016-12-28 一种交互式图书阅读方法、装置及***

Publications (1)

Publication Number Publication Date
CN108255822A true CN108255822A (zh) 2018-07-06

Family

ID=62719102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611233501.XA Pending CN108255822A (zh) 2016-12-28 2016-12-28 一种交互式图书阅读方法、装置及***

Country Status (1)

Country Link
CN (1) CN108255822A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035908A (zh) * 2018-07-27 2018-12-18 安徽豆智智能装备制造有限公司 互动阅读方法
CN109063038A (zh) * 2018-07-17 2018-12-21 中国联合网络通信集团有限公司 图书的增强现实阅读***和方法
CN111638918A (zh) * 2020-05-29 2020-09-08 百度在线网络技术（北京）有限公司 用于呈现信息的方法和装置
CN113673277A (zh) * 2020-05-13 2021-11-19 百度在线网络技术（北京）有限公司 线上绘本内容的获取方法、装置以及智能屏设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804861A (zh) * 2005-12-29 2006-07-19 北大方正集团有限公司 一种文稿图像几何畸变的校正方法
WO2008140194A1 (en) * 2007-05-09 2008-11-20 Unichal Inc. System and method for searching and output of media contents via character recognition
US20090046938A1 (en) * 2007-08-15 2009-02-19 Lockheed Martin Corporation Character contour correction
CN202306857U (zh) * 2011-08-29 2012-07-04 北京银盘电子技术有限公司 一种带点读笔功能的学习机
CN103247031A (zh) * 2013-04-19 2013-08-14 华为技术有限公司 一种畸变图像校正的方法、终端及***
CN103400131A (zh) * 2013-08-16 2013-11-20 徐宁 一种图像识别中的校正装置及其方法
CN104461318A (zh) * 2013-12-10 2015-03-25 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及***
CN105374241A (zh) * 2015-11-23 2016-03-02 东莞市凡豆信息科技有限公司 一种幼儿自助阅读***
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习***及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804861A (zh) * 2005-12-29 2006-07-19 北大方正集团有限公司 一种文稿图像几何畸变的校正方法
WO2008140194A1 (en) * 2007-05-09 2008-11-20 Unichal Inc. System and method for searching and output of media contents via character recognition
US20090046938A1 (en) * 2007-08-15 2009-02-19 Lockheed Martin Corporation Character contour correction
CN202306857U (zh) * 2011-08-29 2012-07-04 北京银盘电子技术有限公司 一种带点读笔功能的学习机
CN103247031A (zh) * 2013-04-19 2013-08-14 华为技术有限公司 一种畸变图像校正的方法、终端及***
CN103400131A (zh) * 2013-08-16 2013-11-20 徐宁 一种图像识别中的校正装置及其方法
CN104461318A (zh) * 2013-12-10 2015-03-25 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及***
CN105374241A (zh) * 2015-11-23 2016-03-02 东莞市凡豆信息科技有限公司 一种幼儿自助阅读***
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习***及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063038A (zh) * 2018-07-17 2018-12-21 中国联合网络通信集团有限公司 图书的增强现实阅读***和方法
CN109035908A (zh) * 2018-07-27 2018-12-18 安徽豆智智能装备制造有限公司 互动阅读方法
CN113673277A (zh) * 2020-05-13 2021-11-19 百度在线网络技术（北京）有限公司 线上绘本内容的获取方法、装置以及智能屏设备
CN111638918A (zh) * 2020-05-29 2020-09-08 百度在线网络技术（北京）有限公司 用于呈现信息的方法和装置
CN111638918B (zh) * 2020-05-29 2023-10-20 百度在线网络技术（北京）有限公司 用于呈现信息的方法和装置

Similar Documents

Publication Publication Date Title
CN108255822A (zh) 一种交互式图书阅读方法、装置及***
CN112261477B (zh) 视频处理方法及装置、训练方法和存储介质
Dash et al. Designing of marker-based augmented reality learning environment for kids using convolutional neural network architecture
CN105164700B (zh) 使用概率模型在视觉数据中检测对象
CN108961422B (zh) 三维模型的标记方法和装置
CN109766914A (zh) 基于图像识别的物品识别方法、装置、设备及存储介质
CN105807917A (zh) 一种辅助用户识字的方法及装置
CN109241956A (zh) 合成图像的方法、装置、终端及存储介质
CN106649629A (zh) 一种关联书本与电子资源的***
CN104424472B (zh) 一种图像识别方法及用户终端
CN106846438A (zh) 一种基于增强现实的首饰试戴方法、装置及***
CN110895661A (zh) 一种行为识别方法、装置及设备
CN107909654A (zh) 基于ar技术的家居设计体验***
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
US11508132B2 (en) Computer implemented method, a device and a computer program product for augmenting a first image with image data from a second image
CN109284487A (zh) 在canvas中渲染数据的方法、装置、电子设备及存储介质
CN106780660B (zh) 一种图片处理方法及电子设备
CN108960849A (zh) 用于纸质制品的防伪方法及装置、防伪溯源***
Cho et al. Real‐time recognition and tracking for augmented reality books
KR102221152B1 (ko) 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체
Margetis et al. A smart environment for augmented learning through physical books
CN110475139A (zh) 一种视频字幕的遮挡方法、装置、存储介质及电子设备
CN110415019A (zh) 显示屏的广告推荐方法及相关产品
CN114663450A (zh) 书写/绘画到数字资产提取器
CN204883593U (zh) 一种结合语音识别及语音测评技术的扩增实境***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180706

RJ01 Rejection of invention patent application after publication