CN103052979A - 用于提升读书体验的方法和*** - Google Patents

用于提升读书体验的方法和*** Download PDF

Info

Publication number
CN103052979A
CN103052979A CN2011800394826A CN201180039482A CN103052979A CN 103052979 A CN103052979 A CN 103052979A CN 2011800394826 A CN2011800394826 A CN 2011800394826A CN 201180039482 A CN201180039482 A CN 201180039482A CN 103052979 A CN103052979 A CN 103052979A
Authority
CN
China
Prior art keywords
page
certain embodiments
reading
books
utensil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800394826A
Other languages
English (en)
Other versions
CN103052979B (zh
Inventor
阿米尔·科伦
罗依·西曼托夫
爱杜·里科特
丹尼斯·西曼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEAM OF LIGHT Ltd
Original Assignee
TEAM OF LIGHT Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TEAM OF LIGHT Ltd filed Critical TEAM OF LIGHT Ltd
Priority to CN201611159711.9A priority Critical patent/CN106778608A/zh
Publication of CN103052979A publication Critical patent/CN103052979A/zh
Application granted granted Critical
Publication of CN103052979B publication Critical patent/CN103052979B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B42BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42DBOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D15/00Printed matter of special format or style not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/418Document matching, e.g. of document images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明揭示一种用于提升阅读媒体的方法和***,所述方法和***可包括:外壳,所述外壳经配置而以可拆卸的方式附接到阅读媒体;处理器;传感器,所述传感器耦接到所述处理器并连接到所述外壳,其中所述传感器经调适以通过结合所述处理器来辨认所述阅读媒体中的至少一部分来感测与所述阅读媒体相关的当前位置;存储器,所述存储器将声学和其他提升效应存储于其中;声电换能器或投影器,所述声电换能器或投影器将所述声学提升效应读出成声学串流,或者投影成视觉效应;以及存储器,所述存储器在其中存储了在所述提升效应与关联于所述阅读媒体的所述位置的至少一指示之间的关联性。

Description

用于提升读书体验的方法和***
本发明引用于2010年7月6日递交的美国临时申请案第61/361,582号并主张其在先申请优先权,其全部内容在此以引用的方式并入本文中。
技术领域
本发明的特定实施例涉及消费型电子产品。确切地说,本发明的特定实施例涉及一种用于对阅读媒体进行提升的方法和***。
背景技术
图书的个性化阅读已为业界所知。例如,美国申请案2009/0317778揭示了在互联网上进行的双方间的阅读互动;再例如,专利US 7,422,434揭示了可使用录音机来记录下对图书的大声朗读,并可随后再将所记录的朗读播放出来。
对书中的特定页的朗读进行录音和播放也已为业界所知。例如,专利US 6,516,181揭示了使用相应按键来指示哪一页正在被阅读以及哪一页将要被播放;再例如,美国申请案2007/0088712揭示了一种用于将图书展开并记录其内容的服务项目。在另一实例中,专利GB 2444793揭示了例如使用经特定编码的书页来识别图书及相应书页的电气或电子装置。
专利KR 20080090117A揭示了使用书中所附的专属码来对书进行识别,朗读书中内容和/或对相关书页进行录音,有可能通过使用诸如OCR等辨认方法来识别页码来完成所述操作。
通过与根据本发明的此类***进行比较,对于所属领域的技术人员而言,常规和传统方法的其他限制和缺陷将显而易见,这些内容均阐述于本发明接下来参考附图所进行的描述中。
发明内容
在一个实施例中,本发明提供用于对阅读媒体进行提升的***和/或方法,该等***和/或方法基本上结合附图中的至少一者来展示和/或描述,而更完整的阐述则见于权利要求书中。
结合以下描述及附图,本发明的各种优势、方面以及新颖特征,以及其所图示的实施例的细节会得到更完整的理解。
本发明的一些实施例的总体方面涉及,响应于单一触发事件而在听觉上、视觉上或视听两方面上,就阅读媒体中所含内容来对阅读媒体进行提升。
根据本发明的一些实施例的一方面,提供一种用于对阅读媒体进行提升的***,包含:外壳,该外壳经配置而以可拆卸且可运转的方式连接到阅读媒体;处理器;传感器,该传感器耦接到该处理器并连接到该外壳,该传感器经配置以结合该处理器来辨认该阅读媒体中的一区段中的至少一部分,进而对与该阅读媒体的该区段相关的当前触发事件进行感测;以及提升内容库。
在另一实施例中,本发明提供一种用于给阅读媒体添加提升内容的方法,该方法包含:结合传感器来对与该阅读媒体相关的视觉触发事件进行辨认;以及响应于该触发事件来传达提升内容。
在另外一实施例中,本发明提供一种用于给阅读媒体添加提升内容的方法,该方法包含:结合传感器来对与该阅读媒体相关的听觉触发事件进行辨认;以及响应于该触发事件来传达超文字效应(extra-textual effect)。
在某个实施例中,本发明提供一种用于针对将含一定图案的拼图玩具拼在一起的游戏来提升游戏体验的方法,其中该方法包含:通过传感器来辨认在一拼图零件上的表面图案;对在该拼图零件上的该表面图案与该拼图的整体表面图案中的某一部分之间的对应性进行确认,以建立识别信息;以及根据该识别信息来提供有关准确位置的反馈,来将该拼图零件安置在该拼图内。
在某些实施例中,本文中所描述的***和装置可用在本文所描述的方法中。相应地,在另一实施例中,本发明提供一种用于给阅读媒体添加提升内容的方法,该方法包含:通过传感器来辨认与该阅读媒体相关的听觉触发事件;以及响应于该触发事件而传达超文字效应,其中在进行辨认听觉触发事件的步骤之前,先提供用于阅读媒体进行阅读提升的***,该***包含:携带型阅读提升***,该携带型阅读提升***以可运转的方式连接到该阅读媒体,该携带型阅读提升***包含外壳、处理器、传感器以及多个声电换能器(acoustic transducer),该携带型阅读提升***经配置以:对与该阅读媒体相关的听觉触发事件进行感测;对在该阅读媒体中的当前页位置进行感测;通过利用该多个换能器中的输入换能器来存储使用者对该阅读媒体进行朗读的录音,并存储对应于该当前页位置的声学提升内容;以及利用该多个换能器中的输出换能器来播放该录音以及该声学提升内容,其中该录音的播放是由该听觉触发事件来触发。
在一些实施例中,在本文中描述的***和方法中所用的传感器包含成像器。在一些实施例中,该传感器经配置以与该图书接触。在一些实施例中,该传感器包含翻页计数器(page turn counter)。在一些实施例中,该传感器产生一信号来指示绝对页位置(absolute page position)。在一些实施例中,该传感器包含成像器以及用于对来自该成像器的图像进行处理的电路,且该电路无需去辨认在书页中的任何符号在一些实施例中,该电路通过将该图像中的区段处理成哈希值(hash value)来产生一签名。在一些实施例中,该装置包含语音记录电路。
除非另加定义,否则,本文中所用的所有技术和/或科学术语仍具有与本发明所属领域的一般技术人员通常所理解的相同含义。但是,在实践或测试本发明的实施例的过程中,也可使用与本文中的描述内容相似或等效的方法和材料,下文中所描述的是示例性方法和/或材料。在两相冲突的情况下,须采用本专利说明书中的说法,包括相关定义。此外,所描述的材料、方法以及实例仅为说明性,且不希望其有限制性。
本发明的各实施例的方法和/或***的实施方案能够以手动、自动或手动自动组合的方式来执行或完成所选任务。另外,根据本发明的方法和/或***的各实施例的实际所用仪器和设备,可使用操作***通过硬件、通过软件或通过韧件,或者通过其组合的方式来实施若干所选任务。
举例来说,根据本发明的各实施例的用于执行所选任务的硬件可实施为芯片或电路。如果实施为软件,那么根据本发明的各实施例的所选任务可实施为多条软件指令,该多条软件指令可由计算机使用任何适宜的操作***来执行。在本发明的示例性实施例中,根据如本文所描述的方法和/或***的示例性实施例的一个或多个任务由数据处理器来执行,诸如用于执行多条指令的计算平台。视情况,该数据处理器包括用于存储指令和/或数据的易失性存储器和用于存储指令和/或数据的非易失性存储器(例如,磁性硬碟和/或可移除式媒体)。视情况,还可提供网络连接。视情况,还可提供显示器,和/或诸如键盘或鼠标等的使用者输入器件。在本发明的重要实施例中,实施本发明的设备便于携带、分量轻、成本低,且每次充电后电池工作时间较长。
附图说明
本文会参考附图并通过实例来描述本发明的一些实施例。现在起会对附图进行详细地进行专门参考,但是应强调,所展示的细节通过实例给出,是出于对本发明的各实施例进行说明性论述的目的。因此,结合附图进行的描述是为了使本发明各实施例可以实践的方式对于所属领域的技术人员能够一目了然。
图1A示意性所示为根据本发明的示例性实施例的用于俯视观看(top viewing)的读书体验提升器具。
图1B示意性所示为根据本发明的示例性实施例的用于俯视观看的读书体验提升器具的概要图,该读书体验提升器具与图书相连结。
图1C示意性所示为根据本发明的示例性实施例的用于俯视观看的读书体验提升器具,其在书页订口处(the separation of pages)附近附接到图书封面。
图1D示意性所示为根据本发明的示例性实施例的用于俯视观看的读书体验提升器具,其在书页订口附近处附接到图书封面,并已翻开几页。
图2A至图2D示意性所示为根据本发明的示例性实施例的读书体验提升器具的摄像机的各种可能的安装位置。
图3A示意性所示为根据本发明的示例性实施例的用于书口观看(edge viewing)的读书体验提升器具。
图3B示意性所示为根据本发明的示例性实施例的用于书口观看的读书体验提升器具的概要图,该读书体验提升器具与图书相连结。
图3C示意性所示为根据本发明的示例性实施例的用于书口观看的读书体验提升器具的摄像机所获取的图像。
图4A示意性所示为根据本发明的示例性实施例的机电式读书体验提升器具。
图4B示意性所示为根据本发明的示例性实施例的对页摞(stack of pages)的厚度进行计量的机电式读书体验提升器具的截面图。
图4C至图4D示意性所示分别为根据本发明的示例性实施例的机电式读书体验提升器具的后视图和俯视图。
图4E示意性所示为根据本发明的示例性实施例的机电式读书体验提升器具中的一个臂的抬高动作。
图5示意性所示为根据本发明的示例性实施例的呈独立单元形式的读书体验提升器具的配置。
图6A示意性所示为根据本发明的示例性实施例的基于标准器件的读书体验提升器具的安置。
图6B示意性所示为根据本发明的示例性实施例的基于智能手机的读书体验提升器具的安置。
图7A示意性所示为根据本发明的示例性实施例的在阅读(或记录)书页过程中的操作的概要。
图7B示意性所示为根据本发明的示例性实施例的在阅读(或记录)图书过程中的操作。
图7C示意性所示为根据本发明的示例性实施例的使用用于俯视观看的器具来阅读(或记录)图书过程中的操作。
图7D示意性所示为根据本发明的示例性实施例的使用用于书口观看的器具来阅读(或记录)图书过程中的操作。
图8A示意性所示为根据本发明的示例性实施例的在读出(或播放)书页过程中的操作的概要。
图8B示意性所示为根据本发明的示例性实施例的在读出(或播放)图书过程中的操作。
图8C示意性所示为根据本发明的示例性实施例的使用用于俯视观看的器具来读出(或播放)图书过程中的操作。
图8D示意性所示为根据本发明的示例性实施例的使用用于书口观看的器具来读出(或播放)图书过程中的操作。
图9示意性所示为根据本发明的示例性实施例的有关购买具有提升的声音体验的图书的操作的概要。
图10示意性所示为根据本发明的示例性实施例的读书体验提升内容中的个性化远端记录中的操作的概要。
图11示意性所示为根据本发明的示例性实施例的以标准器件为基础的读书体验提升器具的套件。
图12A示意性所示为根据本发明的示例性实施例的“显微镜式(microscope-like)”拼图体验提升器具的实施例。
图12B示意性所示为根据本发明的示例性实施例的用于俯视观看的拼图体验提升器具的实施例的概要图。
对于在一幅或多幅图中所出现的相同的、同样的、等效的或相似的结构、元件或部分,大体上会用相同的参考数字来标记,但视情况会在相似的物件或相同物件的变体之间使用额外的一个或多个字母来进行区分,因而,不会对这些相同或相似的结构、元件或部分重复地进行标记和/或描述,因而,此类标记和描述在全文中都是同样有效的。
具体实施方式
本发明在其一些实施例中涉及阅读媒体的听觉和/或视觉体验的提升,确切地说但非限制性地,涉及图书的读出(readout)。
本发明的一些实施例的总体方面涉及,响应于单个书页的出现而在听觉上、视觉上或视听两方面上,就阅读媒体中所含内容来对阅读媒体进行提升。在本发明的示例性实施例中,图书或其书页仅仅是普通的书籍,基本上没有使用任何额外的技术进行过设置和/或标记。在特定实施例中,这些书页通过书页中的全部或部分上的签名来辨认,并不需要OCR,也不需要需辨认特定符号的其他处理强度大的方法(例如,ICR),也不需要需对书页识别机构进行调适来适应不同书中的不同位置的方法,也不需要需对书页进行分析以识别其页码部分的方法。在特定实施例中,使用在书中的相同位置来进行书页识别,与图书设计及书页布局基本上无关,和/或与书页中的页码位置和/或页码的存在与否也无关系。在一个实施例中,不需要任何的姿势或任何其他的指标触发事件来启动由本文中所描述的***或方法所采用的动作中的任一者。
在特定实施例中,术语“阅读媒体(readable media)”指代在需提升的媒体上形成的任何符号或图案,这些符号或图案至少可在某些条件下由使用者阅读(具体来说,在具有可见光的正常光照条件下;和/或在特定照明条件下;和/或在对电子器件(屏幕、光源或类似者)启动之后,等等),这些符号或图案可由可记录的数字数据来至少部分地表示。在特定实施例中,这些符号或图案可能会涉及到文字(手写文字或印刷字符)、代码(ASCII、诸如条形码等通用光电可读码,等等)、图像或相片,及其类似者。在另外一实施例中,术语“阅读媒体”指代各种形式的机器和/或数字可读标识,这些标识所含的信息包括但不限于可由所属领域常见中的各种光学扫描器件所读取并解码的此类阅读媒体。
在本发明的一些实施例中,通过将图书中的单个页中的内容大声读出和/或散页中的内容大声读出,诸如图书类的阅读媒体(具体来说但未加限制,儿童图书)得到提升。在一些实施例中,通过提供和/或呈现与单个页和/或多个页中的内容相关的声音和/或图像和/或对该内容进行补充的声音和/或图像,该阅读媒体在听觉上和/或视觉上和/或视听两方面上得到提升。在一些实施例中,该阅读媒体可由使用者(例如,在作业本上用笔写作业的儿童)来进行补充,并且此类补充可以作为媒体提升的触发事件。
本发明的一些实施例尤其涉及到未受任何辅助和/或未受任何提升的普通阅读媒体,这些阅读媒体不具有任何的外部装置、外部配件、外部机构或者是任何其他构件或辅助设施。举例来说,图书指的是普通的现成图书,没有任何额外的标记或标签,也没有任何额外的图书或书页识别符号。
在特定实施例中,本文所描述且在本文所描述的方法中所用到的装置、器件或***用于图书的读出(例如,录音的播放),而且可移动,并且以可操作且可逆的方式连接到所阅读的图书。在一些实施例中,该装置被布置或安装在附接到图书或与图书分离的附件上。本发明的一些实施例所用到的特有特征是通过印刷来使图书标准化,使得对在一个地理位置中的某一本图书进行的录音可用于在另一地理位置处以相似方式印刷的另一本图书。
本文中所用术语“图书”表示常规图书,其中也包括其他可读媒体,诸如小本子,或活页,或小册子(可以装订,也可以不装订),还有诸如拼图游戏类的制品。在一个实施例中,“图书”指代电子书器件,诸如KINDLETM、iPADTM及其类似者。
相应地,在一个实施例中,本发明提供一种用于给阅读媒体添加提升内容的方法,该方法包含:结合传感器来对与该阅读媒体相关的视觉触发事件进行辨认;以及响应于该触发事件来传达提升内容。
本发明的一些实施例的总体方面涉及,响应于单个物件或配件(书页、咬合型拼图(jigsawpuzzle)配件等)的出现而在听觉上,或视觉上,或视听两方面上,就真实世界的对象(例如,阅读媒体、棋盘类游戏等)所含内容来对该等对象进行提升并与其交互。在特定实施例中,就图书而言,这些图书和书页此前并未被提升,也未被标记,就像一般在书店中所看到的那样。在特定实施例中,这些书页通过书页整体本身或书页中某一部分来进行辨认。在本发明的一些示例性实施例中,
在一些实施例中,该方法包含在一远端位置处产生该信号的表示,并将该表示传输给该识别器。
在一些实施例中,产生表示包含通过多个音频表示来组合出一个表示。在一些实施例中,产生音频信号包含对所存储的表示进行修改。在一些实施例中,产生音频信号包含响应于该识别而从本端储存数据中撷取出一个表示。
在一些实施例中,该方法包含:先将书页识别器安装在与该图书等效的图书上;通过该识别器来识别未经提升的书页;响应于该识别而记录一音频信号;以及使用该所记录的信号来进行该产生。
在一些实施例中,该识别未经提升的书页包含测量在该图书一侧处的页摞的厚度,此时对于该未经提升的书页而言,该图书为打开的。在一些实施例中,产生音频信号进一步包含检测在该信号中的某个词或词组。在一些实施例中,响应于该检测而产生另一音频信号或视觉信号中的至少一者。
但是,在一些实施例中,如上下文中所说明或显见,对阅读媒体进行了参考。视情况,有的书具有硬封皮(hard cover),可将外壳和/或书页传感器连接到该便封皮。
如本文中所使用,且除非另有说明,术语“书页/页”指代一对奇数/偶数页(相连接的两者),还包括图书的封面和/或封底(相连接的两者)。
如本文中所使用,术语“读出”表示在听觉上复制、产生或播放书中内容和/或相关内容,例如通过将所记录的大声朗读播放出来。
注意到,以下描述及论述,除非另有说明,仅涉及未受任何辅助的图书。下文将进行有关实践本发明的普遍性且非限制性的概述。该概述概括了本发明的一些实施例的示例性实践,包括用作变体和/或替代实施例的基础,下文中将会对其中一些进行描述。
普遍性且非限制性的情形指的是使用者通过使用本文所描述的装置和方法来将书打开并进行翻阅,并且,自动启动对当前打开的书页进行读出或其他媒体注释,在此期间无需使用姿势、指标或其他的使用者所产生的外部触发事件(例如,触控笔)。
在一些实施例中,非接触型(或接触型)传感器对该图书或书中某一部分(例如,至少一个词或至少一段说明)进行感测,并基于当前打开的书页的独有代码或签名来识别(辨认)该书页。在特定实施例中,该传感器相对于该图书被固定在恰当位置,但是分量足够轻且/或体型足够小,不会影响到图书的携带性(portability)和使用性(usability)。在一些实施例中,携带性意味着一般的三岁儿童可以毫不困难地拿着该传感器或者是包含该传感器的器具。
视情况,该传感器响应于对翻页的检测来对书页进行感测和/或识别,诸如感测出在周期性感测之间的改变。在一些实施例中,翻页由另一传感器和/或器件来进行检测。
在一些实施例中,传感器基于已翻过的书页或未翻过的书页的厚度或其他测量值来对当前书页进行识别。
在特定实施例中,使用该书页识别方法来撷取与所识别的书页相关的预设声音序列(或声音串流或声音磁轨或其他媒体),声电换能器会发出(播放,念出)所寻找到的声音序列。视情况,会寻找到多条相关的声音序列,并以连续方式和/或同时方式来播放这些声音序列。视情况,播放会根据预设的预定次序和/或音量(或相互间的相对音量)来进行,诸如根据与该等声音序列一起存储和/进行提升的方法进一步包含,如果该拼图零件的当前位置对应于该拼图零件的准确位置,则传达正反馈;并且随后传达接下来要执行的任务,接着解决该拼图问题。在一个实施例中,该拼图游戏可为方框型拼图游戏(tiling puzzle)、咬合型拼图游戏或两种类型的组合。在特定实施例中,该拼图游戏为特定对象的特定空间布置。在特定实施例中,拼图零件具有三维特性。在一个实施例中,在该用于针对将含一定图案的拼图拼在一起的游戏来提升游戏体验的方法中,使用本文所描述的传感器。
在一个实施例中,术语“拼图”指代一种互相锁定的配置,其中一个配件的突出部分装配到相连结的配件的凹入部分内,并由该凹入部分固持在恰当位置。在另一实施例中,术语“拼图”指代按照预定的空间和/或时间配置来将多个物体组织在一起的任务。在另一实施例中,术语“表面图案”指代在三维物体上的表面轮廓,而在一个实施例中,指代所印刷的图案。在一些实施例中,表面图案指代给定物体的摩擦学性质,该摩擦学性质能够被在本文中所描述的方法中所用的***、器件、器具以及装置来进行辨认。
在一些实施例中,在本文所描述的器件/装置及***中所用且在所提供的方法中所用的存储器,其上存储有多条声学提升内容,每一声学提升内容与给定的书页位置相关联。在一些实施例中,该存储器上存储有多个声学提升内容集合,每一集合与涉及该阅读媒体的不同的识别触发事件相关联。在一个实施例中,本文中所使用的***以可运转的方式连接到互联网,这样,该存储器不必居于该外壳中,该外壳以可运转的方式连接到该阅读媒体,并且该存储器进一步含有由使用者定义的提升内容库。
在一些实施例中,该装置包含显示器。在一些实施例中,该装置包含显示电路,该显示电路用于响应于该书页识别信息和/或触发事件而在该显示器上显示图像或图像序列。在一些实施例中,该外壳经调适以用于在图书封底的书顶正中心(top-center)处进行夹持。在一些实施例中,该外壳经调适以用于在图书的中脊(central spine)处进行夹持。在一些实施例中,该外壳经调适以用于在图书封面的书角(corner)处进行夹持。在一些实施例中,该外壳所处位置可为任何位置,只要该位置能够使该***/装置/器件/器具在本文所描述的方法中恰当地行使功能。在一些实施例中,该装置包含用于根据经编程的脚本来念出该提升内容的电路。
在一些实施例中,该装置包含用于响应于手指对该图书的接触而念出该提升内容的电路。在一些实施例中,该装置包含用于将多条提升内容组合并将该组合与某一书页位置相关联的电路。
根据本发明的一些实施例的一方面,提供一种用于提升阅读体验的方法,包含:选择一本未经提升的图书;将一书页识别器安装于该图书上;通过该识别器,而非通过符号识别来识别一未经提升的书页;以及响应于该识别来产生一音频信号。
在一些实施例中,该方法还包括响应于该识别动作而产生非音频媒体输出。在一些实施例中,识别包含通过成像来识别。在一些实施例中,识别包含在移动该图书的同时进行识别。在一些实施例中,识别包含识别翻页事件(page turning event)。在一些实施例中,识别包含识别绝对页位置(absolute page position)。在一些实施例中,识别包含识别在某一页内的某一位置。在一些实施例中,该产生是响应于在某一页内的该位置来进行。
该类辨认操作不需要OCR,也不需要需辨认特定符号的其他处理强度大的方法(例如,ICR),也不需要需对书页识别机构进行调适以适用于不同书中的不同位置的方法,也不需要需对书页进行分析以识别其页码部分的方法。在特定实施例中,使用在图书中的相同位置来进行书页识别,与图书设计及书页布局基本上无关,和/或与页码位置也无关系。
在特定实施例中,咬合型拼图游戏(jigsaw puzzle)的配件通过其形状及内容,以及其给人所暗示的位置来进行辨认。在本发明的一些实施例中,重要的是,提升和互动是通过成本低、功率低、独立的电子器件来启用的。在一些实施例中,该传感器包含翻页计数传感器(page counting sensor)。在一个实施例中,本发明提供一种用于针对将含一定图案的拼图玩具拼在一起的游戏来提升游戏体验的方法,其中该方法包含:通过传感器来辨认在一拼图零件上的表面图案;对在该拼图零件上的该表面图案与该拼图的整体表面图案中的某一部分之间的对应性进行确认,以建立识别信息;以及根据该识别信息来提供有关准确位置的暗示信息,来将该拼图零件安置在该拼图内。
在一个实施例中,本发明提供一种用于使用新颖的视觉辨认技术来针对咬合型拼图游戏和棋盘类游戏来提升游戏体验的***和方法。在特定实施例中,该拼图为以圆化形状及图案来拼接的咬合型拼图游戏。在一个实施例中,将该拼图零件***到该“显微镜式”器件中,并通过音频/投影器/屏幕来传达反馈。举例来说,在特定实施例中,该反馈可以是“这是狮子的眼睛”、“这是狮子的耳朵”、“这是云中的某处”。在其他实施例中,在计算机屏幕上或投影器上展示出该零件所应放置的位置。根据“反馈等级(feedback level)”,在特定实施例中,可以较精确或较不精确的方式来展示该拼图零件所应恰当置放的位置。在另外的其他实施例中,反馈可以提供任务,这些任务可以由器件本身来检查,例如在其他实施例中会有:“请找到狮子的眼睛……棒极了!现在去找到它的耳朵……很遗憾——这是云朵,现在去找到太阳……”以及其他相似的任务及命令。
在另一实施例中,本文中所描述且在所提供的方法中所使用的器件/***和/或装置对整个拼图板进行拍摄,并能够根据使用者的移动、决策等来给使用者传达反馈或命令。
在一个实施例中,本发明提供一种用于针对将含一定图案的拼图玩具拼在一起的游戏来提升游戏体验的方法,其中该方法包含:通过传感器来辨认在一拼图零件上的表面图案;对在该拼图零件上的该表面图案与该拼图的整体表面图案中的某一部分之间的对应性进行确认,以建立识别信息;以及根据该识别信息来提供反馈(诸如音频反馈、视觉反馈或两者的组合(如在其他单个实施例中)),来识别出准确位置以将该拼图零件安置在该拼图内,其中该音频反馈能念出图案的性质。在一个实施例中,该表面图案的性质包含动物、植物、建筑物、车辆、天体、解剖部分,或风景部分或上述各者的组合(在其他单个实施例中)中的至少一者。
在一个实施例中,该视觉反馈通过投影器或显示屏幕中的至少一者来显示,而在另外一实施例中,该视觉反馈根据反馈等级来提供相对于该准确位置的准确度,其中反馈等级越高,相对于准确位置的准确度越高。
在一个实施例中,该用于针对将含一定图案的拼图玩具拼在一起的游戏来提升游戏体验的方法进一步包含辨认出该拼图零件的当前位置,而在另一实施例中,会根据在该拼图零件的当前位置与该拼图零件的准确位置之间的对应性,来传达反馈。在一个实施例中,该用于对该拼图问题的解决或与该等声音序列相联系和/或相关的信息(例如,标签)和/或规则来进行。
在特定实施例中,本发明提供一种用于给阅读媒体添加提升内容的方法,该方法包含:结合传感器来对与该阅读媒体相关的听觉触发事件进行辨认;以及响应于该触发动作来传达超文字效应(extra-textual effect)。
在一个实施例中,本发明提供一种用于对使用者所发出的音频内容(user-generated-audio-content)进行自动提升的方法。在一个实施例中,本文所描述的***和方法包含存储器,所记录的文字(例如,故事)事先载入到存储器中,或者可通过特定的通信网络来存取所记录的文字,并可使用简单的话语辨认引擎(speech-recognition engine)来自动对所记录的文字进行提升。在一个实施例中,在此项服务中的所有这些“故事”都被预先加上标志,也就是说,标记上了特定的关键字来作为用于触发声音效应(或其他数字效应)的音频触发事件。在一个实施例中,使用者可将自己对故事的朗读记录下来,并将其处理成具有声音效应和语音效应的音频电子书式(audio-book-like)或广播剧式(radio-drama-like)的声音。在特定实施例中,会针对每种声音效应产生通用语音模板(generic voice template),并将阅读者的语音与模板进行比较来获得此种声音效应。
在特定实施例中,将用于注释的数据(例如,音频)存储在阅读器件(reader device)上。视情况,该数据撷取自本端存储设备,诸如附近的计算机,或通过网络,诸如互联网、LAN、WAN和/或移动电话网络。
在一个实例中,在预备阶段中,将图书的书页所含内容大声朗读(和/或大声描述),会有传感器对单个的书页进行识别,存储(记录)该语音,并使该语音与相应的书页识别信息相关联。随后,响应于打开某一书页以及传感器识别出该书页,相应的阅读声音磁轨被定位并播放。所属领域的一般技术人员易于看出,可方便地涵盖若干种语音辨认器件和模板来促进此项技术的实施。
在一些实施例中,记录和/或朗读与书页位置相关。举例来说,在记录期间,使用者可指出与要做的记录相关的某一词或某一书页的位置。在朗读期间,书页上的某位置会被识别出,例如通过识别手指或指标器,并根据该位置来选择朗读内容。视情况,朗读速度和/或持续时间会与在朗读期间此类指标器的速度和/或位置同步化。
在一些实施例中,该指标器为光点,例如来自LED或激光指标器的光点。在一些实施例中,朗读动作会伴随相关位置的指示,例如通过使用激光束或使用LED来照向正在被朗读的书页中的某一部分。视情况,该LED会被遮蔽(例如,使用液晶阵列),使得仅该书页中的某一部分被照亮。在另一实施例中,使用马达或其他致动器来定向该光照(比如使用反射镜或透镜)。在另外的实施例中,提供多个光源,每一光源对应于书页中的每个部分(例如,3个、6个、9个,或两数中间的数目,或更大的数目),并根据所需的光照来选择光源。视情况,每一书页位置具有相应代码,并且将书页项目的代码存储为与所记录的语音相关联,来一起作为书页识别信息的一部分。
此外,或者作为替代,预设的声音序列(例如,所记录的和/或所合成的和/或所选择的)还与书页识别信息和/或书页内容(或其中一部分,例如词或词组的位置)相关联或以其他方式相关。举例来说,如果书页内容(或所指的词)与风相关,那么会播放与风相关的声音磁轨,视情况,还会同时地或部分同时地进行书页记录,或者在预定的延迟过后才进行播放(例如,静默)。举例来说,此类播放可以是以相对低于所记录的朗读的音量来进行,或者是以其他方式确定的音量来进行。
在一些实施例中,该音频读出包含视觉数据(诸如图像或动画或视频(也可同样简称为“图像”))或与这些视觉数据相关联。
在一些实施例中,在读书体验提升器具中所包含的屏幕上显示该图像。视情况或者作为替代,可使用独立的屏幕。视情况或者此外,诸如通过所整合的和/或独立的投影器来将该图像投影到该图书上。
在一些实施例中,以与当前所打开的书页同步的方式来显示该图像。在一些实施例中,响应于诸如翻页、指向某一词等事件,或者其他事件(诸如念出某一词,见下文),来显示该图像。
在一些实施例中,使用投影器从处理器和传感器处所获得的“精细调谐校准(fine-tune-calibration)”数据,来将所投影的图像同步化并自动校准,以将该图像投影到特定的词或区域上。
在特定实施例中,还提供编辑工具,例如在网页伺服器上。该使用者可以上载所记录的内容,并定义或更新脚本,这些脚本能对声音或图像数据或其启动次序进行作用或操作。举例来说,脚本可包括播放内容、声音效应、视觉效应和/或光照效应。在一些实施例中,该声音效应包含,举例来说,混响(reverb)、回音(echo)、音调修改(pitch modification),或者是作为引言或补充内容或结语而添加到书页中的额外声音。在一些实施例中,视觉效应包含(例如)与书页相关的视频,可视情况将该视频作为引言或补充内容或结语来添加到该书页中。在一些实施例中,响应于某一事件而启动脚本,例如,响应于翻页,或响应于指向书页中的某一位置,或响应于念出某一词或词组。
在一些实施例中,响应于翻页而念出声音磁轨。该翻页声音磁轨所发出的声音可以变化,例如,根据前一页或下一页的内容,根据图书的整体内容,和/或根据即刻所翻书页的大体上的翻页时间间隔(例如,快/慢)。
在一些实施例中,声音磁轨被存储在传感器/阅读器中或所耦接的设备中。视情况或者作为替代,声音磁轨被存储在所连接的器件中。视情况或者作为替代,声音磁轨被存储在远端(例如,网站),且被预先加载或随选加载(on demand)。
在一些实施例中,书页识别信息或签名视情况包含页码或与页码相关。在一些实施例中,视情况,页码通过该页码的OCR和/或页摞的厚度来获取(下文将描述)。但是,在特定实施例中,会使用对书页中的某一部分或整个书页进行成像并使用数学公式来生成签名的方式来获取书页识别信息,视情况,这种方法可以不需要理解书页结构或书页内容。一些实施例会使用该书页结构,或亮色及暗色和/或彩色的图案,或灰色阴影区域,来作为签名,从而生成签名。
在一些实施例中,响应于打开或展开一书页(例如,作为由使用者完成的动作,但(例如)并未从很多书页当中进行翻找),便启动了对于打开的图书或其封面的感测。
应强调,在本发明的一些实施例中,对书页的感测和识别仅对图书“本身”进行,并未依赖任何添加于书中或者书上的额外元件(例如,不存在附接到书页和/封面的任何识别标签或条形码)。
如本文中所用,且除非另有说明或从上下文中显见,术语“传感器”表示一个或多个感测元件,该一个或多个感测元件与用于进行感测和/或对所感测的数据进行处理的设备相耦接。举例来说,图像感测元件(例如,CMOS)与电子电路和/或处理器和/或存储器件相耦接。
在一些实施例中,该传感器响应于电磁辐射(例如,可见光、IR、UV或短波,诸如雷达波)来操作。视情况或作为替代,该传感器响应于诸如超声波等其他发射来操作。
在一些实施例中,该传感器为被动式的,因为其使用环境光来成像,例如可见光谱。视情况或作为替代,该传感器为主动式的,因为辐射(能量)是从该传感器发出的,例如,IR或UV或激光扫描或短波或超声波。
在特定实施例中,提供一个或多个所下载的伺服器来支持在器件之间的数据交换,和/或以允许使用者下载所记录的内容或媒体项目来作为注释。在特定实施例中,阅读器件经编程而含有一部或多部图书。视情况,图书识别信息仅用来在经编程而写入阅读器中的这些图书之间进行区分。或者,图书识别信息使用远端伺服器来识别许多部图书,并视情况来下载针对这些图书的提升内容(如果需要的话)。
在一些实施例中,该传感器为摄像机,该摄像机可观看到整个书页或书页中的一部分,并拍摄整个书页或书页中的某一部分的图像,诸如书页所含内容或书页所含区域中的约10%、20%、30%、40%、50%、60%、70%、80%或90%。所拍摄的图像经分析和/或处理,便生成一个书页签名,相对于该图书或其他图书中的其他书页而言,该书页签名基本上是独一的。在一些实施例中,相对于同一图书中的其他书页而言,该签名是独一的。在一些实施例中,相对于其他图书中的其他书页而言,该签名是独一的。视情况,该签名相对于其他图书为独一的情况的可靠性为约90%或更高(诸如95%)。
视情况,该处理会对观看角度和/或附接到图书的附接位置进行补偿。举例而言,在一些实施例中,该处理对观看角度的补偿范围为约±15°,而且/或对位置偏差的补偿范围为约±10mm。
在特定实施例中,该处理用来识别书页的独一的怖局和/或结构,例如,在空白区域与非空白区域之间的关系,和/或非空白间隔(即实质上确定的行)的数目和/或宽度,和/或频谱(例如,傅里叶频谱),和/或其他类型的频谱(例如,小波频谱)或变换结果,和/或其组合。
在特定实施例中,将书页的签名(例如,识别信息)导出为数值或此类处理的值,例如该书页的代码。在一些实施例中,基于多项测量值来导出签名,能减小或实际上消除在书页的识别信息中两相冲突的可能性。在一些实施例中,该摄像机通过光束扫描(诸如激光扫描)来拍摄(获取)图像。视情况,相对于单一的操作模式,使用图像传感器与光束扫描的组合来提高签名导出的可靠性。
在一些实施例中,该摄像机在可见光谱中、和/或在IR中和/或UV光谱或其组合中操作。视情况,该摄像机(例如,通过滤波器)在某一频谱的特定带宽下操作,来增强或减弱在签名导出中的不良效应。视情况,还可使用非可见光的光照,以避免对阅读体验的干扰。视情况,还可使用可见光的光照(例如,LED灯),以在低光条件下使用该器具时辅助读者和/或摄像机。此类光照(可见光或非可见光)还可用于检测书页边缘,并且在一些实施例中,可以将分析所得的图像中的页外“噪声”(例如,桌影、腿影)去除。举例来说,通过使用图像处理来实行该检测,该图像处理会检查在书页内容与环境背景(例如,边沿、桌子)之间的反射差异,或者通过实施诸如霍夫变换(Houghtransform)等行检测技术来实行该检测。
在一些实施例中,该摄像机会连续操作,并在视角改变并稳定下来时(例如,持续至少一秒钟时),确定一个翻页事件。视情况或作为替代,举例来说,为节省电力,该摄像机会周期性地操作来确定一个翻页事件。视情况或作为替代,举例来说,为减少耗电,一旦在看完一页之后,该摄像机会观看(和/或扫描)该书页中的一小部分来确定一个翻页事件。
视情况或作为替代,以独立于该图书的方式来安装该摄像机。视情况或作为替代,将该摄像机安装在大体在该图书上方的一个结构上,诸如在阅读灯中。视情况或作为替代,将该摄像机安装在手拿图书的人员上(或其他人员上),诸如安装在额头或衣服上。在一些实施例中,将该摄像机安装在或藏在一个玩偶中(例如,泰迪熊),并且还将一个声音换能器(例如,扬声器)安装在那里,从而通过该玩偶或者与该玩偶进行的互动来模拟阅读。
在一些实施例中,摄像机观看图书的书口(厚度),拍摄关于页摞的图像。在特定实施例中,至少在一定程度的可靠性上识别出图书和/或当前打开的书页,例如基于页摞的厚度,和/或基于页摞的图案。视情况,举例来说,如上文所描述,从此类图像中导出独一的签名。视情况,该图书具有印刷在页摞的书口上的图案,该图案从书口角度来看是可见的(厚度视角),并且,视情况,该图案用于确定当前打开的书页和/或某一书页的签名。
在一些实施例中,提供该图书识别信息或者以其他方式来获取该图书识别信息(例如,输入ISDN号,或者扫描封面的条形码,或者通过将该图书的图像或图像的签名传输到一个伺服器上,该伺服器会将该图像或签名与图书封面相匹配)。视情况,该图书识别信息可用作书页计数的输入,例如提供诸如书页厚度等参数。
在一些实施例中,从书页视图和书口视图中导出的签名(或图像)经组合以提供在单个视图方位和/或组合视图方位(书页视图和书口视图)中的识别信息。在一些实施例中,当书口视图改变时,指示发生了翻页事件。在一些实施例中,该书口视角摄像机的操作是为了便于观看书页(如上文所描述),并且可提供该书口视角摄像机来对书页视角摄像机进行添加或替换。
在一些实施例中,对书页的数目进行的计数是使用结构化的光基于沿页摞的深度变化所进行的推断。举例来说,将诸如条带形的光照图案投影到页摞上,例如与该页摞垂直或成另一角度。根据光结构的变化,可以推断出距离或厚度(例如,相对于从在一平面上的投影预计出的图案)。在一些情况中,较深的深度存在于这些书页中间,使得对本地深度最小值的计数可用于估计在页摞中的书页的数目。视情况或作为替代,对莫尔图案(moirépattern)进行检测和分析。
在一些实施例中,使用机电式的或基于加速计的装置,通过对页摞厚度进行计量来确定(识别)当前打开的书页。在一些实施例中,当下列情况发生时,检测翻页事件:厚度改变,和/或该翻页动作移动了该装置的一个构件,或移动了一个构件以使得翻页发生。在其他实施例中,测量的是绝对厚度。
在一些实施例中,会至少在一定程度的可靠性上,基于该图书的厚度或书中的特定部分来识别该图书,并根据该页摞的厚度来对当前打开的书页进行编码。
在一些实施例中,提供该图书识别信息或以其他方式来获取该图书识别信息,例如上文所描述。
在一些实施例中,翻页触发事件可以包含此类事件,即传感器识别出翻页事件,诸如感测到在周期性感测之间的改变。举例来说,摄像机连续地或周期性地(例如,每隔0.1秒,或每隔0.5秒,或每隔1秒,或每隔3秒)观看该书页,并且当该视图改变且稳定下来时(例如,在约1秒至3秒内基本上相同),确定一个翻页事件。
下文将描述关于翻页事件检测机制的一些实例。因此,在一些实施例中,视情况,为节省电力,翻页事件通过不同的方法和器件来触发,在该翻页事件之后启动该摄像机(或其他传感器)。
在一些实施例中,通过独立的器具或单元(例如,独立于其他资源)来提供提升内容。在一些实施例中,该独立器具包含摄像机(例如,传感器)、与程序和/或电子电路相耦接和/或相连接的处理单元,以及声电换能器和/或相连接的声电换能器(例如,扬声器)。在一些实施例中,用于在听觉上提升图书的器具包含作为摄像机的传感器,诸如安装在外壳和/或支撑件中的CMOS摄像机。在一些实施例中,该器具包含控制面板,该控制面案用于诸如设置和/或操作该器具等活动。
在一些实施例中,该摄像机被连接或附接到该控制面板,并且视情况或作为替代,该摄像机处于该控制面板的远端并与该控制面板相连接(例如,通过有线或无线方式)。
在一些实施例中,该器具包含用于以可拆卸的方式将该器具紧固到图书的附接构件,诸如在图书封面上滑动并夹紧的夹具。举例来说,在该包封的边角处,或该图书的中脊处(即,该包封中在该书页边缘上的一部分),或在该图书的封底的中心处。
在一些实施例中,该器具包含基座,用于盛放图书,视情况,该附接构件连接到该基座。
图1A示意性所示为根据本发明的示例性实施例的用于俯视观看的读书体验提升器具100。器具100包含以下部件,和/或由以下部件构成。
(a)摄像机110,安装在支撑件102上;(b)可选的控制面板104;(c)书附接构件106,诸如弹性和/或可挠的夹具;(d)用于盛放图书的可选基座108,其中视情况,基座108为可伸展和可缩回的(例如,通过滑动板),以容纳某一大小的图书;(e)可选的边角调整器116,用于重复性地相对于图书和/或书页来安置该器具。
图1B示意性所示为根据本发明的示例性实施例的用于俯视观看的读书体验提升器具100的概要图,该读书体验提升器具100与图书999相连结。图书999盛放于基座108上,而该摄像机(未图示)安装于摄像机支撑件102上,从而至少部分地(例如,通过宽角度透镜)来提供关于奇数页和偶数页的视图。
应强调,对两页均观看仅为实例,而在一些实施例中,独立地观看其中每一页,如下文所描述。应注意,基座108和/或附接构件106为可选附件,而在一些实施例中,器具100包含摄像机110和控制面板104,其中摄像机110安装在支撑件102上,或者以其他方式相对于该图书安置在另一位置上,和/或远端地安置在一结构(例如,玩偶或灯具)或人员身上。
在一些实施例中,将器具100形成为包含摄像机、控制面板和附接构件的结构。在一些实施例中,在特定位置中将该器具附接到该图书,以允许至少在可接受的边沿内进行连续的重复性的附接(使得在不同的外壳中该摄像机会包含不同书页中的相同部分)。举例来说,在奇数页和偶数页的订口处或附近处附接该器具。
图1C示意性所示为根据本发明的示例性实施例的在书页的订口114处附接到图书封面112的用于俯视观看的读书体验提升器具100,而图1D示意性所示为根据本发明的示例性实施例的在书页的订口114处附接到图书封面112的用于俯视观看的读书体验提升器具100,其中已翻开几页。
图1A至图1D所示为大体上在图书上方进行观看的摄像机。相对于该图书或书页的摄像机的视点可以在该读书体验提升器具的不同实施例之间变化,尽管在一些特定实施例中该视点是重复性的,至少在一定程度上对所拍摄到的图像进行了重复。
在一些实施例中,该摄像机的视点大体上垂直于该书页,或者在一些实施例中,该视点相对于该书页为倾斜,或者在一些实施例中,该视点处于该图书或书页的某一侧,从而提供有关书页的粗浅或表面的视图(“侧”视图)。
图2A至图2D示意性所示为根据本发明的示例性实施例的读书体验提升器具100的摄像机110的各种可能的外壳位置,其中点线箭头示意性指示出摄像机110朝向图书的观看方向。
图2A所示为在人员身上进行安放的两个可能的位置,图2B所示为在灯具上进行俯视和侧视观看的相应位置,图2C所示为在玩偶(例如,泰迪熊)上进行俯视和侧视观看的相应位置,而图2D所示为在由使用者(例如,儿童)所手持的玩偶上安装的摄像机。
在一些实施例中,摄像机同时观看左书页和右书页,视情况,会通过图像处理(例如,利用霍夫变换来找到在两块空白边沿之间的连线)来确定将两页划分的边界(接缝),从而在两页之间做出区分。在一些实施例中,摄像机对于每一页具有交替的视角,诸如具有包含双重透镜或分开的透镜的双重感测元件,或者通过使用单个感测元件并应用(例如)经同步化的旋转的或振动的反射镜。在一些实施例中,在使用激光扫描时,可以使用光束控制(beam steering)。
在一些实施例中,使用两个摄像机,一个观看奇数页,而另一个观看偶数页。视情况,可使用两个以上的摄像机来覆盖在同一书页中的多个区域。
在一些实施例中,可使用额外的摄像机来专用于拍摄该器具的使用者的图像或视频(例如,正在进行读出的儿童或者是正在朗读(正在录音)的父母)。在一些实施例中,所拍摄的图像或视频与录音和/或读出相关联或以其他方式同步化。举例来说,该等图像被存储为与书页签名相关联,或者说是,声音磁轨与书页签名相关联。
在一些实施例中,该摄像机还用于将由投影器所投影的任何其他投影光束的图像“精细调谐校准”到书上的特定点、特定字符、特定词或特定区域。在一些实施例中,该摄像机或额外的摄像机还拍摄使用者的姿势(例如,手部姿势或面部姿势),以用于在随后使用相同姿势时将该姿势与阅读媒体建立关联,即“使用者姿势提升内容(user-generated-gesture-enhancement)”。在一个实施例中,摄像机,也就是第二摄像机会拍摄使用者相对于故事文本的姿势。在另一个实施例中,在第一名使用者正在阅读该故事时,当他/她指向书页中的一个位置时(“这是一棵树”),本文中所描述的方法中所用的***会保存该数据。当随后的使用者指向相同位置时,带有第一名使用者语音的反馈会被播放出来(说出:“这是一棵树”)。
在一个实施例中,会使用嵌入式的视觉辨认器具,以将该投影精确地校准到在该阅读媒体上的准确位置及相关位置(例如,词或字母)。
图3A示意性所示为根据本发明的示例性实施例的用于书口观看的变体读书体验提升器具100s。摄像机110安装在支撑件102上,略高或在一定程度上高出书页,从而可以在图书的某一侧上看到奇数页摞和偶数页摞。诸如通过使用具有适宜或足够的景深。举例来说,具有10mm景深和90°视角的透镜(例如,“微距透镜(macro lens)”)。
图3B示意性所示为根据本发明的示例性实施例的用于书口观看的读书体验提升器具的概要图,该读书体验提升器具与图书相连结。注意到,根据一些实施例,支撑件102并非相邻于控制面板104,如图中例示,支撑件102在图书999的一侧而控制面板104在另一侧。举例来说,支撑件102和面板104可通过刚性或可挠的连接器或使用无线方法来连接。
图3C示意性所示为根据本发明的示例性实施例的用于书口观看的读书体验提升器具的摄像机所获取的图像300。图像300展示了页摞302的图案304,如虚线括号所指示。
在一些实施例中,该摄像机对书口进行周期性的快照,并对所接收的图像进行分析,方式是通过检测黑白像素增量(pixel delta)且对书页和页间的分隔符进行识别。该分析对书页的数目进行计数,并识别出当前打开的书页和/或翻页事件。
在一些实施例中,使用机电式器具来测量页摞的厚度以导出当前打开的书页。视情况或是或者,使用该机电式器具来检测或启动一翻页事件。可作为对摄像机的添加或是替代,来使用此类翻页机构。
图4A示意性所示为根据本发明的示例性实施例的对图书999的页摞302的厚度进行计量的机电式读书体验提升器具400。
器具400包含主体404,主体404含有臂410,臂410安装于枢轴406上,其中臂410按压在图书999的书页上,诸如通过在主体404和/或枢轴406中所构建的弹性元件,或通过重力。臂410相对于主体404(或主体中所含的调节和/或校准的元件)的角度和位置指示了页摞302的厚度。视情况,使用力测量或张力测量,或基于位置(例如,使用连接到枢轴406的经校准的电位计),来测量此角度。
图4B示意性所示为根据本发明的示例性实施例的对页摞302的厚度进行计量的机电式读书体验提升器具400的截面图。
图4C至图4D示意性所示分别为根据本发明的示例性实施例的机电式读书体验提升器具400相对于图书999的后视图和俯视图。器具400包含用于相对于臂402来放置图书999的基座412。
在一些实施例中,该机电式器具包含一杠杆,该杠杆耦接到按压在书页上的臂,该杠杆抬高该臂以允许翻页,或者,视情况,以触发翻页事件的检测。
图4E示意性所示为,根据本发明的示例性实施例,通过杠杆408来抬高机电式读书体验提升器具400的臂410以允许进行翻页,进而将枢轴406旋转到比按压在书页上的程度更大的程度。当枢轴406旋转到更大程度时,枢轴406会视情况引发翻页事件的触发,诸如通过电位计,或开关,或由不透明元件所遮挡的光敏检测器(例如,在枢轴406或主体404中的微型开关或光中断器)。
在一些实施例中,读书体验提升器具使用其他方式或额外方法来推断在页摞中的当前打开的书页或数个页。举例来说,朝图书的书口发射短波辐射或RF波束,并对反射回的辐射进行处理,例如通过使用所属领域中的雷达或激光测距技术,以根据页摞的图案和/或厚度来确定当前打开的书页。
视情况或是或者,使用非光学成像技术,诸如超声波成像。举例来说,发出波封包并藉此推断页摞布置,诸如通过所属领域的回声检测或任何测距技术(例如,检测到反射回的回声的时间)。
在一些实施例中,作为独立单元或经整合的单元(例如,器具100),读书体验提升器具包含:(a)传感器(例如,摄像机或激光扫描器,视情况可包含多个);(b)处理器(视情况可包含多个,视情况包含诸如门阵列或宏单元等电路,视情况为***单芯片(SOC),与用于执行读书体验提升操作的可执行程序代码相耦接或连接);(c)存储器(视情况,包含在处理器中);(d)输出声电换能器(例如,微型扬声器,视情况包含麦克风或作为麦克风来操作,诸如通过压电元件);(e)输入声电换能器(例如,麦克风,视情况包含扬声器或作为扬声器来操作,诸如通过压电元件);(f)电源(例如,电池)。
在一些实施例中,该器具由电源来供电,并由该处理器根据程序来加以控制,使得该器具执行以下操作中的一者或多者:(a)启动该传感器,将该传感器的输出存储在该存储器中,并通过该处理器根据某一程序来处理该输出以导出书页的签名(视情况,响应于翻页触发事件来完成,见下文);(b)启动该输入换能器并将该输入换能器的输出存储为与该书页签名相关联的声音磁轨(记录/录音);(c)根据一书页签名,读取一声音磁轨,并启动该输出换能器来播放(生成)声音(读出)。视情况,存储中的声音磁轨和/或在网络下载(on the fly)过程中播放的声音磁轨经修改以提供诸如儿童或动物的声音效应或诸如回声等其他效应。
在一些实施例中,作为独立单元(例如,器具100)的读书体验提升器具进一步包含以下操作中的一者或多者:(a)使用者界面(例如,按键、指示器和/或触摸屏);(b)电源输入端口;(c)耳机和/或扬声器的输出端口;(d)麦克风的输入端口;(e)事件输入端口(例如,翻页事件);(f)用于从外部来源(例如,个人计算机或网站)下载外部数据(诸如声音磁轨,例如与书页签名相关的声音磁轨)的输入端口,视情况与输出端口组合(例如,USB端口);(g)用于将声音磁轨(例如,与书页签名相关的声音磁轨)上载到外部来源(例如,个人计算机或网站)的输出端口,视情况与输出端口组合(例如,USB端口);(h)用于对该存储器进行扩展的插座或端口(例如,用于SD卡的插座);(i)用于接收和/或发射数据和/或音频串流的发射器/接收器(例如,蓝牙)。
在一些实施例中,该器具所包含的电路和/或程序经设计及编码以根据预设的设置(例如,“狗”、“猫”、“婴儿”、“儿童”)或其他预设的设置来改变或修改声音。
在一些实施例中,该器具所包含的电路和/或程序经设计及编码以响应于翻页事件(例如,触发事件)来提供预设声音,该声音视情况可选自多种声音,或者视情况,从多种声音中进行确定。在一些实施例中,提供关于翻过最后一页的声音。在一些实施例中,由该处理器根据某一程序来执行和/或控制上述操作(可执行,可控制)。
在一些实施例中,使用诸如摄像头或手机中所用的商品部件,或现成SOC(例如,诸如MP4播放器等器具中所用的多媒体SOC或其相似物),和/或其他商品电子部件(例如,压电扬声器或麦克风)来构建读书体验提升器具,诸如独立单元(例如,器具100)。
在一些实施例中,读书体验提升器具为独立单元(例如,器具100),并且不包括输入换能器,并且视情况而仅用作读出单元,其中声音磁轨是从外部来源(例如,网站,或者诸如iTunes(苹果公司)等网站服务或相似服务)下载的。
图5示意性所示为根据本发明的示例性实施例的呈独立单元形式的读书体验提升器具500的配置。耦接到存储器504的处理器502与传感器(例如摄像机)110、扬声器(输出换能器)506以及麦克风(输入换能器)508进行互动。诸如电池510等电源给器具500供电。视情况,器具500进一步包含用于对使用者界面518进行控制的控制面板516。视情况,使用者界面518至少部分地独立于控制面板516。
在一些实施例中,使用者界面518会提供指示,诸如对摄像机的干扰(例如,阴影和/或模糊的图像)、图书和/或书页未被辨认出的通知,或电池的电量。在一些实施例中,使用者界面518提供一些能力,诸如观看正在读书的读者(视情况,可通过相连接的屏幕),或者后退/前进控制以调整对书页的读出(在诸如由于摄像机受到干扰而发生不匹配的情况中)。在一些实施例中,使用者界面518可在图书(和/或摄像机)不存在的情况下来读出图书和/或其书页,诸如在睡前念个故事。
器具500进一步包含用于部件或能力或方法的可选界面514,诸如用于翻页检测器的界面,或用于外部存储器或外部连接的界面,诸如与计算机或网站的外部连接,或用于外部器件的界面,图中所示的一个连接为用于显示器512的连接514d。箭头指示的是在部件之间的可能的互动,而以虚线指示的部件大体上指示的是可选的部件。
在一些实施例中,读书体验提升器具并非实施为独立单元,而是通过使用零部件来实施,并非包含或整合在单个器具或装置中。在一些实施例中,使用了外部资源或部件,例如,外部扬声器或麦克风。在一些实施例中,除控制面板以外,或者作为控制面板的替代方案,使用外部键盘和/或屏幕来作为使用者界面。
在一些实施例中,作为独立单元或经整合单元的读书体验提升器具进一步包含图像/视频支持器件,诸如能够以与MP4播放器相似的质量和/或大小和/或解析度来显示图像或视频或动画的屏幕。例如,约175mm x 220mm x 50mm。在一些实施例中,还使用该屏幕来作为使用者界面(例如,触摸屏)。举例来说,读者可使用此类屏幕来选择要在播放朗读时播放的特殊音效,或者选择伴奏音乐(例如,让儿童来选择)。
在一些实施例中,该器具经配置以定位与书页签名相关的图像和/或视频片段(文件),并将该等图像和/或视频片段连同声音磁轨一起播放,并相对于声音磁轨以一定顺序播放。在一些实施例中,该器具进一步包含***机,该***机用于对使用者(或是图书的读者,例如在录音期间)进行拍摄(包括静止图像和/或视频片段),并存储与书页签名相关的图像和/或视频片段(包括本端存储或远端存储,例如在另一计算机或网站上)。
视情况或作为替代,可使用屏幕和/或摄像机(例如,传感器)来在该器具的使用者之间进行互动。举例来说,该音频读出内容会伴以同步的所拍摄到的图书的读者(记录者)的视频,诸如通过整合在该器具或外部摄像机的摄像机(例如,摄像头,见下文)。视情况或作为添加,该屏幕显示一些相关的视频或动画,视情况,包括分开的屏幕或嵌入式的窗口。
在一些实施例中,作为独立单元或经整合的单元的读书体验提升器具包含其他感测支持器件,诸如用于对图书的书页的读出进行修饰的部件。举例来说,伴随读出时操作的触觉部件,诸如通过有关书页内容的振动(例如,挠抓感测),或根据书页内容释放香气的嗅觉器件,或将相关图像投影到书页上的视频投影器(例如,适用于儿童的微型LED投影器)。在一些实施例中,将对于盲人使用者可读的输出器件提供为该器具的一部分或连接到该器具,例如,携带型盲文点触设备(portableBraille display)。
在一些实施例中,标准产品或现成产品包含作为独立单元的读书体验提升器具(例如,作为器具100)的部件中的至少一些或全部,其中可例如通过提供适宜的软体而含有可选的修改(例如下文所描述)。在一些实施例中,计算机(例如,台式计算机或笔记本计算机)用于读书体验提升。
举例来说,该计算机载有程序,该程序经设计和编码以实行读书体验提升的操作。与该计算机相附接或耦接的摄像机用来获取所观看的书页,并且该计算机对所获取的数据进行处理并导出该等书页的签名;或者,例如,扬声器附接到该计算机并用于读出在本端或远端所存储的声音磁轨;或者,例如,将麦克风附接并用于记录书页的朗读;或者,例如,使用该屏幕来显示图像或视频片段;或者,例如,该计算机的键盘和/或屏幕用在读书体验提升的使用者界面中。
在一些实施例中,诸如笔记本计算机等计算机包含读书体验提升中所用到的部件中的至少一些部件(例如,扬声器或摄像机),而其余部件则通过连接来装入,或者用外部部件(例如,经适当定位来观看这些书页的外部摄像机)对当前部件进行补充,而该计算机载有程序,该程序经设计及编码以实行读书体验提升的操作。
在一些实施例中,携带型器件包含作为独立单元的读书体验提升器具中的部件中的至少一些或全部。举例而言,一些智能手机,或一些其他的手持式单元,诸如平板计算机、PDA,或小型的微型笔记本计算机或微型平板计算机(mini-notebooks or pads)(本文中称作“智能手机”),会包含(例如,内建式的)可编程的处理器、摄像机、麦克风以及备用存储器及附属存储器,在一些情况中还包含与外部资源(诸如计算机及网站)的连接(例如,使用蓝牙、WiFi和/或3/4G)。
因此,在一些实施例中,可至少部分地在智能手机中或结合智能手机来实施作为独立单元的读书体验提升器具(例如,与器具100相似)。在一些实施例中,实施读书体验提升器具包含使用程序来对智能手机进行编程(例如,通过载入或以其他方式添加),该程序经配置以利用智能手机中的读书体验提升资源。视情况或作为添加,该存储器载有与该图书的签名相关的声音磁轨。
举例而言,该智能手机的摄像机用于观看书页,并且该图像由该智能手机的处理器来进行处理以导出该书页的签名;或者,举例来说,该智能手机的麦克风用于记录对书页的朗读,并且该处理器将该等声音存储在该智能手机的存储器上;或者,举例来说,该处理器定位与书页签名相关的声音磁轨(可以是本端存储的,和/或远端存储的),并相应地启动该扬声器;或者,举例来说,该智能手机的键盘和/或屏幕用作使用者界面。
在特定实施例中,使用配件来将该智能手机安装在跟图书有关的已知配置中。在一些实施例中,提供流程和/或程序(例如,在存储卡中)来对智能手机进行校准和/或调适以进行读书体验提升。
图6A示意性所示为根据本发明的示例性实施例的以标准器件600为基础的读书体验提升器具的安置。将器件安装在可选的支撑件602上,以便于通过传感器(摄像机)110来适宜地观看图书999,视线大体上如虚线604所示。
图6B示意性所示为根据本发明的示例性实施例的基于智能手机600b的读书体验提升器具的安置。智能手机600b安装在可选的支撑件602上,以便于通过摄像机来适宜地观看图书999。在一些实施例中,该智能手机的按键和/或屏幕可以充当使用者界面,诸如使用者界面606。
在一些实施例中,当该智能手机(和/或另一计算机)不包含且不包括所需部件或所选部件时,使用一程序来例如通过有线或无线方式连接外部部件,该程序经编码以支持该连接以及所连接的部件。举例来说,可使用此类方案来连接触觉或嗅觉器件,或立体声或环绕声扬声器。在一些实施例中,提供附件来固持该智能手机,使得该智能手机的摄影机经适宜定位以观看该图书的书页,和/或将经适宜安装的摄影机连接来代替内建式摄影机。
本文中所用术语“读书体验提升器具”,除非另有说明,指的是经编程和/或经配置以用于读书体验提升的独立装置或经整合的装置,或具有外部器件的装置,或标准智能手机。
下文将描述或论述利用读书体验提升器具的一些示例性描述,其中将摄像机用作一个传感器(机电式器具)或多个传感器的组合的非限制性实例,除非另有说明。
因此,不加限制,假设书页(和/或图书)、签名(代码)及数据存储经标准化以使得通过某一个器件或器具或装置获取的声音磁轨与其他器件或器具相兼容。
出于简明,不加限制且除非另有说明,提及声音磁轨或文件在被支持时视情况包含视频或其他形式的文件,诸如触觉和/或嗅觉演示。
出于简明,不加限制且除非另有说明,提及对书页进行的朗读会视情况暗示着文字的朗读和/或书页中所含内容的描述(诸如与书页(和/或图书)相关的图像和/或任何信息),和/或在所提及的项目处将图像和/或视频拍摄转换为书页内容的读出或演示(反之亦然)。
出于简明,不加限制且除非另有说明,提及对记录及读出会视情况分别暗示着语音和/或图像和/或视频和/或指标器或所指项目的记录和演示。此外,不加限制且除非另有说明,对记录或读出的提及可分别包括将该记录存储为与书页签名相关联,并根据书页签名来进行撷取。
示例性的摄像机及光学透镜***可包含:俯视观看:图像解析度:320x240像素;像素值:8位灰阶;摄像机距页摞高度:5cm;摄像机的倾角:45度;摄像机的FOV:60度;摄像机的帧速率:每秒10个帧。书口观看:图像解析度:1280x1024像素;像素值:8位灰阶;摄像机距页摞距离:1cm。
示例性携带型器件:处理时钟速率:64MHz;RAM:512kB;工作电源:3V(供应自2或3AA或AAA电池或AC/DC变压器);重量(不加电池):100gm。
使用签名的示例性操作;记录阶段。在适用时,建立用于朗读(记录)的器具。对于要朗读的每一书页:(a)拍摄该书页或该书页中的某一部分的图像(或一对书页或封面);(b)对该图像应用数学编码函数,从而生成与该图像相关的数字序列来作为签名(参考签名);(c)记录对该书页进行的朗读;(d)将该签名存储为与该当前记录的音频信号相关联。在适用时,建立用于读出(播放)的器具。
对于要朗读的每一书页:(a)拍摄该书页或该书页中的某一部分的图像(或一对书页或封面);(b)对该图像应用数学编码函数,从而生成与该图像相关的数字序列来作为签名(当前签名);(c)将该当前签名与参考签名(诸如在记录阶段的操作d中所存储的)进行比较。可通过对两个签名,即当前签名和参考签名所应用的数学相似性函数进行评估来执行该比较。该相似性函数可以返送出一个数量,该数量指示在该函数所应用的该两个签名之间的相似程度;(d)读出(播放)具有最高相似程度的签名的所存储的记录。
在该相似性函数返送出相对于两个参考签名的两个接近的最高程度值的情况下,会生成一个指示,来告知该书页未被辨认出。接近的值暗示,举例来说,相对于最高值的在0%至约20%之间的差异。
对于该编码函数:(a)在彩色图像的情况中,将该图像转换成灰阶格式(该图像);(b)检测在该图像中的不同区域(特征);(c)获取所检测到的特征的位置(座标)及大小(尺度);(d)获取针对每一特征的描述符,该描述符包含长度为128的单位向量,其囊封了在对应于该特征的区域中的光强梯度方向的统计数据;(e)提供所检测到的特征的集合,连同其对应描述符一起,来作为该图像的签名。
对于该相似性函数:(a)将在一签名中的每一特征的位置及大小与在另一签名中的每一特征的位置及大小进行比较;如果该两个特征位于彼此相距的预定义最大距离内(例如,50像素),并且在该两个特征的尺度之间的比率足够接近1(例如,在1/1.3至1.3之间),那么将此对特征的差异性设定为该两个特征的描述符的内积的反余弦。否则,将该两个特征的差异性设定为无穷大(例如,表示无穷大的一个专用值);(b)通过最小差异性来检查一对特征;如果该对特征的差异性小于预定义的阈值(例如,0.45弧度),那么该两个特征被设计为匹配。否则,跳到以下的操作f;(c)对成对的特征进行检查,检查是否存在以下情况:在所有这些特征对中,没有一对特征被设计为匹配以及处于最小差异性范围内。如果不存在此类特征对,跳到以下的操作f;(d)如果在操作c中发现的特征对的差异性小于前文提及的预定义阈值(操作b),那么该两个特征被设计为匹配。否则,跳到以下的操作f;(e)返回到操作c;(f)将该两个签名的相似性提供为在0与1之间的值。
该相似性被提供为N3/(N1+N2),其中N1及N2表示在两个特征中的特征数目,而N3表示被设计为匹配的特征的总数目。
在一些实施例中,将书页签名的数据结构布置为[特征1、特征2…特征N],其中特征的结构为[x座标,y座标,大小(半径),描述符],其中描述符为由128个数组成的向量。
在一些实施例中,指标器功能可包含手指或光点或其他物体,诸如使用棒或笔来点在书页的词或说明或其他元件上(指标器)。在一些实施例中,检查指标器的位置,视情况会将其作为该书页的特征,并且将其位置连同该签名一起存储(例如,与该签名相关联)。在一些实施例中,该指标器位置的存储及撷取与声音的记录及撷取相似。
示例性基本情形:相同单元。在一些实施例中,诸如器具100等同类器具用于记录及读出。
建立读书体验提升器具,例如,将图书适宜地安置以供摄像头观看,打开电源,并且可能的话设定一些所需的设置(例如,记录,或摄像头亮度,或对比度)。
视情况,当父母或(外)祖父母等人阅读图书中的某些书页或多本图书时,所提及的项目会被指出。此番朗读会被记录,并且该器具会被送给儿童,视情况还可以把书也送给儿童。
随后,儿童(视情况在大人的协助之下)会将该器具建立在图书上,并且儿童在打开书中的某一书页时,会同时打开当前打开的书页的读出。
在一些实施例中,该儿童(可以在大人的协助之下)选择读出格式或布置。举例来说,模仿玩偶,或猫,或婴儿,或其他生物或声源,和/或设置读出的速度和语句间隙,或选择伴以音频磁轨和/或视频磁轨。
在一些实施例中,可以选择预设的翻页声音,使得当翻过一页时,启动该声音。举例来说,“现在让我们来看下一页”,或者,例如,某个过渡声音。
独立的单元。在一些实施例中,诸如器具100等独立的器具用于记录和读出,诸如(外)祖父母和儿童均具有一个此类器具的情况。
建立读书体验提升器具,例如,将图书适宜地安置以供摄像头观看,打开电源,并且可能的话设定一些所需的设置(例如,选择要读出的图书,记录,或摄像头亮度,或对比度)。
视情况,当父母或(外)祖父母等人阅读图书中的某些书页或多本图书时,所提及的项目会被指出。将该朗读记录下来,并且视情况,通知该儿童,图书为他而读。将该记录发送给该儿童,例如,通过电子邮件。
视情况,当儿童将他的器具连接到电脑时,在该器件和/或计算机上的软件会检查是否存在可下载的朗读,并将这些朗读下载到该器具。在一些实施例中,当儿童起动该器具时,并且该器具已连接到互联网和/或伺服器(见下文)时,启动该器具与该记录的同步化(与两台计算机之间的包含文件同步化的语音沟通同步化相类似)。
随后,孩子(视情况在大人的协助之下)会将他的器具建立在图书上,并且孩子在打开书中的某一书页时,会同时呈现当前打开的书页的读出。在一些实施例中,书页的读出为自动启动,或是响应于某一事件来启动,诸如翻页或通过使用者介面控制。
在一些实施例中,书页可用多种语言或方言来朗读,以便于具有相应语言或方言的听众进行选择性撷取。在一些实施例中,器具设置有双语声音磁轨,诸如用于改善儿童的外语技能,例如通过将以母语进行的读取与以外语进行的读取进行比较。
在一些实施例中,通过机器阅读来朗读书页或对书页进行补充(例如,OCR及向声音磁轨的转换,将文字转化为话语)。视情况,直接从图书或图书内容的数字表示中生成此类声音磁轨。
在一些实施例中,获取与书页内容(或图书)相关的声音磁轨,或准备(例如,记录)或合成此类声音磁轨,并将此类声音磁轨与对应于书页的签名相关联。举例来说,与图书整体或图书中的书页或词相关的风、飞机、汽车、火车或其他声音。
在一些实施例中,获取或准备诸如翻页声音效应(例如,蜂鸣声或嗖嗖声)或其他声音效应(诸如背景声音)等声音效应,诸如通过合成。如上准备的此类声音磁轨被存储为与相应的书页(或图书)签名相关联,以便于读书体验提升器具来可选地撷取。
随后,在一些实施例中,儿童(视情况在成人的帮助之下)将其在另一实施例中所用的器具或外壳安装到图书上,并使用通信网络连接到存储有相关声音的网站。在选出了要提升的图书之后,选出在其中可选地包含音效的声音磁轨,并将该等声音磁轨下载到该器具,视情况根据所选的或预设地语言(例如,在自动指示该语言的器具中)。或者或作为替代,保持该器具与该网站的连接,访问这些声音磁轨,并以网络下载(“on the fly”)的方式进行撷取。
随后,当儿童打开该图书的书页时,便会展示出当前打开的书页的读出,并会伴以所选择的额外的音效(诸如特别的语音),或者其他音效,诸如与这些内容相关的音效:书中内容,或所指词汇,或翻页效应,或读前声音磁轨和读后声音磁轨(introductory and ending track),或背景声音或音乐。
在一些实施例中,图书本身存储在网站中,视情况还会存储有相关声音,以供选择性下载。因而,如果儿童不能直接获得某一图书,那么可从网站下载(例如,以PDF格式)图书本身(或书中某一部分),并在本端进行印刷,并将该等书页(视情况可为装订的或夹在一起的)与读书体验提升器具安置在一起,按上述方法来使用。
在一些实施例中,在诸如记忆卡(例如SD)或USB驱动器等媒体上来获取和/或下载这些声音磁轨,视情况最好伴有相应的印刷好的图书。举例来说,可将同时包含图书和媒体的封包赠送给孩子。在一些实施例中,通过无线连接或任何其他连接(诸如通过互联网)来获取和/或更新这些声音磁轨。
在一些实施例中,儿童的亲属(例如,父母或(外)祖父母)可视情况来朗读图书,并从网站上获取额外的声音磁轨(例如,音效),并将这些声音磁轨发送给儿童,因而提供个性化读出,并用这些音效提升了儿童的读书体验。视情况或作为替代,这位亲属将该朗读和音效载入到该器具中,并将该器具,连同该图书一起,发送给儿童。
在一些实施例中,该儿童的亲属(例如,父母或祖父母)可视情况来朗读图书,并将该朗读的声音磁轨发送到存储有相关声音磁轨(例如,音效)的网站,以供儿童选择性撷取。
在一些实施例中,词的朗读(记录)或读出可用作触发事件。在一些实施例中,该词被检测出并且触发一事件,诸如通过将词波形图案与其他声音图案互关联,和/或基于词的声学特性来识别该词的动态时间规整(DTW)。在一些实施例中,诸如通过潜藏的马尔科夫模型(Markov model)来使用话语对准。
在一些实施例中,词或文字触发事件;触发出启动声音和/或视频效应的事件,诸如读前声音或视频,或修改声音间隔,或模仿另一个人或动物的声音或任何其他音效,其中一些在上文中描述过。
在一些实施例中,给这些声音磁轨加上标签和/或以其他方式进行标记或布置,来进行预设和/或已确定的读出。举例来说,将这些声音磁轨发声的次序连同这些声音磁轨一起指示,或者在伴随的数据(例如,文件)中指示出。或者再例如,将一组规则或指令及条件(计划)进行设计及编码(例如,作为脚本),并将该等声音磁轨根据该计划来进行布置。视情况或作为替代,该计划会伴随这些声音磁轨,并且该器具经配置以根据该计划或该计划中的一部分来读出这些声音磁轨。举例来说,该器具的程序经设计及编码以供处理器来执行该计划,或将经设计及编码以执行该项计划的额外程序模块添加到该器具中,诸如通过记忆卡或下载或任何其他输入方法。
在一些实施例中,诸如上文描述的组织方法会设计、编码和/或准备一个工具包(例如,一组程序),来用于进行计划以使得使用者(例如,儿童,视情况,在成人的帮助之下)能够组织出朗读和音效的序列。
在一些实施例中,该工具包会存储在网站上,或从本端电脑上来下载,其中该工具包用于对读出进行计划。在一些实施例中,该读书体验提升器具通过计划程序来进行布置,而在一些实施例中,基于本端声音磁轨(例如,所记录的或先前获取的声音磁轨)和/或所下载的声音磁轨来在该器具上准备该布置。
示例性社交互动。在一些实施例中,诸如器具100之类的器具会鼓励在图书的收听者(诸如儿童)与朗读者(诸如父母)之间的互动。举例来说,该器具会生成一个提示,诸如通过音频或视觉消息来鼓励互动。在一些实施例中,通过将“谢谢你”等信件、电子邮件或多媒体消息发送给该录音人员来进行该互动。视情况或此外,该互动包含在一项服务中将“谢谢你”声音磁轨和/或视频片段添加到与该图书相关的存储中(见下文)。
在一些实施例中,设计、编码并执行(可执行的)一个用于自动或半自动“排列(staging)”声音磁轨来提升读书体验的程序,以布置和/或编排和/或排序有关图书的声音磁轨(下文中称为“排列程序”或“排列”)。在一些实施例中,按照诸如上文所述的组织方法来执行或进行该排列。
在一些实施例中,该排列包含所获取的图书朗读的声音磁轨,例如,通过对大声朗读进行录音或以其他方式进行获取,诸如通过OCR以及话语生成或从另一来源来获取(例如,从讲故事的人那里获取)。在一些实施例中,该等声音磁轨包含诸如上文所述的音效。
在一些实施例中,该等声音磁轨诸如通过话语辨认装置来处理,并对单个的词和/或词组(术语)进行辨认。将所辨认的术语就声音磁轨及其中所含时序来进行标记(加标志)。
在一些实施例中,基于加上标志的术语来设计及编码排列程序。在一些实施例中,该排列程序与上文描述的计划相似,但是其解析度为单个术语(例如,词和/或词组),而不是更粗糙的声音磁轨的解析度。
在一些实施例中,对声音磁轨进行布置(例如,手动或自动)来进行读出,在其中对诸如背景声音(或音乐)或与术语相关的声音或对朗读声音进行的规整等音效进行了序列化(例如,排列顺序,或连接或***到该朗读中)。在一些实施例中,在独立的文件(或独立的串流)中来准备该布置,以便于随后选择性地将该布置下载到提升器具中。在一些实施例中,通过标签或指标器或其他方法来准备该布置,使得在下载时经序列化的内容是可下载的。
在一些实施例中,在远端存储该布置,诸如在远端伺服器上或网站上。视情况或作为替代,将该布置存储在本端计算机上(例如,在下载之后)。
在一些实施例中,读书体验提升器具通过排列程序来进行配置,而在一些实施例中,基于本端声音磁轨(例如,所记录的或先前获取的声音磁轨)和/或所下载的声音磁轨来在该器具上准备该布置。
在一些实施例中,该工具包会存储在网站上,或从本端电脑上来下载,其中该工具包用于对读出进行排列。在一些实施例中,该读书体验提升器具是诸如通过排列程序来进行配置的,而在一些实施例中,基于本端声音磁轨(例如,所记录的或先前获取的声音磁轨)和/或所下载的声音磁轨来在该器具上准备该布置。
在一些实施例中,诸如当图书的朗读(例如,录音/记录)不可获取时,至少部分地基于已知或预期要展示的和/或与儿童图书相关的词或词组(术语)来准备排列程序,这些词或词组(术语)诸如“汽车”、“飞机”、“火车”、“风”、“猫”、“狗”、“奶牛”等。视情况,可从对于该组织方法可存取的先前朗读中存取或收集或以其他方式来获取这些术语,并将这些术语存储在儿童的该器具中。
应了解,本发明的一些实施例,诸如(但不限于)排列、脚本制作及指标可通过使用不同于本文所描述的书页识别符来实施或辅助实施,例如使用对书页上的RFID码或条形码进行读取的书页识别符***来对书页进行识别。
所指标的术语。在一些实施例中,在朗读中给词加上标志可以实现当儿童点到词上时(例如视情况在成人的协助之下浏览图书时)相应术语会被读出,视情况还可以具有个性化的语音(例如,名人的语音或宠物的语音),视情况还可伴以诸如相关的声音或回声等音效。
在一些实施例中,例如,根据经设计及编码的程序,会在屏幕上显示书页(或书页中的某一部分),该书页诸如网页或所连接的计算机屏幕或某个器具的屏幕,而在一些实施例中,在通过该网页或该器具或所连接的计算机来展示读出内容的同时,所读到的词(或术语)会被亮显(highlighted)(例如,黑体或着色,或将背景加以标记)。在一些实施例中,会使用指标器(例如,鼠标)来指向在屏幕上的某一术语,并会单独地朗读该术语。在一些实施例中,该程序允许诸如通过对该屏幕进行控制来提高或降低亮显的速率和/或朗读该等术语的速率。
在一些实施例中,对词(或术语)进行亮显鼓励或允许儿童(视情况在成人的协助之下)朗读词语,进而有助于朗读教学。视情况,一旦在得到请求之后(例如,通过人机界面元件),该词会被读出以帮助朗读,或会被用来确认(通过反馈)该儿童的朗读。在一些实施例中,在得到请求时,多个词会被光照以帮助儿童进行朗读,如上文描述。在一些实施例中,在得到请求后,可根据儿童的口味和/或能力来控制亮显的速率和/或亮显的次序。
在一些实施例中,读书体验提升器具经配置(例如,通过某一程序)以允许较快或较慢的读出,与此同时,还能至少明显地保持语音和/或音效的可理解性以及语言的自然。举例来说,可减少词与词之间的停顿。视情况,需配置能够对声音间隔进行修改的能力。
在一些实施例中,读书体验提升器具会伴以和/或装备以(例如,通过程序)用于操作该器具的指令,视情况可通过一个或多个音频演示和/或视频演示(例如,当屏幕可用时)来辅助。在一些实施例中,读书体验提升器具通过程序来配置以允许进行图书标记,例如,通过存储当前书页(或书页中的位置)以便随后连续进行读出。
在一些实施例中,图书会被某人(例如,儿童)画画或书写(例如,乱写),但通过进一步的提升,该图书仍会被当做新书来朗读。在一些实施例中,会通过其他情形中的一种或多种特征或元件来补充诸如上文所述的情形,从而在一些实施例中,提供更灵活和/或功能更强大和/或更全面的情形,具有补充的体验和/或能力和/或效果。举例来说,可以提供组合的计划程序和排列程序。
在一些实施例中,会支持其他变体,例如,提供(例如,购买)装备有声音磁轨或其他能力的读书体验提升器具,这些其他能力诸如图书图像和/或效果和/或程序(例如,计划或排列)和/或工具包(例如,用于计划或排列)和/或图像或视频。
在特定实施例中,该器具用于提供视觉效应,诸如对图书的书页进行朗读的朗读者的形象(例如,(外)祖父母)。在一些实施例中,将读书体验提升提供为服务,诸如通过网站。在一些实施例中,通过购买和/或租用有关读书体验提升的元件或能力来提供该项服务,从而为该服务提供者带来收益。在一些实施例中,通过网站来提供该项服务。
在一些实施例中,该项服务通过提供读书体验提升器具来提供读书体验提升,视情况该读书体验提升器具会装备有图书的声音磁轨和/或图书的图像,和/或连同印刷的图书。在一些实施例中,该项服务提供并维护图书中的或与图书相关的声音磁轨和/或视频磁轨的存储。下文会描述对该存储进行使用及存取的一些实例。在一些实施例中,该项服务通过提供声音磁轨(例如,连同音效)来提供读书体验提升。在一些实施例中,该项服务通过提供其他能力,诸如计划程序或排列程序或与此相关的工具包来提供读书体验提升。在一些实施例中,该项服务提供以外语录音的磁轨,以便通过该图书来学习外语。在一些实施例中,该项服务提供包含有关图书的评论或解释或批注的声音磁轨。在一些实施例中,该项服务提供用于协作朗读的能力,诸如父母远离儿童的情况,视情况诸如通过摄像头来在屏幕上进行展示。
在一些实施例中,图书中的或与图书相关的声音磁轨(和/或视频片段)可在使用者中间被共享,视情况或此外,使用者可以自己贡献出声音磁轨和/或视频磁轨来丰富图书存储。
在一些实施例中,与服务存储的连接提供了声音磁轨与器具的同步化和/或下载(诸如器具100或器具100的变体或作为提升器具的智能手机)。在一些实施例中,该项服务通过提供一个或多个程序来提供读书体验提升,该一个或多个程序用于对智能手机(或其他器件和/或部件)进行配置,进而实现读书体验提升。
在一些实施例中,该项服务提供与图书相关的其他项目。举例而言,提供与图书相关的其他印刷材料,诸如游戏(例如,拼图游戏),或相框,视情况也可作为在线服务。在一些实施例中,提供可以耦接到器具的装置,诸如视频及显示单元、触觉单元或嗅觉单元。
在一些实施例中,该项服务提供用于记录图书内容的朗读的能力,诸如通过连接到服务网站。视情况,随后,该记录(视情况还包含其他声音磁轨)为可获取的(例如,通过连接到该网站或从该网站下载),并用于在读书体验提升器具上进行读出。
在一些实施例中,该项服务通过促成本文所描述的方法来提供读书体验提升。
在一些实施例中,会在其他计算机(诸如使用者计算机)上维护声音磁轨和/或图书图像的存储。视情况,计算机中的存储与服务相链接。视情况,至少部分地通过该项服务的存储来更新该存储,视情况根据付费情况或其他商业布置来进行该更新,诸如根据给该项服务贡献声音磁轨的情况。
下文会描述用于使用读书体验提升器具(例如,器具100)的一些示例性操作流程。注意到,该等流程仅作为实例来使用,因此明确暗示存在其变体,诸如在不影响该等流程的结果和/或效应的同时变更操作次序。举例来说,可以交换记录书页磁轨与书页签名计算的次序。
图7A示意性所示为根据本发明的示例性实施例的在阅读(或记录)书页过程中用于提升读书体验的操作的概要。
展开图书中的一个书页以供该装置的传感器(诸如摄像机)来观看(702),并且该装置获取(导出)该书页的一个签名,视情况包括页码(704)。
某个人大声朗读该书页中的内容(或与该书页相关的内容),并对该朗读进行记录(706)。
将该记录存储为与该签名相关联,以便视情况进一步撷取(708)。
在需要朗读多个书页的情况中,展开另一书页以供该传感器来观看(712),以及重复操作循环(710)直至不再有书页需要朗读为止。
图7B示意性所示为根据本发明的示例性实施例的在阅读(或记录)图书过程中的操作。
将图书附接到读书体验提升装置(或器件,或器具),其中将该图书封面呈现给该装置的传感器(714)。
通过按下在使用者界面上的按键(诸如在该装置的控制面板上的“记录”键),便起动了记录(716),诸如通过按下在使用者界面上的按键,便起动了书页识别(718),这样,便起动了书页识别操作。视情况,书页识别可以为瞬时的,并在获取签名之后便停止。
朗读该图书封面(例如,书名、作者或其他类的描述)并进行记录(720),并将该记录与该书页识别信息一起保存(722),包含页码,其中视情况,图书封面页码设为0或另一特定数字。
翻过一书页(724),触发翻页事件(726)(例如,通过在该书页上的检测器)。
开启书页识别,对当前打开的书页进行识别(728),并将当前的音频(朗读声音)与该书页识别信息一起保存(732)。视情况,书页识别可以为瞬时的,并在获取签名之后便停止。
如果要朗读多个书页,该循环会重复(730),直至停止该图书的阅读为止,停止的方式是按下某个按键,诸如在使用者界面上的“停止”按键(734)。
图7C示意性所示为根据本发明的示例性实施例的使用用于俯视观看的器具来阅读(或记录)图书过程中的操作。
选择一图书,此时该图书仍是合着的,启动该记录,诸如通过使用者界面(741)。该器具起动对于新的音频磁轨的记录(742),并对图书封面的图像进行拍摄,并计算出该图书封面的签名(743)。打开该图书的第一书页,并启动“新的书页(new page)”事件(744)。该音频磁轨的记录中止,并被保存为与该图书封面签名相关联(745)。该器具开始将所打开的书页的朗读记录在新的音频磁轨中(746)。拍摄该书页的图像,并计算出该书页的签名(747)。如果朗读结束,便启动“结束记录模式(exit recording mode)”,或者,如果还有其他书页要朗读,启动“新的书页”(748)。该书页的音频磁轨的记录中止,并将该磁轨保存为与该书页的签名相关联(749)。该器具会检查是否已启动了“结束记录模式”(750)。如果已启动该模式,那么该朗读完成(751)。否则,会开始另一操作循环(752),来记录另一书页(746)。
图7D示意性所示为根据本发明的示例性实施例的使用用于书口观看的器具来阅读(或记录)图书过程中的操作。打开一图书(761)。选择一本图书(诸如通过使用者界面),并启动“记录”(762),以及开始将音频磁轨记录到新的音频磁轨中(763)。拍摄页摞的图像(在该图书的厚度处),并计算出在该页摞中的书页数(计数)p1(764)。拍摄该页摞的图像,并计算出在该页摞中的书页数p2(765)。该器具会检查是否满足条件p1≠p2,或者会检查是否已启动“结束记录模式”(766)。如果不满足该条件,则开始另一操作循环(773),其中会拍摄该页摞的图像并计算在该页摞中的书页数(765)。如果满足该条件,则中止该音频磁轨的记录并将该音频磁轨的记录保存为与书页计数p1相关联(767)。该器具会检查是否已启动了“结束记录模式”(768)。如果已启动该模式,那么该朗读完成(769)。否则,开始另一操作循环(772),其中会拍摄该页摞的图像并计算在该页摞中的书页数(765)。
图8A示意性所示为根据本发明的示例性实施例的在读出(或播放)书页过程中的操作的概要。展开图书中的一个书页以供该装置的传感器(诸如摄像机)来观看(802),并且该装置获取(导出)该书页的一个签名,视情况包括页码(804)。将所存储的与该签名相关的声音磁轨(在图7A中见708),撷取(806)并播放(读出)(808)。在需要播放多个书页的情况中,展开另一书页以供该传感器来观看(812),以及再次重复该循环(810)直至不再有书页需要朗读为止。
图8B示意性所示为根据本发明的示例性实施例的在读出(或播放)图书过程中的操作。将图书附接到读书体验提升装置(或器件,或器具),其中将该图书封面呈现给该装置的传感器(814)。使用该使用者界面来选择该图书(如果使用屏幕的话使用诸如图书或书名的代码)(816)。通过按下该使用者界面的一个按键(诸如“播放”按键)来起动读出(818),并起动书页识别(820)。根据所存储的记录,将与该书页签名(和/或号码)相关的声音磁轨起动或读出(822)。视情况,书页识别可以为瞬时的,并在获取签名之后便停止。当翻过一书页时(824),便触发了翻页事件(826)(例如,通过在该书页上的检测器),起动书页识别(828)。根据所存储的记录,将与当前书页签名(和/或号码)相关的声音磁轨起动或读出(832)。如果要朗读多个书页,该循环会重复(830),直至停止该图书的阅读为止,停止的方式是按下某个按键,诸如在使用者界面上的“停止”按键(834)。使用俯视观看器具来读出图书(播放)
图8C示意性所示为根据本发明的示例性实施例的使用用于俯视观看的器具来读出(或播放)图书过程中的操作。选择一图书,此时该图书仍是合着的,启动“读出”,诸如通过使用者界面(841)。拍摄图书封面的图像,并计算出该封面的签名(842)。根据该封面签名来辨认该图书,并且将该等音频磁轨及相关的书页签名载入到诸如RAM等存储器中(843)。读出(即播放)该封面的音频磁轨(844)。
拍摄一图像,并计算出该图像的签名(845),对与该签名相关的书页进行辨认(846)。该器具会检查是否满足这一条件:上次辨认的书页是否不同于与上次播放的音频磁轨相关的书页,或者检查是否已启动“结束读出模式(exit readout mode)”(874)。如果该条件未被满足,则开始另一操作循环(853),其中会拍摄图像并计算出相应的签名(845)。如果该条件被满足,则中止该音频磁轨的读出,除非整个磁轨已播完,读出已停止(848)。该器具会检查是否已启动了“结束读出模式”(849)。如果已启动该模式,那么该读出完成(850)。否则,开始另一操作循环(852),其中会拍摄图像并计算出相应的签名(845)。
图8D示意性所示为根据本发明的示例性实施例的使用用于观看书口的器具来读出(或播放)图书过程中的操作。打开一图书(861)。诸如通过使用者介面来选择一图书,并启动“读出”(862)。拍摄页摞(厚度)的图像,并计算出在书页数(计数)p1(863)。启动与书页计数p1相关的音频磁轨的读出(864)。拍摄一图像,并计算出书页数p2(865)。
该器具会检查是否满足条件p1≠p2,或者会检查是否已启动“结束读出模式”(866)。如果不满足该条件,则开始另一操作循环(873),其中会拍摄该页摞的图像并计算在该页摞中的书页数(865)。如果该条件被满足,则中止该音频磁轨的读出,除非整个磁轨已播完,读出已停止(867)。该器具会检查是否已启动了“结束读出模式”(868)。如果已启动该模式,那么该读出完成(869)。否则的话,将书页计数p1设为p2(870)。将与书页计数p1相关的音频磁轨的读出起动(871),并开始另一操作循环(872),其中会拍摄图像并计算书页计数(865)。
图9示意性所示为根据本发明的示例性实施例的有关购买具有提升的听觉体验的图书的操作的概要。诸如以在商店或在网上购物的方式来购买图书,其中该图书会伴有或捆绑有提升的声音磁轨,并且这些声音磁轨与在一媒体(诸如记忆卡或USB驱动器)上的图书中的书页相关联(902)。该媒体会连接到读书体验提升器件(904),该图书附接到该器件(906),并且起动该图书的读出(908),如上文所描述(例如,根据图8A至图8B)。
图10示意性所示为根据本发明的示例性实施例的读书体验提升内容中的个性化远端记录中的操作的概要。拥有读书体验提升器件的使用者通过服务网站来选择一图书(1002)。视情况,此类选择包括选择特定的版面,视情况还会基于封面的图像,或图书中的一个或多个书页来进行选择。基于该网站的能力(并且视情况还得基于该器件的能力)来记录该图书中的内容(视情况,记录每一页的内容,并且视情况,可按照书页的次序来记录)(1004)。在该网站与该器件之间建立链接(例如,以URL的形式发送链接)(1006),并基于该链接来撷取该记录(1008)。
在一些实施例中,图书的读出内容可包含示例性的脚本,该脚本包含声音和/或视觉磁轨及效应的布置,以及其他传感效应的布置,诸如触觉(例如,振动)或嗅觉(例如,发出香气)。在一些实施例中,通过使用脚本来实践读出(“排列”)的布置,该脚本诸如通过一组或多组定义来实施。一个或多个包含指令或规则的程序会实行在该脚本中的定义,这些一个或多个程序可由处理器和/或其他电子电路来执行。
在特定实施例中,效应可与特定词相关联,意谓着如果需要不同的参数,应定义出不同的效应,因而促成了变化性。每一动作具有不同的参数,其中这些参数具有相同含义,与效应无关。
在一些实施例中,提供套件,该套件用于将如下器件作为读书体验提升装置来应用:诸如智能手机或平板器件等携带型器件或其他可编程携带型器件(至少包含摄像机及麦克风)(大体上会把这类装置称为智能手机,即使没有提供任何电话通话能力)。
在一些实施例中,该套件包含诸如记忆卡或其他媒体(诸如USB碟)等器件,这些器件包含或含有可由智能手机读取或执行的程序,其中该程序经设计及编码以将该智能手机作为读书体验提升装置来应用。在一些实施例中,不会提供此类器件,而是会提供对提供该程序的服务的链接(诸如通过下载)。
在一些实施例中,该套件包含有关该智能手机的支撑件,以便于适宜地观看图书。在一些实施例中,该套件包含智能手机。在一些实施例中,该程序可与特定的智能手机兼容。视情况,该套件可与多种智能手机兼容,诸如由特定的操作***来共同支持或提供共同的虚拟环境(例如,其他手机的模拟)的一类智能手机或智能手机家族。
图11示意性所示为根据本发明的示例性实施例的以标准器件为基础的读书体验提升器具的套件1100。该套件包含媒体部件1102,诸如记忆卡或其他媒体(诸如USB碟),其包含或含有可由该智能手机读取及执行的程序。视情况,该部件包含(例如,经编程而包含)与提供该程序的服务的链接。视情况,该部件为描绘该链接的标签。
在一些实施例中,套件1100包含与该程序相兼容的智能手机。在一些实施例中,套件1100包含用于观看图书的有关该智能手机的支撑件。在一些实施例中,该套件包含关于如何使用该模块的指令,和/或关于如何连接以撷取该程序的指令,以及视情况包含如何使用该智能手机来作为读书体验提升器具的指令。
图12A示意性所示为根据本发明的示例性实施例的“显微镜式(microscope-like)”拼图体验提升器具1200的实施例。拼图零件1202被安置在基座上,并将摄像机110安装在摄像机支撑件102上,从而提供有关该拼图零件的近距分析。使用者介面(诸如使用者介面1204)可以给出有关该拼图零件的建议位置1205的反馈。
图12B示意性所示为根据本发明的示例性实施例的用于俯视观看的拼图体验提升器具1200的概要图。摄像机110安装在摄像机支撑件102上,从而提供有关拼图零件的俯视图分析。使用者界面(诸如使用者界面1204)可以给出与玩家动作相关的反馈。
在详细解释本发明的至少一个实施例之前,要理解,本发明并非限于在其申请案中的在以下描述中阐述和/或在附图和/或实例中说明的部件和/或方法的构造细节及布置。本发明能够实施其他实施例或者以多种方式实践或实现。
预期在本发明自其申请起而逐渐成熟的专利期内,许多相关的传感及处理技术会研发或强化,因此,希望术语“传感”的范畴包含所有此类新技术。
本文中所用术语“大约”指代~10%。术语“包含”、“包括”、“具有”及其相关形式意谓“包括但不限于”。
在本申请案中,本发明的各种实施例可以范围的形式来呈现。应理解,以范围形式出现的描述仅仅出于便利及简明,且不应被理解为对本发明的范畴的固定限制。相应地,范围的描述应理解为具体地揭示出在这个范围内的所有这些可能的子范围以及单个数值。举例来说,诸如从1至6的范围描述应理解为具体揭示了诸如从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等子范围,以及在该范围内的单个数字,例如,1、2、3、4、5以及6。这一情况的适用与该范围的宽度无关。
应了解,本发明的特定特征,出于清晰而在单独实施例的背景中描述,也可以单个实施例的组合的形式来给出。相反,本发明的各种特征,出于简明而在单个实施例的背景中描述,也可以单独地给出,或以任何适宜的子组合的形式给出,或者在本发明的任何其他所描述的实施例中适宜地给出。各个实施例的背景中所描述的特定特征不应理解为这些实施例的关键特征,除非实施例如果缺乏这些元件便无法运行。
尽管已结合本发明的具体实施例描述了本发明,但显然,所属领域的技术人员将容易了解许多替代、修改和变化。因此,本发明意图涵盖属于所附权利要求书的精神和广泛范围的所有此类替代、修改和变化。
在本说明书中提及的所有公开案、专利以及专利申请案,在本文中以其全文并入到本说明书中,正如每个单独的公开案、专利或专利申请案被具体及单独地指示来以引用的方式并入本文中那样。此外,在本申请案中对任何参考文献进行的引用或引证不应被理解为对于此类参考文件可作为现有技术来用于本发明的承认。

Claims (18)

1.一种用于给阅读媒体添加提升内容的方法,所述方法包含:结合传感器来对与所述阅读媒体相关的视觉触发事件进行辨认;以及响应于所述触发事件来传达提升内容。
2.根据权利要求1所述的方法,其中所述触发事件包含对在所述阅读媒体中的书页进行的识别。
3.根据权利要求2所述的方法,其中所述触发事件包含与所述阅读媒体相关的翻页。
4.根据权利要求1所述的方法,其中在进行辨认视觉触发事件的步骤之前先进行提供用于图书阅读提升的***,所述***包含:携带型阅读提升器件,所述携带型阅读提升器件以可运转的方式连接到所述阅读媒体,所述携带型阅读提升器件包含处理器、传感器以及多个声电换能器,所述携带型阅读提升器件可操作以:感测与所述阅读媒体相关的触发事件;利用所述多个换能器中的输入换能器来存储对应于所述触发事件的声学提升内容;以及利用所述多个换能器中的输出换能器来播放所述声学提升内容。
5.一种用于给阅读媒体添加提升内容的方法,所述方法包含:结合传感器来对与所述阅读媒体相关的听觉触发事件进行辨认;以及响应于所述听觉触发事件来传达超文字效应。
6.一种用于针对将含一定图案的拼图拼在一起的游戏来提升游戏体验的方法,所述方法包含:通过传感器来辨认在一拼图零件上的表面图案;对在所述拼图零件上的所述表面图案与所述拼图的整体表面图案中的某一部分的对应性进行确认,以建立识别信息;以及根据所述识别信息来提供有关准确位置的反馈,来将所述拼图零件安置在所述拼图内。
7.根据权利要求6所述的方法,其中所述反馈包含音频反馈。
8.根据权利要求7所述的方法,其中所述音频反馈念出所述图案的性质。
9.根据权利要求8所述的方法,其中所述表面图案的性质包含动物、植物、建筑物、车辆、天体、解剖部分或风景部分的至少一者。
10.根据权利要求6所述的方法,其中所述反馈包含视觉反馈。
11.根据权利要求10所述的方法,其中所述视觉反馈通过投影器或显示屏幕中的至少一者来显示。
12.根据权利要求10所述的方法,其中所述视觉反馈根据反馈等级来提供相对于所述准确位置的准确度。
13.根据权利要求12所述的方法,其中较高的反馈等级表示相对于所述准确位置较高的准确度。
14.根据权利要求6所述的方法,进一步包含辨认所述拼图零件的当前位置。
15.根据权利要求14所述的方法,进一步包含根据在所述拼图零件的所述当前位置与所述拼图零件的所述准确位置之间的对应性来传达反馈。
16.根据权利要求15所述的方法,进一步包含如果所述拼图零件的所述当前位置对应于所述拼图零件的所述准确位置,则传达正反馈;并且随后,传达要执行的任务来解决拼图问题。
17.根据权利要求6所述的方法,其中所述拼图包含方框型拼图、咬合型拼图或两者的组合。
18.根据权利要求6所述的方法,其中所述传感器包含摄像机。
CN201180039482.6A 2010-07-06 2011-07-06 用于阅读媒体的提升的*** Expired - Fee Related CN103052979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611159711.9A CN106778608A (zh) 2010-07-06 2011-07-06 用于提升读书体验的方法和***

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36158210P 2010-07-06 2010-07-06
US61/361,582 2010-07-06
PCT/IL2011/000532 WO2012004792A1 (en) 2010-07-06 2011-07-06 Method and system for book reading enhancement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201611159711.9A Division CN106778608A (zh) 2010-07-06 2011-07-06 用于提升读书体验的方法和***

Publications (2)

Publication Number Publication Date
CN103052979A true CN103052979A (zh) 2013-04-17
CN103052979B CN103052979B (zh) 2016-11-09

Family

ID=45440821

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180039482.6A Expired - Fee Related CN103052979B (zh) 2010-07-06 2011-07-06 用于阅读媒体的提升的***
CN201611159711.9A Pending CN106778608A (zh) 2010-07-06 2011-07-06 用于提升读书体验的方法和***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201611159711.9A Pending CN106778608A (zh) 2010-07-06 2011-07-06 用于提升读书体验的方法和***

Country Status (5)

Country Link
US (1) US10220646B2 (zh)
EP (1) EP2591466B1 (zh)
CN (2) CN103052979B (zh)
IL (1) IL224058A (zh)
WO (1) WO2012004792A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294657A (zh) * 2016-08-04 2017-01-04 深圳市奇米教育科技有限公司 基于绘本页面的图书识别方法及装置
CN106971636A (zh) * 2017-04-28 2017-07-21 北京艾的教育科技股份有限公司 一种便携式绘本伴读装置及绘本伴读***
CN110009945A (zh) * 2019-04-19 2019-07-12 潘巧娃 一种智能图书
CN110211433A (zh) * 2019-05-24 2019-09-06 潘巧娃 一种智能图书
CN110458268A (zh) * 2019-09-23 2019-11-15 苏州工业职业技术学院 一种具有双屏显示功能的智能代书板***及智能代书方法
CN110556030A (zh) * 2019-09-05 2019-12-10 百度在线网络技术(北京)有限公司 阅读控制方法、装置、设备及计算机可读存储介质
CN110855849A (zh) * 2019-10-22 2020-02-28 深圳市本牛科技有限责任公司 一种扫描设备及其激光指向扫描方法
CN111507123A (zh) * 2019-01-11 2020-08-07 北京字节跳动网络技术有限公司 点读材料的放置方法、装置、点读设备、电子设备及介质
CN112150021A (zh) * 2020-09-29 2020-12-29 京东数字科技控股股份有限公司 时间表生成方法、装置、***、存储介质及电子设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2591466B1 (en) 2010-07-06 2019-05-08 Sparkup Ltd. Method and system for book reading enhancement
US20130151955A1 (en) * 2011-12-09 2013-06-13 Mechell Williams Physical effects for electronic books
US9560094B2 (en) * 2012-02-02 2017-01-31 Tata Consultancy Services Limited System and method for identifying and analyzing personal context of a user
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
WO2015123658A1 (en) 2014-02-14 2015-08-20 Sonic Blocks, Inc. Modular quick-connect a/v system and methods thereof
US20160063876A1 (en) * 2014-08-29 2016-03-03 Google, Inc. Storytelling Device
US20160063877A1 (en) * 2014-09-03 2016-03-03 Google, Inc. Interactive Page Turning
FR3034226A1 (fr) * 2015-03-27 2016-09-30 Avant-Gout Studios Lampe de lecture augmentee
US10387570B2 (en) * 2015-08-27 2019-08-20 Lenovo (Singapore) Pte Ltd Enhanced e-reader experience
WO2017078767A1 (en) * 2015-11-06 2017-05-11 Hewlett-Packard Development Company, L.P. Payoff information determination
CN105979215A (zh) * 2016-06-08 2016-09-28 武汉中仪物联技术股份有限公司 管道快速视频检测***
JP6822107B2 (ja) * 2016-12-05 2021-01-27 富士ゼロックス株式会社 閲覧制御システム、閲覧装置及びプログラム
CN107977390B (zh) * 2017-03-09 2021-10-26 北京物灵智能科技有限公司 绘本识别方法、装置、***及电子设备
CN106938576B (zh) * 2017-05-16 2019-03-05 厦门理工学院 一种具有照相功能的书写笔记本
JP7172030B2 (ja) * 2017-12-06 2022-11-16 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム
CN108762507B (zh) * 2018-05-30 2021-05-04 辽东学院 图像跟踪方法及装置
JP7293585B2 (ja) * 2018-07-24 2023-06-20 凸版印刷株式会社 ページ押さえ装置、印刷体利用支援システム、及びページ押さえ方法
CN109035908B (zh) * 2018-07-27 2020-09-11 安徽豆智智能装备制造有限公司 互动阅读方法
CN109784222A (zh) * 2018-12-28 2019-05-21 深圳市掌网科技股份有限公司 辅助阅读方法、装置、可读存储介质及混合现实设备
IT201900002453A1 (it) * 2019-02-20 2020-08-20 Takeflight S R L Sistema multimediale per facilitare l'apprendimento
CN111077992B (zh) * 2019-06-09 2023-06-27 广东小天才科技有限公司 一种点读方法、电子设备及存储介质
CN110533674B (zh) * 2019-08-26 2022-05-03 福建捷宇电脑科技有限公司 一种图片去页边的方法及终端
CN110764728B (zh) * 2019-10-23 2020-07-28 深圳市金版文化发展股份有限公司 基于数据重复度识别的快速浏览***
US11477426B2 (en) * 2020-10-26 2022-10-18 Avaya Management L.P. Selective image broadcasting in a video conference
CN112396944A (zh) * 2020-12-09 2021-02-23 莱芜职业技术学院 一种计算机专业硬件学习用便于组装式模型设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639755A (zh) * 2002-07-04 2005-07-13 诺基亚有限公司 用于根据预定条件来再生多轨道数据的方法和装置
CN1710596A (zh) * 2005-06-16 2005-12-21 上海交通大学 基于机器视觉的计算机拼图自动识别方法
WO2006033104A1 (en) * 2004-09-22 2006-03-30 Shalon Ventures Research, Llc Systems and methods for monitoring and modifying behavior
CN201097383Y (zh) * 2007-01-12 2008-08-06 林良锐 听书机
US20090254572A1 (en) * 2007-01-05 2009-10-08 Redlich Ron M Digital information infrastructure and method
WO2009129348A2 (en) * 2008-04-15 2009-10-22 Thebroth Pty Ltd. Method and system for providing a digital jigsaw puzzle and using the puzzle as an online advertising vehicle

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4884974A (en) * 1987-12-21 1989-12-05 View-Master Ideal Group, Inc. Interactive talking book and audio player assembly
US7006881B1 (en) 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US7717344B2 (en) 1994-05-25 2010-05-18 Marshall Feature Recognition, Llc Method and apparatus for accessing electronic data via a familiar printed medium
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US7261612B1 (en) * 1999-08-30 2007-08-28 Digimarc Corporation Methods and systems for read-aloud books
US8040328B2 (en) * 2000-10-11 2011-10-18 Peter Smith Books, papers, and downloaded information to facilitate human interaction with computers
US7316566B2 (en) * 2001-03-15 2008-01-08 International Business Machines Corporation Method for accessing interactive multimedia information or services from Braille documents
US6516181B1 (en) 2001-07-25 2003-02-04 Debbie Giampapa Kirwan Interactive picture book with voice recording features and method of use
TWI235926B (en) 2002-01-11 2005-07-11 Sonix Technology Co Ltd A method for producing indicators and processing system, coordinate positioning system and electronic book system utilizing the indicators
CA2952993A1 (en) 2002-09-26 2004-04-08 Kenji Yoshida Information reproducing method, information inputting/outputting method,information reproducing device, portable information inputting/outputting device and electronic toy using dot pattern
KR100631790B1 (ko) 2003-05-19 2006-10-11 주식회사 씨엘씨소프트 음향도서장치 및 페이지 인식 방법
US7639406B1 (en) * 2003-06-30 2009-12-29 Google Inc. Movable document cradle for facilitating imaging of bound documents
WO2005093553A2 (en) * 2004-03-24 2005-10-06 Robert Harvey Rines Electronic & accoustic reading of printed material
US8799401B1 (en) * 2004-07-08 2014-08-05 Amazon Technologies, Inc. System and method for providing supplemental information relevant to selected content in media
US20060151947A1 (en) * 2005-01-10 2006-07-13 Scott Fredrickson Jigsaw puzzle game system
US7719526B2 (en) 2005-04-14 2010-05-18 Semiconductor Energy Laboratory Co., Ltd. Display device, and driving method and electronic apparatus of the display device
CN1707552A (zh) 2005-05-29 2005-12-14 吴伟 一种读书方式
US7422434B1 (en) 2005-07-18 2008-09-09 Adam Krey Personalized story reading apparatus
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
GB2431489A (en) 2005-10-14 2007-04-25 Fabularo Ltd Method for the manufacture of an audio book
US8014047B2 (en) * 2006-02-17 2011-09-06 Marvell International Technology Ltd. Sheet media stack imaging system
US20070292026A1 (en) 2006-05-31 2007-12-20 Leon Reznik Electronic magnification device
IL178653A0 (en) 2006-10-16 2007-03-08 Dror Oberman Public library system for providing reading-together at two remote locations of a selected children literature item
GB2444747A (en) 2006-12-13 2008-06-18 Mummy Says Daddy Says Ltd Sound Reproduction Device
US7865817B2 (en) * 2006-12-29 2011-01-04 Amazon Technologies, Inc. Invariant referencing in digital works
KR20080090117A (ko) 2007-04-04 2008-10-08 주식회사 지팡이 페이지를 자동 인식하는 도서내용출력장치 및 그 방법
TW200927247A (en) * 2007-07-03 2009-07-01 G Time Electronic Co Ltd Game system and method of playing game
CN201126359Y (zh) * 2007-11-29 2008-10-01 厉天福 一种车载多媒体导航装置
US8407603B2 (en) * 2008-01-06 2013-03-26 Apple Inc. Portable electronic device for instant messaging multiple recipients
CN101572020B (zh) 2008-04-29 2011-12-14 纽里博株式会社 多媒体输出装置和方法、以及利用照相机的教育设备
US20090268039A1 (en) 2008-04-29 2009-10-29 Man Hui Yi Apparatus and method for outputting multimedia and education apparatus by using camera
US8144947B2 (en) * 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
CN201315627Y (zh) 2008-12-30 2009-09-23 蒋清晓 多功能便携式电子助视器
CN201346776Y (zh) * 2009-01-24 2009-11-18 泰怡凯电器(苏州)有限公司 一种用于机器人的语音***及带有该语音***的机器人
CN101645190B (zh) * 2009-07-22 2011-03-30 合肥讯飞数码科技有限公司 一种单词查询***及其查询方法
WO2011105819A2 (ko) 2010-02-26 2011-09-01 탐투스(주) 학습용 디지털 캡쳐 장치
EP2591466B1 (en) 2010-07-06 2019-05-08 Sparkup Ltd. Method and system for book reading enhancement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639755A (zh) * 2002-07-04 2005-07-13 诺基亚有限公司 用于根据预定条件来再生多轨道数据的方法和装置
WO2006033104A1 (en) * 2004-09-22 2006-03-30 Shalon Ventures Research, Llc Systems and methods for monitoring and modifying behavior
CN1710596A (zh) * 2005-06-16 2005-12-21 上海交通大学 基于机器视觉的计算机拼图自动识别方法
US20090254572A1 (en) * 2007-01-05 2009-10-08 Redlich Ron M Digital information infrastructure and method
CN201097383Y (zh) * 2007-01-12 2008-08-06 林良锐 听书机
WO2009129348A2 (en) * 2008-04-15 2009-10-22 Thebroth Pty Ltd. Method and system for providing a digital jigsaw puzzle and using the puzzle as an online advertising vehicle

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294657A (zh) * 2016-08-04 2017-01-04 深圳市奇米教育科技有限公司 基于绘本页面的图书识别方法及装置
CN106971636A (zh) * 2017-04-28 2017-07-21 北京艾的教育科技股份有限公司 一种便携式绘本伴读装置及绘本伴读***
CN111507123A (zh) * 2019-01-11 2020-08-07 北京字节跳动网络技术有限公司 点读材料的放置方法、装置、点读设备、电子设备及介质
CN111507123B (zh) * 2019-01-11 2021-12-28 北京字节跳动网络技术有限公司 点读材料的放置方法、装置、点读设备、电子设备及介质
CN110009945A (zh) * 2019-04-19 2019-07-12 潘巧娃 一种智能图书
CN110211433A (zh) * 2019-05-24 2019-09-06 潘巧娃 一种智能图书
CN110556030A (zh) * 2019-09-05 2019-12-10 百度在线网络技术(北京)有限公司 阅读控制方法、装置、设备及计算机可读存储介质
CN110458268A (zh) * 2019-09-23 2019-11-15 苏州工业职业技术学院 一种具有双屏显示功能的智能代书板***及智能代书方法
CN110458268B (zh) * 2019-09-23 2023-08-11 苏州工业职业技术学院 一种具有双屏显示功能的智能代书板***及智能代书方法
CN110855849A (zh) * 2019-10-22 2020-02-28 深圳市本牛科技有限责任公司 一种扫描设备及其激光指向扫描方法
CN110855849B (zh) * 2019-10-22 2022-03-29 深圳市本牛科技有限责任公司 一种扫描设备及其激光指向扫描方法
CN112150021A (zh) * 2020-09-29 2020-12-29 京东数字科技控股股份有限公司 时间表生成方法、装置、***、存储介质及电子设备
CN112150021B (zh) * 2020-09-29 2023-09-26 京东科技控股股份有限公司 时间表生成方法、装置、***、存储介质及电子设备

Also Published As

Publication number Publication date
CN103052979B (zh) 2016-11-09
US10220646B2 (en) 2019-03-05
WO2012004792A1 (en) 2012-01-12
CN106778608A (zh) 2017-05-31
EP2591466A4 (en) 2016-07-27
EP2591466A1 (en) 2013-05-15
US20130168954A1 (en) 2013-07-04
IL224058A (en) 2017-02-28
EP2591466B1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
CN103052979A (zh) 用于提升读书体验的方法和***
Santi et al. Augmented reality in industry 4.0 and future innovation programs
CN101185108B (zh) 可人工操纵的互动装置
CN106648146B (zh) 点图形、使用点图形的信息重放及输入输出方法
CN105590486A (zh) 一种基于机器视觉的座台式点读机及相关***装置与方法
CN105700803A (zh) 信息输出控制装置
US11232790B2 (en) Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system
Krestanova et al. Development and technical design of tangible user interfaces in wide-field areas of application
KR101727733B1 (ko) 광학 구조물을 이용한 블록 인식 시스템 및 방법
RU2473966C2 (ru) Способ воспроизведения информации, способ ввода/вывода информации, устройство воспроизведения информации, портативное устройство ввода/вывода информации и электронная игрушка, в которой использован точечный растр
KR101629894B1 (ko) 매트용 어학 학습 시스템 및 방법
CN116755590A (zh) 虚拟图像的处理方法、装置、增强实现设备及存储介质
KR20180036205A (ko) 시뮬레이션용 스마트 테이블 장치
CN111639567B (zh) 一种三维模型的互动显示方法、电子设备及存储介质
Principi et al. A floor acoustic sensor for fall classification
Canazza et al. A multimodal learning system for individuals with sensorial, neuropsychological, and relational impairments
CN111212323A (zh) 音视频合成的方法、装置、电子设备及介质
CN111639635B (zh) 一种拍摄图片的处理方法及装置、电子设备、存储介质
CN215936665U (zh) 一种智能ai语音交互式书桌
CN111563514B (zh) 一种三维字符的显示方法及装置、电子设备、存储介质
KR101478954B1 (ko) 동요집을 기반으로 하는 증강현실 구현장치 및 구현방법
CN110089095A (zh) 用于内容标记的方法及支持所述方法的电子设备
CN208240003U (zh) 一种可定位的球形展示装置
WO2012056459A1 (en) An apparatus for education and entertainment
KR102014181B1 (ko) 무전원 핸들을 이용한 컨텐츠 제어 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161109

Termination date: 20200706

CF01 Termination of patent right due to non-payment of annual fee