CN103926981A - 电子设备及其控制方法 - Google Patents

Abstract

提供一种电子设备及其控制方法。当电子设备播放图像并且进入用于记录音频的模式时，替代图像的回放屏幕，与图像有关的第一内容和通过将记录的音频转换成文本生成的第二内容被显示在触摸屏上。因此，当查看和倾听时，用户能够以各种方式使用图像。

Description

电子设备及其控制方法

相关申请的交叉引用

本申请要求于2013年1月11日提交的韩国专利申请No.10-2013-0003239的在先申请日期和优先权的权益。

技术领域

本发明涉及一种电子设备，并且更加具体地，涉及一种允许有效地查看和倾听图像的音频的电子设备及其控制方法。

背景技术

随着与包括移动终端的各种电子设备有关的硬件和软件技术的显著发展，电子设备快速地提供或者存储各种类型的功能和信息。因此，电子设备通过其屏幕提供各种类型的信息。

而且，在具有触摸屏的电子设备的情况下，可以仅通过用户的触摸操纵访问被提供给触摸屏的各种类型的信息。

发明内容

本发明的一个方面提供一种电子设备及其控制方法，该电子设备能够记录从外部输入的声音或者在电子设备中输出的声音，将所记录的音频实时地转换成文本，并且进行显示，从而允许用户有效地倾听和查看与特定音频相关联的图像。

根据本发明的另一方面提供一种电子设备及其控制方法，该电子设备通过精细地划分被播放的图像允许用户有效地倾听和查看视频。

根据本发明的一个方面，提供一种电子设备，包括：触摸屏；以及控制器，该控制器被配置成，当正在播放包括相关联的音频的图像的同时，电子设备通过预定的输入进入用于记录被包括在所播放的图像中的音频的模式时，在音频被记录的同时在触摸屏上显示与包括相关联的音频的图像的回放有关的第一内容，和通过将被记录的音频转换成文本生成的第二内容。

图像可以包括静止图像或者运动图像（或者视频），并且所播放的图像包括继续显示在触摸屏上的静止图像的幻灯片和所播放的视频。

控制器可以在触摸屏上显示所播放的视频屏幕，并且预定的输入可以包括相对于所播放的视频屏幕事先确定的触摸输入。

第一内容可以包括与图像的回放有关的图像和文本中的至少一个。

第二内容的文本可以被划分为句子使得可以被显示。

当接收到相对于特定句子的预定输入时，控制器可以播放与特定句子相对应的音频。

控制器可以显示指示音频正在被记录在触摸屏上的进度条，并且进度条可以包括指示当前时间点的记录点的报头，并且当接收到用于将报头拖动到与先前的记录时间相对应的第一点的输入时，控制器可以将报头移向与句子的开始点相对应的第二点，该句子包括与第一点的音频相对应的文本，并且在触摸屏上显示从第二点开始的句子。

当记录包括通过图像的回放被输出并且与第一内容有关的音频的内容时，控制器可以与第一内容一起显示指示与图像的第一内容有关的内容被记录的指示符。

当接收到用于选择与指示符一起显示的第一内容的输入时，控制器可以播放所记录的音频。

当所记录的音频正在被播放时，控制器可以记录当前播放的图像的音频作为背景。

在用于控制图像的回放的进度条中，控制器可以显示与在接收用于选择第一内容的输入的时间点相对应的点。

当接收到相对于被包括在第二内容中的文本的至少一部分的拖动输入时，控制器可以删除与所记录的音频的被拖动的文本相对应的区域。

第一内容可以包括至少一个项目，并且用于将所记录的音频内容与项目相关联的指示符可以被显示在触摸屏上，并且当接收到用于将指示符与至少一个项目中的任意一个相关联的输入时，控制器可以将所记录的音频内容映射到项目。

控制器可以通过用户输入将指示符与至少一个项目中的任意一个相关联。

控制器可以分析所记录的内容并且显示指示符使得该指示符与至少一个项目当中的被匹配到所记录的内容的项目相关联。

控制器可以在触摸屏的第一区域中显示第一内容，并且在触摸屏的第二区域中显示第二内容，并且当接收到被施加到第一区域的特定点的触摸输入时，控制器可以将用于接收要被***到特定点中的备忘录的备忘录界面提供给第二区域的至少一部分。

预定的触摸输入可以包括关于特定点的放大输入。

备忘录界面可以包括用于指示用于接收用户的手写输入的手写输入区域、虚拟键盘区域、或者用于接收用户的语音的音频输入模块是否已经被激活的指示符。

根据本发明的另一方面，提供一种电子设备的控制方法，包括：播放图像；当接收到预定的输入时，进入用于记录被包括在图像中的音频的模式；以及在音频正在被记录的同时在触摸屏上显示与图像的回放有关的第一内容和通过将被记录的音频转换成文本生成的第二内容。

根据本发明的实施例，由于将所播放的视频的音频作为文本提供，所以用户能够精确地识别图像的内容。

而且，根据本发明的实施例，通过记录所播放的图像的音频，用户能够重复地倾听所期待的内容。

而且，根据本发明的实施例，因为所播放的图像的音频被记录、被转换成文本，并且与图像相关的数据一起被提供给用户，所以通过各种识别方法能够增强倾听图像的效率。

附图说明

所包括的附图被提供以进一步理解本发明并且被合并和组成本申请的一部分，附图图示本发明的一个或多个实施例，并且连同描述一起用来解释本发明原理。

图1是根据本发明的实施例的电子设备的框图。

图2是与接近传感器的接近深度有关的图。

图3是图示根据本发明的第一实施例的电子设备的控制方法的流程图。

图4是图示在图3中的操作S110和S120的视图。

图5是图示在图3中的操作S130的视图。

图6至图8是图示通过使用进度条控制已经从文本转换的音频内容的显示的示例的视图。

图9至图11是图示本发明的第一实施例的视图。

图12是图示根据本发明的第二实施例的电子设备的控制方法的流程图。

图13是图示详细地图示本发明的第二实施例的电子设备的控制方法的详细流程图。

图14至图16是图示根据本发明的第二实施例的根据所播放的视频的每个主题控制音频记录的示例的视图。

图17至图19是图示根据本发明的第二实施例的按照主题播放所记录的音频的示例的视图。

图20是图示根据本发明的第二实施例的具体地编辑文本转换句子当中的音频映射句子的示例的视图。

图21是图示根据本发明的第三实施例的电子设备的控制方法的流程图。

图22至图27是图示本发明的第三实施例的视图。

图28A至图28C是图示本发明的第四实施例的视图。

图29至图32是图示本发明的第五实施例的视图。

图33A至图34是图示本发明的第六实施例的视图。

图35是图示根据本发明的第七实施例的电子设备的控制方法的流程图。

图36是图示本发明的第七实施例的视图。

具体实施方式

现在将参考附图更加充分地描述布置和实施例，在附图中可以示出实施例。但是，实施例可以以许多不同的形式实施，并且不应该认为是限制在此处阐述的实施例；更确切地，可以提供实施例，使得本公开将是全面的和完整的，并且将充分地向本领域技术人员表达本发明的概念。

将参考附图如下更详细地描述电子设备。在以下的描述中，对电子设备的部件给出后缀“模块”和“单元”仅仅是出于描述便利的考虑，并且不具有相互区别的含义或者功能。

电子设备可以包括蜂窝电话、智能电话、膝上计算机、数字广播终端、个人数字助理（PDA）、便携式多媒体播放器（PMP）、导航***等等。

图1是根据实施例的电子设备的框图。也可以提供其他的实施例、配置和布置。

如所示，电子设备100可以包括无线通信单元110（或者无线电通信单元）、音频/视频（A/V）输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口170、控制器180和电源190。在图1中示出的部件可以是必要部分，和/或包括在电子设备100中的多个部件可以改变。现在描述电子设备100的部件。

无线通信单元110可以包括能够在电子设备100和无线电通信***之间，或者在电子设备100和电子设备100所位于的网络之间进行无线电通信的至少一个模块。例如，无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114（或者局域通信模块），和定位信息模块115（或者位置信息模块）。

广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和陆地信道，并且广播管理服务器可以是产生和发送广播信号和/或广播相关信息的服务器，或者接收事先创建的广播信号和/或广播相关信息并且将广播信号和/或广播相关信息发送给终端的服务器。

广播信号可以不仅包括TV广播信号、无线电广播信号和数据广播信号，而且可以包括以TV广播信号和无线电广播信号的组合形式的信号。广播相关信息可以是有关广播频道、广播节目或者广播服务提供者的信息，并且可以甚至通过移动通信网络提供。在后者的情形下，广播相关信息可以由移动通信模块112接收。

广播相关信息可以以各种形式存在。例如，广播相关信息可以以数字多媒体广播（DMB）***的电子节目指南（EPG）的形式，或者以数字视频广播-手持（DVB-H）***的电子服务指南（ESG）的形式存在。

广播接收模块111可以使用各种广播***接收广播信号。更具体的，广播接收模块111可以使用诸如数字多媒体广播-陆地（DMB-T）***、数字多媒体广播-卫星（DMB-S）***、仅媒体前向链路（MediaFLO）***、DVB-H和综合服务数字广播-陆地（ISDB-T）***的数字广播***，来接收数字广播信号。广播接收模块111可以从除了以上描述的数字广播***之外提供广播信号的广播***接收信号。

通过广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160中。移动通信模块112可以在移动通信网络上向基站、外部终端和服务器中的至少一个发送无线电信号/从基站、外部终端和服务器中的至少一个接收无线电信号。无线电信号可以包括语音呼叫信号、视频电话呼叫信号或者根据文字/多媒体消息的发送和接收呈各种形式的数据。

无线互联网模块113可以对应于用于无线互联网接入的模块，并且可以包括在电子设备100中，或者可以外部地附接到电子设备100。无线LAN（WLAN或者Wi-Fi）、无线宽带（Wibro）、微波接入全球互操作性（Wimax）、高速下行链路分组接入（HSDPA）等等可以用作无线互联网技术。

短程通信模块114可以对应于用于短程通信的模块。此外， 、射频识别（RFID）、红外数据协会（IrDA）、超宽带（UWB）和/或紫蜂可以用作短程通信技术。

定位信息模块115可以确认或者获得电子设备100的定位或者位置。定位信息模块115可以通过使用全球导航卫星***（GNSS）获得位置信息。GNSS是描述无线电导航卫星***的术语，该无线电导航卫星***涉及围绕地球旋转并且向预先确定类型的无线电导航接收机发送基准信号，使得无线电导航接收机可以确定它们在地球表面或者接近地球表面上的位置。GNSS可以例如包括美国的全球定位***（GPS）、欧洲的伽利略（Galileo）、俄罗斯的全球轨道导航卫星***（GLONASS）、中国的北斗（COMPASS）和日本的准天顶卫星***（QZSS）。

全球定位***（GPS）模块是定位信息模块115的代表性示例。GPS模块可以计算关于在一个点或者对象和至少三个卫星之间距离的信息，和关于当测量距离的时间的信息，并且对获得的距离信息应用三角法以根据在预定时间的纬度、经度和高度来获得关于点或者对象的三维位置信息。

还可以采用使用三颗卫星计算位置和时间信息，并使用另一颗卫星校正计算的位置和时间信息的方法。另外，GPS模块可以连续地实时计算当前位置，并且使用定位或者位置信息计算速度信息。

A/V输入单元120可以输入（或者接收）音频信号和/或视频信号。A/V输入单元120可以包括相机121和麦克风122。相机121可以处理在视频电话模式或者拍摄模式下由图像传感器获得的静止图像或者运动图像的图像帧。处理的图像帧可以被显示在显示器151上，显示器151可以是触摸屏。

由相机121处理的图像帧可以被存储在存储器160中，或者可以通过无线通信单元110被发送到外部设备。电子设备100也可以包括至少两个相机121。

麦克风122可以在呼叫模式、记录模式和/或语音识别模式下接收外部音频信号，并且麦克风122可以将接收的音频信号处理为电音频数据。音频数据然后可以被转换为能够通过移动通信模块112发送到移动通信基站的形式，并且在呼叫模式下被输出。麦克风122可以采用用于除去或者降低在接收外部音频信号时产生的噪声的各种噪声去除算法（或者噪声消除算法）。

用户输入单元130可以从用户接收用于控制电子设备100的操作的输入数据。用户输入单元130可以包括小键盘、薄膜开关、触摸板（恒定电压/电容）、摇动轮、摇动开关等等。

感测单元140可以感测电子设备100的当前状态，诸如电子设备100的打开/关闭状态、电子设备100的位置、是否用户触摸电子设备100、电子设备100的方向，和电子设备100的加速度/减速度，并且感测单元140可以产生用于控制电子设备100的操作的感测信号。例如，在滑动电话的示例中，感测单元140可以感测滑动电话是否打开或关闭。此外，感测单元140可以感测电源190是否供给电力，和/或接口170是否连接到外部设备。感测单元140也可以包括接近传感器。感测单元140可以感测电子设备100的运动。

输出单元150可以产生视觉、听觉和/或触觉输出，并且输出单元150可以包括显示器151、音频输出模块152、报警器153和触觉模块154。显示器151可以显示由电子设备100处理的信息。当电子设备100处于呼叫模式时，显示器151可以显示与电话呼叫有关的用户界面（UI）和/或图形用户界面（GUI）。当电子设备100处于视频电话模式或者拍摄模式时，显示器151也可以显示捕捉的和/或接收的图像、UI或者GUI。

显示器151可以包括液晶显示器、薄膜晶体管液晶显示器、有机发光二极管显示器、柔性显示器和/或三维显示器的至少一个。显示器151可以是透明类型或者光透射类型。也就是说，显示器151可以包括透明显示器。

透明显示器可以是透明液晶显示器。显示器151的背面结构也可以是光透射类型。因此，用户可以透过由显示器151占据的电子设备100的主体的透明区域看到位于（电子设备100的）主体后面的对象。

电子设备100也可以包括至少两个显示器151。例如，电子设备100可以包括以预定距离布置在单个面上的多个显示器151或者集成的显示器。多个显示器151也可以布置在不同的侧面上。

当显示器151和感测触摸的传感器（此后称为触摸传感器）形成被称为触摸屏的层状结构时，该显示器151除了用作输出设备之外还可以用作输入设备。例如，触摸传感器可以是触摸膜、触摸片和/或触摸板的形式。

触摸传感器可以将施加于显示器151的特定部分的压力的变化，或者在显示器151的特定部分产生的电容的变化转换为电输入信号。触摸传感器可以感测触摸的压力以及触摸的位置和区域。

当用户将触摸输入施加于触摸传感器时，对应于触摸输入的信号可以被发送到触摸控制器。触摸控制器然后可以处理该信号，并且将与处理的信号相对应的数据发送给控制器180。因此，控制器180可以检测显示器151的触摸的部分。

（感测单元140的）接近传感器可以位于由触摸屏围绕的电子设备100的内部区域，和/或触摸屏附近。接近传感器可以在没有机械接触的情况下使用电磁力或者红外线来感测靠近预先确定的感测面的对象，或者位于接近传感器附近的对象。接近传感器可以具有比接触传感器更长的寿命，并且因此可以在电子设备100中具有广泛的应用。

接近传感器可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容接近传感器、磁性接近传感器和/或红外接近传感器。电容触摸屏可以被构造为使得通过电场随指针接近的变化来检测指针的接近。触摸屏（触摸传感器）可以被分类为接近传感器。

为了容易解释，指针靠近触摸屏而没有实际触摸触摸屏的动作可以被称为接近触摸，并且指针接触触摸屏的动作可以被称为接触触摸。在触摸屏上指针的接近触摸点可以对应于触摸屏上指针垂直于触摸屏的点。

接近传感器可以感测接近触摸和接近触摸模式（例如，接近触摸距离、接近触摸方向、接近触摸速度、接近触摸时间、接近触摸位置、接近触摸移动状态等等）。与所感测的接近触摸动作和接近触摸模式相对应的信息然后可以被显示在触摸屏上。

音频输出模块152可以在呼叫信号接收模式、电话呼叫模式，或者记录模式、语音识别模式和广播接收模式下输出从无线通信单元110接收的或者存储在存储器160中的音频数据。音频输出模块152可以输出与在电子设备100中执行的功能有关的音频信号，诸如呼叫信号进入音和消息进入音。音频输出模块152可以包括接收机、扬声器、蜂鸣器等等。该音频输出模块152可以通过耳机插孔输出声音。用户可以通过将耳机连接到耳机插孔来收听声音。

报警器153可以输出用于指示电子设备100的事件产生的信号。例如，当接收到呼叫信号、接收到消息、输入按键信号和/或输入触摸时，可以产生报警。报警器153也可以以不同于视频信号或者音频信号的形式输出信号，例如，用于通过振动指示事件产生的信号。视频信号和/或音频信号也可以通过显示器151或者音频输出模块152输出。

触觉模块154可以产生用户能够感觉的各种触觉效果。触觉效果的一个示例是振动。由触觉模块154产生的振动的强度和/或模式也可以被控制。例如，不同的振动可以被组合和输出，或者可以顺序地输出。

触觉模块154可以产生各种触觉效果，除了振动之外，还包括：根据垂直地抵靠接触皮肤表面移动的针的布置的刺激效果，根据空气通过喷嘴孔或者吸收孔的喷射力或者吸收力的刺激效果，摩擦皮肤的刺激效果，根据电极接触的刺激效果，使用静电力的刺激效果，以及根据使用能够吸热或者放热的元件的冷和热再现的效果。

触觉模块154可以不仅通过直接接触发送触觉效果，而且可以允许用户通过用户的手指或者胳膊的运动感觉来感知触觉效果。该电子设备100也可以包括多个触觉模块154。

存储器160可以存储用于控制器180的操作的程序，和/或临时地存储输入/输出数据，诸如电话簿、消息、静止图像和/或运动图像。存储器160也可以存储关于当触摸输入施加于触摸屏时输出的各种模式的振动和声音的数据。

存储器160可以至少包括闪存、硬盘型存储器、多媒体卡微型存储器、卡型存储器，诸如SD或者XD存储器、随机存取存储器（RAM）、静态RAM（SRAM）、只读存储器（ROM）、电可擦可编程ROM（EEPROM）、可编程ROM（PROM）、磁存储器、磁盘和/或光盘。电子设备100也可以与在互联网上执行存储器160的存储功能的web存储相关联地操作。

接口170可以用作至连接到电子设备100的外部设备的路径。接口170可以从外部设备接收数据或者电力，并且将数据或者电力发送到电子设备100的内部部件，或者将电子设备100的数据发送到外部设备。例如，接口170可以包括有线/无线头戴送受话器端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于连接具有用户识别模块的设备的端口、音频I/O端口、视频I/O端口，和/或耳机端口。

接口170也可以与用户识别模块接口连接，用户识别模块是存储用于验证使用电子设备100权限的信息的芯片。例如，用户识别模块可以是用户标识模块（UIM）、订户标识模块（SIM）和/或通用订户标识模块（USIM）。识别设备（包括用户识别模块）也可以以智能卡的形式制造。因此，识别设备可以通过接口170的端口连接到电子设备100。

接口170也可以是当电子设备100连接到外部托架时，来自外部托架的电力通过其而被提供给电子设备100的路径，或者由用户通过托架输入的各种命令信号通过其而被发送到电子设备100的路径。从托架输入的各种命令信号或者电力可以用作确认电子设备100是否正确地设置在托架中的信号。

控制器180可以控制电子设备100的整体操作。例如，控制器180可以执行用于语音通信、数据通信和/或视频电话的控制和处理。控制器180也可以包括用于播放多媒体的多媒体模块181。多媒体模块181可以被包括在控制器180中，或者可以与控制器180分离。

控制器180可以执行能够将施加于触摸屏的手写输入或者绘图输入识别为字符或者图像的模式识别处理。在控制器180的控制之下，电源190可以接收外部电力和内部电力，并且提供电子设备100的部件的操作所需的电力。

根据硬件实现方式，实施例可以使用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理器件（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器和/或用于执行功能的电子单元的至少一个来实现。实施例可以由控制器180实现。

根据软件实现方式，诸如过程或者功能的实施例可以利用执行至少一个功能或者操作的单独的软件模块来实现。软件代码可以根据以适当的软件语言编写的软件应用来实现。软件代码可以存储在存储器160中，并且由控制器180执行。

现在参考图2详细地解释参考图1描述的接近传感器141。

图2是与接近传感器的接近深度有关的图。也可以使用其它的实施例、布置以及配置。

如在图2中所示，当诸如用户的手指、钢笔、铁笔等等的指针接近触摸屏时，被设置在触摸屏内或者附近的接近传感器141可以检测指针的接近并且然后输出接近信号。

接近传感器141可以根据在指针与接近触摸的触摸屏之间的距离（在下文中被称为接近深度）输出不同的接近信号。

例如，图2示出被设置有能够检测三个接近深度的接近传感器的触摸屏的横截面。识别小于3个接近深度或者多于4个接近深度的接近传感器也可以被提供。

如果指针完全地接触触摸屏（d0），则接近触摸可以被识别。如果指针与触摸屏隔开了小于d1的距离，则可以识别到第一接近深度的接近触摸。如果指针与触摸屏隔开了在d1和d2之间的距离，则可以识别到第二接近深度的接近触摸。如果指针与触摸屏隔开了小于d3或者等于或者大于d2的距离，则可以识别到第三接近深度的接近触摸。如果指针与触摸屏隔开了等于或者大于d3的距离，则接近触摸被释放。

控制器180可以根据指针的接近深度和位置将接近触摸视为各种输入信号中的一种。控制器180可以根据各种输入信号执行各种操作控制。

在下文中，将会描述本发明的实施例。

在本发明的实施例中，为了描述的目的，显示单元151被假定为触摸屏151。如上所述，触摸屏151可以执行信息显示功能和信息输入功能。

图3是图示根据本发明的第一实施例的电子设备的控制方法的流程图。可以通过参考图1和图2在上面描述的电子设备100实现根据本发明的第一实施例的电子设备的控制方法。在下文中，将会参考所要求的附图详细地描述根据本发明的第一实施例的电子设备的控制方法和用于实现其的电子设备100的操作。

参考图3，电子设备100的控制器180播放（或者再现）图像（S110）。

可以与有关音频一起播放图像。图像可以包括静止图像或者视频。静止图像可以包括用于幻灯片显示的多个幻灯片。同时，静止图像可以包括其页面被用户或者以预定的时间间隔翻转的每一个图像。在本发明的第一实施例中，预设图像被播放，但是本发明不限于此。特别地，其中演讲者通过语音进行演讲并且在演讲者的演讲内容被记录的同时与演讲者内容有关的内容被显示在显示单元151上的过程也可以被包括在本发明的范围中，并且将会稍后参考图35和图36加以描述。

图像可以是事先存储在电子设备100的存储器160中的文件。图像可以是从外部服务器（未示出）以流的方式下载的文件。

同时，图像可以包括音频。例如，图像可以是视频演讲文件。基于演讲文件，演讲者的演讲可以通过音频被输出。然而，本发明不限于此。例如，视频可以是包括多个人并且包括通过多个人讲出的音频的图像文件。而且，例如，图像可以是电影文件。

同时，图像可以是在超过预定的时间内播放的文件。例如，图像可以是在超过一分钟内播放的文件。即，图像可以排除在小于10秒钟内播放的文件。

同时，被应用以实现本发明的实施例的图像可以包括前述的音频，可以在超过预定的时间内播放，并且另外可以具有与图像回放有关的内容。例如，与图像回放有关的内容可以是用于协助倾听图像的子数据。而且，例如，视频可以与演讲有关并且子数据可以是用于帮助演讲者的演讲内容的文档文件。

控制器180可以进入用于记录被包括在图像中的音频的模式（S120）。

控制器180可以记录视频，可以记录与幻灯片显示相关联的音频，或者可以提取被包括在视频中的音频文件并且记录该音频。

在其中控制器进入用于记录音频的模式的情况下，控制器180可以操作电子设备100的麦克风（图1中的122）。而且，通过麦克风，控制器180可以根据图像回放记录音频输出。

同时，用于进入用于记录音频的模式的输入可以包括与图像回放屏幕有关的预定的输入。预定的输入可以包括用于记录音频的开/关开关按钮（包括开关按钮）。可替选地，预定的输入可以包括关于图像播放屏幕的长触摸输入。控制器180可以响应于长触摸输入接通麦克风（图1中的122），并且通过图像回放记录音频输出。

在音频被记录的同时，控制器180可以在触摸屏151上显示与图像回放有关的第一内容和通过将被记录的音频转换成文本生成的第二内容（S130）。

在下面的描述中，假定图像是与演讲有关的视频。

如上所提及的，第一内容可以是通过总结演讲者的演讲内容而获得的演讲文件。演讲文件是文档并且被显示在触摸屏151上。而且，第二内容可以是通过记录演讲者的演讲语音并且将被记录的语音变成文本获得的文本文件。可以以句子为单位或者以短语或者单词为单位生成文本文件。

同时，为了在本发明的实施例中将音频转换成文本，各种已知的技术可以被使用并且其详细的描述将会被省略。

同时，当第一内容和第二内容被显示在触摸屏151上时，控制器180可以从触摸屏151隐藏视频回放屏幕。例如，当移动终端进入音频记录模式同时视频回放屏幕被显示时，控制器180可以在触摸屏151的整个区域中显示第一内容和第二内容。

图4是图示在图3中的操作S110和S120的视图。

参考图4，控制器180可以在触摸屏151上显示视频回放屏幕10。控制器180可以在触摸屏151上显示用于控制视频的回放的进度条3。而且，当视频正在被播放时，在触摸屏151上，控制器180可以显示用于进入为了提取被包括在视频中的音频并且对其进行记录的模式的用户界面（1和2）。在触摸屏151上，用户界面可以显示用于选择进入记录模式的软按钮（开/关）1和用于识别当通过软按钮进入被记录的模式时音频被记录的识别符号（或者标记）2。当进入记录模式时，控制器180可以显示预定的颜色标识符以指示用于记录音频的模式已经进入同时视频被播放。

图5是图示在图3中的操作S130的视图。

参考图5，控制器180可以在触摸屏151上显示与视频回放有关的第一内容20和当视频正在被播放时通过将正在被记录的音频转换成文本而生成的文本文件30。

第一内容20可以包括多个项目。例如，第一内容20可以包括第一项目21、第二项目22、第三项目23、以及第四项目24。项目可以包括文本、图像等等。在此，不同于第一项目21、第二项目22、以及第三项目23，第四项目24可以包括被包括在区域中的内容。例如，第一项目21至第三项目23可以都是图像文件并且第四项目24可以是用于解释图像的文本。

同时，第一内容20可以是与当前正在被播放的视频的主要内容有关的内容。

第二内容30是通过根据视频回放记录音频输出并且将其转换成文本而生成的文本文件。文本文件可以由句子或者段落组成，因此多个句子或者段落31、32、33、以及34可以配置第二内容30。

例如，当视频是演讲时，演讲者的语音被记录，演讲内容被转换成文本并且被显示在触摸屏151上。

同时，控制器180可以实时地更新并且显示第二内容30。即，控制器180可以记录演讲者的语音、将以句子为单位的语音实时转换成文本、并且将其显示为第二内容30。

如在图5中所图示的，根据本发明的实施例，用户可以参考演讲数据20倾听视频演讲，并且将演讲者的演讲内容提供为文本转换内容。因此，用户可以更加有效地倾听视频演讲。

同时，在本发明的实施例中，演讲者的演讲内容被转换成文本并且被显示，并且在这样的情况下，按照句子显示文本。因此，在本发明的实施例中，可以提供能够方便地按照句子控制演讲者的演讲内容的用户界面。

图6至图8是图示通过使用进度条控制已经从文本转换的音频内容的显示的示例的视图。

参考图6，控制器180可以在触摸屏151上显示用于指示音频记录的进度的记录状态条（RTB）。在此，RTB可以被划分成多个部分31’、32’、33’、以及34’。当正在被记录的音频被按照句子转换成文本时多个部分31’、32’、33’、以及34’可以是通过被分配到各个句子的时间比例来区分的部分。

即，第一句子31对应于RTB的第一部分31’、第二句子32对应于RTB的第二部分32’、第三句子33对应于RTB的第三部分33’、第四句子34对应于RTB的第四部分34’。同时，与第五句子35有关，当当前被记录的音频的内容作为单个句子被终止时，控制器180将与单个句子相对应的音频转换成文本并且将其显示为第五句子35。

同时，参考图7，控制器180可以接收与前面的部分相对应的从RTB的第一点P1到第二点P2的拖动的输入。在此，第一点P1对应于第五句子部分35’并且第二点P2对应于先前被记录并且被转换成文本的第二句子部分32’。同时，响应于拖动输入，控制器180可以从触摸屏151去除图6的第五句子35、第四句子34以及第三句子33，并且将与第二点P2相对应的时间记录的音频内容转换成文本并且在触摸屏151上显示。然而，因为第二点P2被定位在第二个句子部分32’的中间，控制器180不能提供完整的第二个句子。

因此，如在图8中所图示的，控制器180可以自动地移动被定位在第二句子部分32’的第二点P2处的记录报头（RH），使得其被定位在第二句子部分32的第三点P3处并且在触摸屏151上仅显示第一句子31。可替选地，控制器180可以移动被定位在第二句子部分32’的第二点P2处的RH，使得其被定位在第二句子部分32’的终点P4处并且在触摸屏151上显示第二句子32。

根据前述的实施例，在按照句子将被记录的音频转换成文本之后，可以通过控制预定的用户界面（例如，RSB）方便地搜索被记录的音频的期望的部分。特别地，因为以特定的句子为单位改变音频，期望的音频内容能够被搜索同时被可视化地快速地检查。

图9至图11是图示本发明的第一实施例的视图。

参考图9，当通过视频回放输出的音频的第一内容20相关联的内容被记录时，控制器180可以在触摸屏151上显示指示与第一内容20有关的内容被记录的指示符40。指示符40可以是具有麦克风形状的图标。

例如，当当前播放的视频演讲内容与第一项目21有关时，控制器180和第一项目21一起显示指示符40。而且，当当前被播放的视频演讲内容与第二项目22有关时，控制器180在第二项目22中显示指示符40。对于第三和第四项目来说这是相同的。

因此，用户可以视觉地检查当前播放的演讲内容与第一内容20的哪一部分有关。

同时，参考图10，当在其中在图9中图示的指示符40被加以标签和显示的状态下接收用于选择第二项目20的触摸输入时，控制器180可以临时停止当前播放的视频并且播放与第二项目20有关地记录的音频文件52。

在此，控制器180可以显示关于时间点的信息，在触摸屏151上在用于控制被记录的音频文件的回放的进度条3中选择在该时间点处的第二项目20。

同时，当接收到被施加到第二项目20的触摸输入时，控制器180可以连续地执行音频记录操作。即，与第二项目20有关的音频可以被播放并且通过音频输出模块152输出，同时执行音频记录作为背景。而且，也可以通过触摸屏151提供从与第二项目20有关的音频转换的文本。

而且，控制器180可以在触摸屏151上显示用于控制与选择的第二控制项目20有关的音频文件的回放的进度条7。

而且，控制器180可以在触摸屏151上显示用于控制音频文件52的回放的进度条3。

图11是图示编辑在被转换成文本之后显示的第二内容20的示例的视图。

参考图11，当接收到相对于被包括在第二内容31中的至少部分文本的拖动输入时，控制器180可以删除与在被记录的音频中的被拖动的文本相对应的区域。

例如，控制器180在触摸屏151上显示第一项目21，并且同时播放与第一项目21有关的视频，当接收到相对于被包括在作为从被播放的视频的音频转换的文本的第二内容31中的“it may include these parts,for example”的拖动输入时，控制器180将删除线应用于拖动输入文本部分（31’）。因此，控制器180可以生成删除了被拖动的部分的新的音频文件，并且对其进行存储。

图12是图示根据本发明的第二实施例的电子设备的控制方法的流程图。在参考图1和图2在上面描述的电子设备100中可以实现根据本发明的第一实施例的电子设备的控制方法。在下文中，将会详细地描述根据本发明的第二实施例的电子设备的控制方法。可以基于如上所述的第一实施例实现本发明的第二实施例。

参考图12，控制器180在显示单元151上显示用于关联被记录的音频内容和第一内容的指示符（S210）。

控制器180关联指示符与被包括在第一内容中的至少一个项目（S220）。在此，关联指示符与至少一个项目可以意指将指示符拖动到特定项目的输入。

控制器180可以将被播放的视频的音频内容映射到项目，并且对其进行存储（S230）。

图13是图示要详细地图示本发明的第二实施例的电子设备的控制方法的详细流程图。

参考图13，控制器180可以通过用户输入将指示符和特定的项目相关联（S221）。

控制器180可以自动地分析被记录的音频内容（S222）并且自动地将指示符和与音频内容相匹配的项目相关联（S223）。

其后，当记录被完成时，控制器180可以将被记录的音频映射到与指示符相关联的项目并且对其进行存储。

图14至图16是图示根据本发明的第二实施例的根据被播放的视频的各个主题控制音频记录的示例的视图。

在本发明的第二实施例中，被记录的音频内容可以与至少一个项目相关联。

参考图14，控制器180可以在触摸屏151的区域中分别显示第一内容20和第二内容30。

第一内容20包括至少一个项目21、22、23以及24并且在其中与第一内容20有关的视频被播放并且特定音频被记录的状态下，控制器180在触摸屏151上显示用于将被记录的音频内容和项目相关联的指示符40。

例如，参考图14，当通过当前播放的视频输出的音频与第四项目24有关时，根据用户输入指示符40可以与第四项目24关联。

而且，例如，参考图15，当通过当前播放的视频输出的音频与第一项目21有关时，根据用户输入指示符40可以与第一项目21相关联。

而且，例如，参考图16，当与第一项目21有关的内容被终止并且与第三项目有关的音频内容被输出时，用户可以将与第一项目21相关联的指示符40与第三项目23相关联。如上所述，通过经由拖动输入将指示符40叠加在项目上来将指示符40与项目相关联。

在前述的示例中，能够看到，在其中在视频被播放的同时从特定部分输出的音频内容与特定项目有关的情况下，用户可以将特定的指示符与项目相关联以通知与项目有关的音频内容已经被记录。

同时，在图17至图19的情况下，将会描述在关于特定项目记录某些音频之后通过控制指示符的移动播放记录结果的示例。

图17至图19是图示根据本发明的第二实施例的按照主题播放被记录的音频的示例的视图。

参考图17，在其中指示符40被显示以与第一项目41重叠的情况下，控制器180播放关于第一项目41记录的音频文件。在这样的情况下，控制器180可以在触摸屏151上显示指示相对于第一项目21放置被记录的音频的指示符40。

参考图18，在其中用于将被显示在第一项目41中的指示符40移向第二项目22的输入的情况下，控制器180停止与第一项目21有关的音频的播放并且播放相对于第二项目22的被记录的音频。类似地，控制器180可以在触摸屏151上显示指示相对于第二项目22的被记录的音频正在被播放的指示符40。

同时，参考图19，当接收到用于将显示在第二项目22中的指示符40移向第四项目24的输入时，控制器180再现和输出与第四项目24有关的被记录的音频。

即，根据前述的实施例，当用户将某些指示符（例如，具有麦克风形状的图标）移向某些项目时，电子设备100首先确定与项目相关联地记录的音频文件是否存在。其后，被记录的音频文件存在，控制器180可以播放与特定项目有关的被记录的音频文件同时指示符与特定的项目相关联。

同时，参考图20，在其中与某些音频相关联地存储的项目21、22、23以及24被显示在触摸屏151上的状态下，当接收到相对于在多个项目21、22、23、以及24当中的任意一个项目22的预定的触摸输入时，提供用于编辑在被映射到所选择的项目22时存储的音频的用户界面30。

例如，在其中接收到与第二项目22有关的长触摸输入的情况下，控制器180可以在触摸屏151上显示用户界面30，其中关于第二项目22记录的音频内容被转换成句子单位S1、S2、S3、和S4的文本。即，因为与第二项目22有关的音频内容被可视化地显示，如在图20中所图示，用户可以执行仅选择所期待的文本或者删除不必要的文本的编辑。

通过以多个句子为单位选择文本S1、S2、S3、以及S4当中的至少一个句子单位，控制器180可以仅编辑所选择的句子，作为与第二项目22相关联的音频内容。

例如，当接收到以多个句子为单位的用于选择文本S1、S2、S3、以及S4当中的第一句子S1的输入时，控制器180可以将指示符40标记到第一句子S1以将与第二项目22相对应的音频文件识别为第一句子S1。

图21是图示根据本发明的第三实施例的电子设备的控制方法的流程图。图22至图27是图示本发明的第三实施例的视图。

参考图21，控制器180在触摸屏151上显示第一内容和第二内容（S310）。控制器180在触摸屏151的第一区域中显示第一内容并且在触摸屏151的第二区域中显示第二内容（S312）。

当接收到被施加到第一区域的特定点的预定的触摸输入（S320）时，控制器180可以在第二区域中显示用于接收与特定点有关的备忘录的界面（S330）。

即，在本发明的第三实施例中，在视频演讲被播放的同时，当期待某些备忘录被输入到与视频演讲有关的数据时，提供用于备忘录的用户界面。

参考图22，控制器180可以在触摸屏151的第一区域中显示第一内容20并且在触摸屏151的第二区域中显示第二内容30。在视频被播放，音频被记录的同时，控制器180可以在触摸屏151上显示记录的持续时间5。

参考图22和图23，当接收到相对于被包括在第一区域中的第一内容25的多触摸输入，即，扩大输入时，控制器180可以将用于将备忘录***到接收到触摸输入的点的界面50提供给第二区域的至少一部分。

参考图24，控制器180可以在用于输入备忘录的界面50中接收手写输入51。同时，界面50可以包括预定的方向键52，以通过方向键52调节其中期待***备忘录的位置。

参考图25，当通过被显示在第二区域30中的界面50接收到某些用户手写输入时，控制器180将手写输入的备忘录***到其中接收到多触摸输入的第一区域20的部分AM中，使得其被显示。

同时，在本发明的实施例中，用于***备忘录的界面不限于用于接收前述的用户手写输入的区域。

例如，参考图26，界面可以包括虚拟键盘53。虚拟键盘53可以被显示在第二区域30中，并且通过虚拟键盘53的备忘录输入可以被***地显示在第一区域20的特定点中。

而且，例如，参考图27，界面可以被配置成激活音频输入模块（图1中的麦克风122）并且在第二区域30中显示麦克风图标54。在这样的情况下，麦克风（图1中的122）被激活以识别用户的语音命令（备忘录）并且将识别结果***到第一区域20的特定点AM，使得其被显示。

图28A至图29C是图示本发明的第四实施例的视图。在第四实施例中，将会描述选择音频记录的视频页面当中的所期待的页面的情况。

参考图28A，当接收到被施加到视频回放屏幕10的触摸输入时，控制器180在触摸屏151上显示用于控制视频的播放的进度条3。当接收到选择进度条3的点并且将其拖动到不同的点的输入时，在进度条3的上部分中，控制器180可以以回放时间顺序显示与被映射到进度条3的多个回放页面相对应的缩略图图像4。

当接收到用于选择缩略图图像4当中的所期待的页面（例如，页面13）的输入时，如在图28B中所图示，第一回放屏幕（页面21）可以在触摸屏151上后退并且所选择的第二回放屏幕20’（页面13）可以被显示在触摸屏151的中心区域中。而且，第一回放屏幕20和第二回放屏幕20’对应于第一内容。而且，在触摸屏151上，控制器180可以显示当与第二回放屏幕相对应的音频被转换成文本时生成的第二内容30’。

在图28C中，当第一回放屏幕20被再次选择时，控制器180可以在触摸屏151的中心区域中显示第一回放屏幕20并且播放与第一回放屏幕20相对应的音频。

图29至图32是图示本发明的第五实施例的视图。在第五实施例中，当视频是演讲时，用于识别演讲的识别标记被一起显示。

参考图29，在执行视频演讲的同时，控制器180可以在触摸屏151上显示第一内容20和第二内容30并且也在触摸屏151的某些区域中显示指示演讲者的头像80。

同时，本发明的第五实施例不限于视频回放并且也可以被应用于示例，在该示例中，通过相机执行诸如会议电话等等的视频电话并且在视频电话的内容被记录的同时，将视频电话的内容转换成文本并且显示。即，参考图29，在头像80中显示的图像可以是视频电话的对方的图像，并且第二内容30可以是通过将视频的内容转换成文本而生成的内容。

参考图30，在播放根据本发明的第一至第四实施例的视频10的同时，控制器180可以根据回放时间的顺序在触摸屏151上显示与输出音频相对应的讲演者的图像80、81、82、以及83。在这样的情况下，假定通过将某些讲演者图像与音频一起映射获得在图30中图示的视频10并且对其进行存储。

参考图31，当选择多个讲演者图像81、82、以及83当中的第一讲演者图像81时，控制器180在第一讲演者图像81的附近显示当由讲演者讲出的内容被转换成文本时生成的文本91。

同时，如上所述，通过与讲演者相对应的图像识别通过音频播放的讲演者。然而，本发明不限于此。例如，当各个讲演者的语音内容被显示为文本时，通过更改文本的显示特性可以识别讲演者。例如，与第一讲演者的语音内容相对应的文本可以被显示为具有第一颜色，并且与第二讲演者的语音内容相对应的文本可以被显示为具有第二颜色。

同时，参考图32，当选择在图31中图示的多个讲演者图像81、82、以及83当中的第二讲演者图像82时，由第二讲演者讲出的内容被转换成文本并且相对应的文本92可以被显示在第二讲演者图像82的附近。在此，用于滚动文本92的滚动条93也可以被一起显示。

图33A至图34是图示本发明的第六实施例的视图。在本发明的第六实施例中，当用户为第一内容标记重要的识别符号同时查看和倾听视频时，仅提取和显示相对应的识别符号被加上标签的内容。

参考图33A，在其中第一内容20和第二内容30被显示的状态下，当被施加到第一内容区域的长触摸输入被接收时，进入用于识别关于第一内容20区域的用户的手写输入的模式。

在此，如在图33B中所图示，用户的手写输入可以是突出显示第一内容10的特殊项目的输入。例如，突出显示输入可以包括星号201、下划线202、放大项目大小等等。

其后，如在图34中所图示，控制器180可以仅总结与视频有关的第一内容的被突出显示的部分并且将其显示在触摸屏151上，同时用户正在查看和倾听。在此，所显示的被总结的项目可以包括第一内容的页数、通过将被记录的音频转换成文本生成的文本、突出显示等等。

在前述的实施例中，在通过音频输出模块152输出某些音频的同时，音频被记录，并且当与被记录的音频内容有关的内容存在时，内容被显示在触摸屏上，被记录的音频内容被实时地转换成文本，并且按照句子显示被转换的文本。

然而，在本实施例中，被记录的音频不限于通过电子设备100的音频输出模块152输出的声音。例如，在本发明的实施例中，可以在演讲厅离线中执行音频记录。在下文中，将会参考图35和图36描述其中被记录的音频是用户的语音的情况。

图35是图示根据本发明的第七实施例的电子设备的控制方法的流程图。图36是图示本发明的第七实施例的视图。可以通过参考图1和图2在上面描述的电子设备10来实现根据本发明的第七实施例的电子设备的控制方法。

参考图35，控制器180进入音频记录模式（S410）。在音频记录模式中，控制器180接通麦克风（图1中的122），并且记录被输入到麦克风（图1中的122）的声音（S430）。

在此，通过麦克风（图10中的122）输入的音频是从外部输入的声音。声音可以是演讲者的语音。

同时，控制器180确定与被记录的声音有关的内容是否存在（S440）。当与声音有关的内容存在于电子设备100内时，控制器180可以在触摸屏151的区域中显示内容（S460）。

在此，控制器180可以分析声音的内容并且从电子设备100的存储器160读取与声音相对应的内容。

同时，当与声音有关的内容不存在于电子设备100中时，控制器180可以根据用户输入选择要被显示在触摸屏151上的内容（S450），并且在触摸屏151上显示所选择的内容（S460）。

控制器180可以将被记录的声音转换成文本并且在触摸屏151的区域中显示文本（S470）。将声音转换成文本并且显示文本的示例与在上面描述的相同。

参考图36，电子设备100进入音频记录模式，并且在音频记录模式中，电子设备100可以在触摸屏151上显示通过将演讲者的语音内容转换成文本获得的内容STT1、STT2、以及STT3和与语音内容有关的内容1。

上述控制电子设备的方法可以编写为计算机程序，并且可以在使用计算机可读记录介质执行该程序的数字微处理器中实现。该控制电子设备的方法可以通过软件执行。该软件可以包括执行需要的任务的代码段。程序或者代码段也可以被存储在处理器可读介质中，或者可以通过传输介质或者通信网络根据与载波相结合的计算机数据信号被发送。

计算机可读记录介质可以是任何数据存储设备，其可以存储之后可以由计算机***读取的数据。计算机可读记录介质的示例可以包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、DVD±ROM、DVD-RAM、磁带、软盘、光数据存储设备。计算机可读记录介质也可以分布在被耦合到计算机的网络上，使得计算机可读代码得以以分布方式存储和执行。

电子设备可以包括第一触摸屏，该第一触摸屏被配置成显示第一对象；第二触摸屏，该第二触摸屏被配置成显示第二对象；以及控制器，该控制器被配置成，当接收被施加到第二对象的第二触摸输入同时第一触摸输入被保持时接收被施加到第一对象的第一触摸输入和将第一对象链接到与第二对象相对应的功能。

可以提供一种控制电子设备的方法，包括：在第一触摸屏上显示第一对象；在第二触摸屏上显示第二对象；接收被施加到第一对象的第一触摸输入；以及当接收被施加到第二对象的第二触摸输入同时第一触摸输入被保持时将第一对象链接到与第二对象相对应的功能。

在本说明书中对“一个实施例”、“实施例”、“示例性实施例”等等的任何引用指的是结合实施例描述的特定的特点、结构或者特征被包括在本发明的至少一个实施例中。在本说明书中的各种位置出现这样的字句不必都指代相同的实施例。此外，当结合任何实施例描述特定的特点、结构或者特征时，认为结合其他实施例来影响这样的特点、结构或者特征在本领域技术人员的能力范围之内。

虽然已经参考其许多说明性实施例描述了实施例，但是应该理解，可以由本领域技术人员设计落在本公开的原理的精神和范围内的许多其它的改进和实施例。更具体的，在本公开、附图和所附权利要求范围内的主题组合布置的部件部分和/或布置方面，各种变化和改进是可能的。除了在部件部分和/或布置方面的变化和改进之外，替换的使用对于本领域技术人员来说也将是显而易见的。

Claims (20)

1.一种电子设备，包括：

触摸屏；以及

控制器，所述控制器可操作地耦接到所述触摸屏并且被配置成：

使得所述触摸屏显示与第一图像的回放有关的第一内容；

在显示所述第一内容的同时，存储与所述第一图像相关联的音频，其中响应于在所述电子设备处接收到的输入而发生存储；以及

使得所述触摸屏显示从将所存储的音频转换成文本而生成的第二内容。

2.根据权利要求1所述的电子设备，其中所述第一图像包括静止图像或者视频，其中所述静止图像是多个图像之一。

3.根据权利要求1所述的电子设备，其中所述控制器被进一步配置成：

使得所述触摸屏在所述触摸屏上将所述第一内容显示为视频，并且其中所述输入包括在所述触摸屏处接收到的触摸输入。

4.根据权利要求1所述的电子设备，其中所述第一内容包括均与所述第一图像有关的文本或者第二图像中的至少一个。

5.根据权利要求1所述的电子设备，其中被显示的第二内容包括单独的句子。

6.根据权利要求5所述的电子设备，进一步包括：

扬声器；以及

其中所述控制器被进一步配置成：

响应于关于所述单独的句子的特定句子接收到的输入，促使在所述扬声器处的音频输出，其中所述音频输出包括对应于所述特定句子的音频。

7.根据权利要求5所述的电子设备，其中所述控制器进一步被配置成：

使得所述触摸屏显示指示所述音频正在被记录的进度条，其中所述进度条包括指示当前时间点处的记录点的报头，并且

当接收到用于将所述报头拖动到与先前的记录时间相对应的第一点的输入时，所述控制器使得所述触摸屏在与句子的开始点相对应的第二点处显示报头，所述句子包括与所述第一点的音频相对应的文本，并且在所述触摸屏上显示从所述第二点开始的句子。

8.根据权利要求1所述的电子设备，其中所述控制器进一步被配置成：

使得所述触摸屏显示指示所述音频的存储的指示符。

9.根据权利要求8所述的电子设备，进一步包括：

扬声器，以及

其中所述控制器被进一步配置成：

响应于关于所述第一内容接收到的输入，促使在所述扬声器处的音频输出，其中所述音频输出包括所存储的音频。

10.根据权利要求9所述的电子设备，其中在所述音频的存储期间在所述扬声器处发生的音频输出。

11.根据权利要求9所述的电子设备，其中所述控制器进一步被配置成：

使得所述触摸屏显示与时间点相对应的点，在所述时间点处接收到关于所述第一内容接收到的输入，其中在所述进度条处显示所述点以允许控制所述图像的回放。

12.根据权利要求1所述的电子设备，其中所述控制器进一步被配置成：

当接收到相对于包括在所述第二内容中的文本的拖动输入时，删除对应于所述拖动输入的文本的所记录的音频的一部分。

13.根据权利要求1所述的电子设备，其中所述第一内容包括至少一个项目并且所述控制器被进一步配置成：

使得所述触摸屏显示用于将所存储的音频与被显示在所述触摸屏上的至少一个项目相关联的指示符；以及

当接收到用于将所述指示符与所述至少一个项目中的任意一个项目相关联的输入时，将所存储的音频映射到所述一个项目。

14.根据权利要求13所述的电子设备，其中显示所述指示符使得所述指示符与已经被映射到所存储的音频的一个项目相关联。

15.根据权利要求1所述的电子设备，其中所述第一内容被显示在所述触摸屏的第一区域中，并且所述第二内容被显示在所述触摸屏的第二区域中，并且

其中所述控制器进一步被配置成：

当在所述第一区域的特定部分处接收到触摸输入时，使得所述触摸屏显示用于接收要与所述第一区域的特定部分相关联的备忘录的备忘录界面。

16.根据权利要求15所述的电子设备，其中在所述特定部分处接收到的所述触摸输入包括相对于所述特定部分的放大输入。

17.根据权利要求15所述的电子设备，其中所述备忘录界面包括用于指示用于接收用户的手写输入的手写输入区域、虚拟键盘区域、或者用于接收用户的语音的音频输入模块是否已经被激活的指示符。

18.一种用于控制电子设备的方法，所述方法包括：

在触摸屏上显示第一内容，其中所述第一内容与第一图像的回放有关；

在显示所述第一内容的同时存储与所述第一图像相关联的音频，其中响应于在所述电子设备处接收到的输入而发生存储；以及

在所述触摸屏上显示第二内容，其中从将所存储的音频转换成文本生成所述第二内容。

19.根据权利要求18所述的方法，其中被显示的所述第二内容包括单独的句子，所述方法进一步包括：

响应于关于所述单独的句子的特定句子接收到的输入，促使在扬声器处的音频输出，其中所述音频输出包括对应于所述特定句子的音频。

20.根据权利要求18所述的方法，其中被显示的第二内容包括单独的句子，所述方法进一步包括：

在所述触摸屏上显示指示所述音频正在被存储的进度条，其中所述进度条包括指示在当前时间点处的记录点的报头，并且

当接收到用于将所述报头拖动到与先前的记录时间相对应的第一点的输入时，在所述触摸屏上与句子的开始点相对应的第二点处显示报头，所述句子包括与所述第一点的音频相对应的文本，并且显示从所述第二点开始的句子。