JP6207135B2 - データ複合記録機能サポート方法及びこれをサポートする端末機 - Google Patents
データ複合記録機能サポート方法及びこれをサポートする端末機 Download PDFInfo
- Publication number
- JP6207135B2 JP6207135B2 JP2012192031A JP2012192031A JP6207135B2 JP 6207135 B2 JP6207135 B2 JP 6207135B2 JP 2012192031 A JP2012192031 A JP 2012192031A JP 2012192031 A JP2012192031 A JP 2012192031A JP 6207135 B2 JP6207135 B2 JP 6207135B2
- Authority
- JP
- Japan
- Prior art keywords
- voice recording
- recording function
- voice
- memo
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 title claims description 128
- 238000000034 method Methods 0.000 title claims description 36
- 230000005236 sound signal Effects 0.000 claims description 34
- 230000003213 activating effect Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000012905 input function Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
- H04M1/65—Recording arrangements for recording a message from the calling party
- H04M1/656—Recording arrangements for recording a message from the calling party for recording conversations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/68—Details of telephonic subscriber devices with means for recording information, e.g. telephone number during a conversation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Description
ところが、ユーザがメモ機能を利用して情報記入を行う場合、通常、要約情報のみを記載するか、または含蓄された形態で情報を記載するので、追ってメモ確認をさらに行う場合、どんな内容のためにメモを作成したか理解することが容易でない点がある。
また、作成されたメモは、一括的に格納されるので、メモ管理も容易ではない問題点がある。すなわち従来のメモ機能は、メモ管理が不便であり、作成されたメモの内容を類推し記憶するのに困難があり、ユーザがよく使用しない機能になっているという問題がある。
また、本発明の他の目的は、複合的な機能運用に基づいて記録されたデータの特性を、より簡単に確認し管理することができるようにサポートするデータ複合記録サポート機能方法及びこれをサポートする端末機を提供することにある。
以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的または辞書的な意味に限定して解釈すべきものではなく、発明者は、自分の発明を最も最善の方法で説明するために用語の概念で適切に定義することができるという原則に即して本発明の技術的思想に符合する意味と概念として解釈されなければならない。
したがって、本明細書に記載した実施形態と図面に示した構成は、本発明の最も好ましい実施形態に過ぎないものであり、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替することができる多様な均等物と変形例があり得ることを理解しなければならない。
図1を参照すると、本発明の実施形態による端末機100は、無線通信部110、入力部120、オーディオ処理部130、タッチスクリーン140、格納部150、及び制御部160の構成を含む。
特に、本発明の実施形態による端末機100は、オーディオ信号関連機能、例えば、無線通信部110基盤の通話機能運用中にメモ機能を活性化することができるようにサポートし、通話機能運用時に収集される音声を音声録音することができるようにサポートする。
また、端末機100は、収集された音声録音情報をメモ情報に含ませて複合記録情報を生成し、これを格納することができ、且つ複合記録情報検索時にメモ情報または音声録音情報のうち少なくとも1つに基づいて当該情報検索を行うことができるようにサポートする。
すなわち、無線通信部110は、音声通話チャネル、データ通信チャネル、及び画像通話チャネルを移動通信システム間に形成する。このために、無線通信部110は、送信する信号の周波数をアップコンバート及び増幅する無線周波数送信部と、受信した信号の周波数を低雑音増幅及びダウンコンバートする無線周波数受信部などを含むことができる。
無線通信部110が受信したオーディオ信号は、ユーザ制御によって音声録音情報として格納することができる。
すなわち無線通信部110の運用中に音声録音機能を呼び出すことが可能なメモ作成画面が出力することができる。ユーザは、データ複合記録機能に基づいて無線通信部110を介して受信されたオーディオ信号を音声録音しながらメモ作成を同時に実行することができる。
機能キーは、特定機能を行うように設定された方向キー、サイドキー、及びショートカットキーなどを含むことができる。また、入力部120は、ユーザ設定及び端末機100の機能制御と関連したキー信号を生成し、制御部160に伝達する。
また、入力部120は、タッチスクリーン140上に出力される「QWERTY」キーマップ、3×4キーマップ、4×3キーマップ、メニューマップ、制御キーマップなどで具現することができる。また、入力部120は、端末機100のタッチスクリーン140がフルタッチスクリーン形態でサポートされる場合、端末機100のケース側面に形成されるサイドキーのみを含むこともできる。
このようなオーディオ処理部130は、データ複合記録機能運用時、すなわちメモ機能が活性化された状態で音声録音機能サポートのためにマイクMICを活性化し、メモ作成中にオーディオ信号収集を行うことができる。収集された音声録音情報は、ユーザ制御によって当該メモ情報とともに複合記録情報として格納される。
このようなタッチスクリーン140は、表示パネル141の前面にタッチパネル143が配置される構造を有することができる。
すなわち表示パネル141は、端末機100の利用による多様な画面、例えば、待機画面、メニュー画面、メッセージ作成画面、通話画面などを提供することができる。このような表示パネル141は、液晶表示装置(Liquid Crystal Display)、OLED(Organic Light Emitted Diode)などで形成することができる。また、表示パネルは、タッチパネルの上部または下部に配置することができる。
データ複合機能サポートインターフェースは、メモ機能活性化によるメモ作成画面インターフェース、メモ作成中の音声録音機能活性化による音声録音画面インターフェース、音声録音完了によって音声録音情報が添加されたメモ作成画面インターフェース、作成されたメモ情報をマルチイメージに出力する画面インターフェースなどを含む。
また、表示パネル141は、データ複合機能運用によって生成された複合記録情報検索のための画面インターフェースを提供することもできる。表示パネル141を介して出力される多様な画面インターフェースについては、後述にて、図面を参照しながらさらに詳しく説明する。
この際、タッチパネル143を構成するセンサーは、マトリックス形態で配列され、タッチパネル上で発生するタッチイベントに対して当該位置情報とタッチイベントの種類に対する情報が制御部160に伝達される。
すなわち本発明の実施形態によるタッチパネル143は、メモ作成画面が出力された状態で文字や線又はイメージなどを出力することができるようにするタッチイベント生成をサポートすることができる。
また、タッチパネル143は、音声録音情報に対応するイメージがメモ作成画面に出力される場合、当該音声録音情報に対応するイメージ上に特定メモ情報が作成されないように制限することができる。そしてまた、タッチパネル143は、タッチイベント特性によって音声録音情報に対応するイメージ上に一部の特定メモ情報が記入されるように許可することもできる。
ここで、キーマップ、メニューマップは、それぞれ多様な形態になることができる。すなわち、キーマップは、キーボードマップ、3×4キーマップ、「QWERTY」キーマップなどにすることができ、現在活性化されているアプリケーションプログラムの運用制御のための制御キーマップになることができる。また、メニューマップは、現在活性化されているアプリケーションプログラム運用制御のためのメニューマップになることができる。このような格納部150は、大きくプログラム領域とデータ領域を含むことができる。
メモサポートプログラム151は、メモ作成画面出力ルーチン、メモ作成サポートルーチン、作成されたメモを格納するルーチンを含むことができる。
また、メモサポートプログラム151は、メモ作成画面が出力された状態で音声録音機能を呼び出すことができるように一定メニューを提供するルーチン、音声録音機能呼出によって音声録音情報が生成される場合、少なくとも1つの音声録音情報を作成中のメモ作成画面に追加するルーチン、メモ格納入力信号によって音声録音情報が追加されたメモ情報を複合記録情報として格納するルーチンを含む。
また、メモサポートプログラム151は、通話中にデータ複合記録機能を呼び出すことができるようにするボタンマップ出力ルーチンを含むことができる。
このような音声録音サポートプログラム153は、メモ作成画面がサポートされている状態で特定のメニュー選択によって音声録音機能を活性化させるルーチン、録音完了信号によって録音された情報に基づいて音声録音情報を生成するルーチン、生成された音声録音情報をメモサポートプログラム151に提供するルーチンを含むことができる。
また、音声録音サポートプログラム153は、音声録音状態を指示する多様な制御マップを出力するルーチンを含むことができる。
また、題目サポートルーチンは、テキスト情報のうち一定の回数以上繰り返された単語を抽出し、抽出された単語を当該音声録音情報の題目に割り当てるサブルーチンと、当該題目を音声録音機能表示領域に出力するサブルーチンとを含むことができる。
また、データ領域は、タッチパネル143を介して入力されるユーザ入力を格納することができる。
特にデータ領域は、複合記録情報155を格納することができる。複合記録情報155は、メモ機能及び音声録音機能に基づいて作成された情報からなることができる。すなわち複合記録情報155は、メモ情報と音声録音情報が混合された形態になることができる。さらに、データ領域は、音声認識機能サポートのためのデータを格納することができる。
また、制御部160は、端末機100のデータ複合記録機能活性化に必要な多様な信号フローを制御する。このために、制御部160は、以下の図2に示すような構成を含むことができる。
図2を参照すると、本発明の実施形態による制御部160は、メモ作成サポート部161、音声録音サポート部163、オーディオ信号関連機能サポート部165の構成を含むことができる。
このようなメモ作成サポート部161は、メモ機能活性化のためのメニュー項目又はウィゼット項目を提供し、当該項目を活性化する入力信号が発生すれば、メモ作成画面を表示パネル141に出力するようサポートする。特に、メモ作成サポート部161は、オーディオ信号関連特定ユーザ機能、例えば通話機能、音声録音機能などが活性化される場合、表示パネル141にデータ複合記録機能のうちメモ機能活性化のためのリンクイメージやボタンマップを出力するようサポートする。
また、音声録音機能が呼び出しされれば、メモ作成サポート部161は、当該音声録音機能が活性化中に、音声録音完了による音声録音情報を指示するイメージをメモ作成画面の所定位置に出力するようにサポートする。
また、メモ作成サポート部161は、端末機の状態変更、例えば縦モードから横モードへの変更又はその反対の変更が発生すれば、当該音声録音機能表示領域を変化された画面の比率に合わせてサイズを調整することができる。
また、メモ作成サポート部161は、画面のズームイン又はズームアウト入力信号によってメモ作成画面のサイズが変更される場合、音声録音機能表示領域のサイズを当該画面変化に適応するように変化させるよう制御することができる。
また、メモ作成サポート部161は、情報検索のために当該サムネイルイメージをマルチイメージ画面上に出力するようにサポートすることができる。この際、サムネイルイメージには、作成されたメモ内容だけでなく、音声録音機能表示領域に対応するイメージをも含ませることができる。
特に音声録音サポート部163は、データ複合記録機能によってメモ作成画面が提供された状態で音声録音機能をサポートすることができる。このような音声録音サポート部163は、ユーザによる音声録音機能を活性化させるための入力信号を受信した場合、音声録音実行と関連した制御マップをメモ作成画面の一部に出力するようサポートする。
ここで、制御マップは、音声録音状態によって多様な形態で出力することができる。制御マップと関連した画面インターフェースについては、後述にて図面を参照してさらに詳しく説明する。
この過程で、音声録音サポート部163は、音声録音の全体時間情報と日付情報を収集し、当該音声録音情報に含ませるように制御することができる。
また、音声録音サポート部163は、音声録音情報の題目を任意の題目として記入することができる。
特に音声録音サポート部163は、音声録音情報に含まれた音声のうち少なくとも一部
を音声認識することができる。
さらに、音声録音サポート部163は、音声認識された内容から一定の頻度数以上の単語を検索し、最も多い頻度数を有する単語または一定の頻度数以上を有する単語を題目に割り当てることができる。
音声録音過程で別に作成されたメモがない場合、メモ作成サポート部161により音声録音機能表示領域だけがメモ作成画面に出力される。
特にオーディオ信号関連機能サポート部165は、特定のオーディオ信号関連機能サポート時に表示パネル141にデータ複合機能呼び出しのためのリンクイメージやボタンマップを出力するようにサポートする。
また、ユーザ制御によってデータ複合機能呼び出しのための入力信号が発生した場合、オーディオ信号関連機能サポート部165は、呼び出しのための入力信号特性によってメモ作成サポート部161及び音声録音サポート部163のうち少なくとも1つの構成を呼び出すことができる。
これにより、ユーザは、通話機能などオーディオ信号収集が可能な機能運用時にメモ機能とともに音声録音機能を容易に運用することができる。また、メモ情報と音声録音情報が一緒に格納及び管理されることによって、情報検索時にユーザは、音声録音情報又はメモ情報のうち少なくとも1つに基づいてさらに容易な情報検索を行うことができる。
図3を参照すると、本発明の端末機100の制御部160は、ステップS301で、電源部から供給される電源を端末機の各構成に供給するように制御する。
この段階で、オーディオ信号関連機能と関連がない入力信号が発生すれば、制御部160は、ステップS305に分岐し、当該入力信号に対応するユーザ機能、例えばファイル検索機能、ウェブ接続機能などを行うようにサポートする。
この工程で、データ複合記録機能呼び出しのための入力信号の発生がない場合、制御部160は、ステップS309に分岐し、当該オーディオ信号関連機能を行うようにサポートする。すなわち制御部160は、通話機能、音声録音機能、放送受信機能、ラジオ機能などステップS303で選択された機能に対応するオーディオ信号出力をサポートし、必要に応じてそれに対応する画面出力をサポートする。
ここで、データ複合記録機能サポートのための画面インターフェースは、音声録音機能を呼び出すことができる入力信号生成が可能なメモ作成画面になる。制御部160は、当該画面インターフェースが出力された状態でメモ作成のための入力信号、すなわち多様なタッチイベントが発生すれば、当該タッチイベントに対応するメモ作成をサポートする。
この段階で、音声録音機能活性化のための入力信号が発生した場合、制御部160は、ステップS315に分岐し、音声録音機能を活性化するように制御する。
この際、制御部160は、音声録音機能が活性化されたことを指示するイメージをメモ作成画面上に出力するようサポートすることができる。また、制御部160は、音声録音機能が活性化している状態でも、メモ機能によるメモ作成をサポートすることができる。
すなわち制御部160は、音声録音情報に該当する音声録音機能表示領域をメモ作成画面上に出力するようサポートする。
一方、データ複合記録機能終了のための入力信号が発生すれば、制御部160は、ステップS303の前に分岐して戻り、後続工程を行うようサポートする。
以下では、本発明の実施形態によるデータ複合記録機能運用時に出力される画面インターフェースについて説明する。
ユーザは、端末機100の運用においてオーディオ信号関連機能、例えば通話機能を運用することができる。すなわち他の端末機から通話接続要請が来て応答するか、または他の端末機に要請した通話要請の応答を受信する場合、端末機100は、他の端末機と通話チャネルを形成し、通話機能をサポートする。この際、端末機100は、図4に示すような画面を通話中に表示パネル141に出力するようサポートすることができる。
ユーザは、通話中に画面でボタンマップ30を選択する入力信号、例えば当該ボタンマップ30を選択するタッチイベントを生成し、データ複合記録機能を活性化するよう制御する。
この際、制御部160は、通話機能をバックグラウンドプロセッシングを通じて維持するように制御する。
図5を参照すると、表示パネル141は、データ複合記録機能のうちメモ機能に対応するメモ作成画面40を表示する。
メモ作成画面40には、<501>画面に示すようにメモ作成が可能なメモ領域41と、メモ作成と関連したツールを選択することができるツール領域45と、複合機能呼び出しのための呼出領域42とを含むことができる。
<501>画面で、ユーザは、本発明の実施形態によるデータ複合記録機能運用のために音声録音アイコン33を選択して入力信号を生成することができる。
特に表示パネル141は、音声録音機能サポート状態を指示する音声録音機能表示領域50を出力することができる。音声録音機能表示領域50は、メモ領域41上の所定の領域に出力することができ、特に既に作成されたメモ情報46と重畳しない所定の領域上に出力することができる。音声録音機能表示領域50は、音声録音と関連した多様な状態を指示するように特定インデックスやイメージなどを含む形態で出力することができる。特に<503>画面のように、音声録音中の場合、音声録音機能表示領域50は、音声録音中であることを指示するインデックスまたは音声録音進行時間などを表示することができる。
特にユーザは、<503>画面で、音声録音機能表示領域50の中止ボタン、例えば四角形形状のイメージを選択し、音声録音完了を行うことができる。それにより、表示パネル141は、<505>画面のように、録音された音声で音声録音情報を生成し、且つ当該音声録音機能表示領域50に題目を記入することができる。
このために制御部160は、録音された音声の少なくとも一部を音声認識してテキストに変換し、変換されたテキストのうち少なくとも一部の内容を音声録音機能表示領域50に題目として記入するよう制御することができる。
図6を参照すると、本発明の実施形態による音声録音機能表示領域50に表示される制御マップは、音声録音機能活性化によって音声録音中であることを指示し、音声録音完了を選択することができるようサポートする第1制御マップ601と、第1制御マップ601で音声録音完了ボタン、例えば四角形イメージボタンを選択することによって音声録音完了を指示し、録音された音声を再生することができるようサポートする第2制御マップ603とを含むことができる。
また、本発明の実施形態による制御マップは、第3制御マップ605で一時停止のためのボタン、例えば「II」イメージボタン選択による一時停止状態を指示し、さらに再生又は再生中止することができるようサポートする第4制御マップ607を含むことができる。
図7を参照すると、本発明の実施形態による表示パネル141は、複数の音声録音機能表示領域51、53を出力することができる。
このためにユーザは、図5の<505>画面が出力された状態でさらに追加して音声録音機能を活性化するように制御することができる。すなわち端末機100がオーディオ信号関連機能をサポートしている間に、ユーザの音声録音機能運用によって第1音声録音情報が生成されれば、端末機は、図5の<505>画面のように、第1音声録音機能表示領域51を出力することができる。
それにより、制御部160は、新しい音声録音機能の活性化によって第2音声録音機能表示領域53を表示パネル141に出力するようサポートする。この際、制御部160は、第2音声録音機能表示領域53を第1音声録音機能表示領域51と区別される領域上に出力するようサポートする。
図8を参照すると、ユーザがデータ複合記録機能を運用するための入力信号を生成すれば、端末機100は、<801>画面のように、メモ機能運用のためのメモ作成画面40を表示パネル141に出力する。
このために制御部160は、<803>画面のように、音声録音機能が完了した後でも、メモ作成のためのメモ作成画面40を表示パネル141に出力するようサポートする。
それにより、ユーザは、メモ領域41上にさらに追加メモ情報47を記入することができる。この際、ユーザは、音声録音機能表示領域50が出力されていないメモ領域41にメモを作成することが好ましい。ここで、ユーザが追加メモ情報47を記入する過程で追加メモ情報47の少なくとも一部が音声録音機能表示領域50に重畳しても、制御部160は、これを許容するように制御する。すなわち制御部160は、追加メモ情報47作成のためのタッチイベントが音声録音機能表示領域50を経て発生しても、これを有効なタッチイベントとして認識し、それによる追加メモ情報47の適用を行うことができる。
この工程で、制御部160は、追加メモ情報47の記入不可を案内する案内音や振動アラームを出力するよう制御することができる。一方、制御部160は、音声録音機能表示領域50のうち制御マップ領域603でタッチイベントが発生した場合、当該音声録音機能表示領域50にリンクされた音声録音情報を再生するように制御する。
図9を参照すると、表示パネル141は、本発明の実施形態によるデータ複合記録機能運用によって<901>画面のようにメモ情報46と音声録音機能表示領域50が出力されるメモ作成画面40を出力する。ここで、ユーザは、メモ作成画面40を拡大するためのタッチイベント生成を行うことができる。例えば、ユーザは、メモ作成画面40上でズームインイベントを生成させるためのタッチ動作を行うことができる。
それにより、端末機100は、<905>段階のように、横モード状態に配置することができる。且つ、端末機100は、横モードによって表示パネル141の出力をサポートする。
特に制御部160は、<903>画面で出力されていた縦画面を横画面に転換して表示パネル141に出力されるよう制御する。この際、制御部160は、音声録音機能表示領域50を横モードに対応するように調整することができる。例えば、制御部160は、音声録音機能表示領域50の一定領域を少なくとも一方向に拡張して表示されるよう制御することができる。また、制御部160は、横モード転換によって音声録音機能表示領域50がメモ情報46と重畳しないように画面位置の整列を行うことができる。
図10を参照すると、表示パネル141は、<1001>画面のように、音声録音機能表示領域50とメモ情報46が一緒に出力されるメモ作成画面40を出力する。
除去ボタンマップ55の選択のための入力信号が発生すれば、制御部160は、音声録音機能表示領域50の除去だけでなく、音声録音機能表示領域50にリンクされた音声録音情報まで一緒に除去するように制御することができる。
図11を参照すると、表示パネル141は、ユーザ制御によって音声録音機能呼び出しが可能なメモ作成画面40に該当するデータ複合記録機能画面インターフェースを<1101>画面のように出力する。
それにより、制御部160は、<1103>画面のように、音声録音機能を活性化しながら音声録音機能が進行中であることを示す音声録音機能表示領域50をメモ作成画面40の一部に出力するようサポートする。これにより、制御部160は、外部より受信したオーディオ信号又はマイクMICが収集するオーディオ信号などを音声録音するように制御することができる。一方、ユーザは、<1103>画面のように、音声録音中にもメモ作成を行うことができる。それにより、制御部160は、音声録音中に追加されたメモ情報48をメモ作成画面40に出力することができる。
図12を参照すると、制御部160は、データ複合記録機能に基づいて生成された複合記録情報をサムネイルイメージに変換することができる。また、制御部160は、図に示すように変換されたサムネイルイメージ(1201、1202、1203)をマルチイメージ画面上にそれぞれ出力することができる。
ユーザは、上述したサムネイルイメージ(1201、1202、1203)を確認し、当該サムネイルイメージ(1201、1202、1203)がどんな情報を含んでいるかを概略的に確認することができる。
図13を参照すると、表示パネル141は、2つの複合記録情報に対応するサムネイルイメージ(1301、1302)がそれぞれ出力される。表示パネル141に出力されるサムネイルイメージ(1301、1302)は、それぞれ特定方式によって作成された複合記録情報になることができる。すなわち図13に示すサムネイルイメージ(1301、1302)は、音声録音中に追加メモ情報を作成することによって、音声録音機能表示領域に音声録音補助メモ情報が追加された形態の複合記録情報から生成されたイメージになることができる。
110 無線通信部
120 入力部
130 オーディオ処理部
140 タッチスクリーン
141 表示パネル
143 タッチパネル
150 格納部
151 メモサポートプログラム
153 音声録音サポートプログラム
155 複合記録情報
159 複合記録機能サポートプログラム
160 制御部
161 メモ作成サポート部
163 音声録音サポート部
165 オーディオ信号関連機能サポート部
Claims (13)
- データ複合記録機能を活性化させるための入力信号受信段階と、
前記データ複合記録機能の活性化に応答してタッチ入力をメモデータとして表示可能な表示ゾーンと音声録音機能を活性化するために選択可能な音声録音アイコンとを含むメモ作成画面を出力する段階と、
前記音声録音アイコンを選択する入力に応答して、第1音声録音機能を活性化し、前記第1音声録音機能に対応する第1音声録音機能表示領域を前記メモデータと共に前記表示ゾーン内に表示する段階と、を有し、
第2音声録音機能を活性化するための入力に応答して、前記第2音声録音機能に対応する第2音声録音機能表示領域を、前記第1音声録音機能表示領域と区分して前記メモ作成画面上に出力する段階をさらに有することを特徴とするデータ複合記録機能サポート方法。 - 前記第1音声録音機能が遂行されて音声録音が完了した時、録音された音声に基づいて音声録音情報を生成する段階と、
前記音声録音情報を前記メモ作成画面のメモ機能によるメモ情報と結合させて複合記録情報として格納する段階とをさらに有することを特徴とする請求項1に記載のデータ複合記録機能サポート方法。 - 前記複合記録情報をサムネイルイメージに変換する段階と、
前記サムネイルイメージをマルチイメージ画面に出力する段階とをさらに有することを特徴とする請求項2に記載のデータ複合記録機能サポート方法。 - 新しい音声録音機能を呼び出すための入力信号を受信した場合、前記新しい音声録音機能の活性化に応答して新しい音声録音機能表示領域を、既存の音声録音機能表示領域と区分して前記メモ作成画面上に出力する音声録音機能表示領域出力段階と、
前記音声録音機能が遂行されて音声録音が完了した時、録音された音声の内の少なくとも一部を音声認識し、テキストに変換した後、前記テキストの内の少なくとも一部を前記音声録音機能表示領域の題目として出力する段階と、
前記音声録音機能が遂行されて音声録音が完了した時、録音された音声の内の少なくとも一部を音声認識し、テキストに変換した後、前記テキストに含まれた単語のうち所定の頻度以上用いられる単語を前記音声録音機能表示領域に題目として出力する段階と、
前記音声録音情報が結合された前記メモ情報のみを抜粋し、前記抜粋された音声録音情報が結合されたメモ情報を前記音声録音機能表示領域の隣接する領域に音声録音補助メモ情報として配置する段階との内のいずれか1つの段階をさらに有することを特徴とする請求項1に記載のデータ複合記録機能サポート方法。 - 前記第1音声録音機能表示領域を前記表示ゾーン内に表示する段階は、前記第1音声録音機能表示領域上に前記第1音声録音機能による音声録音中の状態であることを表示し、音声録音完了を選択できるようサポートする第1制御マップを出力する段階と、
前記第1制御マップで音声録音完了ボタン選択による音声録音完了を指示し、録音された音声を再生できるようサポートする第2制御マップを出力する段階と、
前記第2制御マップで、録音された音声を再生するボタン選択による録音された音声再生を指示し、再生中の音声を一時停止又は停止ができるようサポートする第3制御マップを出力する段階と、
前記第3制御マップで一時停止するボタン選択による一時停止状態を指示し、さらに再生又は再生中止ができるようサポートする第4制御マップを出力する段階との内の少なくとも1つ段階を含むことを特徴とする請求項1に記載のデータ複合記録機能サポート方法。 - 前記第1音声録音機能表示領域を移動させるための入力信号発生時に、前記入力信号によって前記第1音声録音機能表示領域を前記メモ作成画面のうちの所定の位置に移動させる段階と、
前記第1音声録音機能表示領域を選択時に、前記第1音声録音機能表示領域を削除するための除去ボタンマップを出力する段階と、
前記メモ作成画面を拡大するための入力信号発生時に、前記第1音声録音機能表示領域を拡大された前記メモ作成画面の前記メモデータと重畳しない領域に配置整列させる段階との内のいずれか1つの段階をさらに有することを特徴とする請求項1に記載のデータ複合記録機能サポート方法。 - オーディオ信号関連機能を活性化させるための入力信号と、前記オーディオ信号関連機能運用中にデータ複合記録機能を活性化させるための入力信号とを生成する入力部と入力機能をサポートするタッチパネルとの少なくとも1つと、
前記データ複合記録機能の活性化によってタッチ入力をメモデータとして表示可能な表示ゾーンと音声録音機能を活性化するために選択可能な音声録音アイコンとを含むメモ作成画面を出力する表示パネルと、
前記音声録音機能を呼出可能なメモ作成画面の出力を制御する制御部とを有し、
前記制御部は、前記音声録音アイコンを選択する入力に応答して、第1音声録音機能を活性化し、前記表示パネルが前記第1音声録音機能に対応する第1音声録音機能表示領域を前記メモデータと共に前記表示ゾーン内に表示するように制御し、
前記表示パネルは、第2音声録音機能を活性化するための入力に応答して、前記第2音声録音機能に対応する第2音声録音機能表示領域を、前記第1音声録音機能表示領域と区分して前記メモ作成画面上に出力することを特徴とするデータ複合記録機能サポート端末機。 - 前記第1音声録音機能が遂行されて音声録音が完了した時、前記音声録音完了のための入力信号発生時に録音された音声に基づいて生成された音声録音情報、該音声録音情報を前記メモ作成画面のメモ機能によるメモ情報と結合させて生成される複合記録情報を格納する格納部をさらに有することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
- 前記制御部は、前記複合記録情報をサムネイルイメージに変換し、該サムネイルイメージを前記表示パネル上に具現されるマルチイメージ画面に出力するように制御することを特徴とする請求項8に記載のデータ複合記録機能サポート端末機。
- 前記制御部は、前記第1音声録音機能が遂行されて音声録音が完了した時、音声録音完了のための入力信号発生時に録音された音声の内の少なくとも一部を音声認識してテキストに変換し、前記テキストの内の少なくとも一部を前記第1音声録音機能表示領域の題目として出力するように制御し、
前記音声録音機能が遂行されて音声録音が完了した時、音声録音完了のための入力信号発生時に録音された音声の内の少なくとも一部を音声認識し、テキストに変換し、前記テキストに含まれた単語のうち一定頻度数以上の単語を前記音声録音機能表示領域に題目として出力するように制御することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。 - 前記表示パネルは、前記第1音声録音機能表示領域上に前記第1音声録音機能による音声録音中の状態であることを表示し、音声録音完了を選択できるようサポートする第1制御マップと、
前記第1制御マップで音声録音完了ボタン選択による音声録音完了を指示し、録音された音声を再生できるようサポートする第2制御マップと、
前記第2制御マップで録音された音声を再生するためのボタン選択による録音された音声再生を指示し、再生中の音声を一時停止又は停止ができるようサポートする第3制御マップと、
前記第3制御マップで一時停止のためのボタン選択による一時停止状態を指示し、さらに再生又は再生中止ができるようサポートする第4制御マップとの内の少なくとも1つを出力することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。 - 前記制御部は、前記音声録音情報から結合されたメモ情報のみを抜粋し、前記抜粋された前記メモ情報を前記第1音声録音機能表示領域の隣接する領域に音声録音補助メモ情報として配置することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
- 前記表示パネルは、前記第1音声録音機能表示領域を移動させるための入力信号発生時に、前記入力信号によって前記メモ作成画面のうちの所定の位置に移動して表示する前記第1音声録音機能表示領域と、
前記第1音声録音機能表示領域を選択時に、前記第1音声録音機能表示領域を削除するための除去ボタンマップと、
前記メモ作成画面を拡大するための入力信号発生時に、拡大された前記メモ作成画面の前記メモデータと重畳しない領域に配置整列する前記音声録音機能表示領域との内の少なくとも1つを出力することを特徴とする請求項7に記載のデータ複合記録機能サポート端末機。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110087582A KR101844903B1 (ko) | 2011-08-31 | 2011-08-31 | 데이터 복합 기록 지원 방법 및 이를 지원하는 단말기 |
KR10-2011-0087582 | 2011-08-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013055659A JP2013055659A (ja) | 2013-03-21 |
JP6207135B2 true JP6207135B2 (ja) | 2017-10-04 |
Family
ID=46851321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012192031A Active JP6207135B2 (ja) | 2011-08-31 | 2012-08-31 | データ複合記録機能サポート方法及びこれをサポートする端末機 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9729691B2 (ja) |
EP (2) | EP2566141B1 (ja) |
JP (1) | JP6207135B2 (ja) |
KR (1) | KR101844903B1 (ja) |
CN (1) | CN103135760B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101943320B1 (ko) * | 2012-09-21 | 2019-04-17 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
WO2014144930A2 (en) * | 2013-03-15 | 2014-09-18 | Videri Inc. | Systems and methods for distributing, viewing, and controlling digital art and imaging |
CN103281429A (zh) * | 2013-06-01 | 2013-09-04 | 苏州联讯达软件有限公司 | 一种手机通话记录功能扩展方法 |
KR20150009036A (ko) * | 2013-07-10 | 2015-01-26 | 삼성전자주식회사 | 휴대단말기의 메모 처리 방법 및 장치 |
KR102337157B1 (ko) * | 2014-11-05 | 2021-12-08 | 삼성전자주식회사 | 전자 칠판 장치 및 그 제어 방법 |
WO2018179425A1 (ja) * | 2017-03-31 | 2018-10-04 | 株式会社オプティム | 音声内容記録システム、方法及びプログラム |
CN109947906A (zh) * | 2017-09-11 | 2019-06-28 | 慧利众科技股份有限公司 | 智能语音交互式电子备忘录及其操作方法 |
CN115187701A (zh) * | 2018-10-16 | 2022-10-14 | 华为技术有限公司 | 一种内容编辑的方法及终端 |
KR102427213B1 (ko) * | 2020-09-23 | 2022-08-01 | 네이버 주식회사 | 음성 파일에 대한 텍스트 변환 기록과 메모를 함께 관리하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체 |
TWI807428B (zh) * | 2020-09-23 | 2023-07-01 | 南韓商納寶股份有限公司 | 一同管理與語音檔有關的文本轉換記錄和備忘錄的方法、系統及電腦可讀記錄介質 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5754629A (en) | 1993-12-22 | 1998-05-19 | Hitachi, Ltd. | Information processing system which can handle voice or image data |
US5966122A (en) * | 1996-03-08 | 1999-10-12 | Nikon Corporation | Electronic camera |
US6453281B1 (en) * | 1996-07-30 | 2002-09-17 | Vxi Corporation | Portable audio database device with icon-based graphical user-interface |
US6404856B1 (en) | 1998-04-10 | 2002-06-11 | Fuji Xerox Co., Ltd. | System for recording, annotating and indexing audio data |
US6732915B1 (en) * | 1999-09-10 | 2004-05-11 | Fuji Xerox Co., Ltd. | Systems and methods for controlling a presentation using physical objects |
CA2412578A1 (en) * | 2000-05-11 | 2002-01-17 | Nes Stewart Irvine | Zeroclick |
JP2004096502A (ja) | 2002-08-30 | 2004-03-25 | Nippon Telegraph & Telephone East Corp | 録音データ主題検出装置 |
KR100685975B1 (ko) | 2005-08-12 | 2007-02-26 | 엘지전자 주식회사 | 이동통신단말기에서의 통화 중 메모 작성 방법 및 이를구현할 수 있는 이동통신단말기 |
EP1753210A3 (en) | 2005-08-12 | 2008-09-03 | LG Electronics Inc. | Mobile communication terminal providing memo function |
KR100780436B1 (ko) * | 2006-05-25 | 2007-11-28 | 삼성전자주식회사 | 이동통신 단말기의 배경화면 표시 장치 및 그 방법 |
JP4783713B2 (ja) | 2006-11-10 | 2011-09-28 | 富士通東芝モバイルコミュニケーションズ株式会社 | 移動無線端末装置および表示制御方法 |
CN101232542A (zh) | 2007-01-23 | 2008-07-30 | 乐金电子(中国)研究开发中心有限公司 | 移动终端实现语音备忘功能的方法及应用其的移动终端 |
CN101043347A (zh) | 2007-03-15 | 2007-09-26 | 华为技术有限公司 | 备忘录业务实现***、实现方法及备忘录应用服务器 |
US20090006089A1 (en) | 2007-06-27 | 2009-01-01 | Motorola, Inc. | Method and apparatus for storing real time information on a mobile communication device |
US9996612B2 (en) * | 2007-08-08 | 2018-06-12 | Sony Corporation | System and method for audio identification and metadata retrieval |
US8327272B2 (en) * | 2008-01-06 | 2012-12-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
KR101067406B1 (ko) * | 2008-05-23 | 2011-09-27 | 삼성전자주식회사 | 통신 단말기 및 그의 미팅 정보 관리 방법 |
KR101070362B1 (ko) * | 2008-06-19 | 2011-10-05 | 삼성전자주식회사 | 휴대 단말기의 위치 알람 제어 방법 및 장치 |
US8918085B2 (en) * | 2008-08-05 | 2014-12-23 | Mediafriends, Inc. | Social messaging hub |
KR101592296B1 (ko) * | 2008-09-03 | 2016-02-05 | 엘지전자 주식회사 | 이동 단말기 및 그의 객체 선택과 실행 방법 |
KR101609162B1 (ko) * | 2008-11-13 | 2016-04-05 | 엘지전자 주식회사 | 터치 스크린을 구비한 이동 단말기 및 이를 이용한 데이터 처리 방법 |
KR101544475B1 (ko) * | 2008-11-28 | 2015-08-13 | 엘지전자 주식회사 | 터치를 통한 입출력 제어 |
KR101593598B1 (ko) * | 2009-04-03 | 2016-02-12 | 삼성전자주식회사 | 휴대단말에서 제스처를 이용한 기능 실행 방법 |
JP5504722B2 (ja) * | 2009-07-15 | 2014-05-28 | 富士ゼロックス株式会社 | 情報処理装置及びコンピュータプログラム |
KR101651128B1 (ko) * | 2009-10-05 | 2016-08-25 | 엘지전자 주식회사 | 이동 단말기 이것의 애플리케이션 실행 제어 방법 |
EP2312427B1 (en) * | 2009-10-13 | 2013-09-18 | BlackBerry Limited | User interface for a touchscreen display |
WO2011105768A2 (ko) * | 2010-02-23 | 2011-09-01 | 엘지전자 주식회사 | 단말기를 구비하는 냉장고 및 그 제어방법 |
KR101718027B1 (ko) * | 2010-09-09 | 2017-03-20 | 엘지전자 주식회사 | 이동 단말기 및 그의 메모 관리방법 |
-
2011
- 2011-08-31 KR KR1020110087582A patent/KR101844903B1/ko active IP Right Grant
-
2012
- 2012-08-20 US US13/589,813 patent/US9729691B2/en active Active
- 2012-08-27 CN CN201210307838.6A patent/CN103135760B/zh active Active
- 2012-08-28 EP EP12182052.6A patent/EP2566141B1/en active Active
- 2012-08-28 EP EP20171614.9A patent/EP3739858B1/en active Active
- 2012-08-31 JP JP2012192031A patent/JP6207135B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20130054229A1 (en) | 2013-02-28 |
US9729691B2 (en) | 2017-08-08 |
EP2566141B1 (en) | 2020-05-06 |
KR101844903B1 (ko) | 2018-04-04 |
CN103135760A (zh) | 2013-06-05 |
JP2013055659A (ja) | 2013-03-21 |
KR20130024255A (ko) | 2013-03-08 |
EP2566141A1 (en) | 2013-03-06 |
CN103135760B (zh) | 2018-05-04 |
EP3739858B1 (en) | 2024-05-15 |
EP3739858A1 (en) | 2020-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6207135B2 (ja) | データ複合記録機能サポート方法及びこれをサポートする端末機 | |
JP5974068B2 (ja) | 端末及びその表示方法 | |
JP6418725B2 (ja) | 録音機能が連動されたメモ機能運用方法および装置 | |
KR101569427B1 (ko) | 휴대 단말기의 터치 입력 장치 및 그의 운영 방법 | |
CN102754352B (zh) | 提供多个应用的信息的方法和装置 | |
KR102064952B1 (ko) | 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치 | |
KR101857561B1 (ko) | 휴대 단말기의 일정 관리 방법 및 장치 | |
US20110193804A1 (en) | Method and apparatus for editing list in portable terminal | |
JP2013143151A (ja) | 音声認識を使用してユーザ機能を行う方法及び装置 | |
CN102707868A (zh) | 控制移动终端的屏幕的方法 | |
JP2013542482A (ja) | マルチタッチによるリストデータ出力制御方法及びこれを支援する携帯端末機 | |
KR20140105342A (ko) | 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치 | |
JP2014519106A (ja) | タッチスクリーンを備えた携帯端末機の画面編集方法及び装置 | |
JP5777645B2 (ja) | 携帯端末機の文字入力方法及びこれをサポートする携帯端末機 | |
JP2012198893A (ja) | オブジェクト変更機能支援方法及びこれを支援する携帯端末 | |
KR20110055088A (ko) | 휴대 단말기의 표시부 운용 방법 및 장치 | |
KR101966708B1 (ko) | 배경 컨텐츠 운용 방법 및 이를 지원하는 단말기 | |
KR20110064627A (ko) | 휴대단말의 폰북 제공 방법 및 장치 | |
KR20140089696A (ko) | 가상 키패드 운용 방법 및 이를 지원하는 단말기 | |
KR20120047195A (ko) | 입력 신호에 따른 화면 변화 제어 방법 및 이를 지원하는 휴대 단말기 | |
KR101727927B1 (ko) | 메모 기능 운용 방법 및 이를 지원하는 휴대 단말기 | |
JP6129749B6 (ja) | メモ機能の運用方法及びこれを支援する携帯端末機 | |
KR101517117B1 (ko) | 미디어 플레이어를 제어하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6207135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |