JP4277512B2 - 電子機器及びプログラム - Google Patents
電子機器及びプログラム Download PDFInfo
- Publication number
- JP4277512B2 JP4277512B2 JP2002332511A JP2002332511A JP4277512B2 JP 4277512 B2 JP4277512 B2 JP 4277512B2 JP 2002332511 A JP2002332511 A JP 2002332511A JP 2002332511 A JP2002332511 A JP 2002332511A JP 4277512 B2 JP4277512 B2 JP 4277512B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- data
- file
- voice
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【発明の属する技術分野】
本発明は、音声データに文字データを同期させるための電子機器およびプログラムに関する。
【0002】
【従来の技術】
従来、音楽,テキスト,画像などのファイルを同時並行して再生する技術としては、例えばMPEG-3により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とその歌詞のテキストおよびイメージ画像を同期再生するものがある。
【0003】
また、音声に対する文字の時間的な対応情報が予め用意されていることを前提に、当該音声信号の特徴量を抽出し対応する文字と関連付けて表示する装置も考えられている。(例えば、特許文献1参照。)
【0004】
【特許文献1】
特公平06−025905号公報
【0005】
【発明が解決しようとする課題】
しかしながら、このように従来行われているMPEGファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるMP3音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該MP3音声ファイルを再生させない限り同期情報を取り出すことが出来ず、MP3ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【0006】
このため、例えばMP3音声ファイルにテキストファイルの同期情報を埋め込んだ場合に、音声ファイルの再生を行わない期間にあっても無音声ファイルとして音声再生処理を継続的に行っていないと同期対象ファイルの再生を行うことが出来ない問題がある。
【0007】
従って、従来この複数種類ファイルの同期再生処理は、MP3ファイルの再生処理をベースとして行われるため、再生装置のCPUにおける処理の負荷が重くなる問題がある。
【0008】
一方、前記特許文献1に記載の装置は、MPEGファイルの付加データエリアを利用するものではなく、音声信号の変化を抽出して該音声信号の変化に対応する文字をメモリ上で関連付けて記憶しておくことで、当該音声の出力に伴い対応する文字を表示できるようにしたものであるが、このような音声/文字の関連付け情報は音声信号の時系列情報に対応付けて個々の文字を入力指定して行くことで生成されるので、当該音声/文字の関連付け情報を生成するのが非常に面倒で手間の掛かる問題がある。
【0009】
本発明は、前記のような問題に鑑みてなされたもので、音声ファイルとテキストファイルを同期再生するための関連付け情報を容易に生成することが可能になる電子機器及びプログラムを提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明の請求項1に係る電子機器は、文章を読み上げた音声データを記憶する音声記憶手段と、前記文章に対応するテキストデータを記憶するテキスト記憶手段と、前記音声記憶手段により記憶された音声データを再生する音声出力手段と、前記テキスト記憶手段により記憶されたテキストデータを表示するテキスト表示手段と、このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置を検出するテキスト位置検出手段と、前記音声出力手段による音声データの再生に合わせて前記テキスト表示手段が表示したテキストに含まれる各単語を前記テキスト位置検出手段のポインタにより指定されたときの、音声データの再生経過時間を記録する時間データ記録手段と、この時間データ記録手段で記録した各単語までの再生経過時間に基づいて、音声データにテキストを対応付けて同期再生させるためのコマンド列を生成するコマンド生成手段とを備えたことを特徴とする。
【0011】
これによれば、記憶された音声データを再生しながら、記憶されたテキストデータを表示させ、この表示されたテキストデータを音声再生に合わせてポインタにより指定するだけで、音声再生に対応するテキスト位置を同期表示で確認しながら対応付けできることになる。
【0026】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【0027】
図1は本発明の電子機器(命令コード作成装置)の実施形態に係る携帯機器10の電子回路の構成を示すブロック図である。
【0028】
この携帯機器(PDA:personal digital assistants)10は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)11が備えられる。
【0029】
CPU11は、メモリ12内のROM12Aに予め記憶されたPDA(携帯機器)制御プログラム12a、あるいはROMカードなどの外部記録媒体13から記録媒体読取部14を介して前記メモリ12に読み込まれたPDA制御プログラム12a、あるいはインターネットなどの通信ネットワークN上の他のコンピュータ端末(30)から電送制御部15を介して前記メモリ12に読み込まれたPDA制御プログラム12aに応じて、回路各部の動作を制御するもので、前記メモリ12に記憶されたPDA制御プログラム12aは、スイッチやキーからなる入力部17aおよびマウスやタブレットからなる座標入力装置17bからのユーザ操作に応じた入力信号、あるいは電送制御部15に受信される通信ネットワークN上の他のコンピュータ端末(30)からの通信信号、あるいはBluetooth(R)による近距離無線接続や有線接続による通信部16を介して受信される外部の通信機器(PC:personal computer)20からの通信信号に応じて起動される。
【0030】
前記CPU11には、前記メモリ12、記録媒体読取部14、電送制御部15、通信部16、入力部17a、座標入力装置17bが接続される他に、LCDからなる表示部18、マイクを備え音声を入力する音声入力部19a、スピーカを備え音声を出力する音声出力部19bなどが接続される。
【0031】
また、CPU11には、処理時間計時用のタイマが内蔵される。
【0032】
この携帯機器10のメモリ12は、ROM12A、FLASHメモリ(EEP-ROM)12B、RAM12Cを備えて構成される。
【0033】
ROM12Aには、当該携帯機器10のPDA制御プログラム12aとして、その全体の動作を司るシステムプログラムや電送制御部15を介して通信ネットワークN上の各コンピュータ端末(30)とデータ通信するためのネット通信プログラム、通信部16を介して外部の通信機器(PC)20とデータ通信するための外部機器通信プログラムが記憶される他に、スケジュール管理プログラムやアドレス管理プログラム、そして音声・テキスト・画像などの各種のファイルを同期再生するための再生用ファイル(CASファイル)12c(12b)を作成する同期コンテンツ作成処理プログラム12a1、これにより作成された再生用ファイル(CASファイル)12c(12b)に従い音声・テキスト・画像などの各種のファイルを同期再生するための同期コンテンツ再生処理プログラム12a2など、種々のPDA制御プログラム12anが記憶される。
【0034】
FLASHメモリ(EEP-ROM)12Bには、前記同期コンテンツ作成処理プログラム12a1に従い作成され、また前記同期コンテンツ再生処理プログラム12a2に従い再生処理の対象となる暗号化された再生用ファイル(CASファイル)12bが記憶される他に、前記スケジュール管理プログラムやアドレス管理プログラムに基づき管理されるユーザのスケジュール及び友人・知人のアドレスなどが記憶される。
【0035】
ここで、前記FLASHメモリ(EEP-ROM)12B内に記憶される暗号化再生用ファイル12bは、例えば英会話の練習やカラオケをテキスト・音声・画像の同期再生により行うためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【0036】
この作成された暗号化再生用ファイル12bは、例えばCD−ROMに記録して配布したり、電送制御部15を介して通信ネットワーク(インターネット)N上のファイル配信サーバ30へ転送配布したり、あるいは通信部16を介して外部の通信機器(PC)20へ転送配布したりするもので、この暗号化再生用ファイル12bは、例えば英会話練習用のファイルとして本携帯機器(PDA)10により作成され、英会話練習者の各端末である外部通信機器(PC)20や該各端末からアクセス可能なファイル配信サーバ30へ転送格納される。
【0037】
RAM12Cには、前記暗号化された再生用ファイル12bを伸張・復号化した解読された再生用ファイル(CASファイル)12cが記憶されると共に、この解読再生ファイル12cの中の画像ファイルが展開されて記憶される画像展開バッファ12eが備えられる。解読されたCASファイル12cは、再生命令の処理単位時間(12c1a)を記憶するヘッダ情報(12c1)、および後述するファイルシーケンステーブル(12c2)、タイムコードファイル(12c3)、コンテンツ内容データ(12c4)で構成される。
【0038】
そしてまた、RAM12Cには、音声とテキストを同期再生するための再生用ファイル12b(12c)を前記同期コンテンツ作成処理プログラム12a1に従い作成処理する過程において生成される、音声とテキストを同期付けたテキスト音声同期データ12dが記憶される。
【0039】
さらに、RAM12Cには、その他各種の処理に応じてCPU11に入出力される種々のデータを一時記憶するためワークエリアが用意される。
【0040】
図2は前記携帯機器10のメモリ12に格納された再生用ファイル12b(12c)を構成するタイムコードファイル12c3を示す図である。
【0041】
図3は前記携帯機器10のメモリ12に格納された再生用ファイル12b(12c)を構成するファイルシーケンステーブル12c2を示す図である。
【0042】
図4は前記携帯機器10のメモリ12に格納される再生用ファイル12b(12c)を構成するコンテンツ内容データ12c4を示す図である。
【0043】
この携帯機器10の再生対象ファイルとなる再生用ファイル12b(12c)は、図2〜図4で示すように、前記同期コンテンツ作成処理プログラム12a1に従い作成(作成処理については後述する)されるタイムコードファイル12c3とファイルシーケンステーブル12c2とコンテンツ内容データ12c4との組み合わせにより構成される。
【0044】
図2で示すタイムコードファイル12c3には、個々のファイル毎に予め設定される一定時間間隔(例えば25ms)で各種ファイル同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるファイル内容(図4参照)を対応付けするためのファイルシーケンステーブル12c2(図3)の参照番号や指定数値からなるパラメータデータとの組み合わせにより構成される。
【0045】
なお、このタイムコードに従い順次コマンド処理を行うための一定時間間隔は、当該タイムコードファイル12c3のヘッダ情報12c1に処理単位時間12c1aとして記述設定される。
【0046】
図3で示すファイルシーケンステーブル12c2は、複数種類のファイル(HTML/画像/テキスト/音声)の各種類毎に、前記タイムコードファイル12c3(図2参照)に記述される各コマンドのパラメータデータと実際のファイル内容の格納先(ID)番号とを対応付けたテーブルである。
【0047】
図4で示すコンテンツ内容データ12c4は、前記ファイルシーケンステーブル12c2(図3参照)により前記各コマンドコードと対応付けされる実際の音声,画像,テキストなどのファイルデータが、そのそれぞれのID番号を対応付けて記憶される。
【0048】
図5は前記携帯機器10のタイムコードファイル12c3(図2参照)にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム12a2に基づき解析処理される命令内容を対応付けて示す図である。
【0049】
タイムコードファイル12c3に使用されるコマンドとしては、標準コマンドと拡張コマンドがあり、標準コマンドには、LT(i番目テキストロード).VD(i番目テキスト文節表示).BL(文字カウンタリセット・i番目文節ブロック指定).HN(ハイライト無し・文字カウンタカウントアップ).HL(i番目文字までハイライト・文字カウント).LS(1行スクロール・文字カウンタカウントアップ).DH(i番目HTMLファイル表示).DI(i番目イメージファイル表示).PS(i番目サウンドファイルプレイ).CS(クリアオールファイル).PP(基本タイムi秒間停止).FN(処理終了).NP(無効)の各コマンドがある。
【0050】
すなわち、この携帯機器(PDA)10のROM12Aに記憶されている同期コンテンツ再生処理プログラム12a2を起動させて、FLASHメモリ12Bから解読されRAM12Cに記憶された解読再生用ファイル12cが、例えば図2乃至図4で示したファイル内容であり、一定時間毎のコマンド処理に伴い3番目のコマンドコード“DI”およびパラメータデータ“02”が読み込まれた場合には、このコマンド“DI”はi番目のイメージファイル表示命令であるため、パラメータデータi=02からファイルシーケンステーブル12c2(図3参照)にリンク付けられる画像ファイルのID番号=7に従い、コンテンツ内容データ12c4(図4参照)の画像Bが読み出されて表示される。
【0051】
また、例えば同一定時間毎のコマンド処理に伴い6番目のコマンドコード“VD”およびパラメータデータ“00”が読み込まれた場合には、このコマンド“VD”はi番目のテキスト文節表示命令であるため、パラメータデータi=00に従い、テキストの0番目の文節が表示される。
【0052】
さらに、例えば同一定時間毎のコマンド処理に伴い9番目のコマンドコード“NP”およびパラメータデータ“00”が読み込まれた場合には、このコマンド“NP”は無効命令であるため、現状のファイル出力状態が維持される。
【0053】
なお、この複数種類のコンテンツを同期再生するための図2で示したタイムコードファイル12c3の作成動作、および図2乃至図4で示したファイル内容の再生用ファイル12b(12c)についての詳細な再生動作は、後述にて改めて説明する。
【0054】
図6は前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従いメモリ12に記憶されるテキスト音声同期データ12dを示す図である。
【0055】
このテキスト音声同期データ12dは、音声データにテキストを対応付けて同期再生するための再生用ファイル12b(12c)の作成に伴うテキストタッチ音声同期処理(図9参照)において、同期付けすべき音声データを再生しながら表示されているテキストデータを該音声内容に順次対応付けながらマウスカーソルまたはペンタッチにより各文字や単語部分を指定して行くことで、当該テキスト内容の各単語(単語No.)毎に音声データの再生経過時間が対応付けされて生成される。
【0056】
次に、前記構成の携帯機器10により各種ファイルの同期再生を図る再生用ファイル(CASファイル)12c(12b)を作成するための同期コンテンツ作成機能について説明する。
【0057】
図7は前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理を示すフローチャートである。
【0058】
図8は前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理に伴う各コンテンツ取得保存処置を示すフローチャートである。
【0059】
図9は前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理に伴うテキストタッチ音声同期処置を示すフローチャートである。
【0060】
図10は前記携帯機器10の同期コンテンツ作成処理によるテキストタッチ音声同期処置に伴う音声再生中のテキストタッチ表示状態を示す図である。
【0061】
図11は前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理に伴うタイムコードファイル作成処置を示すフローチャートである。
【0062】
例えば英語の勉強が音声とテキストと画像で行える英語教材再生ファイル12b(12c)を作成するために、同期コンテンツ作成処理プログラム12a1を起動させると、まず、各コンテンツ取得保存処置(図8参照)が実行される(ステップAB)。
【0063】
この各コンテンツ取得保存処置では、同期コンテンツとして利用するテキスト,音声,画像の各データを入力して保存するもので、まず、入力部17aにおけるキー入力操作あるいは電送制御部15を介したWebサーバ30からのダウンロード、あるいは通信部16を介した外部通信機器(PC)20からのダウンロードにより、例えば英語教材のテキストデータが入力される(ステップB1)。
【0064】
入力されたテキストデータは、再生用ファイル12b(12c)におけるコンテンツ内容データ12c4(図4参照)としてID番号を対応付けて保存され(ステップB2)、シーケンシャルファイルテーブル12c2(図3参照)のテキスト指定情報として追加記憶される(ステップB3)。
【0065】
また、音声入力部19aによる音声入力あるいは電送制御部15を介したWebサーバ30からのダウンロード、あるいは通信部16を介した外部通信機器(PC)20からのダウンロードにより、同英語教材のテキストに対応した音声データが入力される(ステップB4)。
【0066】
入力された音声データは、再生用ファイル12b(12c)におけるコンテンツ内容データ12c4(図4参照)としてID番号を対応付けて保存され(ステップB5)、シーケンシャルファイルテーブル12c2(図3参照)の音声指定情報として追加記憶される(ステップB6)。
【0067】
さらに、デジタルカメラによる各撮影画像を記録したCD−Rなどの記録媒体13を記録媒体読取部14を介して読み取るか、あるいは電送制御部15を介したWebサーバ30からのダウンロード、あるいは通信部16を介した外部通信機器(PC)20からのダウンロードにより、同英語教材のテキスト・音声に対応した画像データが入力される(ステップB7)。
【0068】
入力された画像データは、再生用ファイル12b(12c)におけるコンテンツ内容データ12c4(図4参照)としてID番号を対応付けて保存され(ステップB8)、シーケンシャルファイルテーブル12c2(図3参照)の画像指定情報として追加記憶される(ステップB9)。
【0069】
このような、各コンテンツ取得保存処置(ステップAB)により、同期再生の対象となる種々のコンテンツが順次入力され、コンテンツ内容データ12c4(図4参照)としてID番号を対応付けて保存されると共に、シーケンシャルファイルテーブル12c2(図3参照)のコンテンツ指定情報として追加記憶されると、今回作成すべき英語教材再生ファイル12b(12c)によって同期再生を図るテキスト、音声、画像が順次指定される(ステップA1,A2,A3)。
【0070】
すると、図9におけるテキストタッチ音声同期処置(ステップAC)に移行される。
【0071】
このテキストタッチ音声同期処置(ステップAC)では、図10に示すように、前記ステップA1〜A3において指定された音声データを音声出力部19bから再生するのと共に、テキストデータを表示部18に表示し、このテキスト音声同期表示画面Gにおいて、音声出力(単語の読み上げ)に合わせて対応するテキスト中の単語をユーザ操作により指定することで、当該テキスト内容の各単語(単語No.)毎に音声データの再生経過時間をテキスト音声同期データ12d(図6参照)に対応付けて生成する。図10に示した携帯機器10において、前記ステップA2において指定された同期再生すべき音声データは、音声出力部19bから出力されるもので、19bfは音声再生キー、19bsは音声再生停止キー、19brは音声巻き戻しキーである。
【0072】
すなわち、テキスト単語のカウンタnに“1”がセットされると(ステップC1)、同期再生すべき指定の音声の再生が音声出力部19bにより開始されたか判断され(ステップC2)、CPU11に内蔵される時間カウントタイマがスタートされる(ステップC3)。
【0073】
ここで、図10(A)に示すように、テキスト音声同期表示画面Gにおいて、音声出力部19bから出力される音声が読み上げる英会話の音声内容に合わせて、マウスカーソルMあるいはペンタッチによる座標入力装置17bを使用して英会話テキスト上の対応する単語を順次指定操作する。
【0074】
そして、前記座標入力装置17bにより入力されたユーザ操作に伴うテキスト上での座標位置が、n番目(最初は“1”番目)の単語上にあると判断されると(ステップC4)、入力部17aにおいて当該テキストタッチ音声同期処理を実行させるための「実行」キーが既に押されていることが判断確認される(ステップC5)。
【0075】
すると、音声再生経過時間に相当する前記時間カウントタイマの現在のカウント値がTn(n=1)として読み出されると共に(ステップC6)、図6に示すように、テキスト音声同期データ12dの単語No.1に対応付けて保存される(ステップC7)。
【0076】
すると、前記英会話の音声内容に合わせて指定された英会話テキスト上の対応するn番目(n=1)の単語「What」が反転表示Hにより識別表示され(ステップC8)、当該n番目の単語が表示中のテキスト内容の最後の単語であるか否か判断される(ステップC9)。
【0077】
この場合、例えばn=1で1番目の単語「What」はテキスト内容の最後の単語ではないと判断されるので、前記カウンタnが+1されて“2”にカウントアップされ(ステップC10)、入力部17aにおいて本テキストタッチ音声同期処理を中止させるためのストップキーが操作されたか否か判断される(ステップC11)。
【0078】
ここで、ストップキーが操作されない場合には、前記ステップC9においてカウンタnのカウント値がテキスト内容の最後の単語数に等しいと判断されるまで、前記ステップC4〜C11の処理が繰り返し実行される。すなわち、図10(A)および図10(B)に示すように、前記テキスト音声同期表示画面Gに表示された英会話テキストの音声再生による読み上げに合わせた座標入力装置17bによる対応単語のユーザ指定操作に応じて(ステップC4→C5)、当該指定の単語No.毎に音声再生経過時間Tnが対応付けられてテキスト音声同期データ12d(図6参照)として保存され(ステップC6,C7)、また当該英会話テキスト上の対応する単語までが反転表示Hにより識別表示される(ステップC8)。
【0079】
これにより、図10で示したテキスト音声同期データ12dには、同期再生すべき英会話テキストの各単語No.毎に、順次当該テキストを読み上げる音声再生の経過時間が対応付けられて保存される。
【0080】
こうして、前記テキストタッチ音声同期処置(ステップAC)が終了すると、これにより生成されたテキスト音声同期データ12dがRAM12C内に保存され(ステップA4)、図11におけるタイムコードファイル作成処置に移行される(ステップAD)。
【0081】
このタイムコードファイル作成処置が起動されると、まず、これから作成すべきタイムコードファイル12c3(図2参照)の処理単位時間12c1aがユーザ操作により基準時間(25ms/50ms/100ms/…)の中から選択され(ステップD1)、当該タイムコードファイル12c3のヘッダ情報12c1として書き込まれる(ステップD2)。
【0082】
すると、1番目の命令としてクリアスクリーン(全ファイルクリア)の命令が、コマンドコード“CS”およびパラメータデータ“00”として書き込まれ(ステップD3)、また、指定画像の表示命令が、2番目の表示エリア設定命令[コマンドコード“DH”・パラメータデータ“02”]、3番目の画像2表示命令[コマンドコード“DI”・パラメータデータ“02”]として書き込まれる(ステップD4)。
【0083】
さらに、4番目の命令として指定音声のスタート命令が、コマンドコード“PS”およびパラメータデータ“02”として書き込まれ(ステップD5)、また、指定テキストの0番目文節の表示命令が、5番目のテキスト指定命令[コマンドコード“LT”・パラメータデータ“02”]、6番目のテキスト文節表示命令[コマンドコード“VD”・パラメータデータ“00”]として書き込まれる(ステップD6)。
【0084】
さらに、7番目の命令として文節中の文字カウンタリセット命令が、コマンドコード“BL”およびパラメータデータ“00”として書き込まれる(ステップD7)。
【0085】
こうして、タイムコードファイル12c3の7番目の命令までに、全ファイルクリア、表示エリア設定、指定画像“2”の表示、指定音声“2”の再生開始、指定テキスト“2”の表示、文字カウンタリセットの各コマンドコードおよびそのパラメータデータがセットされると、RAM12Cに保存されたテキスト音声同期データ12dが読み出されると共に(ステップD8)、指定のテキスト“2”がコンテンツ内容データ12c4から読み出され(ステップD9)、当該テキスト上の単語番号が“1”に指定される(ステップD10)。
【0086】
すると、当該指定の単語番号“1”に対応する単語「What」までの文字数が“4”としてカウントされると共に(ステップD11)、この指定の単語番号“1”に同期付けられる音声再生時間Tn(n=1)(この場合「…00:153」)が読み出される(ステップD12)。
【0087】
そして、前記指定の単語番号の音声再生時間Tnを前記ステップD1にて選択された処理単位時間(基準時間)12c1aで割り算してタイムコードファイルの命令コード番号が求められ(ステップD13)、このコード番号は未使用か否か判断される(ステップD14)。
【0088】
ここで、ステップD13にて求められた命令コード番号が既に使用されている場合には、その次のコード番号が指定される(ステップD15)。
【0089】
すなわち、タイムコードファイル12c3による同期コンテンツの再生処理開始から何番目の命令コードの位置に指定の単語番号に対応する音声再生時間が到達しているか判断され、当該指定の単語までをハイライト(識別)表示させるタイミングの命令コード番号が求められるもので、この求められたコード番号が既に使用されていて次のコード番号が指定された場合に、その命令コード番号のタイミング遅れは、当該タイムコードファイル12c3自体の処理単位時間(基準時間)12c1aが例えば[25ms]と極めて短いことから許容値として無視される。
【0090】
すると、前記ステップD12〜D15において求められた命令コード番号の位置に、前記ステップD11にてカウントされた指定の単語までの文字数までをハイライト表示させるための命令が書き込まれる(ステップD16)。例えば指定の単語番号“1”である場合に当該単語「What」までの文字数(4文字)をハイライト表示する命令が、コード番号“8”の命令として、コマンドコード“HL”およびパラメータデータ“04”として書き込まれる。
【0091】
すると、指定されているテキスト上の単語番号が(+1)されて“2”に指定され(ステップD17)、これに対応する単語「high」のデータ有りと判断されて(ステップD18)、ステップD11に戻り、当該単語番号“2”の単語「high」までの総文字数(9文字:含スペース)がカウントされる。
【0092】
この後、前記ステップD11〜D18の処理が繰り返し実行されると、指定の単語番号“2”である場合に当該単語「high」までの文字数(9文字)をハイライト表示する命令が、コード番号“12”の命令として、コマンドコード“HL”およびパラメータデータ“09”として書き込まれる。
【0093】
また、指定の単語番号“3”である場合には当該単語「school」までの文字数(16文字)をハイライト表示する命令が、コード番号“35”の命令として、コマンドコード“HL”およびパラメータデータ“16”として書き込まれる。
【0094】
さらに、指定の単語番号“4”である場合には当該単語「do」までの文字数(19文字)をハイライト表示する命令が、コード番号“58”の命令として、コマンドコード“HL”およびパラメータデータ“19”として書き込まれる。
【0095】
なお、前記テキスト音声同期データ12dに基づいた当該テキスト中の各単語毎のハイライト表示命令“HL”が書き込まれた命令コード番号以外のコード番号の位置には、何れも無効命令としてのマンドコード“NP”およびパラメータデータ“00”が書き込まれる。
【0096】
この後、前記ステップD18において、指定の単語番号に対応する単語のデータ無しと判断されると、次のコード番号の命令として処理終了の命令が、コマンドコード“FN”およびパラメータデータ“00”として書き込まれる(ステップD19)。
【0097】
こうして、前記タイムコードファイル作成処置(ステップAD)により、前記テキスト音声同期データ12dに基づいたタイムコードファイル12c3が作成されると、このタイムコードファイル12c3はRAM12C内に保存される(ステップA5)。
【0098】
こうして、指定の音声・テキスト・画像の各コンテンツを同期付けて再生するための再生用ファイル(CASファイル)12cが、前記同期コンテンツ作成処理に従い、ヘッダ情報12c1,ファイルシーケンステーブル12c2,タイムコードファイル12c3,コンテンツ内容データ12c4の組み合わせにより容易に作成されてRAM12Cに保存される。
【0099】
このメモリ12に保存された同期コンテンツ再生用ファイル(CASファイル)12b(12c)は、同期コンテンツ再生処理プログラム12a2と共に、CD−Rなどの外部記録媒体13に記録して配布したり、電送制御部15からネットワークNを介してWebサーバ30…に配信したり、通信部16を介して外部通信機器(PC)20…に配信したりすることで、当該再生用ファイル(CASファイル)12b(12c)を作成した携帯機器10自身だけでなく、その他の各コンピュータ端末においても同様にその再生処理を実行することができる。
【0100】
次に、前記構成の携帯機器10により各種ファイルの同期再生を図る再生用ファイル(CASファイル)12c(12b)を再生するための同期コンテンツ再生機能について説明する。
【0101】
図12は前記携帯機器10の同期コンテンツ再生処理プログラム12a2に従った同期コンテンツ再生処理を示すフローチャートである。
【0102】
前記同期コンテンツ作成処理により作成された再生用ファイル(CASファイル)12bがFLASHメモリ12Bに格納された状態において、入力部17aの操作によりこの再生用ファイル12bの再生が指示されると、RAM12C内の各ワークエリアのクリア処理やフラグリセット処理などのイニシャライズ処理が行われる(ステップS1)。
【0103】
そして、FLASHメモリ12Bに格納された再生用ファイル(CASファイル)12bが読み込まれ(ステップS2)、当該再生用ファイル(CASファイル)12bは暗号化ファイルであるか否か判断される(ステップS3)。
【0104】
ここで、暗号化された再生用ファイル(CASファイル)12bであると判断された場合には、当該CASファイル12bは解読復号化され(ステップS3→S4)、RAM12Cに転送されて格納される(ステップS5)。
【0105】
すると、このRAM12Cに格納された解読済の再生用ファイル(CASファイル)12c(図2参照)のヘッダ情報12c1に記述された処理単位時間12c1a(例えば25ms)が、CPU11による当該解読済再生用ファイル(CASファイル)12cの一定時間間隔の読み出し時間として設定される(ステップS6)。
【0106】
そして、RAM12Cに格納された解読済再生用ファイル(CASファイル)12cの先頭に読み出しポインタがセットされ(ステップS7)、当該再生用ファイル12cの再生処理タイミングを計時するためのタイマがスタートされる(ステップS8)。
【0107】
ここで、先読み処理が当該再生処理に並行して起動される(ステップS9)。
【0108】
この先読み処理では、再生用ファイル12cのタイムコードファイル12c3(図2参照)に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像ファイル表示の“DI”コマンドがある場合は、予め当該“DI”コマンドのパラメータデータにより指示される画像ファイルを先読みして画像展開バッファ12eに展開しておくことで、前記読み出しポインタが実際に後の“DI”コマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【0109】
前記ステップS8において、処理タイマがスタートされると、前記ステップS6にて設定された今回の再生対象ファイル12cに応じた処理単位時間(25ms)毎に、前記ステップS7にて設定された読み出しポインタの位置の当該再生用ファイル12cを構成するタイムコードファイル12c3(図2参照)のコマンドコードおよびそのパラメータデータが読み出される(ステップS10)。
【0110】
そして、前記再生用ファイル12cにおけるタイムコードファイル12c3(図2参照)から読み出されたコマンドコードが、“FN”か否か判断され(ステップS11)、“FN”と判断された場合には、その時点で当該ファイル再生処理の停止処理が指示実行される(ステップS11→S12)。
【0111】
一方、前記再生用ファイル12cにおけるタイムコードファイル12c3(図2参照)から読み出されたコマンドコードが、“FN”ではないと判断された場合には、当該コマンドコードが、“PP”か否か判断され(ステップS11→S13)、“PP”と判断された場合には、その時点で当該ファイル再生処理の一時停止処理(処理タイマストップ)が指示実行される(ステップS13→S14)。この停止処理は、ユーザのマニュアル操作に応じてi秒間の停止及び停止解除が行われる。
【0112】
ここで、入力部17aにおけるユーザ操作に基づき一時停止解除の入力が為された場合には、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間12c1aに到達したか否か判断される(ステップS15→S16)。
【0113】
一方、前記ステップS13において、前記再生用ファイル12cにおけるタイムコードファイル12c3(図2参照)から読み出されたコマンドコードが、“PP”ではないと判断された場合には、他のコマンド処理へ移行されて各コマンド内容(図5参照)に対応する処理が実行される(ステップSE)。
【0114】
そして、ステップS16において、前記タイマによる計時時間が次の処理単位時間12c1aに到達したと判断された場合には、RAM12Cに格納された解読済再生用ファイル(CASファイル)12cに対する読み出しポインタが次の位置に更新セットされ(ステップS16→S17)、前記ステップS10における当該読み出しポインタの位置のタイムコードファイル12c3(図2参照)のコマンドコードおよびそのパラメータデータ読み出しからの処理が繰り返される(ステップS17→S10〜S16)。
【0115】
すなわち、携帯機器10のCPU11は、ROM12Aに記憶された同期コンテンツ再生処理プログラム12a2に従って、再生用ファイル12b(12c)に予め設定記述されているコマンド処理の単位時間毎に、タイムコードファイル12c3(図2参照)に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル12c3に記述された各コマンドに応じた各種ファイルの同期再生処理が実行される。
【0116】
ここで、前記同期コンテンツ作成処理プログラム12a1によって作成された図2で示す英語教材再生ファイル12cに基づいた、前記前記同期コンテンツ再生処理プログラム12a2による音声・テキストファイルの同期再生動作について詳細に説明する。
【0117】
この英語教材再生ファイル(12c)は、そのヘッダ情報(12c1)に記述設定された処理単位時間(25ms)12c1a毎にコマンド処理が実行されるもので、まず、タイムコードファイル12c3(図2参照)の第1コマンドコード“CS”(クリアオールファイル)およびそのパラメータデータ“00”が読み出されると、全ファイルの出力をクリアする指示が行われ、テキスト・画像・音声ファイルの出力がクリアされる。
【0118】
第2コマンドコード“DH”(i番目HTMLファイル表示)およびそのパラメータデータ“02”が読み出されると、当該コマンドコードDHと共に読み出されたパラメータデータ(i=2)に応じて、ファイルシーケンステーブル12c2(図3参照)からHTML番号2のID番号=3が読み出される。
【0119】
そして、このID番号=3に対応付けられてコンテンツ内容データ12c4(図4参照)から読み出されるHTMLデータに応じて、例えば図10(A)で示したテキスト音声同期表示画面Gと同様に、表示部18に対するテキスト表示エリアや画像表示フレームが設定される。
【0120】
第3コマンドコード“DI”(i番目イメージファイル表示)およびそのパラメータデータ“02”が読み出されると、当該コマンドコードDIと共に読み出されたパラメータデータ(i=2)に応じて、ファイルシーケンステーブル12c2(図3参照)から画像番号2のID番号=7が読み出される。
【0121】
そして、このID番号=7に対応付けられてコンテンツ内容データ12c4(図4参照)から読み出されて画像展開バッファ12eに展開された画像データが、前記HTMLファイルで設定された画像表示フレーY内に表示される。
【0122】
第4コマンドコード“PS”(i番目サウンドファイルプレイ)およびそのパラメータデータ“02”が読み出されると、当該コマンドコードPSと共に読み出されたパラメータデータ(i=2)に応じて、ファイルシーケンステーブル12c2(図3参照)から音声番号2のID番号=32が読み出される。
【0123】
そして、このID番号=32に対応付けられてコンテンツ内容データ12c4(図4参照)から読み出された英会話音声データ▲2▼が音声出力部19bから出力される。
【0124】
第5コマンドコード“LT”(i番目テキストロード)およびそのパラメータデータ“02”が読み出されると、当該コマンドコードLTと共に読み出されたパラメータデータ(i=2)に応じて、ファイルシーケンステーブル12c2(図3参照)からテキスト番号2のID番号=21が読み出される。
【0125】
そして、このID番号=21に対応付けられてコンテンツ内容データ12c4(図4参照)から読み出された英会話テキストデータ▲2▼がRAM12Cのワークエリアにロードされる。
【0126】
第6コマンドコード“VD”(i番目テキスト文節表示)およびそのパラメータデータ“00”が読み出されると、当該コマンドコードVDと共に読み出されたパラメータデータ(i=0)に応じて、ファイルシーケンステーブル12c2(図3参照)からテキスト番号0のID番号=19が読み出され、これに対応付けられてコンテンツ内容データ12c4(図4参照)にて指定された英会話タイトル文字の文節が、前記RAM12Cにロードされた英会話テキストデータ▲2▼の中から呼び出されて表示画面上のテキスト表示フレーム内に表示される。
【0127】
第7コマンドコード“BL”(文字カウンタリセット・i番目文節ブロック指定)およびそのパラメータデータ“00”が読み出されると、前記表示中の英会話文節の文字カウンタがリセットされ、0番目の文節ブロックが指定される。
【0128】
第8コマンドコード“HL”(i番目文字までハイライト・文字カウント)およびそのパラメータデータ“04”が読み出されると、当該コマンドコードHLと共に読み出されたパラメータデータ(i=4)に応じて、テキストデータの4番目の文字「What」までハイライト表示(強調表示)される。
【0129】
そして、文字カウンタが4番目の文字までカウントアップされる。
【0130】
第9コマンドコード“NP”が読み出されると、現在の画像および英会話テキストデータの同期表示画面および英会話音声データの同期出力状態が維持される。
【0131】
続いて、第12コマンドコード“HL”(i番目文字までハイライト・文字カウント)およびそのパラメータデータ“09”が読み出されると、当該コマンドコードHLと共に読み出されたパラメータデータ(i=9)に応じて、テキストデータの9番目の文字「high」までハイライト表示(強調表示)される。
【0132】
また、第35コマンドコード“HL”(i番目文字までハイライト・文字カウント)およびそのパラメータデータ“16”が読み出されると、当該コマンドコードHLと共に読み出されたパラメータデータ(i=16)に応じて、テキストデータの16番目の文字「school」までハイライト表示(強調表示)される。
【0133】
このように、前記同期コンテンツ作成処理プログラム12a1に従い作成された英会話教材再生ファイル(12c)におけるタイムコードファイル12c3(図2参照)・ファイルシーケンステーブル12c2(図3参照)・コンテンツ内容データ12c4(図5参照)に基づき、当該再生ファイルに予め設定された処理単位時間(25ms)毎のコマンド処理を、同期コンテンツ再生処理プログラム12a2によって行うことで、表示画面上に英会話テキストデータが表示されると共に、音声出力部19bから表示中の英会話テキストを読み上げる英会話音声データが同期出力され、当該英会話テキストの読み上げ文節が各文字(単語)毎に順次同期ハイライト(強調)表示されるようになる。
【0134】
これにより、携帯機器10のCPU11は、再生ファイル12b(12c)に予め記述されたコマンド処理の単位時間毎に、当該コマンドコードおよびそのパラメータデータに従った各種コマンド処理を指示するだけで、英会話テキストファイル、英会話画像ファイル、英会話音声ファイルの同期再生処理を行うことができる。
【0135】
よって、CPUのメイン処理の負担が軽くなり、処理能力の比較的小さいCPUでも容易にテキスト・音声・画像を含む同期再生処理が行える。
【0136】
したがって、前記構成の携帯機器10による同期コンテンツ作成機能によれば、同期再生図るべき例えば英会話のテキストを読み上げる音声データとそのテキストデータとをメモリ12内にコンテンツ内容データ12c4として保存し、この音声データを音声出力部19bにて再生するのと共に、テキストデータを表示部18にてテキスト音声同期表示画面Gとして表示させ、音声再生によるテキスト音声同期表示画面G上のテキストの読み上げに合わせて当該テキストの各単語文字をマウスやタブレットの座標入力装置17bによるマウスカーソルMあるいはペンタッチによって指定すると、音声再生の経過時間Tnと座標指定されたテキスト単語のNo.が順次対応付けられてテキスト音声同期データ12dとして記憶される。そして、予め設定したコマンド処理単位時間毎に、前記音声再生のスタートコマンドPSやテキスト文節の表示コマンドVDを始めとし、前記テキスト音声同期データ12dに基づいて音声再生の経過時間に合わせたテキスト単語(文字)毎のハイライト表示コマンドHLを書き込んだタイムコードファイル12c3を作成でき、このタイムコードファイル12c3による各コマンド処理の単位時間毎に該コマンドに従った各種処理を指示するだけで、英会話テキスト・音声ファイルの同期再生処理を行うことができる。
【0137】
よって、同期再生したい音声データの再生に合わせて、表示されているテキスト文字の対応箇所をポインタで指定するだけで、そのテキスト文字と音声再生時間を同期付けたテキスト音声同期データ12dを生成することができ、このテキスト音声同期データ12dを基にタイムコードファイル12c3を簡単に作成してその同期再生用ファイル(CASファイル)12cを得ることができる。
【0138】
なお、前記実施形態において記載した携帯機器10による各処理の手法、すなわち、図7のフローチャートに示す同期コンテンツ作成処理、図8のフローチャートに示す前記同期コンテンツ作成処理に伴う各コンテンツ取得保存処置、図9のフローチャートに示す前記同期コンテンツ作成処理に伴うテキストタッチ音声同期処理、図11のフローチャートに示す前記同期コンテンツ作成処理に伴うタイムコードファイル作成処置、そして、図12のフローチャートに示す同期コンテンツ再生処理などの各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録媒体13に格納して配布することができる。そして、通信ネットワーク(インターネット)Nとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体13に記憶されたプログラムを記録媒体読取部14によってメモリ12に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した同期コンテンツ作成機能やその再生機能を実現し、前述した手法による同様の処理を実行することができる。
【0139】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(インターネット)N上を伝送させることができ、この通信ネットワーク(インターネット)Nに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した同期コンテンツ作成機能やその再生機能を実現することもできる。
【0140】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施形態ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【0149】
【発明の効果】
よって、本発明によれば、音声ファイルとテキストファイルを同期再生するための関連付け情報を容易に生成することが可能になる。
【図面の簡単な説明】
【図1】本発明の電子機器(命令コード作成装置)の実施形態に係る携帯機器10の電子回路の構成を示すブロック図。
【図2】前記携帯機器10のメモリ12に格納された再生用ファイル12b(12c)を構成するタイムコードファイル12c3を示す図。
【図3】前記携帯機器10のメモリ12に格納された再生用ファイル12b(12c)を構成するファイルシーケンステーブル12c2を示す図。
【図4】前記携帯機器10のメモリ12に格納される再生用ファイル12b(12c)を構成するコンテンツ内容データ12c4を示す図。
【図5】前記携帯機器10のタイムコードファイル12c3(図2参照)にて記述される各種コマンドのコマンドコードとそのパラメータデータおよび同期コンテンツ再生処理プログラム12a2に基づき解析処理される命令内容を対応付けて示す図。
【図6】前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従いメモリ12に記憶されるテキスト音声同期データ12dを示す図。
【図7】前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理を示すフローチャート。
【図8】前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理に伴う各コンテンツ取得保存処置を示すフローチャート。
【図9】前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理に伴うテキストタッチ音声同期処置を示すフローチャート。
【図10】前記携帯機器10の同期コンテンツ作成処理によるテキストタッチ音声同期処置に伴う音声再生中のテキストタッチ表示状態を示す図。
【図11】前記携帯機器10の同期コンテンツ作成処理プログラム12a1に従った同期コンテンツ作成処理に伴うタイムコードファイル作成処置を示すフローチャート。
【図12】前記携帯機器10の同期コンテンツ再生処理プログラム12a2に従った同期コンテンツ再生処理を示すフローチャート。
【符号の説明】
10 …携帯機器
11 …CPU
12 …メモリ
12A…ROM
12B…FLASHメモリ
12C…RAM
12c1…ヘッダ情報
12c1a…処理単位時間
12c2…ファイルシーケンステーブル
12c3…タイムコードファイル
12c4…コンテンツ内容データ
12a…携帯機器(PDA)制御プログラム
12a1…同期コンテンツ作成処理プログラム
12a2…同期コンテンツ再生処理プログラム
12b…暗号化された再生用ファイル(CASファイル)
12c…解読された再生用ファイル(CASファイル)
12d…テキスト音声同期データ
12e…画像展開バッファ
13 …外部記録媒体
14 …記録媒体読取部
15 …電送制御部
16 …通信部
17a…入力部
17b…座標入力部(マウス/タブレット)
18 …表示部
19a…音声入力部
19b…音声出力部
20 …外部通信機器(PC)
30 …Webサーバ
N …通信ネットワーク(インターネット)
G …テキスト音声同期表示画面
H …反転表示
M …マウスカーソル
Claims (4)
- 文章を読み上げた音声データを記憶する音声記憶手段と、
前記文章に対応するテキストデータを記憶するテキスト記憶手段と、
前記音声記憶手段により記憶された音声データを再生する音声出力手段と、
前記テキスト記憶手段により記憶されたテキストデータを表示するテキスト表示手段と、
このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置を検出するテキスト位置検出手段と、
前記音声出力手段による音声データの再生に合わせて前記テキスト表示手段が表示したテキストに含まれる各単語を前記テキスト位置検出手段のポインタにより指定されたときの、音声データの再生経過時間を記録する時間データ記録手段と、
この時間データ記録手段で記録した各単語までの再生経過時間に基づいて、音声データにテキストを対応付けて同期再生させるためのコマンド列を生成するコマンド生成手段と
を備えたことを特徴とする電子機器。 - 前記ポインタは表示されたテキストデータをマウスカーソルで指定するポインタであり、前記指定位置はテキストデータの文字位置である、ことを特徴とする請求項1記載の電子機器。
- 前記ポインタは表示されたテキストデータをペンタッチにより指定するポインタであり、前記指定位置はテキストデータの文字位置である、ことを特徴とする請求項1記載の電子機器。
- コンピュータを、
文章を読み上げた音声データを記憶する音声記憶手段、
前記文章に対応するテキストデータを記憶するテキスト記憶手段、
前記音声記憶手段により記憶された音声データを再生する音声出力手段、
前記テキスト記憶手段により記憶されたテキストデータを表示するテキスト表示手段、
このテキスト表示手段により表示されたテキストデータに対するポインタによる指定位置を検出するテキスト位置検出手段、
前記音声出力手段による音声データの再生に合わせて前記テキスト表示手段が表示したテキストに含まれる各単語を前記テキスト位置検出手段のポインタにより指定されたときの、音声データの再生経過時間を記録する時間データ記録手段、
この時間データ記録手段で記録した各単語までの再生経過時間に基づいて、音声データにテキストを対応付けて同期再生させるためのコマンド列を生成するコマンド生成手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002332511A JP4277512B2 (ja) | 2002-11-15 | 2002-11-15 | 電子機器及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002332511A JP4277512B2 (ja) | 2002-11-15 | 2002-11-15 | 電子機器及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004170444A JP2004170444A (ja) | 2004-06-17 |
JP4277512B2 true JP4277512B2 (ja) | 2009-06-10 |
Family
ID=32697515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002332511A Expired - Fee Related JP4277512B2 (ja) | 2002-11-15 | 2002-11-15 | 電子機器及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4277512B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5816516B2 (ja) | 2011-10-24 | 2015-11-18 | 京セラ株式会社 | 電子機器、制御プログラム及び処理実行方法 |
JP5943436B2 (ja) | 2014-06-30 | 2016-07-05 | シナノケンシ株式会社 | テキストデータと読み上げ音声データとの同期処理装置および同期処理プログラム |
JP6373294B2 (ja) * | 2016-03-16 | 2018-08-15 | シナノケンシ株式会社 | データ再生装置およびデータ再生方法 |
CN114442553A (zh) * | 2022-02-09 | 2022-05-06 | 浙江博采传媒有限公司 | 一种多设备实时同步拍摄*** |
CN115720278A (zh) * | 2022-11-03 | 2023-02-28 | 深圳创维-Rgb电子有限公司 | 声音与画面的同步处理方法及相关装置 |
-
2002
- 2002-11-15 JP JP2002332511A patent/JP4277512B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004170444A (ja) | 2004-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4370811B2 (ja) | 音声表示出力制御装置、および音声表示出力制御処理プログラム | |
JP2005070645A (ja) | テキスト音声同期装置およびテキスト音声同期処理プログラム | |
JP2010250023A (ja) | テキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラム | |
JPH08306168A (ja) | カラオケシステム | |
JP2004266576A (ja) | メディアデータ記憶装置、およびメディアデータ記憶処理プログラム | |
JP2003330777A (ja) | データファイル再生装置、記録メディア、データファイル記録装置及びデータファイル記録プログラム | |
JP2007295218A (ja) | ノンリニア編集装置およびそのプログラム | |
JP4314201B2 (ja) | 歌詞と音楽との同期データ作成方法、装置、プログラムおよびプログラムを記録する記録媒体 | |
JP4277512B2 (ja) | 電子機器及びプログラム | |
JP4407119B2 (ja) | 命令コード作成装置 | |
JP4382045B2 (ja) | データ出力装置、データ出力方法、データ出力プログラム、および記録媒体 | |
JP4591481B2 (ja) | 表示制御装置および表示制御処理プログラム | |
JP2013092912A (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP2009283020A (ja) | 記録装置、再生装置、及びプログラム | |
JP2008186512A (ja) | コンテンツ再生装置 | |
US6525251B1 (en) | Method of displaying the title and words of songs on a digital music player | |
JP3794355B2 (ja) | 再生制御装置および再生制御処理プログラム | |
JP2004205782A (ja) | 音声表示出力制御装置および音声表示出力制御処理プログラム | |
JP4111005B2 (ja) | 音声表示出力制御装置および音声表示出力制御処理プログラム | |
JP3818235B2 (ja) | 情報再生装置および情報再生処理プログラム | |
JP2004302285A (ja) | 情報出力装置、情報出力プログラム | |
JP2005077678A (ja) | テキスト音声同期装置およびテキスト音声同期処理プログラム | |
JP2004185680A (ja) | 再生制御装置および再生制御処理プログラム | |
KR20000000266A (ko) | 오디오 데이터를 포함하는 그래픽 파일을 생성시키는 장치 | |
JP2004266577A (ja) | メディア同期再生装置、サーバ装置、およびメディア同期再生処理プログラム、サーバ処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4277512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |