JP3606468B2

JP3606468B2 - 映像／音声情報通信方法

Info

Publication number: JP3606468B2
Application number: JP07436593A
Authority: JP
Inventors: 佳伸外村; 久嗣笠原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-03-31
Filing date: 1993-03-31
Publication date: 2005-01-05
Anticipated expiration: 2020-01-05
Also published as: JPH06291859A

Description

【０００１】
【産業上の利用分野】
本発明は、映像／音声情報の蓄積、送信手段を有する送信側と、その映像／音声情報を送る通信路、さらにその映像／音声情報を受信、蓄積、加工、再生・表示する手段および蓄積情報を読み出し、加工、表示を制御する利用者インタフェ−スを持つ受信側からなる映像／音声情報通信システムに関する。
【０００２】
【従来の技術】
従来の映像／音声通信システム、例えば放送サービスやケーブルテレビジョンサービスのように、一斉に放送される通信システム、あるいはテレビ会議のように実時間で通信情報が流れてくる通信システムに対しては、送られてきた情報に対する受信者からの自由度はその情報の時間的選択と、単純な蓄積のみであり、受信情報に対して何か処理をしたい場合には、通信終了後にひと続きの蓄積情報に対して流し見などしながら興味のある部分に対して処理するしかなかった。
【０００３】
図７は従来の映像／音声通信システムの概要を示したものである。送信側１において送信データ蓄積部２に蓄積されている映像／音声情報を送信部３により送信するが、通信路４を流れる情報はデータ転送を行うためのプロトコル情報を除けば映像および音声に関する内容情報５のみである。一方、受信側６においては、受信部７で受信された受信情報の選択は利用者１２によって行われ、選択された情報は受信データ蓄積部９に蓄積される。受信情報については受信と同時に再生／表示制御部１０によって再生／表示されるが、既に受信された情報についてはすべて受信後に利用者操作インタフェ−ス１１を通してオフラインで再生／表示が行われる。
【０００４】
【発明が解決しようとする課題】
このため、従来の技術では、既に受信された情報に対して、情報の受信中に既に受信、記録済みの特定の内容に迅速にアクセスし、利用することはできなかった。例えば、テレビ会議において、資料として用いられる映像を会議に先立って送り、会議中に参照することは行われるが、実時間で受信される映像／音声に対しては、会議中に録画した特定の部分を内容に応じて迅速にアクセスし、再生することはできず、結局実時間でその場で見聞きするか、すべてを録画し、会議後に時間順に再生するしかなかった。また、ＣＡＴＶのように、通信網を介して、プログラムにしたがった映像・音声情報が次々と放送的に送られる場合にも、記録しながら、記録済みの特定の部分情報を迅速にアクセスすることができなかった。これは送られてくる映像／音声情報の内容を反映する情報がないため、記録などの処理をする際に工夫ができないためである。また、流れてくる映像／音声をすべて蓄積することは膨大な蓄積媒体が必要とされるため、情報の蓄積を必要な部分のみに限定し、かつ使いやすい形で行うことが望まれる。
【０００５】
本発明の目的は、情報を受信しながらも、既に記録済みの部分情報に対して迅速なアクセス、読み出しが可能な映像／音声情報通信方法を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の映像／音声情報通信方法は、
映像／音声情報としては、各メディアの内容自身を持つ内容情報と、それら内容情報を時間軸で部分区間に区分けする複数の観点による付加情報を持ち、
受信装置では、
前記映像／音声情報を選択して蓄積するための利用条件をあらかじめ設定しておき、
送信側から送信された一連の該映像／音声情報に対して、その付加情報を前記利用条件と比較することにより、前記映像／音声情報を選択して、その内容情報と付加情報とを蓄積部に蓄積するとともに、該付加情報を識別する表示を行い、
前記内容情報の受信中において、前記付加情報を識別する表示に対する利用者からの指示があった場合には、該付加情報に該当する内容情報を前記蓄積部から読み出して表示を行う。
【０００７】
【作用】
本発明は、送信側から送る映像／音声情報など、従来、情報の単位として扱いにくかった映像／音声情報に対しても、内容に応じた付加情報を付け、受信側では、その付加情報をもとに選択受信、分離記録、個別の情報処理（これを受信情報の付加情報に基づく構造的な処理と呼ぶ。）を行う。
【０００８】
このような受信情報の構造的な処理により、情報を受信しながらも、既に記録済みの部分情報に対しても、付加情報をもとにした蓄積、加工、表示・再生の工夫により迅速なアクセス、読み出しなどが可能となる。
【０００９】
なお、送られてくる付加情報以外に、受信側で受信情報のうちの内容情報を解析した結果も含めて処理することにより、送信されてくる付加情報を用いるだけではできない処理も可能になる。また、受信情報の特定の部分にマーク情報を付加することにより、利用者の都合による情報アクセスが受信直後から可能になる。さらに、送信側から処理条件のひながたを送ることにより、受信側で処理条件をあらかじめ用意することなく、多くの応用を実現することが可能になる。
【００１０】
【実施例】
次に、本発明の実施例について図面を参照して説明する。
【００１１】
図１は、本発明の一実施例を示す映像／音声通信システムの構成図である。図７中と同符号は同じ構成要素を示す。
【００１２】
送信側１には、付加情報発生部１８が追加され、送信データ蓄積部２には内容情報５の他に付加情報１７、条件ひながた情報１６、通信情報リストが蓄積されている。受信側６には、受信部７が条件ひながた１６を受信した場合その既述内容を調べ、処理に必要な形で記憶し、受信部７が付加情報１７を受信した場合、付加情報１７を調べ、あらかじめ設定されている利用条件と比べ内容情報６の蓄積が必要かどうかを判定し、蓄積が必要な場合には条件ひながたに情報１６を読み出し、それにしたがって付加情報１７を構造化し、当該付加情報１７対応の内容情報識別子とともに受信データ蓄積部９に蓄積する情報処理部８と、受信データ蓄積部５に蓄積されている内容情報を加工し、再生／表示制御部１０に送る加工処理部１３が付加されている。
【００１３】
図２は付加情報１７の例を示す図である。図２の例では、付加情報１７は時間軸２７に沿って記述される。まず、付加情報項目２５で付加情報１７の種類を分け、さらに付加情報１７の複数の中身２６を時間軸２７上に配置する形で記述する。例えば具体的には、プログラム種別を示す大分類情報としてニュースという付加情報１７を付けておく。さらに、中分類として各ニュースの区切りおよび事件、話題、スポーツ、天気予報などのニュース種別情報を付加する。コマーシャルの場合、製品名や企業名の出る場面など一番重要な部分をハイライト部分として示す情報を付加する。また、映画の場合、カット点、シーンの区切りおよび種別、ハイライト部分、登場人物別のマーキング情報などを付加情報１７として付加する。２８は利用者が映像／音声を視聴しながら付加情報１７にさらに付加したマーク情報（利用者マーク）を示す。
【００１４】
次に、本実施例の動作を説明する。
【００１５】
（１）まず、放送的な情報分配の例について説明する。
【００１６】
図３は送信側１の処理を示すフローチャート、図４および図５は受信側６の処理を示すフローチャートである。
【００１７】
いま、送信側１から受信側６に映像／音声としての内容情報５が流れるとする。送信側１では、送信に関するプログラムや操作者によるイベントが発生することにより処理が行われる。イベント待ち（ステップ４１）の状態からイベントがあった場合、その内容が判定され（ステップ４２）、それが条件ひながた送信要求であった場合、該当する条件ひながた情報を送信データ蓄積部２から読み出し（ステップ４８）、送信部３を介して通信路４に送信する（ステップ４９）。条件ひながた１６とは内容情報５の受信側６での蓄積、加工、表示に関する定型的な処理条件である。また、イベントが付加および内容情報の送信要求であった場合、送信情報リストを送信データ蓄積部２から読み出し（ステップ４３）、それにしたがって付加情報１７と内容情報５を送信データ蓄積部２から読み出し（ステップ４４，４５）、送信部３を介して通信路４に送信する（ステップ４６）。また、内容情報５を読み出した際にそれを付加情報発生部１８で解析し（例えば映像カット点検出）、その結果の情報を付加情報１７として用いることもできる。送信情報リストの情報の送信をすべて終了すると（ステップ４７）、またイベント待ち（ステップ４１）に入る。
【００１８】
受信側６では、イベント待ち（ステップ５０）の状態からイベントが発生すると、そのイベント内容を判定する（ステップ５１）。まず、イベント内容が受信である場合、通信路４を流れてくる情報を受信部７で受信する（ステップ５２）。次に、情報の種類を判定し（ステップ５３）、それが条件ひながた１６の受信である場合、情報処理部８によりその記述内容を調べ（ステップ５４）、処理に必要な形で受信データ蓄積部７に記憶する（ステップ５５）。また、受信情報が付加情報１７である場合、情報処理部８により付加情報１７を調べ（ステップ５６）、利用者１２によりあらかじめ設定されている利用条件と比べ当該付加情報１７に対応する内容情報の蓄積が必要かどうかを判定し（ステップ５７）、蓄積が不要な場合にはイベント待ち（ステップ５０）に戻る。蓄積が必要な場合には条件ひながた情報を受信データ蓄積部９から読み出し（ステップ５８）、それにしたがって付加情報１７を構造化し（ステップ５９）、当該付加情報１７の識別子とともに蓄積する（ステップ６０）。例えば映像／音声情報のうちニュースだけ、しかもスポーツだけ蓄積するような利用条件の設定をあらかじめ行っておき、それによる付加情報１７のフィルタリングで蓄積選択を行う。また、条件ひながた１６が図６（１）の対話制御用モニター３１の表示レイアウトの設定であるとすると、付加情報１７中の野球、相撲などの項目名を記述としてそのレイアウトに組み込んだ記述を構造情報１４として受信データ蓄積部９に蓄積する。一方、付加情報１７に後続する内容情報５を受信すると、付加情報７の識別子をチェックし（ステップ６１）、既に蓄積が不要と判断されている場合にはイベント待ち（ステップ５０）に戻る。蓄積が必要な場合には、まず対応する構造情報１４を受信データ蓄積部９から読み出し（ステップ６２）、構造情報に不足の情報があると、内容情報が必要かどうか判定し（ステップ６３）、解析処理によりそれを発生できると判断される場合は内容情報５を、画像画素データおよび音声符号化データに基づく特徴抽出処理により解析し、結果を構造情報１４に付加する（ステップ６４）。例えば受信側６において音声レベルを解析しながら構造情報１４に加えておくと、音声再生時のレベルコントロールに役立てることができる。次に、内容情報５を内容情報１５として受信データ蓄積部９に蓄積するとともに（ステップ６５）、構造情報１４に応じたアイコン表示を行う（ステップ６６）。例えば図６（１）に示すようにそれを代表画像を表示するアイコン３０によって表示する。このアイコン列は、構造情報１４に記述されているレイアウト情報にしたがって並べる。この例の場合アイコン３０をスポーツ種別ごとに分け、各スポーツに対しては例えば時間系列に並べている。また、イベントが利用者インタフェース１１を介した利用者入力である場合には、そのイベント内容を調べ、内容情報１５の選択に関する場合は、そのイベント発生場所のアイコン３０に対応する構造情報１４を読み出し（ステップ６７）、対応する内容情報１５を読み出す（ステップ６８）。また、再生・表示制御の場合には利用者マーク２８に対応するイベントならばそのマーク対応の処理、その他アイコン構造を用いた再生・表示制御に関するイベントならばそれに対応する再生・表示処理を再生／表示制御部１０で行う（ステップ６９）、さらに、イベントが利用者マ−ク付加であれば、その時点の対象情報の部分を特定する情報、例えば時間情報を当該構造情報１４に付加する（ステップ７１）。また、イベントが加工の場合にはそのイベント指示に対応する加工・表示処理を加工処理部１３によって行う（ステップ７０）。
【００１９】
利用者の観点からの操作イメージを簡単に説明する。利用者１２は送信されてくる番組を見ながら、対話制御用モニター３１に展開されて行くアイコン３０を見て、興味のある場面では、まだ続けて番組を受信中であっても、アイコン３０をクリックすることで直前に受信した特定の場面を映像表示モニター３２に再生して見ることができる。もちろん番組が終了すれば、条件設定で必要とした場面は全て記録されており、かつそれらを効率的にアクセスするための構造情報１４が付加されているため、後で自由に気に入った場面だけを同様に参照することも可能である。さらに、利用者が受信情報を視聴しながら気に入ったところに利用者マーク２８を付加しておくことで、利用者の都合による情報アクセスが受信直後から可能となる。
【００２０】
（２）次に、テレビ会議における映像／音声情報通信について例を挙げる。参加者は送信側であると同時に受信側でもあり、映像／音声情報は発信者から絶え間なく流れる。この場合の付加情報１７としては、発言者の識別情報が代表的であるが、これは多地点パーソナル会議の場合であれば、発信と同時に送信側１で付加することができ、２地点間の多数人参加の場合はカメラ選択の情報を元にやはり送信側１で自動的に付加することができる。受信側６では、発言者の識別情報を元に、マーク付きで蓄積を行い、（１）の実施例と同様に蓄積情報をアイコン化して人別に蓄積映像／音声情報をアクセスできるようにする。また、付加情報１７として、議題別の情報が付加されていれば、さらに各人別にアイコンを分けて表示するか、始めから議題別にスクリーンをフィールドに分けて使い、その中で人別にアイコンを示すことなどで、会議中であっても、アイコン操作により、ある場面での特定の人の発言の映像／音声を再生することができる。
【００２１】
もちろん、以上述べた以外の適用例があることは言うまでもない。
【００２２】
【発明の効果】
以上説明したように、本発明は、以下に示すような効果がある。
（１）請求項１の発明は、送信側から送る映像・音声情報など従来情報の単位として扱いにくかった映像／音声情報に対しても、時間的に変化する内容に応じた付加情報を付加することにより、受信側では、その付加情報を元に選択受信、分離記録、個別の情報処理などを行うことができ、その結果情報を受信しながらも、既に記録済みの部分情報に対しても、付加情報を元にした表示の工夫などによる迅速なアクセス、読み出しなど、一方的に流れてくる情報の受信の際にも対話的な受信情報の利用が可能となる。
（２）請求項２の発明は、受信側で受信情報のうちの内容情報を解析した結果も処理することにより、送信されてくる付加情報を用いるだけではできない処理も可能になる。
（３）請求項３の発明は、受信情報の特定の部分にマーク情報を付加することにより、利用者の都合による情報アクセスが受信直後から可能になる。
（４）請求項４の発明は、送信側から処理条件のひながたを送ることにより、受信側で処理条件をあらかじめ用意することなく、多くの応用を実現することが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す映像／音声通信システムの構成図である。
【図２】付加情報１７の例を示す図である。
【図３】図１の映像／音声通信システムにおける送信側１の処理を示すフローチャートである。
【図４】図１の映像／音声通信システムにおける受信側６の処理を示すフローチャートである。
【図５】図１の映像／音声通信システムにおける受信側６の処理を示すフローチャートである。
【図６】利用者インタフェ−ス１１としての画面例を示す図である。
【図７】映像／音声通信システムの従来例を示す構成図である。
【符号の説明】
１送信側
２送信データ蓄積部
３送信部
４通信路
５送信される内容情報
６受信側
７受信部
８情報処理部
９受信データ蓄積部
１０情報再生／表示制御部
１１利用者インタフェ−ス
１２利用者
１３加工処理部
１４蓄積された構造情報
１５蓄積された内容情報
１６送信される処理条件用の条件ひながた
１７送信される付加情報
１８付加情報発生部
２５付加情報項目
２６付加情報１７の中身
２７時間軸
２８利用者１２によって付けられる利用者マーク
３０利用者インタフェース１１上に現れるアイコン
３１対話制御用モニター
３２映像表示モニター
４１〜４９ステップ（送信側１）
５０〜７１ステップ（受信側６）

Claims

映像／音声情報を受信する手段と、蓄積する手段と、再生・表示する手段、および利用者インタフェースを持つ受信装置における映像／音声情報通信方法であって、
前記映像／音声情報としては、各メディアの内容自身を持つ内容情報と、それら内容情報を時間軸で部分区間に区分けする複数の観点による付加情報を持ち、
前記受信装置では、
前記映像／音声情報を選択して蓄積するための利用条件をあらかじめ設定しておき、
送信側から送信された一連の該映像／音声情報に対して、その付加情報を前記利用条件と比較することにより、前記映像／音声情報を選択して、その内容情報と付加情報とを蓄積部に蓄積するとともに、該付加情報を識別する表示を行い、
前記内容情報の受信中において、前記付加情報を識別する表示に対する利用者からの指示があった場合には、該付加情報に該当する内容情報を前記蓄積部から読み出して表示を行う映像／音声情報通信方法。
前記付加情報は、前記内容情報を時間軸に沿ってシーケンシャルに分類する種別情報と、該種別情報とは独立の別の観点による分類情報との少なくとも２つの情報から構成される請求項１記載の映像／音声情報通信方法。
前記受信装置で、利用者の指示により前記映像／音声情報の特定の部分に、後でその部分を読み出すことのできるマーク情報を付加する請求項１または２記載の映像／音声情報通信方法。
前記付加情報を識別する表示はアイコン表示である請求項１乃至３記載の映像／音声情報通信方法。