JP2001298695A - 映像音声データ伝送システム - Google Patents

映像音声データ伝送システム

Info

Publication number
JP2001298695A
JP2001298695A JP2000114873A JP2000114873A JP2001298695A JP 2001298695 A JP2001298695 A JP 2001298695A JP 2000114873 A JP2000114873 A JP 2000114873A JP 2000114873 A JP2000114873 A JP 2000114873A JP 2001298695 A JP2001298695 A JP 2001298695A
Authority
JP
Japan
Prior art keywords
video
data
audio
recording
additional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000114873A
Other languages
English (en)
Other versions
JP4631126B2 (ja
Inventor
Shinsei Nogishi
新生 野岸
Yuki Murakami
有希 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000114873A priority Critical patent/JP4631126B2/ja
Publication of JP2001298695A publication Critical patent/JP2001298695A/ja
Application granted granted Critical
Publication of JP4631126B2 publication Critical patent/JP4631126B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 記録時の付帯情報に同期した再生を実現する
映像音声データ伝送システムを提供する。 【解決手段】 送信側101において、付帯情報記録手段1
03を設けることにより、再生時に必要となる映像音声記
録時の付帯情報を記録し、データ合成手段105によって
映像・音声データに合成する。その後データ編集手段10
6にて冗長部分の映像・音声を割愛した後、データ送信
手段107で送信する。一方、受信側111において、データ
付帯情報抽出手段114にてデータ付帯情報を抽出し、付
帯情報計測手段115にて受信側の対応する付帯情報を計
測し、映像・音声信号制御手段117にて両者の同期制御
を行うことで、送信側と受信側の付帯情報の同期を保証
した映像音声再生を実現する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像音声データ伝送
システムに関するものである。
【0002】
【従来の技術】一般に、映像音声信号を伝送する(例え
ば放送など)場合、送信側と受信側で時間軸が同期して
いることが通常である。すなわち、送信側で発信した映
像が、受信側でそのまま再生される。この結果、一般放
送においては、しばしば予め編集されて、映像記録時の
時間進行とは異なった映像が発信されることがある。と
ころが、放送内容によっては、記録された時間で放送し
た方が、視聴者にとって有益であるにもかかわらず、や
むを得ず編集された映像を発信する場合がある。
【0003】例えば、料理番組においては、しばしば料
理の過程を編集で割愛することがある(30分煮込む、な
ど)が、視聴者がこの番組を録画しておき、この再生映
像を見ながら料理を作る場合、再生される映像の時間経
過は、実際に料理が作られていく時間経過と一致するこ
とが望ましい。即ち、途中映像が割愛されたとしても、
再生はあくまで記録された時の時間進行に従う方式が望
まれる。
【0004】これに対する既存の手法を用いた解とし
て、記録された全映像をデジタルデータに変換し、その
後データ圧縮手段(例えばMPEG圧縮など)を用いて圧縮
し、データ放送等の仕組みを利用して放送するという方
法が考えられる。
【0005】以下、従来例について、その動作を図を用
いて説明する。
【0006】図7は従来の映像放送送受信システムの動
作を示すブロック図である。図7(a)において、701はシ
ステムの送信側全体、702はカメラ・マイクを含む、送
信すべき映像・音声を記録するための映像音声撮影手
段、703はカメラ・マイク702で撮影した映像・音声を記
録する映像・音声信号記録手段、704は映像・音声信号
記録手段703で記録された映像・音声データのうち、不
要部分等を割愛するデータ編集手段、705はデータ編集
手段704の出力をデータ放送として送出するデータ送信
手段を表す。
【0007】また、図7(b)において、711はシステムの
受信側全体、712はデータ受信手段、713は受信したデー
タを蓄積しておく蓄積手段、714はデータ付帯情報抽出
手段から出力された付帯情報がない映像・音声を再生す
る映像・音声信号再生手段、715はブラウン管やスピー
カなどの映像・音声を再生するための映像・音声表示手
段を表す。従来システムにおいて、上記課題を解決する
ためには、データ編集手段704において、再生時に必要
な映像を作成しておく必要があった。即ち、料理番組を
実時間経過で再生するためには、調理途中の全映像を、
割愛することなく送信しなければならない。
【0008】
【発明が解決しようとする課題】しかしながら、これら
の方法では、本来割愛し得る部分の映像も伝送データに
含まれることとなり、データが圧縮されているとはい
え、そこには冗長性が含まれる。また、この映像をテレ
ビジョンなどの一般放送で放送する場合には、改めて編
集作業を行い、冗長箇所を割愛する手間が発生する。
【0009】本発明は、かかる実情に鑑み、送信側では
冗長箇所を割愛したデータを放送し、なおかつ受信側で
は、記録時の付帯情報に同期した再生を実現する映像音
声データ伝送システムを提供しようとするものである。
【0010】
【課題を解決するための手段】上記課題を解決するた
め、本発明の映像音声データ伝送システムは、映像と音
声信号を記録する映像音声信号記録手段と、記録された
映像音声データに対する付帯情報記録手段と、記録され
た映像音声信号と付帯情報を合成するデータ合成手段
と、複合したデータの、必要部分のみを断片的に連結す
るデータ編集手段と、編集後データ送信するデータ送信
手段とを備える送信側と、データ受信手段と、受信した
データを蓄積しておくデータ蓄積手段と、そこから付帯
情報を抜き出すデータ付帯情報抽出手段と、外部から入
力される受信側の環境情報を計測する付帯情報計測手
段、受信データから抽出した付帯情報および受信側の付
帯情報から映像音声の再生制御を行う映像・音声信号制
御手段と、前記制御手段の制御を受け、前記付帯情報と
同期して映像音声データを再生する映像・音声信号再生
手段とを備える受信側を有することを特徴とするもので
ある。
【0011】また、前記付帯情報が、映像音声データ記
録時の経過時間を表す連続した刻印であり、これにより
データ付帯情報抽出部で記録時の経過時間を得、この時
間に同期して映像音声信号を再生する映像・音声信号制
御手段を持つことで、記録時の時間経過に同期した再生
を実表する映像音声データ伝送システムを提供する。
【0012】また、前記付帯情報が、映像音声データ中
の任意の2点と、繰り返し回数であり、これによりデー
タ付帯情報抽出部で、映像音声データに付帯する情報を
抽出し、送信側で指定された任意回数の、任意の2点間
の映像音声データを繰り返し再生しむることを特徴とす
る映像音声データ伝送システムを提供する。
【0013】また、前記付帯情報が、映像音声データ記
録時の経過時間を表す連続した刻印と文字列であり、こ
れによりデータ付帯情報抽出部で記録時の経過時間を
得、この時間に同期して、記録された映像音声信号を再
生する映像・音声信号制御手段と、文字列の内容を音声
合成して発話する音声合成再生手段を備えることで、映
像を補足する情報を再生時に音声にて視聴者に伝達でき
る映像音声データ伝送システムを提供する。
【0014】また、前記付帯情報が、映像音声データ記
録時の経過時間を表す連続した刻印と外部機器制御命令
列であり、これによりデータ付帯情報抽出部で記録時の
経過時間を得、この時間に同期して、記録された映像音
声信号を再生する映像・音声信号制御手段と、前記外部
機器制御命令列の内容に従って機器を制御する外部機器
制御手段を備えることで、再生映像に同期した外部機器
制御を可能にする映像音声データ伝送システムを提供す
る。
【0015】また、前記付帯情報が、映像音声データ記
録時の記録装置の移動距離を表す連続した刻印であり、
これによりデータ付帯情報抽出部で記録時の移動距離を
得、これと受信機の移動距離に同期して映像音声信号を
再生する映像・音声信号制御手段を持つことで、視聴者
の移動に同期した映像再生を実現する映像音声データ伝
送システムを提供する。
【0016】
【発明の実施の形態】本発明の請求項1に記載の発明
は、映像と音声信号を記録する映像音声信号記録手段
と、記録された映像音声データに対する付帯情報記録手
段と、記録された映像音声信号と付帯情報を合成するデ
ータ合成手段と、合成したデータの、必要部分のみを断
片的に連結するデータ編集手段と、編集後データ送信す
る手段とを備える送信側と、データ受信手段と、受信し
たデータを蓄積しておくデータ蓄積手段と、そこから付
帯情報を抜き出すデータ付帯情報抽出手段と、受信側の
付帯情報を計測する付帯情報計測手段と、受信データか
ら抽出した付帯情報および受信側の付帯情報から映像音
声の再生制御を行う映像・音声信号制御手段と、前記制
御手段の制御を受け、前記付帯情報と同期して映像音声
データを再生する映像・音声信号再生手段とを備える受
信側を有することを特徴とする映像音声データ伝送シス
テムとしたもので、付帯情報記録手段により再生時に必
要な情報を記録することにより、データ編集手段によ
り、映像の一部を自由に削除したとしても、映像・音声
信号制御手段により、記録時の付帯情報を再生時点の付
帯情報に同期させて表示することができる作用を有す
る。本発明の請求項2に記載の発明は、請求項1に記載
の付帯情報が、映像音声データ記録時の経過時間を表す
連続した刻印であり、これによりデータ付帯情報抽出部
で記録時の経過時間を得、この時間に同期して映像音声
信号を再生する映像・音声信号制御手段を持つことを特
徴としたもので、時刻印を付帯情報として記録しておく
ことで、送信前の編集により映像の一部が削除された場
合でも、記録時の時間経過で再生を実現する作用を有す
る。
【0017】本発明の請求項3に記載の発明は、請求項
1に記載の付帯情報が、映像音声データ中の任意の2点
と、繰り返し回数であり、これによりデータ付帯情報抽
出部で、映像音声データに付帯する情報を抽出し、送信
側で指定された任意回数の、任意の2点間の映像音声デ
ータを繰り返し再生せしむることを特徴としたもので、
編集時に特定箇所の映像データを繰返し繋ぐことなく、
付帯情報の編集のみで、送信データを不必要に増大させ
ずに、繰返し再生を可能にする作用を有する。本発明の
請求項4に記載の発明は、請求項1に記載の付帯情報
が、映像音声データ記録時の経過時間を表す連続した刻
印と文字列であり、これによりデータ付帯情報抽出部で
記録時の経過時間を得、この時間に同期して、記録され
た映像音声信号を再生する映像・音声信号制御手段と、
文字列の内容を音声合成して発話する音声合成再生手段
を備えることを特徴としたもので、請求項2に記載の発
明の作用に加え、再生映像に同期して音声を合成するこ
とで、編集時に新たな音声を記録することなく、映像を
補足する情報を送信できるという作用を有する。
【0018】本発明の請求項5に記載の発明は、請求項
1に記載の付帯情報が、映像音声データ記録時の経過時
間を表す連続した刻印と外部機器制御命令列であり、こ
れによりデータ付帯情報抽出部で記録時の経過時間を
得、この時間に同期して、記録された映像音声信号を再
生する映像・音声信号制御手段と、前記外部機器制御命
令列の内容に従って機器を制御する外部機器制御手段を
備えることを特徴としたもので、請求項2に記載の発明
の作用に加え、再生映像に同期して、外部機器の動作を
制御できるという作用を有する。
【0019】本発明の請求項6に記載の発明は、請求項
1に記載の付帯情報が、映像音声データ記録時の記録手
段の移動距離を表す連続した刻印であり、これによりデ
ータ付帯情報抽出部で記録時の移動距離を得、これと受
信機の移動距離に同期して映像音声信号を再生する映像
・音声信号制御手段を持つことを特徴としたもので、受
信者の移動距離と記録時の移動距離を同期させること
で、移動する受信者が記録者の移動を追跡できる作用を
有する。
【0020】(実施の形態1)図1は本発明の請求項1
による映像音声データ伝送システムの動作を示すブロッ
ク図である。
【0021】図1(a)において、101はシステムの送信側
全体、102はカメラ・マイクを含む、送信すべき映像・
音声を記録するための撮影手段、103はカメラ・マイク1
02で撮影した時の付帯情報を記録する付帯情報記録手
段、104はカメラ・マイク102で撮影した映像・音声を記
録する映像・音声信号記録手段、105は記録された映像
・音声データと付帯情報とを合成するデータ合成手段、
106はデータ合成手段105で合成された映像・音声データ
のうち、不要部分等を割愛するデータ編集手段、107は
データ編集手段106の出力をデータ放送として送出する
データ送信手段を表す。
【0022】また、図1(b)において、111はシステムの
受信側全体、112は放送された付帯情報を持つデータを
受信するデータ受信手段、113はデータ受信手段112によ
って受信したデータを蓄積しておくデータ蓄積手段、11
4はデータ蓄積手段113によって蓄積しているデータよ
り、送信側で合成された付帯情報を抜き出すデータ付帯
情報抽出手段、115は再生時に必要となる受信側の付帯
情報を計測する付帯情報計測手段、116はデータ付帯情
報抽出手段から出力された付帯情報がない映像・音声を
再生する映像・音声信号再生手段、117はデータ付帯情
報抽出手段114で抜き出した送信側付帯情報と付帯情報
計測手段115によって計測された受信側の付帯情報との
同期をとり、再生手段116の動作を制御する映像・音声
信号制御手段、118はブラウン管やスピーカなどの映像
・音声を再生するための映像・音声表示手段を表す。
【0023】(実施の形態2)図2は本発明の請求項2
による映像音声データ伝送システムの動作を示すブロッ
ク図である。
【0024】図2(a)において、201はシステムの送信側
全体、202はカメラ・マイクを含む、送信すべき映像・
音声を記録するための撮影手段、203はカメラ・マイク2
02で撮影した時の経過時間情報を記録する付帯情報記録
手段、204はカメラ・マイク202で撮影した映像・音声を
記録する映像・音声信号記録手段、205は記録された映
像・音声データと付帯情報とを合成するデータ合成手
段、206はデータ合成手段205で合成された映像・音声デ
ータのうち、不要部分等を割愛するデータ編集手段、20
7はデータ編集手段206の出力をデータ放送として送出す
るデータ送信手段を表す。
【0025】また、図2(b)において、211はシステムの
受信側全体、212は放送された付帯情報を持つデータを
受信するデータ受信手段、213はデータ受信手段212によ
って受信したデータを蓄積しておくデータ蓄積手段、21
4はデータ蓄積手段213によって蓄積しているデータよ
り、送信側で合成された付帯情報を抜き出すデータ付帯
情報抽出手段、215は再生時の経過時間(付帯情報)を
計測する付帯情報計測手段、216はデータ付帯情報抽出
手段から出力された付帯情報がない映像・音声を再生す
る映像・音声信号再生手段、217はデータ付帯情報抽出
手段214で抜き出した送信側経過時間と付帯情報計測手
段215によって計測された受信側の経過時間との同期を
とり、再生手段216の動作を制御する映像・音声信号制
御手段、218はブラウン管やスピーカなどの映像・音声
を再生するための映像・音声表示手段を表す。
【0026】次に、本発明の実施の形態の動作を図示例
と共に説明する。 (本発明の請求項2記載の映像音声データ伝送システム
実施例)図8は本発明の実施の形態2による映像音声デー
タ伝送システムの動作を示す実施例であり、例として料
理番組を放送する状況を想定している。図8において、
801は従来の料理番組の放送フローを、802は本システム
における送信データを、803は本システムにおける、受
信側の映像再生フローを表している。また、804は時間
軸を表し、図の左から右に向かって時間が経過すること
を示す。
【0027】以下、この図8および図2、図7に基づき
動作を説明する。料理番組の場合、調理中の比較的冗長
である部分は、放送時間の都合などもあり、省略される
ことが常である。即ち、一つの作業に時間がかかる下ご
しらえや、実際には火に掛けた状態で待つだけの煮込み
時間などの映像は放送上割愛される。
【0028】図8に示す本例においては、従来放送フロ
ー801において、映像1と映像2の間の下ごしらえの10
分間や、映像3と映像4の間にある煮込みの30分間がそ
れである。これについて、料理番組の映像を作る側の作
業を考察してみる。図8の放送映像801を作成するために
は、図7(a)の映像・音声撮影手段702によって撮影を行
う前に、予め下ごしらえや煮込みをすませておき、撮影
中に段取り良く準備された食材に切り換えることで、冗
長な時間を割愛する方法1と、撮影時には実際に調理に
かかる時間だけかけて料理を作り、その全体を記録して
おき、これを図7(a)のデータ編集手段706によって冗長
部分を削除する方法2、の大きく2通りが考えられる。
【0029】しかし、このいずれの方法によっても、従
来システムでは、再生時の映像は既に冗長部分が省略さ
れたものとなっている。一方で料理を作る側の立場で考
えれば、映像は実際に料理を作っていく時間通り経過し
ていくことが望ましい。つまり、図8の従来放送フロー8
01の映像1の後、実際の下ごしらえの時間中もそのまま
放送が進行し、10分後、続きの映像2が始まる、という
具合である。
【0030】本発明の実施の形態2による映像音声デー
タ伝送システムでは、映像音声の記録とともに、図2
(a)の付帯情報(経過時間)記録手段203によって、映像
の記録開始からの経過時間を記録し、データ合成手段20
5によって、映像・音声データと合成することで、送信
データの基礎を作っている。
【0031】このため、その後のデータ編集手段206に
おいて、冗長と思われる部分を削除しても(図8の送信
データ802)、受信側において、図2(b)のデータ付帯情
報抽出手段214によって抽出された送信側の経過時間情
報と、受信側の経過時間計測手段215によって測定され
た視聴者側の実経過時間とを同期させて映像の再生を実
行するため、たとえ送信側で編集された映像であって
も、調理の進行が実時間で進行し、視聴者は再生を継続
しながら、実際の調理を進めることができる。
【0032】再生側の動作を再度詳細に説明すると、図
2(b)のデータ受信手段によって受信された映像データ
は、データ付帯情報抽出手段214によって送信側の経過
時間情報と、映像・音声情報とに分けられる。一方受信
側も経過時間計測手段215により再生開始時からの時間
経過情報を計測しており、これら2つの経過時間情報が
映像・音声信号制御手段217に入力され、制御手段217で
は、この2つの経過時間の同期がとれるよう、映像・音
声信号再生手段216を制御する。2つの経過時間の同期
を取るとは、送信側の経過時間情報が途切れたとき、そ
れまでの時間と、次に再生する映像の経過時間との時間
差を受信側で吸収することである。
【0033】例えば、図8の再生映像803において、映像
1と、映像2は映像信号としては連続しているが、送信
側の経過時間では10分間の間隔が空いている。このと
き、制御手段217では、映像1を再生した後、受信側の
経過時間が10分間経つのを待ってから、映像2の再生を
開始する。同様に映像3の再生の後、30分間あけてから
映像4を再生する。この映像再生の制御をシステム内で
実施することで、視聴者は、再生映像の制御を意識する
ことなく、手本映像の調理映像と、自らが行っている調
理の進行を一致させることができるのである。
【0034】(実施の形態3)図3は本発明の請求項3に
よる映像音声データ伝送システムの動作を示すブロック
図である。
【0035】図3(a)において、301はシステムの送信側
全体、302はカメラ・マイクを含む、送信すべき映像・
音声を記録するための撮影手段、303はカメラ・マイク3
02で撮影した映像の、どの2点間を何回繰り返すかを記
録する付帯情報記録手段、304はカメラ・マイク302で撮
影した映像・音声を記録する映像・音声信号記録手段、
305は記録された映像・音声データと付帯情報とを合成
するデータ合成手段、306はデータ合成手段305で合成さ
れた映像・音声データのうち、不要部分等を割愛するデ
ータ編集手段、307はデータ編集手段306の出力をデータ
放送として送出するデータ送信手段を表す。
【0036】また、図3(b)において、311はシステムの
受信側全体、312は放送された付帯情報を持つデータを
受信するデータ受信手段、313はデータ受信手段312によ
って受信したデータを蓄積しておくデータ蓄積手段、31
4はデータ蓄積手段313によって蓄積しているデータよ
り、送信側で合成された繰返し制御情報を抜き出す、デ
ータ付帯情報抽出手段、315は再生時の経過時間(付帯
情報)を計測する付帯情報計測手段である。
【0037】316はデータ付帯情報抽出手段から抽出さ
れた、繰返し情報がない映像・音声を再生する映像・音
声信号再生手段、317はデータ付帯情報抽出手段314で抽
出した繰返し情報に基づき、再生手段316の動作を制御
する映像・音声信号制御手段、318はブラウン管やスピ
ーカなどの映像・音声を再生するための映像・音声表示
手段を表す。
【0038】次に、本発明の実施の形態の動作を図示例
と共に説明する。 (本発明の請求項3記載の映像音声データ伝送システム
実施例)図9は本発明の実施の形態3による映像音声デ
ータ伝送システムの動作を示す実施例であり、例として
テニスの練習番組を放送する状況を想定している。図9
において、901は記録時の映像フローを、902は本システ
ムにおける送信データを、903は本システムにおける、
受信側の映像再生フローを表している。また、904は時
間軸を表し、図の左から右に向かって時間が経過するこ
とを示す。
【0039】以下、この図9および図3、図7に基づき動
作を説明する。記録映像901において、映像1の後、実際
の練習においてはテニスの素振りを30回繰り返すことを
期待して送信側の映像を作っている。記録時には同じ素
振りの映像を30回分収録することはしない。ここで、従
来のシステムでは、データ編集手段706において、素振
りの映像を30回繰返し挿入することで送信データを作成
する。
【0040】ところが、これでは映像データとして30回
の繰返し部分という冗長性が生まれることになる。本発
明の請求項3記載の映像音声データ伝送システムにおい
ては、繰返情報記録手段303において、映像2および、
映像3は30回繰り返すという情報をデータ合成手段305
により映像信号に加える。この結果データ送信手段307
によって、送信データ902を送信する。このデータに
は、上で述べた従来システムの持つ冗長性はみられな
い。
【0041】一方、受信側311においては、データ付帯
情報抽出手段314によって、映像2から映像3にかけての
繰返し情報が抽出され、制御手段317によって、再生手
段316が制御され、再生映像903のフローに見られるよう
に再生が行われる。即ち、映像1の再生後、映像2から
映像3の素振り映像が30回繰返された後、映像4の再生が
開始される。つまり、本システムの利用により、繰返し
映像データを冗長性なしに伝送することができる。
【0042】(実施の形態4)図4は本発明の請求項4
による映像音声データ伝送システムの動作を示すブロッ
ク図である。
【0043】図4(a)において、401はシステムの送信側
全体、402はカメラ・マイクを含む、送信すべき映像・
音声を記録するための撮影手段、403はカメラ・マイク4
02で撮影した時の経過時間情報を記録する付帯情報記録
手段、404はカメラ・マイク402で撮影した映像・音声を
記録する映像・音声信号記録手段、405は記録された映
像・音声データと付帯情報とを合成するデータ合成手
段、406はデータ合成手段405で合成された映像・音声デ
ータのうち、不要部分等を割愛するデータ編集手段、40
7はデータ編集手段406の出力をデータ放送として送出す
るデータ送信手段を表す。
【0044】また、図4(b)において、411はシステムの
受信側全体、412は放送された付帯情報を持つデータを
受信するデータ受信手段、413はデータ受信手段412によ
って受信したデータを蓄積しておくデータ蓄積手段、41
4はデータ蓄積手段413によって蓄積しているデータよ
り、送信側で合成された経過時間情報を抜き出す、デー
タ付帯情報抽出手段、415は再生時の経過時間(付帯情
報)を計測する付帯情報計測手段、416はデータ付帯情
報抽出手段を経た、付帯情報がない映像・音声を再生す
る映像・音声信号再生手段、417はデータ付帯情報抽出
手段414で抽出した付帯情報に基づき、映像・音声再生
手段416、および音声合成再生手段418(後述する)の動
作を制御する映像・音声信号制御手段、418は映像・音
声信号制御手段417の制御を受け、送信側401で指定され
た文字列を指定された映像と同期して音声合成して再生
する音声合成再生手段、419はブラウン管やスピーカな
どの映像・音声を再生するための映像・音声表示手段を
表す。
【0045】次に、本発明の実施の形態の動作を図示例
と共に説明する。 (本発明の請求項4記載の映像音声データ伝送システム
実施例)図10は本発明の実施の形態4による映像音声デ
ータ伝送システムの動作を示す実施例であり、例とし
て、時間制限付きの試験を実施する教育番組を放送する
状況を想定している。図10において、1001は記録時の映
像フローを、1002は本システムにおける送信データを、
1003は本システムにおける、受信側の映像再生フローを
表している。また、1004は時間軸を表し、図の左から右
に向かって時間が経過することを示す。
【0046】以下、この図10および図4、図7に基づき
動作を説明する。記録映像1001では、映像1、映像2に
おいて、これから始める試験についての諸注意などが収
録されており、映像2の最後の部分で試験開始の合図が
入っているとする。その後時間制限10分の試験を行い、
(試験は途中、5分前、3分前、1分前に音声で合図する
必要があるとする)、映像3の始めには、試験終了の合
図が入っているとする。
【0047】従来のシステムにおいて、この記録映像10
01を再生しながら実際に試験を実施しようとした場合、
再生側において、映像2再生後に再生を一時停止、その
後、手動にて10分間を計時する。このとき、5分前、3分
前、1分前に、それぞれ肉声にて合図を送る必要があ
る。そして、10分経過後に一時停止を解除し、映像3の
再生を開始するのである。
【0048】あるいは、従来のシステムの場合、試験中
の10分間も実時間でそのまま記録しておく方法も考えら
れる。しかし、このときは試験中の10分間はほとんど冗
長な時間となる。
【0049】本発明の請求項4記載の映像音声データ伝
送システム(以下、本システムとする)においては、本
発明の請求項2記載の映像音声データ伝送システム同
様、図4(a)の付帯情報記録手段403において、記録時の
経過時間を記録、この時、映像3の記録開始時の経過時
間情報を映像2記録終了時の経過時間の10分後にしてお
くことで、受信側411での、再生時の映像2と映像3間の
10分間の時間間隔を確保している。
【0050】また、図10の送信データ1002において、試
験中に発せられる合図を文字列1〜3として付帯情報に
加えておく。受信側411では、データ付帯情報抽出手段4
14によって抽出された文字列1〜3に従って、制御手段
417が音声合成再生手段418を制御し、経過時間指定に同
期して必要な指示を音声で再生することが可能である。
この結果、再生映像1003にあるごとく、映像2再生終了
後、5分目に音声指示1、8分後に音声指示2、9分後に
音声指示3を発し、10分後に映像3の再生を開始する。
【0051】すなわち、本システムを利用すれば、送信
側において10分間の試験中の冗長な映像記録をなくした
上に、受信側において、再生時の試験の開始、終了での
映像の一時停止・解除動作が不要となる映像データ伝送
が実現できる。
【0052】(実施の形態5)図5は本発明の請求項5に
よる映像音声データ伝送システムの動作を示すブロック
図である。
【0053】図5(a)において、501はシステムの送信側
全体、502はカメラ・マイクを含む、送信すべき映像・
音声を記録するための撮影手段、503はカメラ・マイク5
02で撮影した時の経過時間情報を記録する付帯情報記録
手段、504はカメラ・マイク502で撮影した映像・音声を
記録する映像・音声信号記録手段、505は記録された映
像・音声データと付帯情報とを合成するデータ合成手
段、506はデータ合成手段405で合成された映像・音声デ
ータのうち、不要部分等を割愛するデータ編集手段、50
7はデータ編集手段506の出力をデータ放送として送出す
るデータ送信手段を表す。
【0054】また、図5(b)において、511はシステムの
受信側全体、512は放送された付帯情報を持つデータを
受信するデータ受信手段、513はデータ受信手段512によ
って受信したデータを蓄積しておくデータ蓄積手段、51
4はデータ蓄積手段513によって蓄積しているデータよ
り、送信側で合成された経過時間情報、および外部機器
制御情報を抜き出す、データ付帯情報抽出手段、515は
再生時の経過時間(付帯情報)を計測する付帯情報計測
手段、516はデータ付帯情報抽出手段514を経た、付帯情
報がない映像・音声を再生する映像・音声信号再生手段
である。
【0055】517はデータ付帯情報抽出手段514で抽出し
た外部機器制御情報に基づき、外部機器を制御する外部
機器制御手段、518はデータ付帯情報抽出手段514によっ
て抽出された経過時間情報(付帯情報)に基づき、映像
・音声信号再生を制御する映像・音声信号再生手段、 5
19はブラウン管やスピーカなどの映像・音声を再生する
ための映像・音声表示手段を表す。
【0056】次に、本発明の実施の形態の動作を図示例
と共に説明する。 (本発明の請求項5記載の映像音声データ伝送システム
実施例)図11は本発明の実施の形態5による映像音声デ
ータ伝送システム(以下本システムと記述する)の動作
を示す実施例であり、例としてピアノの練習番組を放送
する状況を想定している。図11において、1101は記録時
の映像フローを、1102は本システムにおける送信データ
を、1103は本システムにおける、受信側の映像再生フロ
ーを表している。また、1104は時間軸を表し、図の左か
ら右に向かって時間が経過することを示す。
【0057】以下、この図11および図5、図7に基づき
動作を説明する。図11の記録映像フロー1101では、映像
1および映像2で練習の前置き部分が、映像3において
実際の演習部分を、映像4以降で練習のまとめが収録さ
れているとする。データ放送受信者は受信環境の他に、
外部機器として、練習用の電子ピアノを所有しており、
これと受信側511の外部機器制御手段517とが正しく接続
されていて、制御手段517の制御によって、電子ピアノ
の鍵盤のランプが点灯する仕組みになっているものとす
る(ここで、制御手段517と外部機器である電子ピアノ
との接続手法は本発明の本質とは無関係であるため、説
明を省略する)。
【0058】本システムでは、送信側501の付帯情報記
録手段503において、映像3の練習映像に同期して、叩く
べき電子ピアノの鍵盤の位置情報をピアノデータとして
記録し、図11の送信データ1102に見られるように、デー
タ合成手段505にて、映像3のデータと合成し、送信デ
ータとする。
【0059】受信側511では、データ付帯情報抽出手段5
14にて抽出されたピアノデータと経過時間情報(同期デ
ータ)を入力として、外部機器制御手段517が外部機器
である電子ピアノを制御し、映像に同期して弾くべき鍵
盤の位置を鍵盤のランプを点灯させることで受信者に伝
える。この結果、再生映像1103では、映像3の再生の期
間中、画面に同期して電子ピアノの鍵盤が点灯し、これ
に合わせて弾くことで受信者のピアノ練習が実現でき
る。すなわち、本システムを利用することで、映像・音
声信号に同期して受信者の所有する外部機器を制御でき
る映像・音声データ伝送を実現できる。
【0060】(実施の形態6)図6は本発明の請求項6
による映像音声データ伝送システムの動作を示すブロッ
ク図である。
【0061】図6(a)において、601はシステムの送信側
全体、602はカメラ・マイクを含む、送信すべき映像・
音声を記録するための撮影手段、603はカメラ・マイク6
02で撮影した時の記録手段の移動距離を記録する付帯情
報記録手段、604はカメラ・マイク602で撮影した映像・
音声を記録する映像・音声信号記録手段、605は記録さ
れた映像・音声データと付帯情報とを合成するデータ合
成手段、606はデータ合成手段605で合成された映像・音
声データのうち、不要部分等を割愛するデータ編集手
段、607はデータ編集手段606の出力をデータ放送として
送出するデータ送信手段を表す。
【0062】また、図6(b)において、611はシステムの
受信側全体、612は放送された付帯情報を持つデータを
受信するデータ受信手段、613はデータ受信手段612によ
って受信したデータを蓄積しておくデータ蓄積手段、61
4はデータ蓄積手段613によって蓄積しているデータよ
り、送信側で合成された付帯情報を抜き出すデータ付帯
情報抽出手段、615は再生時の放送視聴者の移動距離
(付帯情報)を計測する付帯情報計測手段、616はデー
タ付帯情報抽出手段から出力された付帯情報がない映像
・音声を再生する映像・音声信号再生手段、617はデー
タ付帯情報抽出手段614で抜き出した映像記録時の移動
距離と付帯情報計測手段615によって計測された放送視
聴者の移動距離との同期をとり、再生手段616の動作を
制御する映像・音声信号制御手段、618はブラウン管や
スピーカなどの映像・音声を再生するための映像・音声
表示手段を表す。
【0063】次に、本発明の実施の形態の動作を図示例
と共に説明する。 (本発明の請求項6記載の映像音声データ伝送システム
実施例)図12は本発明の実施の形態6による映像音声デ
ータ伝送システムの動作を示す実施例であり、車で走行
中に見る旅ガイド番組をデータ放送する状況を想定して
いる。図12において、1201は記録時の映像フローを、12
02は本システムにおける送信データを、1203は本システ
ムにおける、受信側の映像再生フローを表している。ま
た、1204は(移動)距離軸を表し、図の左から右に向かっ
て(移動)距離が増えることを示す。
【0064】以下、この図12および図6、図7に基づき
動作を説明する。
【0065】旅ガイド番組は、未知の土地への旅行には
有効である。未知の土地を訪れた人は、普通その土地の
ことを少しでも多く知りたいと思う。しかし、従来のテ
レビ番組を見ているだけでは、リアルタイムに見たい場
所を映し出すのではなく、送信側の時間進行で映像が再
生される。また、いわゆるカーナビゲーションシステム
で映し出される映像は、情報の新鮮さという点で問題が
ある。
【0066】これに対して本発明の移動距離を認識する
システムを利用することにより、リアルタイムに見たい
映像(今訪れている場所の映像)を視聴することができる
ようになる。図12に示す本例においては、記録時の映像
フロー1201において、映像1の京都駅出発の場面や映像
2の西本願寺が見えてくる場面や、また映像3の西本願
寺の説明が始まる場面がそれにあたる。これにつき、旅
ガイド番組の映像を作る側の作業を考察してみる。
【0067】図12の放送映像1201を作成するためには、
従来の手法では、図7(a)の映像音声撮影手段702によっ
て、目的地と考えられる場所(図12の例では西本願寺)の
みを重点的に撮影し、さらに決められた放送時間内に抑
えるために図7(a)のデータ編集手段706によって冗長部
分を削除するという手順をとる。従って、従来システム
においては、再生時の映像も冗長部分が省略されたもの
になっている。一方で、車で旅行をしている側の立場で
考えれば、映像は訪れているその時に、その場所のもの
が放映されていることが望ましい。即ち、図12の映像フ
ロー1201の映像1、2、3、4、5を、移動距離に合わせて
放映させるのが望ましい。
【0068】本発明の実施の形態6による映像音声デー
タ伝送システムでは、映像音声の記録とともに、図6
(a)の付帯情報(移動距離)記録手段603によって、映像
の記録開始からの移動距離を記録し、データ合成手段60
5によって、映像・音声データと合成することで、送信
データの基礎を作っている。このため、その後のデータ
編集手段606において、冗長と思われる部分を削除して
も(図12の送信データ1202)、受信側において、図6
(b)のデータ付帯情報抽出手段614によって抽出された送
信側の移動距離情報と、受信側の移動距離測定手段615
によって測定された視聴者側の実移動距離とを同期させ
て映像の再生を実行するため、たとえ送信側で編集され
た映像であっても、再生映像は観光者の移動に同期して
進行するため、観光者は再生を継続しながら観光を進め
ることができる。
【0069】再生側の動作を再度詳細に説明すると、図
6の(b)のデータ受信手段によって受信された映像データ
は、データ付帯情報抽出手段614によって送信側の移動
距離情報と、映像・音声情報とに分けられる。一方受信
側も移動距離計測手段615により再生開始時からの移動
距離情報を計測しており、これら2つの移動距離情報が
映像・音声信号制御手段617に入力され、制御手段617で
は、この2つの移動距離の同期がとれるよう、映像・音
声信号再生手段616を制御する。2つの移動距離の同期
を取るとは、送信側の移動距離情報が途切れたとき、そ
れまでの距離と、次に再生する映像の移動距離との距離
の差を受信側で吸収することである。
【0070】例えば、図12の再生映像1203において、映
像1と、映像2、そして映像3は映像信号としては連続し
ているが付帯情報である移動距離は途切れている。制御
手段617では、観光者の移動距離に同期した映像1の再生
がが終了すると、次の映像2の再生を開始しようとする
が、この時、移動距離計測手段615によって計測された
観光者の移動距離移動距離が、映像2開始時の付帯情報
(移動距離)に達していない場合、再生を一時停止す
る。その後、観光者の移動距離が、映像2開始時の移動
距離情報と一致した時、再生を開始する。この制御を伝
送システム内で実施することで、視聴者は、再生映像の
制御を意識することなく、京都観光の映像と、自らが訪
れている場所を一致させることができる。
【0071】また、本発明のデータ伝送システムにおけ
る、送信側から受信側までのデータ伝搬媒体について
は、有線、無線を問わず、特にこれを特定しない。尚、
本発明の映像音声データ伝送システムは、上述の図示例
にのみ限定されるものではなく、本発明の要旨を逸脱し
ない範囲内において種々変更を加え得ることは勿論であ
る。
【0072】
【発明の効果】以上、説明したように本発明の請求項1
〜6記載の映像音声データ伝送システムによれば、送信
データに付帯情報を含むことにより、記録時の映像音声
の持つ付帯情報に同期した再生を実現することができ
る。この付帯情報を経過時間情報、繰返し情報、合成音
声文字列、外部機器制御情報のいずれか、もしくはこれ
らを組み合わせた情報とすることで、データ放送視聴者
側には操作の負担をかけない、種々の性質の放送番組内
容に対応した映像音声再生を実現するという優れた効果
を奏し得る。
【図面の簡単な説明】
【図1】この発明の実施の形態1による映像音声データ
伝送システムの構成を示すブロック図
【図2】この発明の実施の形態2による映像音声データ
伝送システムの構成を示すブロック図
【図3】この発明の実施の形態3による映像音声データ
伝送システムの構成を示すブロック図
【図4】この発明の実施の形態4による映像音声データ
伝送システムの構成を示すブロック図
【図5】この発明の実施の形態5による映像音声データ
伝送システムの構成を示すブロック図
【図6】この発明の実施の形態6による映像音声データ
伝送システムの構成を示すブロック図
【図7】従来例における映像音声データ伝送システムの
構成を示すブロック図
【図8】実施の形態2における映像音声データ伝送シス
テムの一例を示す図
【図9】実施の形態3における映像音声データ伝送シス
テムの一例を示す図
【図10】実施の形態4における映像音声データ伝送シ
ステムの一例を示す図
【図11】実施の形態5における映像音声データ伝送シ
ステムの一例を示す図
【図12】実施の形態6における映像音声データ伝送シ
ステムの一例を示す図
【符号の説明】
101 送信側 102 映像音声撮影手段 103 付帯情報記録手段 104 映像・音声信号記録手段 105 データ合成手段 106 データ編集手段 107 データ送信手段 111 受信側 112 データ蓄積手段 113 データ受信手段 114 データ付帯情報抽出手段 115 付帯情報計測手段 116 映像・音声信号再生手段 117 映像・音声信号制御手段 118 映像・音声表示手段 203 付帯情報(経過時間)記録手段 215 付帯情報(経過時間)計測手段 303 付帯情報(繰返情報)記録手段 418 音声合成再生手段 517 外部機器制御手段 603 付帯情報(移動距離)記録手段 615 付帯情報(移動距離)計測手段 801 従来放送再生フロー 802 本システムにおける送信データ 803 本システムにおける受信側の映像再生フロー 804 時間軸 901 記録時の映像フロー 1204 移動距離軸
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/08 G10L 9/00 N 9A001 7/081 H04N 7/08 Z 7/18 Fターム(参考) 5C052 AC01 5C053 FA14 GB11 HA21 JA01 JA21 JA22 JA26 5C054 AA01 DA01 FD00 FF07 GB00 GB05 GB18 HA00 5C063 DA20 5D045 AA20 9A001 CC03 EE04 HH34 JJ18 JJ19 KK60

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 映像と音声信号を記録する映像・音声信
    号記録手段と、記録された映像音声データに対する付帯
    情報記録手段と、記録された映像音声信号と付帯情報を
    合成するデータ合成手段と、複合したデータの、必要部
    分のみを断片的に連結するデータ編集手段と、編集後デ
    ータ送信するデータ送信手段とを備える送信側と、デー
    タ受信手段と、受信したデータを蓄積しておくデータ蓄
    積手段と、そこから付帯情報を抜き出すデータ付帯情報
    抽出手段と、受信側の付帯情報を計測する付帯情報計測
    手段と、受信データから抽出した付帯情報および受信側
    の付帯情報から映像音声の再生制御を行う映像音声信号
    制御手段と、前記制御手段の制御を受け、前記付帯情報
    と同期して映像音声データを再生する映像・音声信号再
    生手段とを備える受信側を有することを特徴とする映像
    音声データ伝送システム。
  2. 【請求項2】 前記付帯情報が、映像音声データ記録時
    の経過時間を表す連続した刻印であり、これによりデー
    タ付帯情報抽出手段により、記録時の経過時間を得、こ
    の時間に同期して映像音声信号を再生する映像音声信号
    制御手段を持つことを特徴とする、請求項1に記載の映
    像音声データ伝送システム。
  3. 【請求項3】 前記付帯情報が、映像音声データ中の任
    意の2点と、繰り返し回数であり、これによりデータ付
    帯情報抽出部で、映像音声データに付帯する情報を抽出
    し、送信側で指定された任意回数の、任意の2点間の映
    像音声データを繰り返し再生せしむることを特徴とする
    請求項1に記載の映像音声データ伝送システム。
  4. 【請求項4】 前記付帯情報が、映像音声データ記録時
    の経過時間を表す連続した刻印と文字列であり、これに
    よりデータ付帯情報抽出部で記録時の経過時間を得、こ
    の時間に同期して、記録された映像音声信号を再生する
    映像・音声信号制御手段と、文字列の内容を音声合成し
    て発話する音声合成再生手段を備えることを特徴とす
    る、請求項1に記載の映像音声データ伝送システム。
  5. 【請求項5】 前記付帯情報が、映像音声データ記録時
    の経過時間を表す連続した刻印と外部機器制御命令列で
    あり、これによりデータ付帯情報抽出部で記録時の経過
    時間を得、この時間に同期して、記録された映像音声信
    号を再生する映像・音声信号制御手段と、前記外部機器
    制御命令列の内容に従って機器を制御する外部機器制御
    手段を備えることを特徴とする、請求項1に記載の映像
    音声データ伝送システム。
  6. 【請求項6】 前記付帯情報が、映像音声データ記録時
    の記録装置の移動距離を表す連続した刻印であり、これ
    によりデータ付帯情報抽出部で記録時の移動距離を得、
    これと受信機の移動距離に同期して映像音声信号を再生
    する映像・音声信号制御手段を持つことを特徴とする、
    請求項1に記載の映像音声データ伝送システム。
JP2000114873A 2000-04-17 2000-04-17 映像音声データ伝送システム Expired - Fee Related JP4631126B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000114873A JP4631126B2 (ja) 2000-04-17 2000-04-17 映像音声データ伝送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000114873A JP4631126B2 (ja) 2000-04-17 2000-04-17 映像音声データ伝送システム

Publications (2)

Publication Number Publication Date
JP2001298695A true JP2001298695A (ja) 2001-10-26
JP4631126B2 JP4631126B2 (ja) 2011-02-16

Family

ID=18626603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000114873A Expired - Fee Related JP4631126B2 (ja) 2000-04-17 2000-04-17 映像音声データ伝送システム

Country Status (1)

Country Link
JP (1) JP4631126B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113559A (ja) * 2009-11-24 2011-06-09 Korea Electronics Telecommun マルチメディアコンテンツ送信システムおよび方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249866A (ja) * 1995-03-13 1996-09-27 Taiyo Yuden Co Ltd 光ディスク応用装置
JPH10111872A (ja) * 1996-10-08 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> 動画配信装置及び方法
JPH1198467A (ja) * 1997-09-19 1999-04-09 Hitachi Ltd 複数メディアのデータ同期再生装置
JPH11238364A (ja) * 1998-02-20 1999-08-31 Sony Corp 記録装置、再生装置及び記録媒体
JPH11298835A (ja) * 1998-04-07 1999-10-29 Hitachi Ltd 映像同期装置と映像表示システム
JPH11341441A (ja) * 1998-05-25 1999-12-10 Matsushita Electric Ind Co Ltd 映像生成装置及び映像再生装置並びに映像生成方法及び映像再生方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249866A (ja) * 1995-03-13 1996-09-27 Taiyo Yuden Co Ltd 光ディスク応用装置
JPH10111872A (ja) * 1996-10-08 1998-04-28 Nippon Telegr & Teleph Corp <Ntt> 動画配信装置及び方法
JPH1198467A (ja) * 1997-09-19 1999-04-09 Hitachi Ltd 複数メディアのデータ同期再生装置
JPH11238364A (ja) * 1998-02-20 1999-08-31 Sony Corp 記録装置、再生装置及び記録媒体
JPH11298835A (ja) * 1998-04-07 1999-10-29 Hitachi Ltd 映像同期装置と映像表示システム
JPH11341441A (ja) * 1998-05-25 1999-12-10 Matsushita Electric Ind Co Ltd 映像生成装置及び映像再生装置並びに映像生成方法及び映像再生方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113559A (ja) * 2009-11-24 2011-06-09 Korea Electronics Telecommun マルチメディアコンテンツ送信システムおよび方法

Also Published As

Publication number Publication date
JP4631126B2 (ja) 2011-02-16

Similar Documents

Publication Publication Date Title
JP3059131B2 (ja) 多重角再生のためのデータの同期再生装置
KR101520659B1 (ko) 개인용 비디오 레코더를 이용한 영상 비교 장치 및 방법
US20040004665A1 (en) System for creating content using content project data
JP5733321B2 (ja) 自動演奏装置
JP2008160748A (ja) 記録システム、および記録再生システム
US20080187287A1 (en) Reproducing device
JP2006041886A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2003299011A (ja) 映像コンテンツ編集支援システム,撮像装置,編集者端末装置,記録媒体,プログラム,映像コンテンツ編集支援方法
JP2008178090A (ja) 映像処理装置
Beck The evolution of sound in cinema
JP2001298695A (ja) 映像音声データ伝送システム
JP2004040579A (ja) デジタル放送受信装置、およびデジタル放送同期再生方法
JP3529679B2 (ja) 記録再生装置
JP4529632B2 (ja) コンテンツ処理方法およびコンテンツ処理装置
JP3432132B2 (ja) カラオケ演奏装置、その本体およびリモコン予約装置
JP2005260322A (ja) コンテンツ補足情報提供システム、携帯情報端末、サーバ
JP3988266B2 (ja) 記録再生装置、記録再生方法、及び記録媒体
JP4284594B2 (ja) 記録再生装置及び方法
WO2003065715A1 (fr) Appareil, systeme et procede d&#39;enregistrement/lecture de donnees audio/video, support enregistre par eux, appareil de reproduction de donnees audio/video, et structure de donnees
JPH07226017A (ja) 演奏記録再生装置
KR100874024B1 (ko) 대화형 콘텐츠를 중계하는 중계기, 방법 및 그 기록매체
JPH1169302A (ja) 多重映像再生装置
JP3769863B2 (ja) 情報信号再生装置および方法
JP2002026840A (ja) 同時解説放送装置
JPH1115486A (ja) 楽音再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070326

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101101

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees