JP2002344928A - 双方向型放送視聴システムおよびその制御方法 - Google Patents

双方向型放送視聴システムおよびその制御方法

Info

Publication number
JP2002344928A
JP2002344928A JP2001144940A JP2001144940A JP2002344928A JP 2002344928 A JP2002344928 A JP 2002344928A JP 2001144940 A JP2001144940 A JP 2001144940A JP 2001144940 A JP2001144940 A JP 2001144940A JP 2002344928 A JP2002344928 A JP 2002344928A
Authority
JP
Japan
Prior art keywords
information
broadcast
viewer
viewing system
communication means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001144940A
Other languages
English (en)
Other versions
JP2002344928A5 (ja
JP4340398B2 (ja
Inventor
Eriko Koda
恵理子 幸田
Yasushi Kawamoto
康司 川本
Yasuyuki Oki
康幸 大木
Tatsuya Kurioka
辰弥 栗岡
Tomonari Nishimoto
友成 西本
Arisa Fujii
亜里砂 藤井
Hiroki Minami
浩樹 南
Akitsugu Baba
秋継 馬場
Toshihiro Uehara
年博 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Japan Broadcasting Corp
Original Assignee
Hitachi Ltd
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Hitachi Ltd
Priority to JP2001144940A priority Critical patent/JP4340398B2/ja
Publication of JP2002344928A publication Critical patent/JP2002344928A/ja
Publication of JP2002344928A5 publication Critical patent/JP2002344928A5/ja
Application granted granted Critical
Publication of JP4340398B2 publication Critical patent/JP4340398B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】 臨場感に富む視聴者参加番組を実現すること
が可能な双方向型放送視聴技術を実現する。 【解決手段】 放送局100から無線放送網300を介
して放送映像を受信する視聴者端末200を、インター
ネット400を介して放送局100のWWWサーバ10
9に接続し、視聴者端末200で放送映像を視聴する視
聴者が入力した投票情報等の入力情報をインターネット
400を介してWWWサーバ109で集計し、集計結果
を、放送映像の映像符号化部102を制御する送信映像
制御装置106にイントラネット108を経由して伝達
し、たとえば放送映像中の競技者の画像のサイズを投票
数の変化に比例して動的に変化させるように制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、双方向型放送視聴
技術に関し、特に、テレビジョン放送等における視聴者
参加型の放送番組の放映技術等に適用して有効な技術に
関する。
【0002】
【従来の技術】たとえば、従来、テレビジョン放送等に
おける視聴者参加型の放送番組としては、テレビショッ
ピング、アンケート調査、視聴者参加型のクイズ番組、
等が知られているが、視聴者から放送局側への上り方向
の通信手段としてはいずれも、視聴者による電話回線網
を用いた放送局の係員あるいは自動音声応答システムへ
の音声通話にて、注文、アンケート回答、クイズ回答、
等の通知が行われるのみであった。
【0003】
【発明が解決しようとする課題】上記従来技術では、多
数の視聴者からの反応を放映内容自体に反映させるまで
に多数の人手を必要とし、視聴者の反応に対する放映内
容の応答を迅速化することは困難であり、視聴者からみ
ると、視聴者参加番組に対する臨場感に乏しいものとな
る、という技術的課題があった。
【0004】また、視聴者では、放送局から送られてく
る放映内容をそのまま視聴するにとどまり、画像等の表
示状態を自分の好みに応じて変更することはできず、視
聴の自由度が低い、という技術的課題もある。
【0005】本発明の目的は、臨場感に富む視聴者参加
番組を実現することが可能な双方向型放送視聴技術を提
供することにある。
【0006】本発明の他の目的は、個々の視聴者の好み
に応じた多様な放映画面の構成が可能な双方向型放送視
聴技術を提供することにある。
【0007】
【課題を解決するための手段】本発明は、複数の視聴者
端末と、少なくとも一つの放送局と、放送局から視聴者
端末に放送情報を伝達する第1の通信手段と、放送局と
視聴者端末との間で情報の授受を行う第2の通信手段と
を含む双方向型放送視聴システムであって、放送局は、
第2の通信手段を介して複数の視聴者端末の各々から放
送局に送出された個別情報の集計結果に応じて、第1の
通信手段を介して放送局から視聴者端末に放送される放
送情報の表示状態を変化させる機能を備えたものであ
る。
【0008】また、本発明は、複数の視聴者端末と、少
なくとも一つの放送局と、放送局から視聴者端末に放送
情報を伝達する第1の通信手段と、放送局と視聴者端末
との間で情報の授受を行う第2の通信手段とを含む双方
向型放送視聴システムであって、放送局は、第1および
第2の通信手段の少なくとも一方を介して、放送情報に
含まれ視聴者端末に可視化表示される放送映像情報の、
視聴者端末における時間的な配列状態および空間的な配
列状態の少なくとも一方を制御する映像制御情報を視聴
者端末に配信する機能を含み、視聴者端末は、映像制御
情報および当該視聴者端末を操作する視聴者からの指示
の少なくとも一方に基づいて放送映像情報の表示状態を
制御する表示制御機能を含む構成としたものである。
【0009】また、本発明は、複数の視聴者端末と、少
なくとも一つの放送局と、放送局から視聴者端末に放送
情報を伝達する第1の通信手段と、放送局と視聴者端末
との間で情報の授受を行う第2の通信手段とを含む双方
向型放送視聴システムの制御方法であって、放送情報の
視聴者端末における表示状態を制御する表示制御情報
を、第1の通信手段および第2の通信手段の少なくとも
一方を経由して視聴者端末に送信する工程と、表示制御
情報に基づいて、視聴者端末における放送情報の表示状
態を制御する工程と、を含むものである。
【0010】また、本発明は、複数の視聴者端末と、少
なくとも一つの放送局と、放送局から視聴者端末に放送
情報を伝達する第1の通信手段と、放送局と視聴者端末
との間で情報の授受を行う第2の通信手段とを含む双方
向型放送視聴システムの制御方法であって、放送情報に
含まれる第1の映像情報に関連した少なくとも一つの第
2の映像情報を、放送局から自発的に、または視聴者端
末からの要求に応じて、第2の通信手段を経由して視聴
者端末に配信するものである。
【0011】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。
【0012】(実施の形態1)図1は、本発明の一実施
の形態である双方向型放送視聴システムの全体構成の一
例を示す概念図であり、図2は、本実施の形態の双方向
型放送視聴システムの作用の一例を示すフローチャー
ト、図3は、本実施の形態の双方向型放送視聴システム
を構成する放送局側のシステム構成の一例を示す概念
図、図4は、本実施の形態の双方向型放送視聴システム
を構成する視聴者端末の構成例を示す概念図、である。
【0013】図1に例示されるように、本実施の形態の
双方向型放送視聴システムは、放送局100と、視聴者
端末200と、中継衛星301等を含み、放送局100
から複数の視聴者端末200への放送を行う無線放送網
300と、放送局100と複数の視聴者端末200との
間における情報の授受を行うインターネット400とを
含んでいる。
【0014】図3に例示されるように、本実施の形態に
おける放送局100は、中継衛星301へ放送電波を送
信する送信装置101、映像スイッチャ103を介して
テレビカメラ104や映像再生装置105等の映像ソー
スから送信装置101に入力される映像信号をMPEG
−2等のフォーマットに符号化する映像符号化部10
2、映像符号化部102を制御する送信映像制御装置1
06、送信映像制御装置106に映像レイアウト等の情
報を入力する映像レイアウト情報テーブル107、イン
トラネット108を介して送信映像制御装置106に接
続され、インターネット400を介して外部の個々の視
聴者端末200に接続されるWWWサーバ109、WW
Wサーバ109に接続されるユーザ入力情報集計テーブ
ル110、等を含んでいる。
【0015】一方、本実施の形態の視聴者端末200は
テシビジョン受信機、パーソナルコンピュータ、携帯情
報端末、映像の受信が可能な携帯電話等、あらゆる情報
機器を用いることができる。
【0016】一例として、図4に例示されるように、本
実施の形態の視聴者端末200は、バス201を介し
て、マイクロプロセッサ202、主記憶203、インタ
ーネット400に対する接続インタフェースを実現する
ネットワークインタフェース204、無線放送網300
に対する受信インタフェースを実現するTVチューナ2
05、TVチューナ205の一部を構成し、符号化され
た状態で受信した放送情報を復号化するMPEG−2デ
コーダ等の復号化装置205a、外部記憶装置206、
視聴者に映像を可視化して提示するためのフレームメモ
リ207およびディスプレイ208、キーボードやリモ
コン等からなり、視聴者による情報入力に用いられるユ
ーザ入力装置209、音声や音響の出力を行うスピーカ
210、等で構成されている。
【0017】マイクロプロセッサ202は、主記憶20
3に実装された後述のソフトウェアにて視聴者端末20
0の全体の制御を行う。
【0018】TVチューナ205には、無線放送網30
0からの放送電波がアンテナ205bを介して入力され
る。
【0019】本実施の形態の場合、主記憶203には、
オペレーティングシステム501、このオペレーティン
グシステム501の上で稼働するXMLパーサ502、
ブラウジングエンジン503、XMLフィルタリングプ
ログラム504、レイアウト生成/更新プログラム50
5、GUI処理プログラム506、キャプチャプログラ
ム507、双方向型放送視聴システム表示プログラム5
08、等のソフトウェアが実装されている。
【0020】本実施の形態における上述の各ソフトウェ
ア(モジュール)の処理機能の一例について説明する。
【0021】(1)双方向型放送視聴システム表示プロ
グラム508 双方向型放送視聴システム表示プログラム508は、ユ
ーザ入力装置209を介した視聴者からの入力、また
は、外部から入力されたXML(Extensible
Markup Language)等のページ記述言
語で記述された制御情報を、後述のXMLフィルタリン
グプログラム504、レイアウト生成/更新プログラム
505、GUI処理プログラム506、の各モジュール
に振り分ける。
【0022】また、ユーザがディスプレイ208に出力
される番組に対する操作を検出し、GUI処理プログラ
ム506に操作内容を渡し、番組の操作に対応するGU
I処理を実行する。
【0023】また、映像の再生や取り込み処理の開始、
終了を指定する。
【0024】(2)XMLフィルタリングプログラム5
04 XMLフィルタリングプログラム504は、番組の内容
を表すXMLのデータから、カスタマイズ情報にあわせ
た情報フィルタリングを行う。
【0025】また、フィルタリング処理の一例として、
時系列で流れてくるXML情報の中から必要な情報のみ
を取り出す処理がある。フィルタリングされた情報は、
レイアウト生成/更新プログラム505やGUI処理プ
ログラム506に入力される。
【0026】たとえば、番組内シーンに付加されている
人物名キーワードを監視し、あらかじめ指定された人物
名だけを再生する処理などを行う。
【0027】フィルタリング処理の一例として、本シス
テムに蓄積された沢山のXML情報から、ある条件に従
う情報のみを検索する処理がある。
【0028】たとえば、沢山あるシーンのXML情報の
中から、ある時間範囲のXML情報のみを取り出す処理
などに用いる。
【0029】この処理は、レイアウト生成/更新プログ
ラム505やGUI処理プログラム506から呼び出さ
れる場合がある。
【0030】この実現方法としては、XMLパーサ50
2やブラウジングエンジン503、が提供するXMLパ
ーサ機能を用いることが考えられる。
【0031】(3)レイアウト生成/更新プログラム5
05 XMLフィルタリングプログラム504によりXMLか
ら抜き出したデータ及び、双方向型放送視聴システム表
示プログラム508から受け取ったカスタマイズ情報を
元に、ディスプレイ208における画面の表示方法を生
成したり、現在の表示レイアウトを変更したりする。
【0032】ここでいうレイアウトとは、画面中のビデ
オや画像、テキストなどのメディアの表示位置だけでな
く、いつメディアを表示・非表示するかという表示タイ
ミング情報も含んでもよい。
【0033】また、ディスプレイ208の画面中のある
部分を視聴者が選択したときに行うべき処理の仕方の情
報を含んでも良い。この処理の仕方の記述の実現方式と
しては、Webブラウザなどで使用されているJava
Scriptなどのスクリプト言語などがあげられ
る。
【0034】(4)GUI処理 XMLフィルタリングプログラム504によりXMLか
ら抜き出したデータ、レイアウト生成/更新プログラム
505で生成されたレイアウト情報、及び、双方向型放
送視聴システム表示プログラム508から受け取ったカ
スタマイズ情報を元に、画面のGUI(Graphic
al User Interface)を変更する。ま
た同じ情報を元に、ユーザが入力した情報をどのように
双方向型放送視聴システム表示プログラム508、XM
Lフィルタリングプログラム504、レイアウト生成/
更新プログラム505の各モジュールに振り分けるべき
かを決定する。
【0035】(5)XMLパーサ502、ブラウジング
エンジン503 XMLパーサ502は、XMLデータの読み込みと、そ
の文書構造、文書内容を参照するモジュールである。そ
の実装には、たとえば、World WideWeb
Consorsiumが定義したDocument O
bjectModelという操作インタフェースを採用
した汎用のXMLライブラリを用いることができる。
【0036】ブラウジングエンジン503は、HTML
(Hyper Text Markup Langua
ge)等で記述されたインターネット文書の閲覧を行う
Webブラウザとしての基本機能を持つ。
【0037】つまりHTMLなどのレイアウト情報を入
力し、それを画面として表示する基本機能、および、ユ
ーザがその画面を操作すると、それをユーザ操作イベン
トとして認識する機能からなる。
【0038】次に、本実施の形態の作用の一例について
説明する。なお、以下の説明では、競技放送の一例とし
て、紅白歌合戦を放映する場合を例にとって説明する。
【0039】図2のフローチャートに例示されるよう
に、放送局100は、無線放送網300を経由して映像
および投票画面のレイアウト情報等の個々の視聴者端末
200への配信(ステップ1001、ステップ100
2)、複数の視聴者(視聴者端末200)からの入力待
ち(ステップ1003)、複数の視聴者からの入力の受
信(ステップ1004)、複数の視聴者から受信した入
力の集計(ステップ1005)、集計結果を反映した映
像画面あるいは投票画面の更新および視聴者端末200
への配信(ステップ1006)を放映中に反復実行す
る。
【0040】放送局100における上述のステップ10
04〜1006の動作の詳細な処理の一例を図5および
図6のフローチャートに示す。
【0041】すなわち、図5のフローチャートに例示さ
れるように、インターネット400に接続されたWWW
サーバ109は、視聴者端末200から到来するユーザ
入力情報を受信してユーザ入力情報集計テーブル110
に格納し(ステップ1021)、所定の集計タイミング
が到来すると(ステップ1022)、ユーザ入力情報の
集計を行い(ステップ1023)、送信映像制御装置1
06にイントラネット108を介して集計結果を通知す
る(ステップ1024)。この一連の動作を反復する。
【0042】図6のフローチャートに例示されるよう
に、映像符号化部102および送信映像制御装置106
では、映像スイッチャ103で選択されて到来する映像
情報の符号化を行うとともに(ステップ1031)、W
WWサーバ109側からの集計結果の通知の有無を監視
し(ステップ1032)、通知があった場合には、映像
レイアウト情報テーブル107を通知内容で更新する
(ステップ1033)。
【0043】さらに、レイアウト情報の埋め込みタイミ
ングを判定し(ステップ1034)、符号化された映像
情報の間等に映像レイアウト情報テーブル107から読
み出したレイアウト情報を埋め込み(ステップ103
5)、送信装置101に出力する。この一連の操作を反
復する。
【0044】一方、上述の放送局100の動作に対応し
て、視聴者端末200では、放送映像および投票画面の
レイアウト情報を受信し(ステップ1011、ステップ
1012)、たとえば、図7に例示されるような画面体
裁でディスプレイ208に表示し(ステップ101
3)、ユーザ入力装置209を介した視聴者(ユーザ)
からの入力を待ち(ステップ1014)、視聴者からの
入力を検出すると(ステップ1015)、入力内容をイ
ンターネット400を経由して放送局100のWWWサ
ーバ109に送信し(ステップ1016)、放送局10
0での前記ステップ1006での更新内容を反映した画
面を表示する(ステップ1017)。
【0045】すなわち、図7の視聴者端末200におけ
るディスプレイ208の画面例では、投票画面600の
中に、赤組映像601および白組映像602と、赤組投
票ボタン603および白組投票ボタン604を表示して
いる。赤組投票ボタン603および白組投票ボタン60
4の各々はユーザによる所定の選択操作によりトグル操
作され、選択された側の応援情報が、WWWサーバ10
9に送信される。
【0046】そして、最初は赤組映像601および白組
映像602は同じ大きさであるが、WWWサーバ109
における赤組および白組の各々の応援情報の集計結果の
大小関係の変動等に応じて、放送局100の送信映像制
御装置106では、応援情報のより多い側の映像が大き
く表示される(各組の出力音量も比例させてもよい)よ
うに、放送情報に埋め込まれる映像レイアウト情報を逐
次(たとえば数秒周期)更新していく。
【0047】これにより、個々の視聴者端末200のデ
ィスプレイ208における投票画面600では、より多
くの応援情報を獲得した側の映像(図7の例では赤組映
像601)がより大きく表示され、しかも、応援情報の
集計結果の経時的な変動に応じて当該映像の大小関係が
変化する。これにより、個々の視聴者は自分自身の応援
結果が反映された臨場感溢れる放送内容の視聴や応援が
可能になる。
【0048】図8、図9および図10に、投票画面の変
形例を例示する。
【0049】すなわち、図8の投票画面600Aの例で
は、赤組および白組に共通な共通映像605と、赤組お
よび白組の視聴者入力による応援情報の大小関係を反映
して表示状態が経時的に変化する円グラフ606と、赤
組投票ボタン603および白組投票ボタン604を配置
した例を示している。
【0050】図9の投票画面600Bの例では、共通映
像605と、赤組および白組の視聴者入力による応援情
報の大小関係を反映して表示状態が経時的に変化するバ
ーインジケータ607、視聴者が応援メッセージを入力
するためのテキスト入力画面608、複数の視聴者から
入力された応援メッセージのうち、放送局100の側で
選択したものを表示する掲示板画像609で構成されて
いる。個々の視聴者から入力された応援メッセージは、
WWWサーバ109から送信映像制御装置106に伝達
され、放送情報に反映される。視聴者は、自身が入力し
た応援メッセージが全視聴者の視聴者端末200のディ
スプレイ208に出力されるので、臨場感の高い視聴が
可能になる。
【0051】図10の投票画面600Cは、視聴者のテ
キスト入力による、いわゆるチャット内容を表示するチ
ャット画面610を備えた例を示している。放送の視聴
者の数は膨大なので、実時間ですべてのチャットデータ
を放送情報に組み込んで視聴者端末200に配信して表
示することは困難である。そこで、たとえば、赤組、白
組、さらには、出演している各組の歌手毎等にグループ
分けし、個々の視聴者は特定のグループに属するように
して、負荷を減らすことが考えられる。このため、グル
ープ選択ボタン611を表示している。
【0052】視聴者は、グループ選択ボタン611で、
好みのグループを選択してチャットに参加する。この場
合、複数のグループのチャットデータ放送情報に組み込
んでもよいが、上述のような負荷の制約を考慮すると、
チャット画面610に対する表示データは、インターネ
ット400を経由してWWWサーバ109から個々の視
聴者端末200に配信するようにしてもよい。
【0053】上述の図7〜図10の画面構成は、図示し
ないメインメニューからの指定等によって、個々の視聴
者端末200の視聴者が任意に選択可能である。
【0054】(実施の形態2)次に、図11〜図16を
参照して、本発明の双方向型放送視聴システムおよびそ
の制御方法の他の実施の形態について説明する。この実
施の形態2では双方向型放送視聴システムにおける多様
な表示制御例について説明する。なお、本実施の形態2
におけるシステム構成は、上述の実施の形態1の場合と
同様である。
【0055】この実施の形態2の場合、無線放送網30
0を介して送られてくる、主画像701を表示するメニ
ュー画面700の下端に、“キーワード”、“関連画
像”、“マルチアングル”、“字幕表示”、等のメニュ
ー項目702が表示され、視聴者によるユーザ入力装置
209等を介した切換操作により、主画像701を画面
全体に表示する全画面表示703との間で相互に切換が
可能である。メニュー画面700の構成の制御は、無線
放送網300またはインターネット400を介して放送
局100から送られてくるXML等のページ記述言語で
記述されたテキストを、上述のように主記憶203に実
装されているソフトウェア群によって実行することで実
現される。
【0056】メニュー画面700の表示中に視聴者がメ
ニュー項目702の中の“キーワード”を選択すると、
キーワード表示画面710に表示状態が遷移する。
【0057】図12に例示されるように、このキーワー
ド表示画面710では、主画像701の周辺部に、キー
ワード群711が表示され、個々の視聴者が選択したキ
ーワードに対するキーワード検索結果712が、検索結
果表示画面710Aに表示される。さらに、キーワード
検索結果712の一つを視聴者が選択すると、当該キー
ワード検索結果712に対応するURLで特定されるイ
ンターネット400上の情報資源(ホームページやサイ
ト)の情報を表示する関連サイト表示画面710Bに表
示状態が遷移する。また、視聴者による所定の復帰操作
にて、メニュー画面700、または全画面表示703に
戻る。
【0058】メニュー画面700の表示中に視聴者がメ
ニュー項目702の“関連画像”を選択すると、関連映
像画面720に表示状態が遷移する。
【0059】図13に例示されるように、関連映像画面
720では、主画像701の周辺部に、たとえば関連映
像が所在するインターネット400のURL等に対応し
た関連映像項目721が表示され、視聴者が所望の関連
映像項目721を選択すると、主画像701とともに関
連画像722を表示した映像表示画面720Aに遷移す
る。また、視聴者による所定の復帰操作にて、メニュー
画面700、または全画面表示703に戻る。
【0060】メニュー画面700の表示中に視聴者がメ
ニュー項目702の“マルチアングル”を選択すると、
マルチアングル表示画面730に表示状態が遷移する。
【0061】図14に例示されるように、マルチアング
ル表示画面730では、主画像701の周辺部に、たと
えば撮影アングルの異なる複数の関連映像731、関連
映像732、関連映像733、が表示され、選択された
関連映像が主画像701と相互に入れ代わる表示形式で
アングル切り替え画面730Aのように拡大表示され
る。
【0062】この場合、複数の関連映像731、関連映
像732、関連映像733は、予め、無線放送網300
またはインターネット400を介して放送局100から
視聴者端末200に送られ、外部記憶装置206に格納
されている。そして、主画像701、および複数の関連
映像731〜733が、たとえば、MPEG−2で符号
化されたEDTV(Exteded Definiti
on Television)、HDTV(High
Definition Television)等の高
画質テレビジョン映像の場合、主画像701は、高画質
テレビジョン映像として再生出力し、複数の関連映像7
31〜733は、たとえば、MPEG−2から、よりデ
ータ量の少ないMPEG−4に変換して、複数の映像を
同時にディスプレイ208に再生出力する。
【0063】そして、特定の一つの関連映像が選択され
ると、当該関連画像(図14のアングル切り替え画面7
30Aの例では、関連映像731)を高画質テレビジョ
ン映像として再生出力し、主画像701と、他の関連映
像732、関連映像733をMPEG−2から、よりデ
ータ量の少ないMPEG−4に変換してディスプレイ2
08に同時に再生出力する。
【0064】メニュー画面700の表示中に視聴者がメ
ニュー項目702の“字幕表示”を選択すると、図15
に例示されるような、通常字幕表示画面740に表示状
態が遷移する。この通常字幕表示画面740では、映像
741の下部に重ね合わせて通常字幕742が表示され
る。そして、視聴者による切り替え操作にて、映像74
1の下部の外側に画面外字幕742aを表示した状態の
画面外字幕画面740Aと、映像741内に吹き出し状
に吹き出し字幕742bを表示した吹き出し字幕画面7
40Bと、映像741のみの字幕無し画面740Cとの
間で、表示状態が遷移する。
【0065】本実施の形態の場合、特に、吹き出し字幕
画面740Bでは、映像741内の字幕を付与すべき対
象の人物等のオブジェクトの位置変化に連動して、当該
オブジェクトの近傍に吹き出し字幕742bが表示され
るように、字幕表示位置が制御される。
【0066】上述のような本実施の形態における字幕表
示の制御は、字幕付与の対象となる映像741と関連付
けられているXML情報中に字幕の文字列を記述してお
くことで実現される。
【0067】放送局100から視聴者端末200に送ら
れるXML情報等によって、視聴者端末200における
映像表示の時間的な制御も可能である。図16は、XM
Lにて記述されたソースコードの一例を示す説明図であ
る。この図16のソースコードは、実行されると、ソー
スコード行802で指定された時間の間、ソースコード
行803で指定されたキーワードに該当する映像をディ
スプレイ208に表示し、この表示期間中に当該映像の
画面をクリックすると、ソースコード行801で指定さ
れたURLのサイトにジャンプする、という動作を行
う。
【0068】すなわち、ソースコード行802の時間情
報は、ソースコード行803で特定される映像とリンク
しており、ソースコード行803で特定される映像の出
演者が映っている間だけ、関連情報、キーワード検索が
可能になる、などの動作を実現できる。
【0069】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。
【0070】
【発明の効果】本発明によれば、臨場感に富む視聴者参
加番組を実現することが可能な双方向型放送視聴技術を
実現することができる、という効果が得られる。
【0071】本発明によれば、個々の視聴者の好みに応
じた多様な放映画面の構成が可能な双方向型放送視聴技
術を提供することができる、という効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施の形態である双方向型放送視聴
システムの全体構成の一例を示す概念図である。
【図2】本発明の一実施の形態である双方向型放送視聴
システムの作用の一例を示すフローチャートである。
【図3】本発明の一実施の形態である双方向型放送視聴
システムを構成する放送局側のシステム構成の一例を示
す概念図である。
【図4】本発明の一実施の形態である双方向型放送視聴
システムを構成する視聴者端末の構成例を示す概念図で
ある。
【図5】本発明の一実施の形態である双方向型放送視聴
システムを構成する放送局側の作用の一例を示すフロー
チャートである。
【図6】本発明の一実施の形態である双方向型放送視聴
システムを構成する放送局側の作用の一例を示すフロー
チャートである。
【図7】本発明の一実施の形態である双方向型放送視聴
システムを構成する視聴者端末に表示される画面例を示
す説明図である。
【図8】本発明の一実施の形態である双方向型放送視聴
システムを構成する視聴者端末に表示される画面例を示
す説明図である。
【図9】本発明の一実施の形態である双方向型放送視聴
システムを構成する視聴者端末に表示される画面例を示
す説明図である。
【図10】本発明の一実施の形態である双方向型放送視
聴システムを構成する視聴者端末に表示される画面例を
示す説明図である。
【図11】本発明の一実施の形態である双方向型放送視
聴システムを構成する視聴者端末に表示される画面例を
示す説明図である。
【図12】本発明の一実施の形態である双方向型放送視
聴システムを構成する視聴者端末に表示される画面例を
示す説明図である。
【図13】本発明の一実施の形態である双方向型放送視
聴システムを構成する視聴者端末に表示される画面例を
示す説明図である。
【図14】本発明の一実施の形態である双方向型放送視
聴システムを構成する視聴者端末に表示される画面例を
示す説明図である。
【図15】本発明の一実施の形態である双方向型放送視
聴システムを構成する視聴者端末に表示される画面例を
示す説明図である。
【図16】本発明の一実施の形態である双方向型放送視
聴システムにおいて用いられるXMLにて記述されたソ
ースコードの一例を示す説明図である。
【符号の説明】 100…放送局、101…送信装置、102…映像符号
化部、103…映像スイッチャ、104…テレビカメ
ラ、105…映像再生装置、106…送信映像制御装
置、107…映像レイアウト情報テーブル、108…イ
ントラネット、109…WWWサーバ、110…ユーザ
入力情報集計テーブル、200…視聴者端末、201…
バス、202…マイクロプロセッサ、203…主記憶、
204…ネットワークインタフェース、205…TVチ
ューナ、205a…復号化装置、205b…アンテナ、
206…外部記憶装置、207…フレームメモリ、20
8…ディスプレイ、209…ユーザ入力装置、210…
スピーカ、300…無線放送網、301…中継衛星、4
00…インターネット、501…オペレーティングシス
テム、502…XMLパーサ、503…ブラウジングエ
ンジン、504…XMLフィルタリングプログラム、5
05…レイアウト生成/更新プログラム、506…GU
I処理プログラム、507…キャプチャプログラム、5
08…双方向型放送視聴システム表示プログラム、60
0…投票画面、600A…投票画面、600B…投票画
面、600C…投票画面、601…赤組映像、602…
白組映像、603…赤組投票ボタン、604…白組投票
ボタン、605…共通映像、606…円グラフ、607
…バーインジケータ、608…テキスト入力画面、60
9…掲示板画像、610…チャット画面、611…グル
ープ選択ボタン、700…メニュー画面、701…主画
像(第1の映像情報)、702…メニュー項目、703
…全画面表示、710…キーワード表示画面、710A
…検索結果表示画面、710B…関連サイト表示画面、
711…キーワード群、712…キーワード検索結果、
720…関連映像画面、720A…映像表示画面、72
1…関連映像項目、722…関連画像、730…マルチ
アングル表示画面、730A…アングル切り替え画面、
731〜733…関連映像(第1の映像情報)、740
…通常字幕表示画面、740A…画面外字幕画面、74
0B…吹き出し字幕画面、740C…字幕無し画面、7
41…映像、742…通常字幕、742a…画面外字
幕、742b…吹き出し字幕、801…ソースコード
行、802…ソースコード行、803…ソースコード
行。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川本 康司 千葉県習志野市東習志野7−1−1 株式 会社日立ケーイーシステムズ内 (72)発明者 大木 康幸 神奈川県川崎市幸区鹿島田890番地 株式 会社日立製作所ビジネスソリューション事 業部内 (72)発明者 栗岡 辰弥 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 西本 友成 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 藤井 亜里砂 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 南 浩樹 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 馬場 秋継 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 上原 年博 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5C061 BB06 CC01 CC05 5C064 BA01 BB10 BC18 BD03 BD08

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 複数の視聴者端末と、少なくとも一つの
    放送局と、前記放送局から前記視聴者端末に放送情報を
    伝達する第1の通信手段と、前記放送局と前記視聴者端
    末との間で情報の授受を行う第2の通信手段とを含む双
    方向型放送視聴システムであって、 前記放送局は、前記第2の通信手段を介して複数の前記
    視聴者端末の各々から前記放送局に送出された個別情報
    の集計結果に応じて、前記第1の通信手段を介して前記
    放送局から前記視聴者端末に放送される前記放送情報の
    表示状態を変化させる機能を備えたことを特徴とする双
    方向型放送視聴システム。
  2. 【請求項2】 請求項1記載の双方向型放送視聴システ
    ムにおいて、 前記個別情報は、前記放送情報を構成する競技映像に対
    して個々の前記視聴者端末の視聴者が入力した応援情報
    または投票情報であり、 前記放送情報の表示状態の変化は、前記応援情報または
    投票情報の大小関係を可視化表示するグラフの表示状態
    の経時変化であることを特徴とする双方向型放送視聴シ
    ステム。
  3. 【請求項3】 請求項1記載の双方向型放送視聴システ
    ムにおいて、 前記個別情報は、前記放送情報を構成する競技映像に対
    して個々の前記視聴者端末の視聴者が入力した応援情報
    または投票情報であり、 前記放送情報の表示状態の変化は、前記応援情報または
    投票情報の大小関係を前記視聴者端末における表示面積
    の大小または表示時間の長短に反映した、複数の競技参
    加者または競技参加団体の各々の映像の変化であること
    を特徴とする双方向型放送視聴システム。
  4. 【請求項4】 請求項2または3記載の双方向型放送視
    聴システムにおいて、 前記応援情報または投票情報は、いずれの競技参加者ま
    たは競技参加団体を支持するかの情報とともに、前記視
    聴者の意見が記述された文字情報を含み、前記放送局
    は、前記文字情報の少なくとも一部を、前記放送情報の
    一部に含めて放送し、複数の前記視聴者端末に表示させ
    ることを特徴とする双方向型放送視聴システム。
  5. 【請求項5】 複数の視聴者端末と、少なくとも一つの
    放送局と、前記放送局から前記視聴者端末に放送情報を
    伝達する第1の通信手段と、前記放送局と前記視聴者端
    末との間で情報の授受を行う第2の通信手段とを含む双
    方向型放送視聴システムであって、 前記放送局は、前記第1および第2の通信手段の少なく
    とも一方を介して、前記放送情報に含まれ前記視聴者端
    末に可視化表示される放送映像情報の、前記視聴者端末
    における時間的な配列状態および空間的な配列状態の少
    なくとも一方を制御する映像制御情報を前記視聴者端末
    に配信する機能を含み、 前記視聴者端末は、前記映像制御情報および当該視聴者
    端末を操作する視聴者からの指示の少なくとも一方に基
    づいて前記放送映像情報の表示状態を制御する表示制御
    機能を含むことを特徴とする双方向型放送視聴システ
    ム。
  6. 【請求項6】 請求項5記載の双方向型放送視聴システ
    ムにおいて、 前記放送情報は、個々の前記視聴者端末から前記放送局
    に送信された個別情報の集計結果に応じて表示状態が経
    時的に変化する画像情報およびテキスト情報の少なくと
    も一方を含むことを特徴とする双方向型放送視聴システ
    ム。
  7. 【請求項7】 請求項6記載の双方向型放送視聴システ
    ムにおいて、 前記個別情報は、前記放送情報を構成する競技映像に対
    して個々の前記視聴者端末の視聴者が入力した応援情報
    または投票情報であることを特徴とする双方向型放送視
    聴システム。
  8. 【請求項8】 請求項1または5記載の双方向型放送視
    聴システムにおいて、 前記第1の通信手段は放送電波網であり、前記第2の通
    信手段はインターネットであることを特徴とする双方向
    型放送視聴システム。
  9. 【請求項9】 複数の視聴者端末と、少なくとも一つの
    放送局と、前記放送局から前記視聴者端末に放送情報を
    伝達する第1の通信手段と、前記放送局と前記視聴者端
    末との間で情報の授受を行う第2の通信手段とを含む双
    方向型放送視聴システムの制御方法であって、 前記放送情報の前記視聴者端末における表示状態を制御
    する表示制御情報を、前記第1の通信手段および第2の
    通信手段の少なくとも一方を経由して前記視聴者端末に
    送信する工程と、 前記表示制御情報に基づいて、前記視聴者端末における
    前記放送情報の表示状態を制御する工程と、 を含むことを特徴とする双方向型放送視聴システムの制
    御方法。
  10. 【請求項10】 請求項9記載の双方向型放送視聴シス
    テムの制御方法において、 前記表示制御情報は、ページ記述言語で記述されたテキ
    ストであり、前記テキストに基づいて、前記放送局から
    前記視聴者端末に配信される文字情報の、前記視聴者端
    末における表示位置を変化させることを特徴とする双方
    向型放送視聴システムの制御方法。
  11. 【請求項11】 請求項9記載の双方向型放送視聴シス
    テムの制御方法において、 前記表示制御情報は、ページ記述言語で記述されたテキ
    ストであり、前記テキストに記述された時間情報に基づ
    いて前記視聴者端末における前記放送情報の表示状態を
    変化させることを特徴とする双方向型放送視聴システム
    の制御方法。
  12. 【請求項12】 請求項9記載の双方向型放送視聴シス
    テムの制御方法において、 前記表示制御情報は、ページ記述言語で記述されたテキ
    ストであり、前記テキストに基づいて前記視聴者端末に
    表示中の前記放送情報に関連した関連映像の表示を行う
    ことを特徴とする双方向型放送視聴システムの制御方
    法。
  13. 【請求項13】 複数の視聴者端末と、少なくとも一つ
    の放送局と、前記放送局から前記視聴者端末に放送情報
    を伝達する第1の通信手段と、前記放送局と前記視聴者
    端末との間で情報の授受を行う第2の通信手段とを含む
    双方向型放送視聴システムの制御方法であって、 前記放送情報に含まれる第1の映像情報に関連した少な
    くとも一つの第2の映像情報を、前記放送局から、自発
    的に、または前記視聴者端末からの要求に応じて、前記
    第2の通信手段を経由して前記視聴者端末に配信し、必
    要に応じて前記視聴者端末内の記憶装置に蓄積して用い
    ることを特徴とする双方向型放送視聴システムの制御方
    法。
  14. 【請求項14】 請求項9または13記載の双方向型放
    送視聴システムの制御方法において、 前記第1の通信手段は放送電波網であり、前記第2の通
    信手段はインターネットであることを特徴とする双方向
    型放送視聴システムの制御方法。
JP2001144940A 2001-05-15 2001-05-15 双方向型放送視聴システム Expired - Fee Related JP4340398B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001144940A JP4340398B2 (ja) 2001-05-15 2001-05-15 双方向型放送視聴システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001144940A JP4340398B2 (ja) 2001-05-15 2001-05-15 双方向型放送視聴システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008275355A Division JP4820855B2 (ja) 2008-10-27 2008-10-27 コンテンツ視聴システム

Publications (3)

Publication Number Publication Date
JP2002344928A true JP2002344928A (ja) 2002-11-29
JP2002344928A5 JP2002344928A5 (ja) 2005-07-21
JP4340398B2 JP4340398B2 (ja) 2009-10-07

Family

ID=18990817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001144940A Expired - Fee Related JP4340398B2 (ja) 2001-05-15 2001-05-15 双方向型放送視聴システム

Country Status (1)

Country Link
JP (1) JP4340398B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297245A (ja) * 2003-03-26 2004-10-21 Fujitsu Ltd ストリーミング配信方法
WO2005045719A1 (ja) * 2003-11-10 2005-05-19 Eath Co,Ltd. 集計システム
JP2006186654A (ja) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd 情報処理システム及び情報処理方法、放送局及び番組放送方法、移動端末及び情報送信方法、情報処理装置及び情報処理方法
JP2007028586A (ja) * 2005-07-20 2007-02-01 Era Digital Media Co Ltd 対話型マルチメディアコンテンツ制作システム
JP2007082182A (ja) * 2005-09-14 2007-03-29 Era Digital Media Co Ltd 対話型マルチメディアコンテンツ製作方法
JP2008278380A (ja) * 2007-05-02 2008-11-13 Sanyo Electric Co Ltd 画像データ処理装置
JP2012249059A (ja) * 2011-05-27 2012-12-13 Sony Corp 画像処理装置及び録画装置
JP2013009436A (ja) * 2005-11-29 2013-01-10 Google Inc マスメディアのソーシャル及び相互作用的なアプリケーション
WO2013094851A1 (ko) * 2011-12-21 2013-06-27 Kim Young-Real 양방향 토론 방송 시스템 및 방법
CN105263060A (zh) * 2015-10-26 2016-01-20 天脉聚源(北京)科技有限公司 在视频节目上实时显示观众投票数目的方法和装置
CN105578251A (zh) * 2015-12-19 2016-05-11 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105578299A (zh) * 2015-12-19 2016-05-11 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105592344A (zh) * 2015-12-19 2016-05-18 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105611415A (zh) * 2015-12-19 2016-05-25 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105611420A (zh) * 2015-12-19 2016-05-25 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105611417A (zh) * 2015-12-19 2016-05-25 天脉聚源(北京)科技有限公司 显示比赛投票信息的方法和装置
JP2018014738A (ja) * 2017-09-01 2018-01-25 日本テレビ放送網株式会社 放送システム及び放送方法
JP2020160798A (ja) * 2019-03-26 2020-10-01 株式会社ミクシィ サーバ装置、サーバ装置用プログラム及び端末装置用プログラム
WO2022049803A1 (ja) * 2020-09-04 2022-03-10 株式会社Jvcケンウッド 動画配信装置、動画配信方法、及び動画配信プログラム
WO2023286383A1 (ja) 2021-07-15 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7524685B2 (ja) 2020-09-04 2024-07-30 株式会社Jvcケンウッド 動画配信装置、動画配信方法、及び動画配信プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263059A (zh) * 2015-10-26 2016-01-20 天脉聚源(北京)科技有限公司 在视频节目上实时显示观众投票数目的方法和装置
CN105376654A (zh) * 2015-11-25 2016-03-02 天脉聚源(北京)科技有限公司 在视频节目上显示互动信息的方法和装置
CN105430472A (zh) * 2015-11-30 2016-03-23 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297245A (ja) * 2003-03-26 2004-10-21 Fujitsu Ltd ストリーミング配信方法
WO2005045719A1 (ja) * 2003-11-10 2005-05-19 Eath Co,Ltd. 集計システム
US7430603B2 (en) 2003-11-10 2008-09-30 Eath Co., Ltd. Aggregation system
JP2006186654A (ja) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd 情報処理システム及び情報処理方法、放送局及び番組放送方法、移動端末及び情報送信方法、情報処理装置及び情報処理方法
JP4595537B2 (ja) * 2004-12-27 2010-12-08 日産自動車株式会社 情報処理システム及び情報処理方法、放送局及び番組放送方法、移動端末及び情報送信方法、情報処理装置及び情報処理方法
JP2007028586A (ja) * 2005-07-20 2007-02-01 Era Digital Media Co Ltd 対話型マルチメディアコンテンツ制作システム
JP2007082182A (ja) * 2005-09-14 2007-03-29 Era Digital Media Co Ltd 対話型マルチメディアコンテンツ製作方法
JP2013009436A (ja) * 2005-11-29 2013-01-10 Google Inc マスメディアのソーシャル及び相互作用的なアプリケーション
JP2008278380A (ja) * 2007-05-02 2008-11-13 Sanyo Electric Co Ltd 画像データ処理装置
JP2012249059A (ja) * 2011-05-27 2012-12-13 Sony Corp 画像処理装置及び録画装置
WO2013094851A1 (ko) * 2011-12-21 2013-06-27 Kim Young-Real 양방향 토론 방송 시스템 및 방법
CN105263060A (zh) * 2015-10-26 2016-01-20 天脉聚源(北京)科技有限公司 在视频节目上实时显示观众投票数目的方法和装置
CN105578251A (zh) * 2015-12-19 2016-05-11 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105578299A (zh) * 2015-12-19 2016-05-11 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105592344A (zh) * 2015-12-19 2016-05-18 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105611415A (zh) * 2015-12-19 2016-05-25 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105611420A (zh) * 2015-12-19 2016-05-25 天脉聚源(北京)科技有限公司 显示投票信息的方法和装置
CN105611417A (zh) * 2015-12-19 2016-05-25 天脉聚源(北京)科技有限公司 显示比赛投票信息的方法和装置
JP2018014738A (ja) * 2017-09-01 2018-01-25 日本テレビ放送網株式会社 放送システム及び放送方法
JP2020160798A (ja) * 2019-03-26 2020-10-01 株式会社ミクシィ サーバ装置、サーバ装置用プログラム及び端末装置用プログラム
JP7236632B2 (ja) 2019-03-26 2023-03-10 株式会社Mixi サーバ装置、サーバ装置用プログラム及び端末装置用プログラム
JP7440794B2 (ja) 2019-03-26 2024-02-29 株式会社Mixi サーバ装置、サーバ装置用プログラム及び端末装置用プログラム
WO2022049803A1 (ja) * 2020-09-04 2022-03-10 株式会社Jvcケンウッド 動画配信装置、動画配信方法、及び動画配信プログラム
JP7524685B2 (ja) 2020-09-04 2024-07-30 株式会社Jvcケンウッド 動画配信装置、動画配信方法、及び動画配信プログラム
WO2023286383A1 (ja) 2021-07-15 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP4340398B2 (ja) 2009-10-07

Similar Documents

Publication Publication Date Title
JP2002344928A (ja) 双方向型放送視聴システムおよびその制御方法
KR101341283B1 (ko) 비디오 분기
CN101796541B (zh) 用于定制实况媒体内容的方法和***
US10409445B2 (en) Rendering of an interactive lean-backward user interface on a television
US20160269794A1 (en) Multi-view video layout system
US20080133604A1 (en) Apparatus and method for linking basic device and extended devices
CN101395559A (zh) 推荐的记录和下载引导
US20050278773A1 (en) Method and system for creating a virtual television network
JP2008527897A (ja) インターネット配信とテレビ配信との間の切り替えを促す方法および装置
CN101185323A (zh) 动态媒体指南列表
JPWO2006123744A1 (ja) コンテンツ表示システム及びコンテンツ表示方法
KR20080109081A (ko) 텔레비전 수신 장치
JP2007266800A (ja) 情報再生装置
KR20060120571A (ko) 라이브 스트리밍 방송 방법, 라이브 스트리밍 방송 장치,및 컴퓨터 프로그램
US20050225680A1 (en) Value added digital video receiver
KR20070056442A (ko) 웹 브라우저가 없는 장치를 위한 웹 서비스 제공 시스템 및방법
CN102939573A (zh) 有线电视***订户的屏幕缩放特征
US20060218583A1 (en) Interactive displaying system
CN108848390A (zh) 一种多流直播观看***
CN112437317A (zh) 一种直播画面切换方法、装置以及***
CN101267544A (zh) 实时显示交互数据的方法和设备
KR20130131988A (ko) 양방향 라이브 방송 시스템 및 방법
JP2016165162A (ja) 動画配信システム
JP4820855B2 (ja) コンテンツ視聴システム
WO2008060140A1 (en) System for video presentations with adjustable display elements

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081027

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20081027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140710

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees