JP2002262248A - リンクマークの位置情報の伝送方法と、その表示方法及びシステム - Google Patents

リンクマークの位置情報の伝送方法と、その表示方法及びシステム

Info

Publication number
JP2002262248A
JP2002262248A JP2001297565A JP2001297565A JP2002262248A JP 2002262248 A JP2002262248 A JP 2002262248A JP 2001297565 A JP2001297565 A JP 2001297565A JP 2001297565 A JP2001297565 A JP 2001297565A JP 2002262248 A JP2002262248 A JP 2002262248A
Authority
JP
Japan
Prior art keywords
link mark
position information
link
information
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001297565A
Other languages
English (en)
Other versions
JP4854156B2 (ja
Inventor
Kiyoyuki Doi
清之 土居
Kenjiro Kai
謙二郎 加井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jisedai Joho Hoso System Kenkyusho KK
Original Assignee
Jisedai Joho Hoso System Kenkyusho KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jisedai Joho Hoso System Kenkyusho KK filed Critical Jisedai Joho Hoso System Kenkyusho KK
Priority to JP2001297565A priority Critical patent/JP4854156B2/ja
Publication of JP2002262248A publication Critical patent/JP2002262248A/ja
Application granted granted Critical
Publication of JP4854156B2 publication Critical patent/JP4854156B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

(57)【要約】 【解決すべき課題】 リンクマークを表示させたい対象
物の移動位置が予測できないものであっても、対象物の
移動に追従してリンクマークの位置情報を適切に受信側
に伝送することができる技術を提供することを目的とす
る。 【課題を解決するための手段】 対象物を区別するため
のリンクマークの表示位置を変更する場合、放送局から
受信機で動作しているアプリケーションに対して、イベ
ントメッセージ等の手段で、リンクマークの表示位置情
報を伝送する。

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は画像中に表示される
リンクマークの位置情報の伝送方法及びそのシステムに
関し、特に生放送のように、リンクマークを表示させた
い対象物の移動位置が予測できないものであっても、対
象物の移動に追従してリンクマークを表示することが出
来るリンクマークの位置情報の伝送方法及びそのシステ
ムに関する。
【0002】
【従来の技術】近年のデジタル化に伴い、放送業界もデ
ジタル化が進んでいる。代表的なサービスとして、デジ
タル放送やデータ放送がある。
【0003】これらのサービスにおいて、画像中の対象
物、例えば人物と、この人物の情報とをリンクさせて提
供するサービスがある。このサービスでは、ある対象物
が他の情報とリンクされていることを示すリンクマーク
を対象物上に表示させる必要がある。
【0004】そこで、従来では、移動する対象物に追従
させるように画像中にリンクマークを表示させるため、
対象物の移動を調べ、それに追従するようにリンクマー
クの位置情報を予め決定しておき、画像とともに送信し
ていた。そして、タイマーなどにより、対象物の移動と
のタイミングの調整を図りながら、位置情報に基づいて
リンクマークを表示していた。
【0005】
【発明が解決しようとする課題】しかしながら、従来の
方法は、予め収録された番組のように、放送に先立っ
て、リンクマークを表示させたい対象物の移動を調べる
ことができるものであればリンクマークを適切に表示す
ることも可能であるが、生放送のように放送に先立って
対象物の移動を調べることが出来ないものについては、
リンクマークの位置情報を用意することができず、リン
クマークを表示することができなかった。
【0006】そこで、本発明は上記課題に鑑みて発明さ
れたものであって、その目的は、生放送のように、リン
クマークを表示させたい対象物の移動位置が予測できな
いものであっても、対象物の移動に追従してリンクマー
クの位置情報を適切に受信側に伝送することができ、リ
ンクマークを適切に表示することが出来るリンクマーク
の位置情報の伝送の技術を提供することを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成する第1
の本発明は、データ放送におけるリンクマークの位置情
報の伝送方法であって、画像中の所定の対象物を特定す
るリンクマークの位置情報を、受信機で動作しているア
プリケーションに外部より所定のイベントを実行させる
為に確保されたデータ領域に記述して伝送することを特
徴とする。
【0008】上記目的を達成する第2の本発明は、上記
第1の発明において、前記リンクマークの位置情報を、
イベントメッセージに記述することを特徴とする。
【0009】上記目的を達成する第3の本発明は、上記
第1の発明において、前記リンクマークの位置情報を、
MPEG2におけるトランスポート・プライベート・デ
ータ領域に記述することを特徴とする。
【0010】上記目的を達成する第4の本発明は、上記
第1の発明において、前記リンクマークの位置情報を、
MPEG2におけるPESのプライベート・データ領域
に記述することを特徴とする。
【0011】上記目的を達成する第5の本発明は、上記
第1から第4の発明のいずれかにおいて、表示するリン
クマークが複数ある場合、リンクマークの位置情報に、
どの対象物のリンクマークかを識別する識別情報を含め
ることを特徴とする。
【0012】上記目的を達成する第6の本発明は、上記
第1から第5の発明のいずれかにおいて、表示するリン
クマークが複数ある場合、リンクマークの位置情報に、
対象物の付属情報を含めることを特徴とする。
【0013】上記目的を達成する第7の本発明は、上記
第1から第6の発明のいずれかにおいて、画像のカット
点において、リンクマークの位置情報をリセットする情
報を伝送することを特徴とする。
【0014】上記目的を達成する第8の本発明は、動画
像中の対象物を特定するリンクマークを表示させる表示
方法であって、動画像の所定の対象物を特定するリンク
マークの位置情報を、受信機側で動作しているアプリケ
ーションに所定のイベントを実行させる為に確保された
データ領域に記述し、この情報を伝送するステップと、
前記リンクマークの位置情報を受信し、リンクマークの
位置情報に基づいてリンクマークを表示するステップと
を有することを特徴とする。
【0015】上記目的を達成する第9の本発明は、上記
第8の発明において、前記リンクマークの位置情報を、
イベントメッセージに記述して伝送することを特徴とす
る。
【0016】上記目的を達成する第10の本発明は、上
記第8の発明において、前記リンクマークの位置情報
を、MPEG2におけるトランスポート・プライベート
・データ領域に記述して伝送することを特徴とする。
【0017】上記目的を達成する第11の本発明は、上
記第8の発明において、前記リンクマークの位置情報
を、MPEG2におけるPESのプライベート・データ
領域に記述することを特徴とする。
【0018】上記目的を達成する第12の本発明は、上
記第8から第11の発明のいずれかにおいて、表示する
リンクマークが複数ある場合、リンクマークの位置情報
に、どの対象物のリンクマークかを識別する識別情報を
含めることを特徴とする。
【0019】上記目的を達成する第13の本発明は、上
記第8から第12の発明のいずれかにおいて、表示する
リンクマークが複数ある場合、リンクマークの位置情報
に、対象物の付属情報を含めることを特徴とする。
【0020】上記目的を達成する第14の本発明は、上
記第8から第13の発明のいずれかにおいて、画像のカ
ット点において、リンクマークの位置情報をリセットす
る情報を伝送することを特徴とする。
【0021】上記目的を達成する第15の本発明は、デ
ータ放送におけるリンクマークの位置情報の伝送システ
ムであって、画像中の所定の対象物を特定する手段と、
前記特定された対象物の画像中の座標情報を計算する手
段と、前記計算された座標情報に基づいて、対象物を識
別する為のリンクマークの位置情報を生成する手段と、
前記リンクマークの位置情報を、受信機で動作している
アプリケーションに外部より所定のイベントを実行させ
る為に確保されたデータ領域に記述して伝送する手段と
を有することを特徴とする。
【0022】上記目的を達成する第16の本発明は、上
記第15の発明において、前記リンクマークの位置情報
を、イベントメッセージに記述して伝送することを特徴
とする。
【0023】上記目的を達成する第17の本発明は、上
記第15の発明において、前記リンクマークの位置情報
を、MPEG2におけるトランスポート・プライベート
・データ領域に記述して伝送することを特徴とする。
【0024】上記目的を達成する第18の本発明は、上
記第15の発明において、前記リンクマークの位置情報
を、MPEG2におけるPESのプライベート・データ
領域に記述することを特徴とする。
【0025】上記目的を達成する第19の本発明は、上
記第15から第18の発明のいずれかにおいて、移動す
る対象物を追跡して対象物の画像中の座標情報を更新す
る手段を更に有することを特徴とする。
【0026】上記目的を達成する第20の本発明は、上
記第15から第19の発明のいずれかにおいて、対象物
の移動に対して、空間的又は時間的マージンを記憶し、
対象物の移動が前記空間的又は時間的マージン内である
場合には、リンクマークの位置情報を更新しない手段を
更に有することを特徴とする。
【0027】上記目的を達成する第21の本発明は、上
記第15から第20の発明のいずれかにおいて、入力さ
れた複数の映像信号を選択して出力すると共に、出力さ
れる映像信号を識別する識別情報を出力する映像切替手
段と、前記入力される各映像信号におけるリンクマーク
位置情報を規定するパラメータ情報が記憶され、前記識
別情報に対応するパラメータ情報にもとづいて、リンク
マーク位置情報を生成する手段を更に有することを特徴
とする。
【0028】
【発明の実施の形態】本発明の実施の形態を説明する。
【0029】尚、実施の形態の説明にあたって、本発明
の効果がより顕著に表れる例として、スポーツ番組など
の生放送を例にして説明する。
【0030】図1は本実施の形態を説明する為の図であ
る。
【0031】本発明は、図1に示されるように、所定の
対象物(選手)を区別するためのリンクマークを表示す
る表示位置の情報(以下、リンクマーク位置情報とい
う)を、対象物の動きに追従させる為に、画像データと
は別に又は画像データとともに、リアルタイム、すなわ
ちリンクマークの表示位置を変更する必要が生じる度に
伝送することを特徴とする。
【0032】ここでリンクマークは、図1に示される如
く、選手(対象物)を囲むような四角形であっても良い
し、また、画面に表示されている選手上の任意場所に表
示される点でも良く、さらに矢印のようなアイコンでも
良く、他と区別しようとする選手(対象物)が識別でき
れば、どのような形であっても良い。
【0033】リンクマーク位置情報としては、例えば座
標などが考えられる。リンク情報が選手(対象物)を囲
むような四角形である場合、四角形の向かい合う二つの
頂点の座標を与えれば、リンクマークの位置や大きさを
特定することができる。また、四角形である場合、4つ
の頂点の座標を位置情報としても良い。さらに、リンク
マークが選手上の任意場所に表示される点である場合に
は、リンクマーク位置情報は1つの座標の情報であって
も良い。
【0034】また、リンクマークで特定される画像中の
対象物にリンク情報がある場合や、リンクマークを表示
させたい対象物が複数ある場合、リンクマークを特定す
るリンク識別情報(リンクID)を、リンクマーク位置
情報に含めて伝送しても良い。
【0035】さらに、対象物が複数ある場合、複数のリ
ンクマーク位置情報を一つにまとめても良い。
【0036】さらに、対象物の付属情報、例えば対象物
が選手である場合に、選手の名前や、現在の順位などの
情報を、リンクマーク位置情報に含めて伝送しても良
い。
【0037】そして、上述のようなリンクマーク位置情
報を、リンクマークの表示位置を変更する必要が生じる
毎に伝送する。伝送の方法としては、放送局から受信機
で動作しているリンクマークを表示させるためのアプリ
ケーションに対して、即座に位置情報を提供できる手段
を用いる。この手段の代表的なものとしては、ARIB
STD−B24に規定されているイベントメッセージ
や、MPEGで規定されているトランスポート・プライ
ベート・データ領域や、PES(Packetized Elementar
y Stream)のプライベート・データ領域がある。
【0038】一方、受信側には、上述の伝送手段によ
り、伝送されたリンクマーク位置情報に基づいて、リン
クマークを表示させるための機能を持たせる。この機能
を実現させる手段として、リンクマーク位置情報に基づ
いてリンクマークを表示させるためプログラムを受信機
に搭載することで可能となる。尚、プログラムの記述方
法として、ARIB STD−B24に規定されている
BMLが代表的なものであるが、他のものであっても良
い。
【0039】以上に本発明の概要を説明したが、以下具
体的な説明を行う。
【0040】尚、本説明にあたって、リンクマーク位置
情報を、ARIB STD−B24に規定されているイ
ベントメッセージを用いて伝送する場合を例にして説明
する。
【0041】まず、リンクマークを図2に示される如く
四角形とし、画面全体を図3に示されるような480×
720ドットの座標系(原点は左上)とした場合、リン
クマーク位置情報を四角形の向かい合う二つの頂点p,
qの座標として説明する。
【0042】具体的に説明すると、リンクマークを、画
面の左上から(120,120)の位置から横100、
縦120の領域に表示させたい場合、イベントメッセー
ジ記述子のprivate_data_byteに (p(120,120), q(220,240)) という内容を記述する。尚、これらの単位はドットであ
る。
【0043】さらに、図4に示す如く、画像中の特定す
る対象物が2名の選手、例えばA氏とB氏である場合、
この2名の選手を区別するために四角形のリンクマーク
が区別されるものでなくてはならいない。
【0044】そこで、本説明においては、A氏のリンク
マークを実線で、B氏のリンクマークを点線で表示する
ものとする。
【0045】このため、リンクマーク位置情報に、単な
るリンクマークの表示位置を示す情報のみならず、伝送
するリンクマーク位置情報がA氏とB氏のいずれのリン
クマーク位置情報であるかを識別する情報を含める。
【0046】すると、A氏のリンクマーク位置情報は、
例えば、 (A,p(120,120), q(220,24
0)) となり、B氏のリンクマーク位置情報は、例えば、 (B,p(250,180), q(350,30
0)) となる。
【0047】ここで、リンクマーク位置情報のうち
“A”はA氏のリンクマーク位置情報であることを示
し、“B”はB氏のリンクマーク位置情報であることを
示している。
【0048】一方、受信側では、BMLで記述されたコ
ンテンツは、リンクマーク位置情報に含まれる“A”は
A氏のリンクマーク位置情報を示しており、座標情報に
基づいてリンクマークを実線で表示し、“B”はB氏の
リンクマーク位置情報であることを示しており、座標情
報に基づいてリンクマークを点線で表示させるようにプ
ログラムを設定しておく。そして、上述のリンクマーク
位置情報が受信されると、図4に示される如く、A氏の
リンクマークを画面の左上から(120,120)の位
置から幅100、縦120の領域に実線で表示し、B氏
のリンクマークを画面の左上から(250,180)の
位置から幅に100、縦120の領域に点線で表示す
る。
【0049】続いて、A氏、B氏ともに図5の状態のよ
うに移動した場合を想定する。この場合、既に受信した
リンクマーク位置情報ではカバーしきれない位置にA
氏、B氏ともに移動しており、新たなリンクマーク位置
情報が必要となる。そこで、イベントメッセージにより
新たなリンクマーク位置情報を伝送する。
【0050】例えば、図5の状態でA氏のリンクマーク
位置情報は、 (A,p(260,180), q(360,30
0)) となる。
【0051】同様に、B氏のリンクマーク位置情報は、 (B,p(480,110), q(580,23
0)) となる。
【0052】このようにして、移動する選手たちを追従
しながら、リンクマーク位置情報をリアルタイムに伝送
していくことにより、移動する選手たちの上にリンクマ
ークを表示し続けることが可能となる。
【0053】尚、上述の実施の形態では、リンクマーク
位置情報を、四角形の向かい合う二つの頂点の座標情報
としたが、リンクマークが選手(対象物)を囲むような
四角形である場合、4つの頂点の座標情報であっても良
い。
【0054】例えば、画像全体を一つの座標系としてと
らえ、画面左上を原点とする。そして、図6に示される
ように、リンクマークの四角形を特定する4つの頂点の
座標(p,q,r,m)を、リンクマーク位置情報とす
る。
【0055】すると、図4の状態でA氏のリンクマーク
位置情報は、 (A,p(120,100), q(240,10
0),r(120,220), m(240,22
0)) となる。
【0056】同様に、B氏のリンクマーク位置情報は、 (B, p(250,180), q(350,18
0), r(250,300), m(350,30
0)) となる。
【0057】以上のようにリンクマーク位置情報を四角
形の4つの頂点の座標情報としても良い。
【0058】次に、上述した方法を達成する具体的なシ
ステムについて説明する。
【0059】図7は本システムに係る具体的なブロック
図である。
【0060】図7中、1はカメラ、2はカメラ1からの
ビデオ画像に基づいてリンクマーク位置情報を生成する
リンクマーク位置情報生成装置、3はデータカルーセル
及びイベントメッセージの送出を行うデータ送出部、4
はカメラ1からのビデオ画像をエンコードするエンコー
ダ、5はデータ送出部3からのデータとエンコードされ
たビデオ画像とを多重化する多重化部、6は多重化され
たデータ(ST)を変調して送出する変調部、7は変調
部6からのデータを受信する受信機である。
【0061】まず、リンクマーク位置情報生成装置2に
ついて詳細に説明する。
【0062】リンクマーク位置情報の生成であるが、手
作業により、リンクマークの座標を入力するようにして
も良いが、移動するオブジェクトに対して、オブジェク
トを追跡しながら座標を入力することは、多くの労力を
必要とする。
【0063】そこで、以下にリンクマーク位置情報を自
動的に生成するリンクマーク位置情報生成装置2につい
て説明する。
【0064】図8はリンクマーク位置情報生成装置2の
ブロック図である。
【0065】図8中、10はビデオ信号が入力される対
象物特定部である。この対象物特定部10は、対象物が
表示されるディスプレイと、タッチパネルやマウス等の
ポインティングデバイスとを有し、ディスプレイを介し
てタッチパネルに表示されている対象物を押下すること
により、対象物を特定する。そして、対象物の押下され
た部分を中心として、予め定められた領域を示す領域情
報を生成する。この領域情報は、例えば、上述した四角
形の向かい合う二つの頂点p,qの座標である。また、
その領域情報の元となる領域(大きさ)は、予め設定
し、記憶させておく。尚、本例では、領域情報の元とな
る領域(大きさ)を予め設定して記憶させる構成とした
が、対象物を特定する際、例えば、左上→右下と押下す
ることにより、領域情報の元となる領域(大きさ)を設
定できるように構成しても良い。この場合、押下した左
上の点と右下の点とで決定される四角形の枠内の範囲が
領域の大きさとなる。
【0066】また、対象物が複数ある場合を想定し、対
象物毎にその対象物を識別する対象物識別情報を出力す
る。
【0067】ここで、具体例を説明する。例えば、画像
中に対象物として2名の選手、例えばA氏とB氏があ
り、A氏を対象物として特定する場合を考える。この場
合、まず、対象物がA氏であることを識別する為に、対
象物特定部10に記憶されている対象物識別情報のなか
からA氏を識別する為の識別情報を選択しておく。ここ
では、A氏の識別情報をAとする。また、対象物特定部
10に設定されている領域(大きさ)が、横100、縦
100の正方形とする。
【0068】そして、対象物(A氏)を特定した際(タ
ッチパネルを押下)に特定された座標が、(120,1
20)だとすると、領域情報は (p(70,70), q(170,170)) である。
【0069】また、A氏を識別する為の識別情報はAで
あるので、A氏の識別情報Aを出力する。
【0070】11は対象物追跡部である。この対象物追
跡部11は、対象物特定部10で特定された対象物の移
動の際、その対象物を自動追尾する手段である。そし
て、追尾後の対象物の領域情報を出力する。
【0071】対象物追跡部11では、対象物を自動追尾
する方法を限定するものではないが、以下に代表的な自
動追尾の方法について述べる。
【0072】自動追尾の方法としては、パターンマッチ
ングが一般的である。このパターンマッチングの代表的
なものとして、テンプレートマッチング方法がある。こ
のテンプレートマッチング方法は、既知の対象(つまり
追跡対象となる物体)をあらわすテンプレート(対象領
域の画像データ、尚、本実施の形態では、領域情報で特
定される領域、例えば二つの頂点p,qの座標で特定さ
れる四角形の領域に相当する)の位置をずらしながら、
各点で画像との類似度を計算し、それが最大となる点を
検出する方法である。さらに、テンプレートマッチング
には正規化された相互相関を用いて類似度を計算する相
関法があり、ほかにも残差逐次検定法など計算量を削減
して高速化する方法などが存在する。
【0073】また、他のパターンマッチングの方法とし
ては、関係構造マッチングがあり、これは画像から、例
えば輪郭や各種統計量などの特徴を抽出し、その特徴間
の比較マッチングを行う手法である。
【0074】12はリンクマーク位置情報生成部であ
る。このリンクマーク位置情報生成部12は、対象物追
跡部11からの領域情報に基づいて、リンクマーク位置
情報を生成し、出力するものである。例えば、領域情報
が(p(70,70), q(170,170))であ
り、A氏を識別する為の識別情報はAである場合には、
二つの情報を合成してリンクマーク位置情報 (A,p(70,70), q(170,170)) を生成する。
【0075】尚、リンクマーク位置情報の生成は、予め
定められた周期、例えば、1秒ごとに行われる。
【0076】データ送出部3は、予め受信機で動作させ
るBMLで記述されたプログラムが記憶されており、こ
のプログラムをデータカルーセルで送出すると共に、リ
ンクマーク位置情報生成装置2からのリンクマーク位置
情報をイベントメッセージとして送出する。
【0077】BMLで記述されたプログラムは、リンク
マーク位置情報を受信すると、リンクマーク位置情報に
記述されているリンクマークの座標を解析し、リンクマ
ークを表示する位置を設定する。そして、対象物の識別
情報により、リンクマークの線種や色等を決定し、その
線種や色等でリンクマークを画面に表示するプログラム
である。
【0078】受信機7では、プログラム及びイベントメ
ッセージを受信し、上述のプログラムを実行し、イベン
トメッセージとして受信したリンクマーク位置情報に基
づいて、リンクマークを表示する。
【0079】続いて、上述の動作について説明する。図
9は伝送システムの動作を説明する為のフローチャート
である。
【0080】まず、データ送出部3に、受信機で動作さ
せるBMLで記述されたプログラムを格納しておき、プ
ログラムをデータカルーセルで送出できるようにしてお
く(Step 100)。格納されるプログラムは、上
述した動作を行うものであるが、リンクマークの大きさ
を、横100、縦100の正方形とし、また、識別情報
が“A”の場合にはリンクマークを実線で、“B”の場
合にはリンクマークを点線で表示するように記述されて
いるものとする。
【0081】続いて、プログラムをデータカルーセルで
送出する(Step 101)。受信機7では、プログ
ラムを受信し(Step 102)、イベントメッセー
ジとして送出されてくるリンクマーク位置情報を受信で
きるように、受信したプログラムの待ち受けプログラム
を実行する(Step 103)。
【0082】一方、イベントメッセージの送出側では、
対象物特定部10により、対象物を特定する(Step
104)。ここでは、例えば、画像中に対象物として
2名の選手、例えばA氏とB氏があり、A氏を対象物と
して特定する場合を考える。この場合、まず、対象物が
A氏であることを識別する為に、対象物特定部10に記
憶されている対象物識別情報のなかからA氏を識別する
為の識別情報を選択しておく。ここでは、A氏の識別情
報をAとする。また、対象物特定部10に設定されてい
る領域(大きさ)が、横100、縦100の正方形であ
る。そして、対象物(A氏)を特定した際(タッチパネ
ルを押下)に特定された座標が、(120,120)だ
とすると、領域情報は (p(70,70), q(170,170)) である。また、A氏を識別する為の識別情報はAである
ので、A氏の識別情報Aを出力する。
【0083】続いて、対象物追跡部11は、対象物特定
部10で特定された対象物の移動を追跡し、追跡できる
場合には新たな領域情報を出力する(Step 10
5、Step 106)。尚、対象物が大きく移動した
場合や、カメラ切り替えなどのシーンチェンジで対象物
を追跡できなくなった場合は、Step104に戻り同
様な動作を繰り返す(Step 106)。
【0084】リンクマーク位置情報生成部12では、対
象物追跡部11からの領域情報に基づいて、リンクマー
ク位置情報を生成し、設定された周期で出力する(St
ep107)。例えば、領域情報が(p(70,7
0), q(170,170))であり、A氏を識別す
る為の識別情報はAである場合には、二つの情報を合成
してリンクマーク位置情報 (A,p(70,70), q(170,170)) を生成する。
【0085】データ送出部3では、リンクマーク位置情
報生成部12からのリンクマーク位置情報をイベントメ
ッセージとして送出する(Step 108)。以下、
Step 105に戻り同様な動作を繰り返す。
【0086】受信機7では、リンクマーク位置情報を受
信し(Step 109)、表示プログラムを実行し
(Step 110)、イベントメッセージとして受信
したリンクマーク位置情報に基づいて、リンクマークが
表示される(Step 111)。例えば、受信したリ
ンクマーク位置情報が(A,p(70,70), q
(170,170))である場合、頂点p(70,7
0), q(170,170)で特定される横100、
縦100の正方形のリンクマークが実線で表示される。
以下、Step 103に戻り同様な動作を繰り返す。
【0087】このようにして、リンクマークが自動的に
表示されていく。尚、リンクマークを複数用いる場合、
例えば、B氏についても同様な動作でリンクマーク位置
情報を生成し、リンクマークを表示させる。尚、上述の
場合、B氏のリンクマークは、点線で表示される。
【0088】次に、リンクマーク位置情報生成装置2の
第2の実施の形態を説明する。
【0089】上述した実施の形態では、自動的に対象物
が追尾して逐次座標データを生成するシステムについて
説明した。しかしながら、自動追尾の方法によっては、
僅かな対象物の移動に対しても、リンクマーク位置情報
(座標データ)を更新してしまうので、人間の視覚判断
によっては、その僅かな対象物の移動による座標の変
化、すなわちリンクマークの移動についていけず、かえ
って煩わしい場合もある。そこで、第2の実施の形態で
は、対象物の空間的又は時間的な移動に対してリンクマ
ークの更新にマージンを設けて、対象物の移動がそのマ
ージン内であるならば、リンクマーク位置情報(座標デ
ータ)座標を更新しないようにしたことを特徴とする。
【0090】図10は第2の実施の形態におけるリンク
マーク位置情報生成装置2のブロック図である。
【0091】第2の実施の形態のリンクマーク位置情報
装置2が上述した実施の形態のリンクマーク位置情報生
成装置2と異なる所は、マージン設定部20を設けたこ
とである。このマージン設定部20は、リンクマーク位
置情報生成部12に対して、対象物の移動によるリンク
マーク位置情報(座標データ)の更新をしない範囲であ
る空間的又は時間的マージンを定めるものである。
【0092】ここで、空間的又は時間的なマージンにつ
いて説明する。
【0093】空間的なマージンとは、対象物の移動によ
ってリンクマーク位置情報(座標データ)が変化して
も、そのリンクマーク位置情報(座標データ)の変化量
が、予め定められた空間的な範囲内であれば、リンクマ
ーク位置情報(座標データ)を更新しない範囲をいう。
図11は、対象物のX軸に対する空間マージンの例を示
したものであり、対象物のX軸方向の移動が空間マージ
ン幅にある場合には、リンクマーク位置情報(座標デー
タ)を更新しない。空間マージンの具体的な例である
が、例えば、画面のフルサイズ横(x軸)640pixel
(画素)、縦(y軸)512pixel(これらの値は装置
のハードウエアによる)に対し、空間マージンは、0か
ら70pixel(横で画面サイズの9分の1くらい)の間で
ある。また、画面の中の対象物の動きによってマージン
の設定を変えることが好ましく、例えば、一方向にしか
動かないものは、0pixel つまり マージンなしですぐ
に追従するほうが人間から見てわかりやすい。また、マ
ラソン中継など小刻みにゆれる場合や対談番組など出演
者の頭が小刻みにゆれたりする場合などは、10-70pixel
くらいの間で空間マージンを設定することが好ましい。
【0094】次に、時間的なマージンとは、対象物が一
定の時間内に移動したとしても、再び元の場所に復帰す
るような場合、その一定の時間をいう。図12は、対象
物の時間マージンの例を示したものであり、対象物が移
動後、再び対象物がマージン時間内に元の場所又は空間
マージン内に復帰する場合には、リンクマーク位置情報
(座標データ)を更新しない。時間的マージンの具体例
であるが、例えば、短時間で、はみだして、また元の位
置にもどる動きについては、0.1秒以下(テレビでいう
と1−3フレームぐらい)が好ましい。
【0095】リンクマーク位置情報生成部12では、マ
ージン設定部20により設定されたマージンを記憶し、
対象物追跡部11からの領域情報と、前回の対象物追跡
部11からの領域情報とを比較し、移動量がマージンの
範囲内であれば、リンクマーク位置情報(座標データ)
を更新せず、新しいリンクマーク位置情報(座標デー
タ)を出力しない。
【0096】以上の構成により、座標が頻繁に変化する
ことによるリンクの煩雑な移動を防ぐことができる。
【0097】続いて、上記の構成における動作を説明す
る。図13はマージンの判定動作を説明する為のフロー
チャートである。尚、上述した実施の形態と異なるもに
ついてのみ説明する。
【0098】まず、リンクマーク位置情報生成部12
は、対象物追跡部11から出力された領域情報と、前回
対象物追跡部11から出力された領域情報とを比較し
(Step 200)、差が設定されているマージン内
か否かを判定する(Step 201)。
【0099】リンクマーク位置情報生成部12は、差が
マージン内であれば(Step 202)、新たなリン
クマーク位置情報を生成しない(Step 203)。
一方、差がマージンを超える場合には(Step 20
2)、新たなリンクマーク位置情報を生成して出力する
(Step 204)。
【0100】尚、リンクマーク位置情報生成部12は、
上記の動作以外に上述した動作と同様に定められた周期
毎にリンクマーク位置情報を生成して出力する。
【0101】リンクマーク位置情報生成装置2の第3の
実施の形態を説明する。
【0102】第3の実施の形態では、図14に示す如
く、カメラ毎に上述した実施の形態で説明したシステム
を設けることを特徴とする。通常、番組制作時の複数の
カメラは、それぞれ役割を持っており、撮影対象物とサ
イズなどの構図がおおむね決定されている。そこで、入
力情報の初期設定値(例えば、マージン設定部で設定さ
れるマージン)をカメラ毎に決めておくことにより、作
業の効率化を図ることができる。
【0103】リンクマーク位置情報生成装置2の第4の
実施の形態を説明する。
【0104】第4の実施の形態では、複数のカメラをス
イチャ等の映像切替機に接続してカメラを切替えて用い
る場合、映像切替機の切替情報により、リンクマーク位
置情報のパラメータの切替を行うことを特徴とする。
【0105】図15は第4の実施の形態におけるリンク
マーク位置情報生成装置のブロック図である。
【0106】図15中、30はスイッチャであり、複数
のカメラ31a〜31nが接続されており、切替によ
り、複数のカメラのうち1台のカメラのビデオ信号を選
択して出力する。また、選択されたカメラを識別するカ
メラ識別情報を対象物特定部10及びマージン設定部2
0に出力する。
【0107】対象物特定部10には、カメラの識別情報
毎にそのカメラ時の対象物の識別情報とリンクマークの
領域の大きさとが予め記憶されている。また、マージン
設定部20には、カメラの識別情報毎にマージン値と物
体の識別番号とが予め記憶されている。そして、スイッ
チャ30からのカメラ識別情報に対応するカメラの各パ
ラメータをリンクマーク位置情報生成部12に出力す
る。
【0108】このような構成にすることにより、複数の
カメラを用いる場合であっても、適切なリンクマーク位
置情報を生成することができる。
【0109】第5の実施の形態を説明する。
【0110】第5の実施の形態は、第1の実施の形態で
述べたリンクマークにリンクして、リンク情報を表示さ
せることを特徴とする。
【0111】例えば、A氏とB氏の選手情報が別途入手
可能であり、表示されているリンクマークが選択された
場合、選択されたリンクマークに対応した情報を表示さ
せるようにする。A氏のリンクマークが選択された場
合、リンクマーク位置情報により、選択されたリンクマ
ークはA氏のものであることが分かっているので、A氏
のリンク情報、すなわちA氏の選手情報を表示するよう
にする。
【0112】
【発明の効果】本発明によれば、リンクマークの位置情
報をリアルタイムで伝送することができるので、生番組
のようにリンクマークの対象物の移動が特定できないも
のであっても、対象物の移動に合わせてリンクマークを
表示することが出来る。
【図面の簡単な説明】
【図1】図1は本実施の形態を説明する為の図である。
【図2】図2は本実施の形態を説明する為の図である。
【図3】図3は本実施の形態を説明する為の図である。
【図4】図4は本実施の形態を説明する為の図である。
【図5】図5は本実施の形態を説明する為の図である。
【図6】図6は本実施の形態を説明する為の図である。
【図7】図7はリンクマーク位置情報伝送システムのブ
ロック図である。
【図8】図8はリンクマーク位置情報生成装置2のブロ
ック図である。
【図9】図9はリンクマーク位置情報伝送システムの動
作フローチャートである。
【図10】図10はリンクマーク位置情報生成装置2の
第2の実施の形態のブロック図である。
【図11】図11は対象物のX軸に対する空間マージン
の例を示した図である。
【図12】図12は対象物の時間マージンの例を示した
図である。
【図13】図13はマージン判定の動作フローチャート
である。
【図14】図14はリンクマーク位置情報生成装置2の
第3の実施の形態を説明する為の図である。
【図15】図15はリンクマーク位置情報生成装置2の
第4の実施の形態のブロック図である。
【符号の説明】
1 カメラ 2 リンクマーク位置情報生成装置 3 データ送出部 4 エンコーダ 5 多重化部 6 変調部 7 受信機
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 MA00 RB01 RC34 SS02 5C063 AB03 AB07 AC01 AC10 CA07 CA23 DA07 EB07 EB50 5K028 AA14 BB06 CC05 EE03 KK01 MM04

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 データ放送におけるリンクマークの位置
    情報の伝送方法であって、 画像中の所定の対象物を特定するリンクマークの位置情
    報を、受信機で動作しているアプリケーションに外部よ
    り所定のイベントを実行させる為に確保されたデータ領
    域に記述して伝送することを特徴とするリンクマークの
    位置情報の伝送方法。
  2. 【請求項2】 前記リンクマークの位置情報を、イベン
    トメッセージに記述することを特徴とする請求項1に記
    載のリンクマークの位置情報の伝送方法。
  3. 【請求項3】 前記リンクマークの位置情報を、MPE
    G2におけるトランスポート・プライベート・データ領
    域に記述することを特徴とする請求項1に記載のリンク
    マークの位置情報の伝送方法。
  4. 【請求項4】 前記リンクマークの位置情報を、MPE
    G2におけるPESのプライベート・データ領域に記述
    することを特徴とする請求項1に記載のリンクマークの
    位置情報の伝送方法。
  5. 【請求項5】 表示するリンクマークが複数ある場合、
    リンクマークの位置情報に、どの対象物のリンクマーク
    かを識別する識別情報を含めることを特徴とする請求項
    1から請求項4のいずれかに記載のリンクマークの位置
    情報の伝送方法。
  6. 【請求項6】 表示するリンクマークが複数ある場合、
    リンクマークの位置情報に、対象物の付属情報を含める
    ことを特徴とする請求項1から請求項5のいずれかに記
    載のリンクマークの位置情報の伝送方法。
  7. 【請求項7】 画像のカット点において、リンクマーク
    の位置情報をリセットする情報を伝送することを特徴と
    する請求項1から請求項6のいずれかに記載のリンクマ
    ークの位置情報の伝送方法。
  8. 【請求項8】 動画像中の対象物を特定するリンクマー
    クを表示させる表示方法であって、 動画像の所定の対象物を特定するリンクマークの位置情
    報を、受信機側で動作しているアプリケーションに所定
    のイベントを実行させる為に確保されたデータ領域に記
    述し、この情報を伝送するステップと、 前記リンクマークの位置情報を受信し、リンクマークの
    位置情報に基づいてリンクマークを表示するステップと
    を有することを特徴とするリンクマークの表示方法。
  9. 【請求項9】 前記リンクマークの位置情報を、イベン
    トメッセージに記述して伝送することを特徴とする請求
    項8に記載のリンクマークの表示方法。
  10. 【請求項10】 前記リンクマークの位置情報を、MP
    EG2におけるトランスポート・プライベート・データ
    領域に記述して伝送することを特徴とする請求項8に記
    載のリンクマークの表示方法。
  11. 【請求項11】 前記リンクマークの位置情報を、MP
    EG2におけるPESのプライベート・データ領域に記
    述することを特徴とする請求項8に記載のリンクマーク
    の表示方法。
  12. 【請求項12】 表示するリンクマークが複数ある場
    合、リンクマークの位置情報に、どの対象物のリンクマ
    ークかを識別する識別情報を含めることを特徴とする請
    求項8から請求項11のいずれかに記載のリンクマーク
    の表示方法。
  13. 【請求項13】 表示するリンクマークが複数ある場
    合、リンクマークの位置情報に、対象物の付属情報を含
    めることを特徴とする請求項8から請求項12のいずれ
    かに記載のリンクマークの表示方法。
  14. 【請求項14】 画像のカット点において、リンクマー
    クの位置情報をリセットする情報を伝送することを特徴
    とする請求項8から請求項13のいずれかに記載のリン
    クマークの表示方法。
  15. 【請求項15】 データ放送におけるリンクマークの位
    置情報の伝送システムであって、 画像中の所定の対象物を特定する手段と、 前記特定された対象物の画像中の座標情報を計算する手
    段と、 前記計算された座標情報に基づいて、対象物を識別する
    為のリンクマークの位置情報を生成する手段と、 前記リンクマークの位置情報を、受信機で動作している
    アプリケーションに外部より所定のイベントを実行させ
    る為に確保されたデータ領域に記述して伝送する手段と
    を有することを特徴とするリンクマークの位置情報の伝
    送システム。
  16. 【請求項16】 前記リンクマークの位置情報を、イベ
    ントメッセージに記述して伝送することを特徴とする請
    求項15に記載のリンクマークの伝送システム。
  17. 【請求項17】 前記リンクマークの位置情報を、MP
    EG2におけるトランスポート・プライベート・データ
    領域に記述して伝送することを特徴とする請求項15に
    記載のリンクマークの伝送システム。
  18. 【請求項18】 前記リンクマークの位置情報を、MP
    EG2におけるPESのプライベート・データ領域に記
    述することを特徴とする請求項15に記載のリンクマー
    クの伝送システム。
  19. 【請求項19】 移動する対象物を追跡して対象物の画
    像中の座標情報を更新する手段を更に有することを特徴
    とする請求項15から請求項18のいずれかに記載のリ
    ンクマークの位置情報の伝送システム。
  20. 【請求項20】 対象物の移動に対して、空間的又は時
    間的マージンを記憶し、対象物の移動が前記空間的又は
    時間的マージン内である場合には、リンクマークの位置
    情報を更新しない手段を更に有することを特徴とする請
    求項15から請求項19のいずれかに記載のリンクマー
    クの位置情報の伝送システム。
  21. 【請求項21】 入力された複数の映像信号を選択して
    出力すると共に、出力される映像信号を識別する識別情
    報を出力する映像切替手段と、 前記入力される各映像信号におけるリンクマーク位置情
    報を規定するパラメータ情報が記憶され、前記識別情報
    に対応するパラメータ情報にもとづいて、リンクマーク
    位置情報を生成する手段を更に有することを特徴とする
    請求項15から請求項20のいずれかに記載のリンクマ
    ークの位置情報の伝送システム。
JP2001297565A 2000-12-27 2001-09-27 リンクマークの位置情報の伝送方法と、その表示方法及びシステム Expired - Lifetime JP4854156B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001297565A JP4854156B2 (ja) 2000-12-27 2001-09-27 リンクマークの位置情報の伝送方法と、その表示方法及びシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000397530 2000-12-27
JP2000397530 2000-12-27
JP2000-397530 2000-12-27
JP2001297565A JP4854156B2 (ja) 2000-12-27 2001-09-27 リンクマークの位置情報の伝送方法と、その表示方法及びシステム

Publications (2)

Publication Number Publication Date
JP2002262248A true JP2002262248A (ja) 2002-09-13
JP4854156B2 JP4854156B2 (ja) 2012-01-18

Family

ID=26606830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001297565A Expired - Lifetime JP4854156B2 (ja) 2000-12-27 2001-09-27 リンクマークの位置情報の伝送方法と、その表示方法及びシステム

Country Status (1)

Country Link
JP (1) JP4854156B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008098966A (ja) * 2006-10-12 2008-04-24 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2009296225A (ja) * 2008-06-04 2009-12-17 Nikon Corp 画像処理装置
JP2012100281A (ja) * 2005-03-09 2012-05-24 Qualcomm Inc ビデオテレフォニーに関する関心領域抽出
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP2015080043A (ja) * 2013-10-15 2015-04-23 日本テレビ放送網株式会社 放送システム及び放送方法
JPWO2014038055A1 (ja) * 2012-09-07 2016-08-08 日立マクセル株式会社 受信装置
JP2017153129A (ja) * 2017-04-14 2017-08-31 日立マクセル株式会社 受信装置
WO2020246237A1 (ja) * 2019-06-05 2020-12-10 パロニム株式会社 情報処理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014738A (ja) * 2017-09-01 2018-01-25 日本テレビ放送網株式会社 放送システム及び放送方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112848A (ja) * 1996-05-31 1998-04-28 Matsushita Electric Ind Co Ltd データ通信システム並びにデータ送信装置およびデータ受信装置
WO2000045599A2 (en) * 1999-02-01 2000-08-03 Emuse Corporation Interactive system
JP2000287183A (ja) * 1999-03-29 2000-10-13 Sony Corp テレビジョン信号発生装置および方法、テレビジョン信号受信装置および方法、テレビジョン放送システムおよび信号処理方法、並びに媒体
JP2002027349A (ja) * 2000-07-05 2002-01-25 Sony Corp リンク情報表示装置及びその表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10112848A (ja) * 1996-05-31 1998-04-28 Matsushita Electric Ind Co Ltd データ通信システム並びにデータ送信装置およびデータ受信装置
WO2000045599A2 (en) * 1999-02-01 2000-08-03 Emuse Corporation Interactive system
JP2000287183A (ja) * 1999-03-29 2000-10-13 Sony Corp テレビジョン信号発生装置および方法、テレビジョン信号受信装置および方法、テレビジョン放送システムおよび信号処理方法、並びに媒体
JP2002027349A (ja) * 2000-07-05 2002-01-25 Sony Corp リンク情報表示装置及びその表示方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100281A (ja) * 2005-03-09 2012-05-24 Qualcomm Inc ビデオテレフォニーに関する関心領域抽出
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP2008098966A (ja) * 2006-10-12 2008-04-24 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US8305491B2 (en) 2006-10-12 2012-11-06 Sony Corporation Information processing apparatus, information processing method, and computer program
JP2009296225A (ja) * 2008-06-04 2009-12-17 Nikon Corp 画像処理装置
JPWO2014038055A1 (ja) * 2012-09-07 2016-08-08 日立マクセル株式会社 受信装置
JP2015080043A (ja) * 2013-10-15 2015-04-23 日本テレビ放送網株式会社 放送システム及び放送方法
JP2017153129A (ja) * 2017-04-14 2017-08-31 日立マクセル株式会社 受信装置
WO2020246237A1 (ja) * 2019-06-05 2020-12-10 パロニム株式会社 情報処理システム
JPWO2020246237A1 (ja) * 2019-06-05 2021-09-13 パロニム株式会社 情報処理システム

Also Published As

Publication number Publication date
JP4854156B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
US9094615B2 (en) Automatic event videoing, tracking and content generation
CN108886583B (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放,ptz,视频功能的***和方法
US10652519B2 (en) Virtual insertions in 3D video
US20160205341A1 (en) System and method for real-time processing of ultra-high resolution digital video
US8457350B2 (en) System and method for data assisted chrom-keying
US20150193970A1 (en) Video playing method and system based on augmented reality technology and mobile terminal
CN109495760A (zh) 一种多组摄像头同步直播的方法
CN114125301B (zh) 一种虚拟现实技术拍摄延迟处理方法及装置
US20180035076A1 (en) Video processing apparatus, video processing system, and video processing method
US20210168411A1 (en) Storage medium, video image generation method, and video image generation system
CN108616718A (zh) 监控显示方法、装置及***
JP4854156B2 (ja) リンクマークの位置情報の伝送方法と、その表示方法及びシステム
CN112019921A (zh) 应用于虚拟演播室的肢体动作数据处理方法
CN102117046A (zh) 一种虚拟体育***的直播控制方法及装置
WO2001013645A2 (en) Narrow bandwidth broadcasting system
US10832732B2 (en) Television broadcast system for generating augmented images
KR101519021B1 (ko) 감성광고 기능을 구비한 스마트 tv 기반의 광고 제공 방법
JP2022534620A (ja) クライアント側フォレンジックウォーターマーク装置、システム及び方法
CN112019922A (zh) 应用于虚拟演播室的面部表情数据处理方法
CN107479840A (zh) 一种用于电视墙的播放画面即时切换方法
KR101453813B1 (ko) 감성광고 기반의 타임머신 광고 제공 기능을 구비한 스마트 tv
KR101911528B1 (ko) 동영상 내 움직이는 대상의 모션데이터 산출 방법 및 시스템
WO2022259618A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN108230348B (zh) 一种目标跟踪方法及装置
KR20140076535A (ko) 감성광고 기능을 구비한 스마트 tv 기반의 타임머신 광고 제공 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4854156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250