JP3128034B2 - 画像合成装置 - Google Patents

画像合成装置

Info

Publication number
JP3128034B2
JP3128034B2 JP28906993A JP28906993A JP3128034B2 JP 3128034 B2 JP3128034 B2 JP 3128034B2 JP 28906993 A JP28906993 A JP 28906993A JP 28906993 A JP28906993 A JP 28906993A JP 3128034 B2 JP3128034 B2 JP 3128034B2
Authority
JP
Japan
Prior art keywords
image
aspect ratio
pixel
moving image
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28906993A
Other languages
English (en)
Other versions
JPH07140954A (ja
Inventor
亨 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP28906993A priority Critical patent/JP3128034B2/ja
Publication of JPH07140954A publication Critical patent/JPH07140954A/ja
Application granted granted Critical
Publication of JP3128034B2 publication Critical patent/JP3128034B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、再生画像の画素の縦
横比が1:1以外を想定している例えばMPEG方式の
動画像データと、再生画像の画素の縦横比が1:1を想
定しているコンピュータ画像データとを合成する場合等
の、異なる画素アスペクト比を想定した画像を合成して
同一画面上にそれぞれの画像が意図した縦横比の絵を表
示できるようにした画像合成装置に関する。
【0002】
【従来の技術】近年画像を扱う装置はデジタル化の一途
をたどっている。画像を扱う装置には大きく分けて2種
類のものがある。1つはテレビ、ビデオなどに代表され
る放送にからむ装置であり、もう1つはコンピュータで
ある。これらは異なった歴史を持ち、全く別個の規格の
もとに成長してきた。近年技術の進歩により、これらを
融合する装置が民生レベルでも開発可能になってきた。
しかしながら、その育ちの経緯から、これらは全く別の
規格に基づいく画像フォーマットになっており、2つの
融合には、この規格の違いを吸収することが必須であっ
た。
【0003】放送に代表されるデジタル規格に最も代表
的なものは、CCIRのREC601と呼ばれる規格で
ある。この規格は、輝度信号Yをピクセルレート13.
5MHzでサンプリングし、色差信号Cb,Crをその
半分の6.25MHzでサンプリングしたものが基本と
なる。これをNTSCの放送規格に適用した場合には、
横711ドット,縦487ドットを横縦比4:3(再生
画像のアスペクト比)で画面に表示することになり、再
生画像の各画素の横縦比(以下画素アスペクト比と記
す)は縦長の1.095={(3÷487)/(4÷7
11)}になる。これは通常のNTSCのテレビにイン
タレースでオーバースキャンで表示した場合である。
【0004】一方コンピュータの方は通常VGA(VI
DEO GRAPHICS ARRAY)のモニタにア
ンダースキャンで表示した場合、ピクセルレート25.
175MHzで横640ドット,縦480ドットを横縦
比(再生画像のアスペクト比)4:3で画面に表示する
ことになり、画素アスペクト比は1.0={(3÷48
0)/(4÷640)}とスクエアピクセルになってい
る。なお、コンピュータの画像をNTSC方式のテレビ
で再生する場合には、1.095÷(13.5MHz×
2÷25.175MHz)=1.021の画素アスペク
ト比となる。また、コンピュータのモニタディスプレイ
にREC601規格の画像を表示すると画素アスペクト
比は1.095÷1.021=1.072になる。以上
をまとめると表1のようになる。
【0005】
【表1】
【0006】従来これらを融合する装置では、これらを
同じコンピュータ側のクロックで再生しているために、
もともとは放送用の規格で作られている動画の絵が横長
に表示されるという欠点があった。
【0007】図4は従来の画像合成装置のブロック構成
図である。従来の画像合成装置100は、モニタディス
プレイ装置106としてコンピュータモニタを想定して
いる。動画像再生装置101は、基準クロック発生回路
102から供給される25.175MHzの基準クロッ
クMCKに同期して、各画素の画像データ101aを順
次出力する。この画像データ101aの出力は、27M
Hzで出力する本来REC601用に作られたものであ
るから、表1の右下欄に相当し、画素アスペクト比1.
072を想定しているものである。これを実際には2
5.175MHzで出力するとなると、画素アスペクト
比は1.0となり、その結果正確には画素アスペクト比
1.072で表示すべきものを1.0で表示することと
なる。これは本来より横長に見えることとなり、その誤
差は比でいうと0.932(=1.0/1.072=2
5.172/27)と7パーセントにもなる。これに対
してコンピュータ画像再生装置103からは前述の基準
クロックMCKに同期して画素アスペクト比1.0を想
定した各画素の画像データ103aが順次出力される。
これは本来画素アスペクト比1.0で作られたものを
1.0で表示するから、正常に見える。画像合成手段1
04は、合成範囲指定情報104bに基づいていずれか
の画像データ101a,103aを選択してD/A変換
器105へ供給する。D/A変換器105から出力され
たアナログ映像信号105aはコンピュータのモニタデ
ィスプレイ装置106へ供給されて、画像再生がなされ
る。
【0008】
【発明が解決しようとする課題】しかしながら、従来の
画像合成装置100は、想定している画素アスペクト比
が異なる2種類の画像データを単に選択切り換えして合
成するだけである。このため、合成した画像データ10
4aをコンピュータのモニタディスプレイ装置106に
表示した場合は、動画像再生装置101からの画面は7
パーセント横長に見えてしまう。一般に人間の目はこの
誤差の比が3パーセントを越えるとその差に気づいてし
まい、再生画像の横縦比がおかしいと感じてしまう。
【0009】この発明はこのような課題を解決するため
なされたもので、動画像側にアスペクト比変換を施し
て、動画像とコンピュータ画像との合成画像を本来意図
した絵の状態で再生表示させることのできる画像再生装
置を提供することを目的とする。
【0010】
【課題を解決するための手段】前記課題を解決するため
この発明に係る画像合成装置は、動画像とコンピュータ
画像を同一画面中に混在して表示するように合成する画
像合成装置において、前記コンピュータ画像のピクセル
レートを設定する基準クロック発生回路と、前記動画像
のピクセルレートを、前記基準クロック発生回路から出
力した前記コンピュータ画像のピクセルレートに同期さ
せて該コンピュータ画像のピクセルレートに対して変換
して出力するPLL回路と、前記動画像の書き込みは前
記動画像のピクセルレートで行い、且つ、前記動画像の
読み出しは前記コンピュータ画像のピクセルレートで行
うFIFOと、前記動画像の書き込み時に補間と前記F
IFOへの書き込みの制御を、前記PLL回路での所定
の変換比率に近似した値に基づく変換表を用いて行うこ
とにより、前記動画像の水平方向の画素数を変更するア
スペクト比変換手段と、画素アスペクト比の変換が施さ
れた前記動画像と前記コンピュータ画像との内のいずれ
か一方を選択することで合成した画像を生成する画像合
成手段とを備えたことを特徴とする。
【0011】また、上記発明の画像合成装置において、
前記アスペクト比変換手段は、前記動画像の水平方向の
画素数15ドットを14ドットへ変換することをを特徴
とする。
【0012】
【作用】アスペクト比変換回路は、動画像が想定してい
る再生画素のアスペクト比をコンピュータ画像が想定し
ている再生画素のアスペクト比に近似したアスペクト比
で表示した場合に再生画像の縦横比が原画像の縦横比と
ほぼ等しくなるようアスペクト比変換を施し、アスペク
ト比変換された各画素毎の画像データを出力する。よっ
て、アスペクト変換された動画像データとコンピュータ
画像データとを選択的に切り換えて2種類の画像を合成
し表示することで、動画像が本来意図している縦横比の
絵が合成表示される。
【0013】なお、動画像の水平方向(横方向)の画素
数15ドットを14ドットへ変換する構成のアスペクト
比変換手段を用いることによって、例えば、CCIRの
REC601規格で規定されている、画面アスペクト比
4:3で横711ドット,縦487ドットの画像データ
(画素アスペクト比1.072)を、画面アスペクト比
4:3で横664ドット,縦487ドットの画像データ
(画素アスペクト比1.001)へ変換することができ
る。この場合、アスペクト比変換手段は、動画像の水平
方向の画素数15ドットから14ドットへの変換という
比較的簡易な構成であるが、コンピュータ画像側が想定
している画素アスペクト比1.0に対するアスペクト比
の誤差はわずか0.1パーセントであり、視覚上何ら問
題を生じない。
【0014】画素のアスペクト比を変換するときにその
比によって誤差が変わる。REC601規格の動画像
を、画素アスペクト比1.0(スクエアピクセル)を想
定したコンピュータ画像に変換する場合、変換すべき比
は動画像のピクセルレート27MHzをコンピュータ画
像のピクセルレート25.175MHzで割り算した値
であり、27÷25.175=1.072である。ここ
で、動画像のNピクセルレートをコンピュータ画像のM
ピクセルレートにN:M変換するとして、Nが各自然数
に対して最適なMと誤差が決まる。具体的には、1.0
72×N/M>1のときはこれで、1.072×N/M
<1のときはその逆数で定義する。表2は各Nに対して
の最適なMと誤差を示したものである。この表2から誤
差はある一定周期で最小値が現れることがわかる。
【0015】
【表2】
【0016】前述したように、人間の目ではこの誤差が
3パーセント以内であれば横縦比のずれが許容できるの
で、Nが11以上であれば誤差3パーセント以内の基準
を満たすことになる。Nを大きく設定すれば誤差を小さ
くすることができるが、Nが大きいとアスペクト比変換
のためのハード,ソフト構成が複雑となる。そこで、N
が11以上で最初に誤差が小さくなるN=15,M=1
4を採用すれば、ハード構成を複雑にすることなく誤差
も小さくできる。N=15,M=14とした場合、誤差
は0.1パーセントであり、この0.1パーセントの誤
差は人間の視覚特性上全く問題にならない。
【0017】
【実施例】以下、この発明の実施例を添付図面に基づい
て説明する。図1はこの発明に係る画像合成装置のブロ
ック構成図である。この場合もモニタディスプレイ装置
7はコンピュータのモニタを想定している。この画像合
成装置1は、再生画像のアスペクト比が4:3で画素ア
スペクト比1.0を想定した例えば横640ドット,縦
480ドットのコンピュータ画像データ2aを出力する
コンピュータ画像再生装置2と、再生画像のアスペクト
比が4:3で画素アスペクト比1.072を想定した例
えば横711ドット,縦487ドット(CCIRのRE
C601規格に相当)の動画像データ3aを出力する動
画像再生装置3と、動画像の水平方向(横方向)の画素
数15ドットを14ドットへ変換するアスペクト比変換
手段4と、画像合成手段5とからなる。
【0018】画像合成手段5の合成画像データ出力5a
はD/A変換器6でアナログ映像信号6aへ変換されて
コンピュータのモニタディスプレイ装置7へ供給され、
このモニタディスプレイ装置7の画面に画像が再生され
る。
【0019】水晶発振器等を備えた基準クロック発生回
路8で発生した周波数25.175MHzの基準クロッ
クMCKは、コンピュータ画像再生装置2へ供給され
る。コンピュータ画像再生装置2は、この基準クロック
MCKに同期して予め設定した画素順序(例えばノンイ
ンタレース)で各画素の画像データ2aを出力する。
【0020】PLL回路9は、基準クロック発生回路8
で発生した周波数25.175MHzの基準クロックM
CKを入力として、この基準クロックMCKを(858
/800)倍した周波数27MHzで基準クロックと同
期の取れた動画像再生クロック9aを生成して、動画像
再生装置3へ供給する。言い換えると、動画像のピクセ
ルレートを算出するために、コンピュータ画像のピクセ
ルレート25.175MHzに対して所定の変換比率
(858/800)を掛け算して、動画像のピクセルレ
ート27MHzを算出している。
【0021】動画像再生装置3は、周波数27MHzの
動画像再生クロック9aに同期して予め設定した画素順
序(例えばノンインタレース)で各画素の画像データ3
aを出力する。
【0022】図2はアスペクト比変換手段の一具体例を
示すブロック構成図、図3はアスペクト比変換手段の動
作を示す説明図である。図2に示す符号41はアスペク
ト比変換部であり、図3のような動作になる。符号42
はFIFO(ファーストインファーストアウト構成の画
像データ一時記憶手段)であり、FIFO書き込み制御
部43によって書き込まれ、FIFO読み出し制御部4
4によって読み出される。図3はアスペクト比変換部4
1の動作タイミングであり、27MHzごとにY0から
順次データが動画像再生装置3から送られてくる。アス
ペクト変換部41ではこれを計算の欄にあるような線形
補間の計算を行なう。図3は15個分の変換表である
が、これを繰り返す。この変換の開始にあたっては、ス
タート信号41aをFIFO書き込み制御部43に出
し、FIFO書き込み制御部43では、図3のFIFO
書き込みの欄にあるようにそこから数えて14個分のデ
ータはFIFO42へ書き込み、1個のデータはFIF
O42へ書き込まないようにして15:14の画素アス
ペクト変換を行なう。FIFO読み出し制御部44は、
画像合成手段5へコンピュータ画像再生装置2からのデ
ータと同期して送るようにFIFO42からデータを読
み出す。この際、動画像のピクセルレートを算出するた
めに、コンピュータ画像のピクセルレート25.175
MHzに対して掛け算した所定の変換比率(858/8
00)は、動画像の水平方向の画素数15ドットを14
ドットへ変換する時の変換比率(15/14)と略対応
していることは変換表から明かである。
【0023】図1に示す画像合成手段5は、アスペクト
比変換された画像データ4aまたはコンピュータ画像再
生装置2から出力される画像データ2aを遅延手段10
を介して遅延させた画像データ10aのいずれか一方
を、基準クロックMCKに同期させて選択し出力するよ
う構成している。なお、各画像に対してどの範囲でどち
らの画像を選択するかの合成範囲指定情報5bは、図示
しない合成範囲指定手段から供給される。
【0024】なお、コンピュータ画像再生装置2と画像
合成手段5との間に介設した遅延手段10は、動画像デ
ータ3aをアスペクト変換するのに要する時間分だけコ
ンピュータ画像データ2aの伝達を遅延させ、遅延させ
たコンピュータ画像データ10aを出力するもので、例
えばファーストインファーストアウト(FIFO)構成
の一時記憶手段等で構成している。
【0025】以上の構成であるから、動画像再生装置3
から出力される画素アスペクト比1.072を想定した
横711ドット,縦487ドットの動画像データ3a
は、アスペクト比変換手段4を介して、横664ドッ
ト,縦487ドットで再生画面のアスペクト比4:3で
表示した時の画素アスペクト比が1.001に相当する
動画像データ4aへ変換されて画像合成手段5へ供給さ
れる。よって、画像合成手段5は、合成範囲指定情報5
bに基づいて2系統の画像データ10a,4aの内いず
れか一方を選択して出力するだけで画像合成データ出力
5aを生成することができる。
【0026】そして、画像合成手段5から基準クロック
MCKに同期して出力される画像合成データ出力5aは
D/A変換器6でアナログ映像信号6aへ変換され、モ
ニタディスプレイ装置7で再生される。動画像再生装置
3から出力される画素アスペクト比1.072を想定し
た動画像データ3aは、アスペクト比変換手段4を介し
てコンピュータ画像再生装置2が想定している画素アス
ペクト比1.0にほぼ近い画素アスペクト比1.001
の画像データ4aへアスペクト変換した後に、画像合成
手段5で合成するので、それぞれの画像が本来意図した
縦横比に基づいてそれぞれの画像の合成画像が再生され
る。
【0027】
【発明の効果】以上説明したようにこの発明に係る画像
合成装置は、動画像が想定している再生画素のアスペク
ト比をコンピュータ画像が想定している再生画素のアス
ペクト比に近似したアスペクト比で表示した場合に再生
画像の縦横比が原画像の縦横比とほぼ等しくなるようア
スペクト比変換を施し、アスペクト比変換した動画像と
コンピュータ画像とを画像合成手段で合成して表示する
構成としたので、それぞれの画像が本来意図した縦横比
に基づいてそれぞれの画像の合成画像を再生させること
ができる。各画像の画素アスペクト比がほぼ等しくなる
ようにアスペクト変換した後に合成する構成であるか
ら、画像合成手段は単に各画素毎のいずれの画像データ
を取るかの選択をするだけでよく、画像合成手段の構成
の簡略化を図ることができる。動画像の書き込み時に補
間とFIFOへの書き込みの制御を、PLL回路での所
定の変換比率に近似した値に基づく変換表を用いて行っ
ているので、変換表が小さくてすみ、これに伴ってメモ
リ容量が小さなFIFOを用いることができる。
【0028】なお、動画像の水平方向の画素数15ドッ
トを14ドットへ変換する構成のアスペクト比変換手段
を用いることによって、例えば、CCIRのREC60
1規格で規定されている、画面アスペクト比4:3で横
711ドット,縦487ドットの画像データ(コンピュ
ータのモニタに表示したときの画素アスペクト比1.0
72)を、画面アスペクト比4:3で横664ドット,
縦487ドットの画像データ(画素アスペクト比1.0
01)へ変換することができる。この場合、アスペクト
比変換手段は動画像の水平方向の画素数15ドットから
14ドットへの変換という比較的簡易な構成であるた
め、アスペクト比変換手段を簡易な構成で安価に実現す
ることができる。さらに、コンピュータ画像側が想定し
ている画素アスペクト比1.0に対するアスペクト比の
誤差はわずか0.1パーセントであり、視覚上何ら問題
を生じない。
【図面の簡単な説明】
【図1】この発明に係る画像合成装置のブロック構成図
【図2】アスペクト比変換手段の一具体例を示すブロッ
ク構成図
【図3】アスペクト比変換手段の動作を示す説明図
【図4】従来の画像合成装置のブロック構成図
【符号の説明】
1…画像合成装置、2…コンピュータ画像再生装置、2
a…コンピュータ画像データ、3…動画像再生装置、3
a…動画像データ、4…アスペクト比変換手段、4a…
アスペクト比変換された動画像データ、5…画像合成手
段、5a…画像合成データ出力、6…D/A変換器、7
…モニタディスプレイ装置、8…基準クロック発生回
路、9…PLL回路、10…遅延手段、10a…遅延さ
れたコンピュータ画像データ、41…アスペクト比変換
部、41a…スタート信号、42…FIFO(ファース
トインファーストアウト構成の画像データ一時記憶手
段)、43…FIFO書き込み制御部、44…FIFO
読み出し制御部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI H04N 7/24 H04N 7/13 Z (58)調査した分野(Int.Cl.7,DB名) G09G 5/14 G09G 5/00 G06T 1/00 H04N 5/262 H04N 7/01 H04N 7/24

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】動画像とコンピュータ画像を同一画面中に
    混在して表示するように合成する画像合成装置におい
    て、前記コンピュータ画像のピクセルレートを設定する基準
    クロック発生回路と、 前記動画像のピクセルレートを、前記基準クロック発生
    回路から出力した前記コンピュータ画像のピクセルレー
    トに同期させて該コンピュータ画像のピクセルレートに
    対して所定の変換比率で変換して出力するPLL回路
    と、 前記動画像の書き込みは前記動画像のピクセルレートで
    行い、且つ、前記動画像の読み出しは前記コンピュータ
    画像のピクセルレートで行うFIFOと、 前記動画像の書き込み時に補間と前記FIFOへの書き
    込みの制御を、前記PLL回路での所定の変換比率に近
    似した値に基づく変換表を用いて行うことにより、前記
    動画像の水平方向の画素数を変更する アスペクト比変換
    手段と、画素 アスペクト比変換が施された前記動画像と前記
    ンピュータ画像との内のいずれか一方を選択することで
    合成した画像を生成する画像合成手段とを備えたことを
    特徴とする画像合成装置。
  2. 【請求項2】前記アスペクト比変換手段は、前記動画像
    の水平方向の画素数15ドットを14ドットへ変換する
    ことを特徴とする請求項1記載の画像合成装置。
JP28906993A 1993-11-18 1993-11-18 画像合成装置 Expired - Fee Related JP3128034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28906993A JP3128034B2 (ja) 1993-11-18 1993-11-18 画像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28906993A JP3128034B2 (ja) 1993-11-18 1993-11-18 画像合成装置

Publications (2)

Publication Number Publication Date
JPH07140954A JPH07140954A (ja) 1995-06-02
JP3128034B2 true JP3128034B2 (ja) 2001-01-29

Family

ID=17738428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28906993A Expired - Fee Related JP3128034B2 (ja) 1993-11-18 1993-11-18 画像合成装置

Country Status (1)

Country Link
JP (1) JP3128034B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144193B2 (ja) * 2000-10-25 2008-09-03 ソニー株式会社 表示パネル、及びディスプレイ装置
JP4161770B2 (ja) 2003-04-01 2008-10-08 ソニー株式会社 データ合成装置およびデータ合成方法

Also Published As

Publication number Publication date
JPH07140954A (ja) 1995-06-02

Similar Documents

Publication Publication Date Title
JP2533393B2 (ja) Ntsc―hdコンバ―タ
KR100195589B1 (ko) 나란한 화상의 동기식 표시가 가능한 비디오 디스플레이 시스템
US6211918B1 (en) Video signal converter and television signal processing apparatus
US5497199A (en) Apparatus for processing progressive scanning video signal comprising progressive to interlaced signal converter and interlaced to progressive signal converter
JP4458925B2 (ja) 映像処理装置
US5631710A (en) Television system containing a video compact disk reproducer
JP3068988B2 (ja) インターレース型及びノンインターレース型ビデオ信号表示装置
JPH04293384A (ja) 画像表示装置
JPS60165883A (ja) テレビジヨン信号送受信方法およびテレビジヨン信号受信方法
EP0550229A2 (en) Television screen aspect ratio converting method and the device thereof
JP2584138B2 (ja) テレビジョン方式変換装置
EP0979005B1 (en) Image decoder
JP3128034B2 (ja) 画像合成装置
JPH06138834A (ja) ディスプレイ装置
JP3300103B2 (ja) 静止画送出装置および静止画受信表示装置
JP2002185980A (ja) マルチフォーマット記録再生装置
JP2809738B2 (ja) 映像信号変換装置
JP4212212B2 (ja) 画像信号処理装置
JPH1023330A (ja) 画像処理装置
JP3081060B2 (ja) 多画面表示高品位テレビジョン受像機
JPH0630349A (ja) 2画面表示テレビ受信機
JP3383158B2 (ja) スキャンコンバータ
JPH0937175A (ja) 画像表示装置及び画像表示方法
KR950007496A (ko) 티 브이(tv) 화면 종횡비 변환 방법과 장치
JPH0759052B2 (ja) 二画面テレビ

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071110

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081110

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121110

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131110

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees