JP2919428B2 - 画像変形装置 - Google Patents

画像変形装置

Info

Publication number
JP2919428B2
JP2919428B2 JP9092499A JP9249997A JP2919428B2 JP 2919428 B2 JP2919428 B2 JP 2919428B2 JP 9092499 A JP9092499 A JP 9092499A JP 9249997 A JP9249997 A JP 9249997A JP 2919428 B2 JP2919428 B2 JP 2919428B2
Authority
JP
Japan
Prior art keywords
deformation
coordinate
image
transformation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP9092499A
Other languages
English (en)
Other versions
JPH10283469A (ja
Inventor
晃 井上
譲二 田島
洋一 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ENU II SHII JOHO SHISUTEMUZU KK
NEC Corp
Original Assignee
ENU II SHII JOHO SHISUTEMUZU KK
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ENU II SHII JOHO SHISUTEMUZU KK, Nippon Electric Co Ltd filed Critical ENU II SHII JOHO SHISUTEMUZU KK
Priority to JP9092499A priority Critical patent/JP2919428B2/ja
Priority to US09/057,576 priority patent/US6035075A/en
Publication of JPH10283469A publication Critical patent/JPH10283469A/ja
Application granted granted Critical
Publication of JP2919428B2 publication Critical patent/JP2919428B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、DTP等に用いら
れるデジタル画像編集システムの画像変形装置に関し、
特に入力画像の一部分を高速に幾何変形して出力する
像変形装置に関する。
【0002】
【従来の技術】現在、パソコンやワークステーション等
の小型コンピュータを利用して印刷物を作成するため
に、DTP(デスクトップ・パブリッシング)が用いら
れている。
【0003】このDTPの分野においては、プレゼンテ
ーション、ポスター等を作成するため、背景上に複数の
画像を自由に変形して合成する処理が行われている。こ
のような処理を行う場合には、変形作業は背景や文字等
の他の要素と組み合わせながら、何度も試行錯誤しなが
ら行われる。ここで、元の画像に対してその一部分を変
形させることも多い。
【0004】従来、このような画像の変形を行うための
画像変形装置として、座標(x,y) から(x',y') への高次
多項式変換式を用いて変形を行う画像変形装置がある。
例えば特平2−292682号公報に開示された発明
において行っている歪みの補正はその一例である。ま
た、この特平2−292682号公報に開示された発
明では、(x,y) 座標系から(u,v) 座標系への変換式とし
て次式が用いられている。
【0005】
【数5】
【0006】ここで、n,m は正の整数であり、 [A] 及
び [B] は、(n+1)×(m+1)の歪み変形係数行列であ
る。すなわち上式は、一般的な多項式変形を表してい
る。この特平2−292682号公報に開示された発
明では、変換前と変換後の点の座標値の幾つかを代入し
て、 [A] 及び [B] を予め求めた上で、変換処理を全
ての画素に対して同等に行っている。
【0007】また、特平7−192122号公報に開
示された画像変形装置においては、画像全体を、縦横n
×mに分割して、分割格子点を任意に移動することで変
形を行っている。この際、変形を行う格子点データのみ
について式(1) 及び式(2) で表される変換を行うことに
より画像変形の高速化を図っている。また、格子点で囲
まれた小矩形内の画素は4角の点の画素値により補間さ
れるとしている。
【0008】
【発明が解決しようとする課題】しかしながら、従来の
画像変形装置では、変形効果を画像中の部分的にのみ作
用させることは考慮されておらず、変形効果を画像中の
部分的にのみ作用させる場合には、その画像全体に変形
処理を施さなければならないので、その作業時間の短縮
を図ることが困難であるという問題点を有している。
【0009】ここで、上述の特平7−192122号
公報に開示された画像変形装置においては、格子点の座
標値を調整することにより、ある画像中の一部分だけを
変形することを可能としている。その一方で滑らかな変
形を行うことができないという問題点を有している。
【0010】例えば、画像の一部分に凸レンズや凹レン
ズを置いた場合に見られるような、部分拡大処理を行う
には、複雑な格子点のパラメータの設定がユーザに要求
されるので、格子点のパラメータを適切に設定すること
が非常に困難であった。このため、このような通常の変
形効果を画像中の部分的にのみ作用させるには、一旦変
形したい部分の領域を画像から切り出した上で、式(1)
及び式(2) によって変形した後、もう一度元の画像と合
成しなければならず、その作業時間の短縮化が困難であ
るという問題点を有している。
【0011】一方、画像を変形させる際の試行錯誤の途
中では、部分的に変形させる位置を画像上において別の
位置に変更したい場合がしばしば発生する。従来の装置
では、この場合であっても、全く新たに画像変形を行う
場合の処理と同じ処理を初めから行うため、計算時間が
長くかかり、結果的に作業時間が増大するという問題点
を有している。
【0012】本発明は、上記事情に鑑みなされたもの
で、その目的とするところは、入力画像の一部分を高速
に変形して出力することの可能な画像変形装置を提供す
ることである。
【0013】
【課題を解決するための手段】請求項記載の発明は、
入力画像データを保持する入力画像バッファと、出力画
像データを保持する出力画像バッファと、画像の変形方
式及び部分変形領域を指定する画像変形指定装置と、前
記出力画像の各画素の変形前の座標値を算出する変形前
座標値算出部と、前記出力画像の各画素の座標値と、前
記変形前の座標値との間の移動量を表す座標移動量を算
出する座標移動量算出部と、前記座標移動量を画素再配
置マップとして保持する画素再配置マップ記憶部と、前
記画素再配置マップ記憶部に保持された座標移動量に基
づき画素を再配置しながら入力画像バッファから出力画
像バッファに画素値を転送する部分画素変形手段とを有
することを特徴とする。
【0014】従って、この発明によれば、部分変形を行
う入力画像の画像データが保持され、画像の変形方式及
び部分変形領域が指定されると共に、部分変形領域の中
に変換される画素の変形前の座標値が算出され、この座
標値の移動量が保持されて画素再配置マップとして作成
されるので、画素を再配置しながらの入力画像バッファ
から出力画像バッファへの画素値の転送を容易に行うこ
とができ、画像の部分変形を高速に行える。
【0015】請求項記載の発明は、請求項記載の発
明において、前記画像変形指定装置は、前記部分変形領
域の画像内における位置を指定する位置指定手段と部分
変形領域の大きさを指定する大きさ指定手段とを備えた
部分変形領域指定手段と、前記画像の変形方式を表す複
数の変形パターンの中から1つの変形パターンを指定す
る変形パターン指定手段と、前記指定された変形パター
ンの変形パラメータをユーザパラメータとして指定する
ユーザパラメータ指定手段とを有し、前記変形前座標値
算出部は、変形前の座標(x,y) が変形後に(x',y') に移
動する場合、 (x,y)=F-1(x',y') なる座標変換演算F
-1を行う座標変換部を有することを特徴とする。
【0016】従って、この発明によれば、請求項に記
載の発明の作用が得られると共に、部分変形を行う領域
の画像上における位置と大きさとを容易に指定すること
ができ、部分変形の変形パターンが指定され、この変形
パターンのパラメータを指定することができるので、画
像の変形をより細密に行うことができ、さらに、変形後
の座標に基づいて、変形前の座標を得ることができる。
【0017】請求項記載の発明は、請求項に記載の
発明において、前記変形前座標値算出部が有する前記座
標変換部は、前記指定可能な変形パターンに対応した変
形をそれぞれ行う第1から第nの座標変換部(nは1以
上の整数)を有し、前記変形前座標値算出部は、前記変
形パターン指定手段の指示に基づいて、前記第1から第
nの座標変換部のいずれかによる座標変換に切替える座
標変換選択部を有することを特徴とする。
【0018】従って、この発明によれば、請求項に記
載の発明の作用が得られると共に、部分変形を行う変形
パターンを1以上有していることにより、より適切な変
形パターンを選択することができる。
【0019】請求項記載の発明は、請求項又は
記載の発明において、前記座標変換部は、
【0020】
【数6】
【0021】なる座標変換演算を行う高次多項式座標変
換部を有することを特徴とする。
【0022】従って、この発明によれば、請求項又は
に記載の発明の作用が得られると共に、座標変換演算
として高次多項式座標変換を行うことができる。
【0023】請求項記載の発明は、請求項から
いずれかに記載の発明において、前記座標変換部は、(c
x,cy) をレンズの中心座標、Ra を楕円のx軸方向の半
径、Rb を楕円のy軸方向の半径、αをパラメータとし
て、
【0024】
【数7】
【0025】なる座標変換演算を行う楕円レンズ変形座
標変換部を有することを特徴とする。
【0026】従って、この発明によれば、請求項から
のいずれかに記載の発明の作用が得られると共に、座
標変換演算として楕円レンズ変形座標変換を行うことが
できる。
【0027】請求項記載の発明は、請求項から
いずれかに記載の発明において、前記座標変換部は、(c
x,cy) を拡大の中心、xmagをx軸方向の拡大率、ymagを
y軸方向の拡大率として、 x=cx+(x'−cx)×xmag y=cy+(y'−cy)×ymag なる座標変換演算を行う拡大変形座標変換部を有するこ
とを特徴とする。
【0028】従って、この発明によれば、請求項から
のいずれかに記載の発明の作用が得られると共に、座
標変換演算として拡大変形座標変換を行うことができ
る。
【0029】請求項記載の発明は、請求項から
いずれかに記載の発明において、前記座標変換部は、(c
x,cy) を波紋の中心、frを波紋形状パラメータ、Rを有
効半径、Hを波の最大振幅として、
【0030】
【数8】
【0031】なる座標変換演算を行う波紋型変形座標変
換部を有することを特徴とする。
【0032】従って、この発明によれば、請求項から
のいずれかに記載の発明の作用が得られると共に、座
標変換演算として波紋型変形座標変換を行うことができ
る。
【0033】請求項記載の発明は、請求項から
いずれかに記載の発明において、前記座標変換部は、(c
x,cy) を渦巻の中心、Rを有効半径、θを最大回転角と
して、
【0034】
【数9】
【0035】なる座標変換演算を行う渦巻型変形座標変
換部を有することを特徴とする。
【0036】従って、この発明によれば、請求項から
のいずれかに記載の発明の作用が得られると共に、座
標変換演算として渦巻型変形座標変換を行うことができ
る。
【0037】請求項記載の発明は、請求項から
いずれかに記載の発明において、前記ユーザパラメータ
指定手段は、画像を表示する部分変形領域表示部と、前
記部分変形領域表示部に表示された画像上において代表
点の始点と終点とを指示して代表点座標列データを出力
するための代表点指示手段と、前記代表点座標列データ
を、前記変形パターンに対応したユーザパラメータに変
換するユーザパラメータ変換部とを有することを特徴と
する。
【0038】従って、この発明によれば、請求項から
のいずれかに記載の発明の作用が得られると共に、表
示された部分変形領域を確認し、代表点の始点と終点と
を指示して得られた代表点座標列データを変形パターン
に対応したユーザパラメータに変換することができるの
で、ユーザパラメータの設定をより確実、簡便に行うこ
とができる。
【0039】次に、本発明に係る画像変形装置の原理に
ついて図10、図11及び図12を参照して説明する。
図11は、本発明に係る画像変形装置により画像変形を
行った場合の一例を示す図である。
【0040】この図11は、画面に表示された人の顔の
画像を変形する場合を示している。元画像100から部
分変形領域102を指定して処理した結果、出力画像1
01では、部分変形結果103のように、顔の目の部分
の画像だけが大きく拡大された画像となっている。
【0041】これらの機能を実現するため本発明では、
図12に示されるような流れで処理を進める。図12
は、本発明に係る画像変形装置の動作の一例を示すフロ
ーチャートである。
【0042】まず、部分変形領域の大きさを指定し(ス
テップS1)、次に、部分変形領域の位置を指定する
(ステップS2)。
【0043】この部分変形領域の大きさと位置の指定方
法としては、モニタに表示されたグラフィカルユーザイ
ンターフェースから、マウスやタブレットなどのポイン
ティングデバイスによって指定する方法がある。
【0044】次に、変形パターンとユーザパラメータと
を指定する(ステップS3)。変形パターンとしては、
一般に用いられている変形として、高次多項式による変
形、楕円レンズ変形、拡大変形、波紋型変形、渦巻変形
等がある。これらそれぞれの変形パターンには、幾つか
の必要なパラメータがあるので、これらの必要なパラメ
ータをユーザパメータとして設定する。従って、ユー
ザパラメータとは、これらのパラメータの中でユーザに
指定させる一部のパラメータを意味する。
【0045】次に、変形パターンに応じた画素再配置マ
ップを生成する(ステップS4)。この画素再配置マッ
プについては後述する。
【0046】そして、画素再配置マップを参照しながら
部分領域の画素値を再配置することにより変形処理が行
われる(ステップS5)。さらに、変形処理結果が意図
したものであるかを確認し、結果が良好であれば(Ye
s)動作を終了し、不良であれば(No)再度変形領域
の指定から繰り返す(ステップS6)。以上で処理が終
了する。
【0047】上述の画素再配置マップについて図10を
参照して説明する。画素再配置マップ140とは、変形
対象となる領域である部分変形領域143と同じサイズ
を持つ2次元のデータ配列である。画素再配置マップ1
40の各レコードには、それぞれ(dx,dy) の2つの値が
格納されている。ここで、この(dx,dy) は、変形後に置
き換えるべき画素値が格納されている座標値との相対距
離を表している。
【0048】次に、画素再配置マップ140を用いて画
像を変形する方法について説明する。元画像141は図
10に示すようなx,y座標で表すものとし、左上が原
点(0,0) で右方向にx軸、下方向にy軸とする。また画
素再配置マップ140は、ij座標で表すものとし、左上
が原点(0,0) で右方向にi軸、下方向にj軸とする。
【0049】本発明に係る画像変形装置における画像変
形では、変形したい部分変形領域143の上に画素再配
置マップ140を重ね、各画素と一致する座標の画素再
配置マップのレコードを参照して行われる。
【0050】いま、部分変形領域143がオフセット値
142の位置にあるものとし、部分変形領域143内の
左上の点Dのx,y座標を(ox,oy) とする。従って、(o
x,oy) はオフセット値142を示すことになる。そして
元画像の部分変形領域143上に画素再配置マップ14
0を重ね、部分変形領域143内の元画像上での画素値
P(x,y) を次式(3) を用いて、P'(x,y)に置き換える。 P'(x,y)=P(x+dx(x−ox,y−oy), y+dy(x−ox,y−oy)) ・・・(3)
【0051】P(x,y) は元画像の座標(x,y) における画
素値、P'(x,y)は元画像変形処理後の同じ座標(x,y) に
おける画素値である。dx(i,j), dy(i,j)は、画素再配置
マップ140での座標(i,j) における2つのレコード値
を示すものとする。
【0052】図10では、点D上にはレコードA144
が重なっているものとする。点Dのx,y座標を(100,5
0)とするとき、点Dの変換後の画素値は、式(3) より、
P'(100,50) =P(100+1,50+2)となり、x,y座標(1
01,52)の画素値を配置することになる。
【0053】以上のように、画素再配置マップ140に
は置き換える画素値の座標との相対距離が記述されてい
るので、元画像の対象となる画素の座標に画素再配置マ
ップ140の数値を加えた座標から、新たな画素値を参
照するという処理を、部分変形領域143内で行う。
【0054】次に変形パターンに応じて画素再配置マッ
プ140を生成する方法について述べる。
【0055】式(3) において、変形後の画素値P'(x,y)
は、再配置マップで間接的に指定される座標(x',y') の
画素値P(x',y') と同値である。すなわち変形処理は、
元画像の任意の座標(x,y) が座標(x',y') に変換する処
理として以下のように表される。 P'(x,y)=P(x',y') x'=x+dx(x−ox,y−oy) ・・・(4) y'=y+dy(x−ox,y−oy)
【0056】ここでdxとdyは、変形前の座標値(x,y) と
変形後の座標値(x',y') との関連が既知であれば、 dx=x'−x ・・・(5) dy=y'−y として求められる。さらに、(x,y) を(x',y') の変換関
数で表現することができれば、dxとdyは(x',y') の関数
となるので、(x',y') 座標が決まれば、変形前の座標
(x,y) と共に、dx,dy が求められる。このようにして求
められたdx,dy が、画素再配置マップ140に記録され
ることになる。
【0057】ここで、(x,y) を(x',y') の関数で表した
ものを、幾何変換式と呼ぶ。幾何変換式は、変形のパタ
ーンによって多くの種類がある。
【0058】例えば変形パターンとして、高次多項式変
形を選択した場合、以下の幾何変換式を用いる。
【0059】
【数10】
【0060】このときのパラメータは、係数 aij,bij
あり、あらかじめ指定しておくこともできるし、ユーザ
がファイルから入力させることもできる。
【0061】変形パターンとして、楕円レンズ変形を選
択した場合、例えば以下の幾何変換式を用いることがで
きる。(cx,cy) はレンズの中心座標、Ra は楕円のx軸
方向の半径、Rb は楕円のy軸方向の半径である。
【0062】
【数11】
【0063】αは、−1から1までの値を取るパラメー
タであり、αが正の時には凸レンズ、負の時には凹レン
ズを、あたかも部分領域の上に置いたかのような効果を
出すことが出来る。部分変形領域全体に対して楕円レン
ズ変形を行う場合には、(cx,cy) は部分変形領域の中心
座標として、またRa ,Rb は部分変形領域の幅と高さ
の1/2として求められる。このときにはユーザパラメ
ータとして、変形量αを指定すればよい。
【0064】また変形パターンとして、拡大変形を選択
した場合、例えば以下の幾何変換式を用いることが出来
る。(cx,cy) は拡大の中心、xmagはx軸方向の拡大率、
ymagはy軸方向の拡大率である。 x=cx+(x'−cx)×xmag ・・・(8) y=cy+(y'−cy)×ymag 部分変形領域全体に対して拡大変形を行う場合には、(c
x,cy) は部分変形領域の中心座標として求められる。こ
のときにはユーザパラメータとして、xmag,ymagを指定
する。
【0065】また変形パターンとして、波紋型変形を選
択した場合、例えば以下の幾何変換式を用いることがで
きる。(cx,cy) は波紋の中心、Rは有効半径、wは有効
半径内の波の数、Hは波の最大振幅である。
【0066】
【数12】
【0067】部分変形領域全体に対して波紋型変形を行
う場合には、例えば(cx,cy) は部分変形領域の中心座標
として、またRは部分変形領域の短い方の1辺の1/2
として求められる。このときユーザパラメータとして、
波の数wと振幅Hを指定すればよい。
【0068】また変形パターンとして、渦巻型変形を選
択した場合、例えば以下の幾何変換式を用いることがで
きる。(cx,cy) は渦巻の中心、Rは有効半径、θは最大
回転角である。
【0069】
【数13】
【0070】ここでG(r) はrの関数である。G(r) の
例としては、
【0071】
【数14】
【0072】あるいは、
【0073】
【数15】
【0074】等がある。ここで、Cは任意の係数であ
る。
【0075】部分変形領域全体に対して渦巻型変形を行
う場合には、例えば(cx,cy) は部分変形領域の中心座標
として、またRは部分変形領域の短い方の1辺の1/2
として求められる。このときユーザパラメータとして
は、θを指定すればよい。
【0076】以上のような動作により、入力画像の一部
分を高速に変形して出力することの可能な画像変形装置
を提供することができる。
【0077】
【発明の実施の形態】次に、本発明に係る画像変形装置
の一実施形態について図面を参照して詳細に説明する。
図1に、本発明に係る画像変形装置の一実施形態のブロ
ック図を示す。
【0078】この図1に示す画像変形装置は、変形させ
る領域、変形のパターン及び変形パターンのパラメータ
を指定する画像変形指定装置16と、変形パターンに基
づき変形した画像の各画素の変形前の座標値を算出する
変形前座標値算出部3と、変形前の画素と変形後の画素
の座標値の移動量を算出する座標移動量算出部14と、
この移動量を記憶する画素再配置マップ記憶部4と、入
力した画像データを格納する入力画像バッファ1と、入
力画像バッファ1に格納された画像データを変形しなが
ら出力画像バッファに転送する部分画素変形手段5と、
出力画像データを格納する出力画像バッファ6とから構
成される。
【0079】また、画像変形指定装置16は、変形する
部分領域の位置と大きさとを指定するための部分変形領
域指定手段2と、変形するパターンを指定するための変
形パターン指定手段7と、変形パターンのパラメータを
指定するためのユーザパラメータ指定手段15とから構
成される。この部分変形領域指定手段2はさらに位置指
定手段8と大きさ指定手段9とを有している。
【0080】また、変形前座標値算出部3は、第1から
第nの座標変換部10〜12からなる座標変換部17
と、各座標変換部を選択するための座標変換選択部13
とから構成されている。
【0081】図2に、上記画像変形指定装置16の一例
を示す。この画像変形指定装置110は、モニタ119
とポインティングデバイスであるマウス120とから構
成され、モニタ119には、グラフィカルユーザインタ
ーフェースである変形指定メニュー121が表示されて
いる。
【0082】変形指定メニュー121には、元画像を表
示する画像表示窓111と、位置の指定を実行するため
の位置指定モードスイッチ112と、大きさの指定を開
始するための大きさ指定モードスイッチ113と、幅を
指定するための幅指定用スライダーバー114と、高さ
を指定するための高さ指定用スライダーバー115と、
変形パターンの指定を実行するための変形パターン指定
スイッチ116と、ユーザパラメータを指定するための
ユーザパラメータ指定用スライダーバー117とから構
成される。
【0083】この図2に示される画像変形指定装置11
0と、図1に示される画像変形指定装置16との対応関
係としては、図1に示される部分変形領域指定手段2
が、図2に示される画像表示窓111、位置指定モード
スイッチ112、大きさ指定モードスイッチ113、幅
指定用スライダーバー114及び高さ指定用スライダー
バー115に対応し、図1に示される変形パターン指定
手段7が図2に示される変形パターン指定スイッチ11
6に対応し、図1に示されるユーザパラメータ指定手段
15が図2に示されるユーザパラメータ指定用スライダ
ーバー117に対応する。
【0084】次に、本実施形態に係る画像変形装置の動
作について説明する。先ず、ユーザは、画像変形指定装
置16によって、画像中のどこに(位置及び大きさ)、
どのような変形(変形パターン及びパラメータ)を施す
のかを指定する。
【0085】図2に示される画像変形指定装置110に
より部分変形領域118を指定する場合を例に説明す
る。まず、大きさ指定モードスイッチ113をマウス1
20のクリック等によりONにする。このとき画像表示
窓111には、初期位置に、部分変形領域118を示す
矩形が表示されている。
【0086】次に、幅指定用スライダーバー114と、
高さ指定用スライダーバー115とを調整しながら、部
分変形領域118の大きさを設定する。
【0087】次に位置指定モードスイッチ112をON
にして、マウス120によって、画像表示窓111の中
で部分変形領域118の矩形を移動させることにより部
分変形領域118の位置の設定を行う。
【0088】この際、マウス120を斜めにドラッグす
ることにより部分変形領域118の大きさと位置を指定
してもよい。この場合の指定方法を図3に示す。この指
定方法は、起点131でマウスのボタンを押下し、押下
したまま終点132までポインティングデバイスの軌跡
133のように移動させる操作によって指定矩形領域1
34の大きさを指定するものである。
【0089】なお、本実施形態ではポインティングデバ
イスとしてマウス120を用いているが、タブレットや
キーボードなどの任意のポインティングデバイスで代用
することが可能である。
【0090】上述のように部分変形領域の位置と大きさ
の設定が終了した後、次にこの部分変形領域を変形する
ための変形パターンを指定する。この変形パターンの指
定は、図1に示す変形パターン指定手段により行う。
【0091】前述したように、図1に示す変形パターン
指定手段7は、図2に示す変形パターン指定スイッチ1
16に対応する。この図2では、変形パターンとしては
A〜Eの五つが示されているのみであるが、本発明は変
形パターンを五つに限定するものではない。また、これ
ら変形パターンは、多項式変形、楕円レンズ変形、拡大
変形、波紋型変形、渦巻変形等のパターンであり、これ
らのパターンの中から1つを選択することになる。
【0092】次に、上述の変形パターンの選択が終了し
た後、選択した変形パターンのパラメータを指定する。
この変形パターンの指定は、図1に示すユーザパラメー
タ指定手段15により行われる。前述したように、図1
に示されるユーザパラメータ指定手段15は、図2に示
されるユーザパラメータ指定用スライダーバー117に
対応する。
【0093】本実施形態においては、ユーザは、ユーザ
パラメータ指定用スライダーバー117により各変形パ
ターンに応じたユーザパラメータを指定する。なお変形
パターンによって複数のユーザパラメータが必要な場合
には、ユーザパラメータ指定手段15に、複数のスイッ
チを持たせれば良い。
【0094】さらに、ユーザパラメータ指定手段15と
して、図2に示されるようなユーザパラメータ指定用ス
ライダーバー117を用いる方式だけでなく、画像表示
窓上にて直接指示するものを用いても良い。
【0095】この画像表示窓上にて直接指示するものに
ついて図4を参照して説明する。図4に示されるユーザ
パラメータ指定手段154のように、まず部分変形領域
表示部152に、部分変形領域の画像を表示し、マウス
等の代表点指示手段153により代表点の始点150を
指定し、次に代表点指示手段153で代表点の終点15
1を指定する操作を行う。この場合、図1に示されるユ
ーザパラメータ指定手段15に対応するものは、部分変
形領域表示部152及び代表点指示手段153である。
代表点指示手段153としては、マウス、タブレット、
電子ペン等の任意のポインティングデバイスがある。
【0096】部分変形領域表示部152上で指定された
座標列は、座標値検出部155で検出され、ユーザパラ
メータ変換部156に出力される。ユーザパラメータ変
換部156では、指定された変形パターンの種類に応じ
て、代表点の始点と終点の座標値から変形に用いるユー
ザパラメータが計算される。ユーザパラメータの計算方
法としては、始点と終点の座標値列を前述の幾何変形式
に代入し、連立方程式を解く方式などがある。
【0097】従って、図4に示されるような方式によっ
ても、ユーザパラメータを指定することができる。
【0098】上述のユーザパラメータの指定が終了する
と、次に、図1に示される変換前座標値算出部3の動作
となる。この変換前座標値算出部3は、画像変形指定装
置16で指定された部分変形領域内の変換後の画素の座
標が、変換前の画像のどの座標から移動されて来るのか
を算出する。
【0099】この算出の動作について説明する。まず、
変換前座標値算出部3に備えられた座標変換選択部13
は、指定された変形パターンによって起動する座標変換
部を選択してそれにスイッチする。座標変換部は、第1
の座標変換部10、第2の座標変換部11という様にn
個(nは1以上の整数)のモジュールからなる。
【0100】それぞれの座標変換部における処理につい
て述べる。座標(x,y) が変形後に(x',y') に移動したと
すると、画像変形は (x',y')=F(x,y) で表すことがで
きる。ここで、 (x,y)=F-1(x',y') なる関数F-1が存
在すれば、変換後の画素の座標値(x',y') をF-1に代入
することによって、部分変形領域内の変換後の画素の座
標が、変換前の画像のどの座標から移動されて来たのか
を算出することができる。
【0101】例えば、高次多項式変形、楕円レンズ変
形、拡大変形、波紋型変形、渦巻変形などのパターンは
すべてF-1が存在しており、それぞれ上述の式(6),式
(7),式(8),式(9),式(10)で表すことができる。
【0102】図5に、高次多項式変形を行う座標変換部
のブロック図を示す。この高次多項式座標変換部20に
は、ユーザパラメータとして多項式係数列が与えられ
る。この多項式数列は、多項式係数記憶部22に保存
される。多項式演算部21では、式(6) に基づく演算を
行う。この多項式演算部21は、電子回路若しくはプロ
グラムされたマイクロコンピュータであり、多項式係数
と、ユーザパラメータと部分変形領域の大きさ、位置を
読み取って、変形前の座標値を式(6) に従って算出す
る。
【0103】図6に、楕円レンズ変形を行う座標変換部
のブロック図を示す。この楕円レンズ座標変換部30に
は、ユーザパラメータとして式(7) に示されるαが与え
られる。このユーザパラメータはレンズ変形パラメータ
記憶部32に保存される。そして、レンズ変形演算部3
1は、式(7) に基づく演算を実行する。このレンズ変形
演算部31は電子回路若しくはプログラムされたマイク
ロコンピュータであり、ユーザパラメータと部分変形領
域の大きさ、位置を読み取って、変形前の座標値を式
(7) に従って算出する。
【0104】図7に、拡大変形を行う座標変換部のブロ
ック図を示す。この拡大変形座標変換部40には、ユー
ザパラメータとして式(8) に示されるxmag,ymag が与え
られる。このユーザパラメータは拡大変形パラメータ記
憶部42に保存される。そして、拡大変形演算部41
は、式(8) に基づく演算を実行する。この拡大変形演算
部41は電子回路若しくはプログラムされたマイクロコ
ンピュータであり、ユーザパラメータと部分変形領域の
大きさ、位置を読み取って、変形前の座標値を式(8) に
従って算出する。
【0105】図8に、波紋型変形を行う座標変換部のブ
ロック図を示す。この波紋型変形座標変換部50には、
ユーザパラメータとして式(9) に示されるH,wが与え
られる。ユーザパラメータは波紋型変形パラメータ記憶
部52に保存される。そして、波紋型変形演算部51
は、式(9) に基づく演算を実行する。電子回路若しくは
プログラムされたマイクロコンピュータであり、ユーザ
パラメータと部分変形領域の大きさ、位置を読み取っ
て、変形前の座標値を式(9) に従って算出する。
【0106】図9に渦巻型変形を行う座標変換部のブロ
ック図を示す。この渦巻型変形座標変換部60には、ユ
ーザパラメータとして式(10)に示されるθが与えられ
る。ユーザパラメータは渦巻型変形パラメータ記憶部6
2に保存される。そして、渦巻型変形演算部61は、式
(10)に基づく演算を実行する。この渦巻型変形演算部6
1は電子回路もしくはプログラムされたマイクロコンピ
ュータであり、ユーザパラメータと部分変形領域の大き
さ、位置を読み取って、変形前の座標値を式(10)に従っ
て算出する。
【0107】上述の座標変換部の動作の結果、部分変形
領域内の変換後の画素の座標(x',y') が、変換前の画像
のどの座標(x,y) から移動されて来たのかを算出した
後、次に変形前座標値算出部3の出力に基づき、座標移
動量算出部14において、部分変形領域中の各画素の座
標の移動量を求めて画素再配置マップ記憶部4に保存す
る。各画素の移動量とは、図10における、画素再配置
マップ140の各レコード値を指している。この移動量
(dx,dy) は、式(5) によって求めることができる。
【0108】各画素の座標の移動量が求まり、画素再配
置マップ記憶部4に保存された後、部分画素変形手段5
は、部分変形領域の位置、及び画素再配置マップ記憶部
4のデータを用いて実際の変形処理を行う。変形処理
は、出力画像バッファ6を走査していき、部分変形領域
外の画素については、入力画像バッファ1の同じ座標の
画素値をそのままコピーする。
【0109】部分変形領域内の画素については、画素再
配置マップ記憶部4内の当該座標におけるレコード(dx,
dy) を参照し、当該座標から(dx,dy) 分離れた座標にあ
る入力画像バッファ1の画素値を、出力画像バッファ6
にコピーする。
【0110】従って、本実施形態によれば、画像の一部
分に変形処理を行う場合であっても、その変形領域の設
定、変更が容易となると共に、さらに、その変形領域の
みについて変形動作を実行するので、全画素に変形処理
を行う場合に比べて処理時間を短縮することができ、結
果として作業時間の短縮を図ることができる。
【0111】さらに、ユーザは変形処理を行った結果を
確認し、もし結果が不良であれば、もう一度画素変形指
定装置16によってパラメータを設定し直した上で、変
形処理を行い、結果が良好となるまで作業を継続するこ
とができるので、正確、かつ、高速に変形処理を実行す
ることができる。
【0112】
【発明の効果】本発明の画像変形装置は、部分変形領域
である画像中の一部分のみに変形効果を作用させること
ができるという効果がある。これにより、座標変換の演
算も部分変形領域内だけで済むので高速演算が可能にな
ると共に、制御点の移動による方式では困難であった、
レンズ効果や、渦巻などの効果を容易に実現することが
可能な画像変形装置を提供することができる。
【0113】さらに、部分変形領域に対応する画素再配
置マップを一度生成しておけば、後で部分変形領域の位
置だけを移動した場合に、画素再配置マップはそのまま
使用することができるので、座標変換の演算を省略する
ことができ、極めて高速に画像変形処理を行うことが可
能となり、ユーザによる画像変形の際の試行錯誤を容易
にし、画像編集の作業効率を大幅に向上させることの可
能な画像変形装置を提供することができる。
【図面の簡単な説明】
【図1】本発明に係る画像変形装置の一実施形態のブロ
ック図である。
【図2】図1に示す画像変形装置が有する操作メニュー
の一例を示す図である。
【図3】図1に示す画像変形装置による部分変形領域の
指定方法の一例を示す図である。
【図4】図1に示す画像変形装置によるユーザパラメー
タの指定方法の一例を示す図である。
【図5】図1に示す画像変形装置が有する高次多項式座
標変換部のブロック図である。
【図6】図1に示す画像変形装置が有する楕円レンズ変
形座標変換部のブロック図である。
【図7】図1に示す画像変形装置が有する拡大変形座標
変換部のブロック図である。
【図8】図1に示す画像変形装置が有する波紋型変形座
標変換部のブロック図である。
【図9】図1に示す画像変形装置が有する渦巻型変形座
標変換部のブロック図である。
【図10】図1に示す画像変形装置が記憶する画素再配
置マップの一例を示す図である。
【図11】本発明に係る画像変形装置が行う画像変形の
一例を示す図である。
【図12】本発明に係る画像変形装置の動作の一例を示
すフローチャートである。
【符号の説明】
1 入力画像バッファ 2 部分変形領域指定手段 3 変形前座標値算出部 4 画素再配置マップ記憶部 5 部分画素変形手段 6 出力画像バッファ 7 変形パターン指定手段 8 位置指定手段 9 大きさ指定手段 10 第1の座標変換部 11 第2の座標変換部 12 第nの座標変換部 13 座標変換選択部 14 座標移動量算出部 15 ユーザパラメータ指定手段 16 画像変形指定装置 17 座標変換部 20 高次多項式座標変換部 100 元画像 101 出力画像 102 部分変形領域 103 部分変形結果 140 画素再配置マップ 141 元画像 142 オフセット値 143 部分変形領域 144 レコードA 150 代表点の始点 151 代表点の終点 152 部分変形領域表示部 153 代表点指示手段 154 ユーザパラメータ指定手段 155 座標値検出部 156 ユーザパラメータ変換部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 洋一 神奈川県川崎市高津区坂戸3−2−1 株式会社エヌイーシー情報システムズ内 (56)参考文献 特開 平9−106453(JP,A) 特開 平5−127654(JP,A) 特開 平1−246675(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06T 3/00 - 3/60 H04N 5/262

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力画像データを保持する入力画像バッ
    ファと、 出力画像データを保持する出力画像バッファと、 画像の変形方式及び部分変形領域を指定する画像変形指
    定装置と、 前記出力画像の各画素の変形前の座標値を算出する変形
    前座標値算出部と、 前記出力画像の各画素の座標値と、前記変形前の座標値
    との間の移動量を表す座標移動量を算出する座標移動量
    算出部と、 前記座標移動量を画素再配置マップとして保持する画素
    再配置マップ記憶部と、 前記画素再配置マップ記憶部に保持された座標移動量に
    基づき画素を再配置しながら入力画像バッファから出力
    画像バッファに画素値を転送する部分画素変形手段とを
    有することを特徴とする画像変形装置。
  2. 【請求項2】 前記画像変形指定装置は、 前記部分変形領域の画像内における位置を指定する位置
    指定手段と部分変形領域の大きさを指定する大きさ指定
    手段とを備えた部分変形領域指定手段と、 前記画像の変形方式を表す複数の変形パターンの中から
    1つの変形パターンを指定する変形パターン指定手段
    と、 前記指定された変形パターンの変形パラメータをユーザ
    パラメータとして指定するユーザパラメータ指定手段
    と、 前記変形前座標値算出部は、 変形前の座標(x,y) が変形後に(x',y') に移動する場
    合、(x,y) =F-1(x',y') なる座標変換F-1を行う座標
    変換部を有することを特徴とする請求項記載の画像変
    形装置。
  3. 【請求項3】 前記変形前座標値算出部が有する前記座
    標変換部は、 前記指定可能な変形パターンに対応した変形をそれぞれ
    行う第1から第nの座標変換部(nは1以上の整数)を
    有し、 前記変形前座標値算出部は、 前記変形パターン指定手段の指示に基づいて、前記第1
    から第nの座標変換部のいずれかによる座標変換に切り
    替える座標変換選択部を有することを特徴とする請求項
    記載の画像変形装置。
  4. 【請求項4】 前記座標変換部は、 【数1】 なる座標変換演算を行う高次多項式座標変換部を有する
    ことを特徴とする請求項又はに記載の画像変形装
    置。
  5. 【請求項5】 前記座標変換部は、 (cx,cy) をレンズの中心座標、Ra を楕円のx軸方向の
    半径、Rb を楕円のy軸方向の半径、αをパラメータと
    して、 【数2】 なる座標変換演算を行う楕円レンズ変形座標変換部を有
    することを特徴とする請求項からのいずれかに記載
    の画像変形装置。
  6. 【請求項6】 前記座標変換部は、 (cx,cy) を拡大の中心、xmagをx軸方向の拡大率、ymag
    をy軸方向の拡大率として、 x=cx+(x'−cx)×xmag y=cx+(y'−cy)×ymag なる座標変換演算を行う拡大変形座標変換部を有するこ
    とを特徴とする請求項からのいずれかに記載の画像
    変形装置。
  7. 【請求項7】 前記座標変換部は、 (cx,cy) を波紋の中心、frを波紋形状パラメータ、Rを
    有効半径、Hを波の最大振幅として、 【数3】 なる座標変換演算を行う波紋型変形座標変換部を有する
    ことを特徴とする請求項からのいずれかに記載の画
    像変形装置。
  8. 【請求項8】 前記座標変換部は、 (cx,cy) を渦巻の中心、Rを有効半径、θを最大回転角
    として、 【数4】 なる座標変換演算を行う渦巻型変形座標変換部を有する
    ことを特徴とする請求項からのいずれかに記載の画
    像変形装置。
  9. 【請求項9】 前記ユーザパラメータ指定手段は、 画像を表示する部分変形領域表示部と、 前記部分変形領域表示部に表示された画像状において代
    表点の始点と終点とを指示して代表点座標列データを出
    力するための代表点指示手段と、 前記代表点座標列データを、前記変形パターンに対応し
    たユーザパラメータに変換するユーザパラメータを変換
    部とを有することを特徴とする請求項からのいずれ
    かに記載の画像変形装置。
JP9092499A 1997-04-10 1997-04-10 画像変形装置 Expired - Fee Related JP2919428B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9092499A JP2919428B2 (ja) 1997-04-10 1997-04-10 画像変形装置
US09/057,576 US6035075A (en) 1997-04-10 1998-04-09 Image deforming method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9092499A JP2919428B2 (ja) 1997-04-10 1997-04-10 画像変形装置

Publications (2)

Publication Number Publication Date
JPH10283469A JPH10283469A (ja) 1998-10-23
JP2919428B2 true JP2919428B2 (ja) 1999-07-12

Family

ID=14056007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9092499A Expired - Fee Related JP2919428B2 (ja) 1997-04-10 1997-04-10 画像変形装置

Country Status (2)

Country Link
US (1) US6035075A (ja)
JP (1) JP2919428B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281931B1 (en) * 1997-11-04 2001-08-28 Tien Ren Tsao Method and apparatus for determining and correcting geometric distortions in electronic imaging systems
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
JP3126955B2 (ja) 1999-02-12 2001-01-22 株式会社アドバネット 画像変換用演算装置
US7006711B2 (en) * 2000-06-21 2006-02-28 Microsoft Corporation Transform table for ink sizing and compression
US6785419B1 (en) * 2000-12-22 2004-08-31 Microsoft Corporation System and method to facilitate pattern recognition by deformable matching
JP2002262169A (ja) * 2001-02-27 2002-09-13 Sony Corp 撮像装置および方法
TW508538B (en) * 2001-06-14 2002-11-01 Ulead Systems Inc Special effect method of lens using converting mask
US7346229B2 (en) * 2001-06-27 2008-03-18 Microsoft Corporation Transform table for ink sizing and compression
US7936352B2 (en) 2004-07-21 2011-05-03 Dassault Systemes Solidworks Corporation Deformation of a computer-generated model
JP2006127146A (ja) * 2004-10-28 2006-05-18 Noritsu Koki Co Ltd 画像処理装置および画像処理プログラム
JP4760550B2 (ja) * 2006-06-05 2011-08-31 大日本印刷株式会社 画像変換装置及び画像変換プログラム
JP5338248B2 (ja) * 2008-10-20 2013-11-13 株式会社ニコン 画像処理装置、電子カメラおよび画像処理プログラム
JP5620313B2 (ja) * 2011-03-17 2014-11-05 株式会社東芝 画像処理装置、方法、及びプログラム
CN102752520A (zh) * 2011-05-17 2012-10-24 新奥特(北京)视频技术有限公司 一种二维字幕的多边形方式变形方法及***
US10223765B2 (en) * 2012-09-06 2019-03-05 Sony Corporation Information processing apparatus, information processing method, and program
KR20140082434A (ko) * 2012-12-24 2014-07-02 삼성전자주식회사 전자장치에서 화면 표시 방법 및 장치
JP5790948B2 (ja) * 2013-01-10 2015-10-07 コニカミノルタ株式会社 画像変形処理装置および画像変形処理方法
CN103824253B (zh) * 2014-02-19 2017-01-18 中山大学 一种基于图像局部精确变形的人物五官变形方法
JP6311372B2 (ja) 2014-03-13 2018-04-18 オムロン株式会社 画像処理装置および画像処理方法
CN109087239B (zh) * 2018-07-25 2023-03-21 腾讯科技(深圳)有限公司 一种人脸图像处理方法、装置及存储介质
CN111105348A (zh) 2019-12-25 2020-05-05 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN113793384B (zh) * 2021-09-15 2023-08-22 上海大学 一种基于图像处理的石油钻杆变径定位方法及***
WO2024105893A1 (ja) * 2022-11-14 2024-05-23 株式会社ASED Lab. 情報処理システム、プログラム及び情報処理方法
CN117437126B (zh) * 2023-12-21 2024-04-12 珠海鸿芯科技有限公司 图像变换方法、计算机装置和计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51112236A (en) * 1975-03-28 1976-10-04 Hitachi Ltd Shape position recognizer unit
JPH01246675A (ja) * 1988-03-29 1989-10-02 Nippon Telegr & Teleph Corp <Ntt> 画像の座標変換方法
CA2013033A1 (en) * 1989-03-31 1990-09-30 Frederick M. Waltz Method and apparatus for fast generation of warping coefficients
US5193126A (en) * 1990-01-25 1993-03-09 Toyo Ink Mfg. Co., Ltd. Image deformation method and apparatus using coordinate transformation
JP3164617B2 (ja) * 1991-11-07 2001-05-08 株式会社日立製作所 文字図形変形処理装置および方法
AU690551B2 (en) * 1993-03-25 1998-04-30 Mgi Software Corp. Method and system for image processing
JPH07192122A (ja) * 1993-12-24 1995-07-28 Casio Comput Co Ltd 画像変形方法およびその装置
JP3676443B2 (ja) * 1995-09-01 2005-07-27 オリンパス株式会社 情報再生装置及び情報再生方法
US5768413A (en) * 1995-10-04 1998-06-16 Arch Development Corp. Method and apparatus for segmenting images using stochastically deformable contours
JPH09106453A (ja) * 1995-10-11 1997-04-22 Dainippon Screen Mfg Co Ltd 画像の変形方法

Also Published As

Publication number Publication date
US6035075A (en) 2000-03-07
JPH10283469A (ja) 1998-10-23

Similar Documents

Publication Publication Date Title
JP2919428B2 (ja) 画像変形装置
US7583276B1 (en) Warping tool definition
JPH1055437A (ja) 拡大宛先画像のピクセル値の生成方法
JPH10240925A (ja) 透視変換システム及び方法
WO1990009018A1 (en) Image processing apparatus
JP4760550B2 (ja) 画像変換装置及び画像変換プログラム
JPH1069549A (ja) 画像処理方法
JP2015114949A (ja) 画像処理装置、画像処理方法、画像処理装置用プログラム、および、記録媒体
JPH09106453A (ja) 画像の変形方法
JP2714100B2 (ja) 動画作成方法
JP4464258B2 (ja) 模様作成処理装置
JP3684171B2 (ja) 柄替えシミュレーションシステム
JPH07200800A (ja) 画像変形方法およびその装置
JPH0792839B2 (ja) 画像変換方法
JP3451292B2 (ja) 図形変形装置
JP3517982B2 (ja) 図形描画装置
JP2721344B2 (ja) 画像処理方法
JP3383142B2 (ja) 図形作成装置
JP2642374B2 (ja) 図形クリツピング方法
JPH06110442A (ja) 文字図形処理装置、及び文字または図形の変形処理方法
JPH08235382A (ja) 3次元コンピュータグラフィックス編集装置
JP2004184738A (ja) 画像スケーリング装置、画像スケーリング方法、プログラムおよび記録媒体
JPH0548876A (ja) グリツド機能を有する画像処理装置
JP2746980B2 (ja) 図形生成方法
JP2746981B2 (ja) 図形生成方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990406

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120423

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120423

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 15

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees