JP3096103B2

JP3096103B2 - 画像処理装置及び方法

Info

Publication number: JP3096103B2
Application number: JP03220672A
Authority: JP
Inventors: 裕行木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-08-30
Filing date: 1991-08-30
Publication date: 2000-10-10
Anticipated expiration: 2015-10-10
Also published as: US5684942A; JPH0561954A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置及び方法に
関し、例えば複数のオリジナル画像を合成する機能を有
した画像処理装置及び方法に関するものである。

【０００２】

【従来の技術】従来、コンピユータを用いたアニメーシ
ョン制作の技術に、「イン・ビトゥイーン」（以下「中
間の画像」という）と呼ばれるものがあった。これは、
キーフレームとなる２枚の画像を作成しておき、その間
の画像、すなわち、中間の画像を自動的に作成するもの
であった。以下に、図２、図３を用いて、４角形と３角
形のキーフレーム画像から、中間の画像を作成する例を
説明する。

【０００３】まず、図２（ａ）の様に、第１のキーフレ
ーム画像の特徴点１，２，３，４を指定し、特徴点を結
ぶことで、閉じた輪郭線５が作られる様にする。また、
図２では描かれていないが、作成された輪郭線５の内部
６を塗りつぶす色を指定する。

【０００４】次に、図２（ｂ）の様に、第２のキーフレ
ーム画像の特徴点１’，２’，３’，４’を、第１のキ
ーフレーム画像の特徴点１，２，３，４と対応するよう
に指定する。なお、第２のキーフレーム画像では、特徴
点１’と４’が同じ位置となっている。また、図２では
描かれていないが、作成された第２のキーフレーム画像
の閉じた輪郭線７の内部８を塗りつぶす色を指定する。

【０００５】ここまでが、前もって準備しておく内容で
あり、これを用いて、コンピユータが自動的に中間の画
像を作成する。以下に、その処理内容を、図３を用いて
説明する。なお、図２と同じ内容のものは、図３でも同
じ符号を記してある。

【０００６】まず、第１のキーフレーム画像と第２のキ
ーフレーム画像の対応する特徴点１と１’，２と２’，
３と３’，４と４’を結び、指定された内分比の点
１”，２”，３”，４”を求める。図３の例では、７：
３の比で内分比を求めている。次に、内分で得られた特
徴点を指定順で結び、輪郭線９を求める。この後、第１
のキーフレーム画像内部６の塗りつぶし色と第２のキー
フレーム画像内部８の塗りつぶし色を同じ内分比で混合
した色で輪郭線９の内部１０を塗りつぶす。

【０００７】この様にして、第１のキーフレーム画像と
第２のキーフレーム画像とから形状と色が中間状態にあ
る新しい画像を自動的に作り出せる。

【０００８】

【発明が解決しようとしている課題】しかしながら、上
記従来例では、コンピユータ・アニメーションの様に、
輪郭線があり、かつ、閉じた輪郭線の内部が均一の色で
塗りつぶされている場合にのみ、使用可能な技術であ
り、写真で撮影された自然画や、油絵や水彩画として描
かれた絵画をキーフレームとして、中間の画像を作成す
ることはできなかった。しかも、この輪郭線の対応する
順を指定していく作業は、非常に手間のかかる作業であ
り、この作業の困難さが、コンピユータ・アニメーショ
ンの生産性を低下させていた。

【０００９】本発明は、上述した従来例の欠点に鑑みて
なされたものであり、その目的とするところは、自然画
や絵画等のような輪郭線のない画像からでも中間の画像
を容易に作成できる画像処理装置を提供する点にある。

【００１０】

【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、本発明に係る画像処理装置は、階
調性を有する画像を処理する画像処理装置において、複
数の画像を入力する入力手段と、前記入力された複数の
画像に対してそれぞれ任意の領域を設定する設定手段
と、前記設定された任意の領域の画像をそれぞれ変形加
工する加工手段と、前記変形加工されたそれぞれの画像
を合成して中間的な画像を作成する作成手段とを備える
ことを特徴とする。

【００１１】

【作用】かかる構成によれば、入力手段は複数の画像を
入力し、設定手段は入力された複数の画像に対してそれ
ぞれ任意の領域を設定し、加工手段は設定された任意の
領域の画像をそれぞれ変形加工し、作成手段は変形加工
されたそれぞれの画像を合成して中間的な画像を作成す
る。

【００１２】

【実施例】以下に添付図面を参照して、本発明に係る好
適な一実施例を詳細を説明する。図１は本発明の一実施
例による画像処理装置の構成を示すブロツク図である。
同図において、１１１はスキヤナ等のように原稿を読み
取って画像データを入力する画像入力部である。この画
像入力部１１１で入力された２枚のオリジナル画像は、
デジタル画像データとして後述の処理部１１２に送られ
る。１１２は処理部であり、デジタル画像データに対す
る全ての処理をここで行う。また、前述の画像入力部１
１１や、後述する記憶部１１３、表示部１１４、座標入
力部１１５、画像出力部１１６との画像データの転送
や、制御データのやりとりを行い、システム全体の制御
を行っている。１１３は記憶部であり、画像データなど
がここに収納される。上記処理部１１２の制御により、
画像入力部１１１で読み込まれた画像データが、この記
憶部１１３に収納されたり、処理部１１２で必要な処理
プログラムや画像データや制御データが、この記憶部１
１３から読み出されたりする。

【００１３】１１４は表示部であり、画像や文字を表示
する。処理部１１２の指示に従い、画像の表示を行った
り、後述の座標入力部１１５のカーソルやその作業内容
を表示したり、現在処理中の内容を表示したりする。１
１５はマウスや、ディジタイザ等の座標入力部である。
この座標入力部１１５で指示している座標位置は、処理
部１１２によって常に読み取られ、その位置が表示部１
１４上にカーソルの形で表示されるようになっている。
座標入力部１１５は、画像領域指定や、コマンドやパラ
メータ選択の場合に使用される。１１６はインクジェッ
トプリンタや、カラーレーザプリンタの様な画像出力部
である。この画像出力部１１６は、処理部１１２によっ
て処理された画像を静止画のプリントとして出力する為
に使用される。

【００１４】１１７は本装置全体を制御するＣＰＵ、１
１８はＣＰＵ１７が動作するためのプログラム、例え
ば、図４〜図８，図１２の各フローチヤートに従うプロ
グラムを格納したＲＯＭ、１１９は各種プログラムのワ
ークエリアとして用いるＲＡＭをそれぞれ示している。

【００１５】次に、図４のフローチャートを用いて、本
実施例の画像処理装置による処理を、詳細に説明する。

【００１６】図４は本実施例によるメイン動作を説明す
るフローチヤートである。

【００１７】Ｓ１は、画像入力である。本実施例の処理
には、２枚のオリジナル画像が必要である。そこで、２
枚のオリジナル画像を、図１の画像入力部１１１を用い
てデジタル画像データとして入力し、これを、処理部１
１２を経由して記憶部１１３に収納する。オリジナル画
像として、写真や印刷物を使用する場合は、画像入力部
１１１は、公知のフィルムスキャナやフラットベッドス
キャナの様に、画像をスキャンしながらＣＣＤの様なイ
メージセンサを使ってアナログ／デジタル変換していく
機能を持った装置であれば良い。ここでデジタルに変換
された画像データは、処理部１１２を経由して記憶部１
１３に収納される。

【００１８】オリジナル画像が立体物の場合は、前もっ
てカメラで撮影しておき、上述のフィルムスキャナを使
って入力することができる。また、ビデオカメラを使用
する場合は、画像入力部１１１として、公知のビデオメ
モリ装置を使用すれば可能である。このビデオメモリ装
置は、ビデオ信号の１フィールド、または、１フレーム
をアナログ／デジタル変換する装置であり、ビデオの任
意の１画面をデジタル化することが出来る。ここでデジ
タルに変換された画像データは、処理部１１２を経由し
て記憶部１１３に収納される。オリジナル画像が、例え
ば、コンピユータグラフィックスのプログラムで作成さ
れた画像の様に、既に、デジタル化された画像の場合
は、画像入力部１１１として、公知のＭＴ（磁気テー
プ）装置の様な、デジタルデータを直接読み込む装置を
用いれば良い。ここで読み込まれたデジタル画像データ
は、処理部１１２を経由して記憶部１１３に収納され
る。

【００１９】Ｓ２は、マスク画像の作成である。Ｓ１で
入力された２枚のオリジナル画像は、画面全体が、処理
に使用する領域であるとは限らない。このため、オリジ
ナル画像全体から、処理に使用する領域を指定するの
が、このステップである。このステップで、処理に使用
する領域と、使用しない領域を区別する為の、マスク画
像が作成される。このマスク画像作成は、２枚のオリジ
ナル画像それぞれに対して行われ、作成された２枚のマ
スク画像は、記憶部１１３に収納される。このＳ２のス
テップの詳細を、図６のフローチャートを基に説明す
る。

【００２０】図６は本実施例によるマスク画像作成の動
作を説明するフローチヤートである。

【００２１】まずＳ３１で、記憶部１１３に収納された
オリジナル画像を、処理部１１２に読み込む。次にＳ３
２で、処理部１１２内に、オリジナル画像と同じ大きさ
のマスク画像用の領域を作成する。但し、マスク画像の
ビット数は、１ビットあれば十分である。次に、Ｓ３３
で、このマスク画像を初期化して、値を全て０にする。

【００２２】次にＳ３４で表示部１１４にオリジナル画
像とマスク画像を重ねて表示する。これは、オリジナル
画像が表示された上に、マスク画像の対応する画素のビ
ットが０の場合は、何も表示せず（即ち、透明であり、
下のオリジナル画像が見える状態である）、マスク画像
の対応する画素のビットが１である場合は、例えば赤色
のような特定の色を表示する（即ち、特定の色で塗りつ
ぶされて、オリジナル画像が見えない状態である）様に
なっている。初期状態では、マスク画像のビットは全て
０なので、オリジナル画像が全て見える状態になってい
る。

【００２３】次にＳ３５で、例えばマウスのような座標
入力部１１５を用いて、マスク領域を設定していく。座
標入力部１１５は、表示部１１４上に、自分自身の位置
に対応したカーソルを表示する様になっている。この
為、希望した位置にカーソルが来る様に、座標入力部１
１５を動かして、この位置で、不図示の座標入力部１１
５のボタンを押すことにより、この位置で処理を行わせ
ることができる。座標入力部１１５には、不図示のボタ
ンがいくつかあり、押すボタンにより、３種類の異なっ
た動作を行わせることができる。第１のボタンが押され
た時は、後述のＳ３６に進み、カーソル位置にマスク領
域を設定する。第２のボタンが押された時は、後述のＳ
３７に進み、カーソル位置のマスク領域を解除する。マ
スク領域の設定が終了した時は、第３のボタンを押し、
後述のＳ３８の処理を行う。

【００２４】Ｓ３６は、マスク領域を設定するプロセス
であり、座標入力部１１５の第１のボタンが押された
時、処理部１１２は、マスク画像の、カーソルで指示さ
れた画素のビット２を１に設定する。この後、Ｓ３４に
戻ると、表示部１１４上では、この画素位置がマスク画
像用の特定の色に変換され、オリジナル画像が見えなく
なる。Ｓ３７は、マスク領域を解除するプロセスであ
り、座標入力部１１５の第２のボタンが押された時、処
理部１１２は、マスク画像の、カーソルで指示された画
素のビットを０に設定する。この後、Ｓ３４に戻ると、
表示部１１４上では、この画素位置がマスク画像用の特
定の色が消え、オリジナル画像が見える様になる。

【００２５】Ｓ３８では、処理部１１２は、作成したマ
スク画像を記憶部１１３に収納する。これによって、マ
スク領域の設定が終了する。なお、このマスク領域の設
定は、２枚のオリジナル画像の両方で行う必要がある。

【００２６】図４に説明を戻し、Ｓ３は、微小領域の自
動割当であり、Ｓ１で入力されたオリジナル画像の、Ｓ
２で作成したマスク領域の部分に、予め設定しておいた
個数の微小領域、すなわち、微小な四角形領域を自動的
に割り当てる。この四角形は、お互いに重なり合わない
ように、且つ、マスク領域全体を被うように、設定され
る。この手順は、２枚のオリジナル画像それぞれに対し
て行われる。

【００２７】この処理内容の詳細を、図５のフローチャ
ートと図７を用いて説明する。

【００２８】図５は本実施例による微小領域の自動割り
当て動作を説明するフローチヤートであり、図７は図５
の説明を補足する図である。この例では、オリジナル画
像のマスク領域に、横方向にｎ個、縦方向にｍ個の微小
の四角形領域を設定するものとする。

【００２９】Ｓ２１で、記憶部１１３に収納されたマス
ク画像１７を、処理部１１２に読み込む。図７のマスク
画像１７において、ビットに１が立っているマスク領域
を１８、ビットに０が立っている非マスク領域を１９と
する。次に、Ｓ２２でこのマスク画像１７を上方向から
スキャンしていき、各ライン上で、マスク画像のビット
に１が立っている左端画素と右端画素を求める。そし
て、左端画素と右端画素の距離が、四角形の横方向個数
ｎに対応して、予め定まっている幅以上になった最初の
位置を、四角形領域割当の最上端とし、この時の左端画
素と右端画素を、それぞれ、Ｐ₀₀、Ｐ_n0とする。

【００３０】次に、Ｓ２３でこのマスク画像１７を下方
向からスキャンしていき、各ライン上で、マスク画像の
ビット１が立っている左端画素と右端画素を求める。そ
して、左端画素と右端画素の距離が、四角形の横方向個
数ｎに対応して、予め定まっている幅以上になった最初
の位置を、四角形領域割当の最下端とし、この時の左端
画素と右端画素を、それぞれ、Ｐ_om、Ｐ_nmとする。

【００３１】次に、Ｓ２４で、Ｓ２２とＳ２３で求めた
四角形領域の最上端と最下端の距離を、四角形の縦方向
個数ｍで等分し、等分した各ライン上で、マスク画像の
ビットに１が立っている左端画素Ｐ₀₁、Ｐ₀₂、…、Ｐ
_0(m-1)と右端画素Ｐ_n1、Ｐ_n2，…、Ｐ_n(m-1)を求める。
この等分した画素の縦方向の座標値が、四角形のＹ座標
値として使用されることになる。

【００３２】次に、Ｓ２５で、Ｓ２２で求めた四角形領
域の最上端での左端画素Ｐ₀₀と右端画素Ｐ_n0間、そし
て、Ｓ２３で求めた四角形領域の最下端での左端画素Ｐ
_0mと右端画素Ｐ_nm間、そして、Ｓ２４で求めた等分した
ライン上での左端画素Ｐ₀₁、Ｐ ₀₂、…、Ｐ_0(m-1)と右端
画素Ｐ_n1、Ｐ_n2、…Ｐ_n(m-1)間を四角形の横方向個数ｎ
で等分した座標値Ｐ₁₀、Ｐ₂₀、…、Ｐ_(n-1)0、Ｐ₁₁、Ｐ
₂₁、…、Ｐ_(n-1)1、…、Ｐ_1m、Ｐ_2m、…、Ｐ_(n-1)mを求
める。この等分した画素の横方向の座標値が、四角形の
Ｘ座標値として使用されることになる。

【００３３】次に、Ｓ２６で、Ｓ２２からＳ２５で求め
たＰ₀₀からＰ_nmの画素を用い、全ての隣接する４画素の
組［Ｐ₀₀，Ｐ₀₁，Ｐ₁₁，Ｐ₁₀］、［Ｐ₁₀，Ｐ₁₁，Ｐ₂₁，
Ｐ₂₀］、…、［Ｐ_(n-1)(m-1)，Ｐ_(n-1)m，Ｐ_nm，Ｐ
_n(m-1)］を作り、これを微小の四角形の４つの座標値の
組とする。

【００３４】最後にＳ２７で、Ｓ２６で作成した、微小
の四角形（微小四角形）の座標値の組を、記憶部１１３
に微小四角形座標値ファイルとして収納する。

【００３５】この処理を、２つのマスク画像両方に対し
て行い、２つの微小四角形の座標値ファイルが自動的に
作成される。なお、２つの微小四角形の座標値ファイル
は、四角形全てが、お互いに対応する順番に書かれる様
になっている。また、微小四角形の４つの座標値は、全
て対応した順番に書かれる様になっている。

【００３６】この様に、本実施例は、２つのオリジナル
画像の微小領域への分割を、オリジナル画像の領域を指
定したマスク画像を用いて自動的に作成する為、微小領
域を区分する為に個々の座標値を入力する手間が不要と
なり、作業が非常に簡単になるという特徴を持ってい
る。

【００３７】さらに図４の説明に戻り、Ｓ４は、微小領
域の修正である。Ｓ３で、自動的に微小領域が割り振ら
れたが、操作者の意志により修正や、変更を加えるもの
である。この処理の詳細を、図８のフローチャートを用
いて説明する。

【００３８】図８は本実施例による微小領域の修正動作
を説明するフローチヤートである。まずＳ４１で、オリ
ジナル画像と座標値ファイルを、記憶部１１３から処理
部１１２に読み出す。Ｓ４２で、オリジナル画像を、表
示部１１４に表示する。

【００３９】次に、Ｓ４３で、座標値ファイルに書かれ
た全ての四角形の輪郭を、予め定められた特定の色で、
オリジナル画像の対応する座標値に重なる様に、表示位
置１４に表示する。Ｓ４４で操作者が行う、座標入力部
１１５のボタンを押した位置と、放した位置、および、
押したボタンを検出する。ここでは、座標入力部１１５
の不図示の５個のボタンが使用される。第１のボタンか
ら第４のボタンは、微小四角形の４つの座標値の組のそ
れぞれ、１番目から４番目の座標値に対応し、これらの
ボタンが押された場合は、座標値の変更であると判断
し、後述のＳ４５に進む。第５のボタンが押された場合
は、終了であると判断し、Ｓ４６に進む。Ｓ４５では、
座標入力部１１５のボタンが押された位置と、座標入力
部１１５の押されたボタンに対応する座標値ファイルの
座標値の距離が調べられる。そして、所定の距離以内で
最も短い距離となった座標値を、座標入力部１１５のボ
タンが放された位置の座標値に変更する。この時、座標
入力部１１５の第１から第４のどのボタンが同時に押さ
れていてもかまわない。

【００４０】この処理の内容を、図９を基に更に詳細に
説明する。

【００４１】図９は図８の説明を補足する図である。図
９（ａ）では、４つの微小四角形２１，２２，２３，２
４がある。今、座標値ファイルの座標の順を、左上、左
下、右下、右上の順であるとすると、４つの微小四角形
２１，２２，２３，２４が共有している頂点２５は、第
１の微小四角形２１では３番目の座標値、第２の微小四
角形２２では４番目の座標値、第３の微小四角形２３で
は１番目の座標値、第４の微小四角形２４では２番目の
座標値となる。

【００４２】ここで、座標入力部１１５の不図示の第１
から第４の４つのボタンが、カーソル２６が頂点２５に
近い２７の位置にある時に同時に押され、カーソル２６
が２８の位置にある時に放されたとする。この時、座標
値ファイルの１番目から４番目の全ての座標値と、２７
の位置の座標値との距離が調べられる。この結果、微小
四角形２１の３番目の座標値、微小四角形２２の４番目
の座標値、微小四角形２３の１番目の座標値、微小四角
形２４の２番目の座標値が、最も近い位置にあると判定
される。そして、この４つの座標値が、座標入力部１１
５のボタンが放された位置の座標値２８に置き換えられ
る。この結果、図９（ｂ）の様に、頂点２５は、２８の
位置に移動する。

【００４３】また、座標入力部１１５の不図示の第３の
ボタンと第４のボタンの２つのボタンが、カーソル２６
が頂点２５に近い２７の位置にある時に押され、カーソ
ル２６が２８の位置にある時に放されたとする。この
時、座標値ファイルの３番目と４番目の座標値と、２７
の位置の座標値との距離が調べられる。この結果、微小
四角形２１の３番目の座標値と、微小四角形２２の４番
目の座標値が、最も近い位置にあると判定される。そし
て、この２つの座標値が、座標入力部１１５のボタンが
放された位置の座標値２８に置き換えられる。この結
果、図９（ｃ）の様に、頂点２５は、微小四角形２１と
２２の頂点２８と微小四角形２３と２４の頂点２５（こ
ちらの位置は変わっていない）の２つの分解され、中央
に穴が作られた様になる。

【００４４】この様にして、座標値ファイルが書き換え
られると、Ｓ４３に戻り、今書き換えたばかりの座標値
ファイルに従つて、微小四角形の輪郭が再描画される。

【００４５】なお、座標入力部１１５のボタンが押され
た位置の近くに、該当する座標値がない場合は、Ｓ４５
では何も変更を行わない為、Ｓ４３の再描画でも輪郭が
変更される事はない。

【００４６】この様にして、座標位置の修正が全て完了
したら、座標入力部１１５の不図示の第５のボタンが押
される。これによって、Ｓ４６に進み、修正された座標
値ファイルが、記憶部１１３に再び収納されて、修正作
業が完了する。なお、この操作は、２つの微小四角形座
標値ファイルの両方に対して行う。

【００４７】この様に、この操作によって、微小四角形
の頂点の位置を自由に動かしたり、微小四角形に頂点を
分解して、穴やスリット（マスクの端部で、４つのボタ
ンの全てを押さずに操作すると、穴ではなく、スリット
になる）を作成することができる。この操作を自由に組
み合わせることによって、Ｓ３で自動割り当てされた微
小領域を、容易に、思いのまま、変更することができる
特徴がある。

【００４８】そして、図４の説明に戻り、Ｓ５は、内分
比ａ（０≦ａ≦１）の指定であり、２枚のオリジナル画
像を、どの割合で合成した画像を作成するかを指定す
る。この内部比ａの指定は、図１には不図示のキーボー
ドの様な、文字・数字の入力装置を用いてもかまわない
し、座標入力部１１５を用いて、座標入力部１１５のボ
タンが押された位置の座標値によって入力してもかまわ
ない。

【００４９】Ｓ６からＳ８までは、個々の微小の四角形
領域の演算である。

【００５０】まず、Ｓ６は微小領域形状演算であり、２
組の微小四角形座標値ファイルからお互いに対応する微
小四角形を１つ選び出し、Ｓ５で与えられた内分比ａを
用いて、内分位置での四角形形状を、計算によって求め
る。

【００５１】第１のオリジナル画像の微小四角形の４つ
の座標値を、（ｘ_00, ｙ₀₀），（ｘ ₀₁，ｙ₀₁），
（ｘ₀₂，ｙ₀₂），（ｘ₀₃，ｙ₀₃）とし、それに対応する
第２のオリジナル画像の微小四角形の４つの座標値を、
対応する順に（ｘ₁₀，ｙ₁₀），（ｘｘ₁₁，ｙ₁₁），（ｘ
₁₂，ｙ₁₂），（ｘ₁₃，ｙ₁₃）とした時、変形して得られ
る内分四角形の座標値を、対応する順に（Ｘ₀ ，Ｙ
₀ ），（Ｘ₁ ，Ｙ₁ ），（Ｘ₂ ，Ｙ₂ ），（Ｘ₃ ，Ｙ
₃ ）とすると、以下の計算式で求めることができる。す
なわち、Ｘ₀ ＝ａ×ｘ₀₀＋（１．０−ａ）×ｘ₁₀、Ｙ₀ ＝ａ×ｙ₀₀＋（１．０−ａ）×ｙ₁₀、Ｘ₁ ＝ａ×ｘ₀₁＋（１．０−ａ）×ｘ₁₁、Ｙ₁ ＝ａ×ｙ₀₁＋（１．０−ａ）×ｙ₁₁、Ｘ₂ ＝ａ×ｘ₀₂＋（１．０−ａ）×ｘ₁₂、Ｙ₂ ＝ａ×ｙ₀₂＋（１．０−ａ）×ｙ₁₂、Ｘ₃ ＝ａ×ｘ₀₃＋（１．０−ａ）×ｘ₁₃、Ｙ₃ ＝ａ×ｙ₀₃＋（１．０−ａ）×ｙ₁₃ である。Ｓ７は、オリジナル画像からの変形演算であ
り、２つのオリジナル画像の微小四角形領域から、Ｓ６
で求めた内分四角形領域への変形演算を、それぞれ行
う。

【００５２】最初に、最も基本的な、オリジナル画像側
の微小四角形も、変形後の内分四角形も凸四角形の場合
に関して、図１０を用いて説明する。

【００５３】図１０は、本実施例において、オリジナル
画像からの変形演算を説明する図である。図１０におい
て、（ａ）の四角形４１がオリジナル画像側の微小領域
四角形であり、（ｂ）の四角形３１が、変形後の内分四
角形であるとする。図１０（ｂ）に示した変形後の内分
四角形３１の４つの辺を３２、３３、３４、３５とす
る。ここで、辺３２と辺３４、および辺３３と辺３５は
対向する２辺となっている。この、対向する２辺３２と
３４を、同じ方向からｂ：（１−ｂ）の比（但し、０≦
ｂ≦１とする）に内分する点同士を結んだ線分を線分３
６とする。また、対向する２辺３３と３５を、同じ方向
からｃ：（１−ｃ）の比（但し、０≦ｃ≦１とする）に
内分する点同士を結んだ線分を線分３７とする。

【００５４】また、図１０（ａ）に示したオリジナル画
像側の四角形４１の４つの辺を、変形後の四角形３１の
各辺に対応する順番に、４２、４３、４４、４５とす
る。ここで、辺４２と辺４４、及び、辺４３と辺４５は
対向する２辺となっている。

【００５５】この状態で、変形後の四角形３１の内部に
位置する１画素Ｐを選び、線分３６と画素Ｐとの距離が
最も近くなる時の内分比ｂの値と、線分３７と画素Ｐと
の距離が最も近くなる時の内分比ｃの値とを求める。次
に、オリジナル画像側の四角形４１の辺４２と辺４４
を、今求めた内分比ｂで分割した点同士を結んだ線分４
６を求める。次に、オリジナル画像側の四角形４１の辺
４３と辺４５を、今求めた内分比ｃで分割した点同士を
結んだ線分４７を求める。そして、線分４６と線分４７
の交点の画素Ｑを求める。この交点の画素Ｑの色が、変
形後の四角形Ｐの画素の色となる。

【００５６】このようにして、変形後の内分四角形３１
の内側の全ての画素Ｐに対して、対応するオリジナル画
像側の微小四角形の画素Ｑの色を持ってくれば、Ｓ７
（図４）での演算が完了する。

【００５７】次に、四角形が凹四角形の場合に関して、
説明する。四角形が凹四角形の場合、オリジナル画像側
の微小四角形であっても、変形後の内分四角形であって
も、上記、凸四角形で用いられた手法では、四角形外部
の画素を拾ってくる場合があり、そのまま使用すること
はできない。そこで、本発明実施例では、以下のような
方法を用いている。これを図１１を使用して説明する。

【００５８】図１１は、本実施例において、オリジナル
画像からの変形演算を説明する図である。図１１におい
て、凹四角形の４つの頂点を５１，５２，５３，５４と
し、このうち、凹部となっている頂点が５３であるとす
る。この時、２つの頂点５２と５４を結ぶ線分５５に対
して、頂点５３と線対称の位置にある点を５６とする。
この状態で、微小四角形５２，５３，５１，５２（頂点
５２は重なっており、実際は三角形である）から、微小
四角形５２，５６，５１，５２（頂点５２は重なってお
り、実際は三角形である）への変形処理を、上述凸四角
形の変形手法を用いて行う。

【００５９】次に、微小四角形５４，５３，５１，５４
（頂点５４は重なっており、実際は三角形である）か
ら、微小四角形５４，５６，５１，５４（頂点５４は重
なっており、実際は三角形である）への変形処理を、上
述凸四角形の変形手法を用いて行う。

【００６０】この様にすれば、凹四角形５１，５２，５
３，５４を、凸四角形５１，５２，５６，５４に変換す
ることができる。こうすれば、Ｓ７の処理は凹四角形が
からんでも、一度凸四角形に変換して演算できるので、
問題なく処理できることになる。

【００６１】図１２は本実施例によるオリジナル画像か
らの変形演算処理を説明するフローチャートである。

【００６２】まずＳ５１で、オリジナル側の微小四角形
が凸であるか凹であるかを調べる。凹であればＳ５２
に、凸であればＳ５４に進む。

【００６３】オリジナル側の微小四角形が凹四角形であ
れば、Ｓ５２に進み、ここで、凹四角形に対応する凸四
角形のメモリ領域を確保する。次にＳ５３で、凹四角形
から凸四角形への変形処理を行う。続いてＳ５４では、
今度は内分四角形が凸であるか凹であるかを調べる。凹
であれば、Ｓ５５に、凸であれば、Ｓ５９に進む。

【００６４】ここで、内分四角形が凹四角形であれば、
Ｓ５５に進み、ここで、凹四角形に対応する凸四角形の
メモリ領域を確保する。次にＳ５６で、オリジナル画像
の微小凸四角形、又は、Ｓ５３で作成した凸四角形か
ら、Ｓ５５でメモリ領域を確保した凸四角形への変形演
算（上記図１０を用いて説明した演算）を行う。次にＳ
５７で、凸四角形から凹四角形への変形処理を行う。こ
の凸四角形から凹四角形への変形処理は、上述の凹四角
形から凸四角形への変形処理を逆方向に行うものであ
る。Ｓ５７での凸四角形から凹四角形への変形処理が終
了すれば、Ｓ５５でメモリ領域を確保した凸四角形は不
要になるので、Ｓ５８で、メモリ領域の解放を行う。

【００６５】また内分四角形が凸四角形であれば、Ｓ５
９に進み、オリジナル画像の微小凸四角形、又は、Ｓ５
３で作成した凸四角形から、内分凸四角形への変形演算
（上記図１０を用いて説明した演算）を行う。

【００６６】次に、Ｓ６０で、Ｓ５２のステップで、オ
リジナル画像用の凸四角形のメモリ領域を確保したかど
うかを判定し、凸四角形のメモリ領域を確保した場合
は、もう不要なので、Ｓ６１に進んでこのメモリ領域を
開放する。

【００６７】以上で、オリジナル画像側の１つの微小四
角形から、対応する１つの内分四角形への、変形演算が
完了する。

【００６８】なお、このオリジナル画像側の微小四角形
から、対応する内分四角形への変形演算は、２つのオリ
ジナル画像それぞれから行い、２つの内分四角形を作成
する。

【００６９】そして図４の説明に戻り、Ｓ８は、色演算
であり、Ｓ７で求めた、第１のオリジナル画像からの内
分四角形と、第２のオリジナル画像からの内分四角形か
ら、対応する画素の色と、Ｓ５で指定した内分比ａを用
いて、合成した色の演算を行う。

【００７０】第１のオリジナル画像からの内分四角形の
１つの画素の色をＲ₀ 、Ｇ₀ 、Ｂ₀、第２のオリジナル
画像からの内分四角形の対応する画素の色をＲ₁ 、Ｇ
₁ 、Ｂ ₁ とし、Ｓ５で指定した内分比をａとした時、色
演算で得られる画素の色Ｒ、ＧＢは、Ｒ＝ａ×Ｒ₀ （１−ａ）×Ｒ₁ 、Ｇ＝ａ×Ｇ₀ （１−ａ）×Ｇ₁ 、Ｂ＝ａ×Ｂ₀ （１−ａ）×Ｂ₁ で求められる。

【００７１】Ｓ９は、微小領域演算の終了の判断であ
り、全ての微小領域に対して処理が終了した場合は、後
述のＳ１０に進み、未処理の微小領域が残っている場合
は、次の微小領域に対して、Ｓ６からＳ８の処理を行
う。

【００７２】最後に、Ｓ１０で、画像出力部１１６を用
いて、作成した変形画像を出力すれば、全ての操作は完
了する。この、画像出力部は、例えば、フィルムレコー
ダの様なフィルム出力装置である。

【００７３】以上説明した様に、本実施例によれば、２
枚の静止画より、その中間の画像を容易に作り出せるの
で、自然画や絵画等のように輪郭線のない画像からでも
中間の画像を容易に作成でき、クリエイティビティのあ
る、新しい創造活動が可能になる。

【００７４】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００７５】

【発明の効果】以上説明した様に、本発明によれば、自
然画や絵画等のように輪郭線のない画像からでも中間の
画像を容易に作成できる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像処理装置の構成を
示すブロツク図である。

【図２】

【図３】従来例による画像作成例を示す図である。

【図４】本実施例によるメイン動作を説明するフローチ
ヤートである。

【図５】図５は本実施例による微小領域の自動割り当て
動作を説明するフローチヤートである。

【図６】本実施例によるマスク画像作成の動作を説明す
るフローチヤートである。

【図７】図５の説明を補足する図である。

【図８】本実施例による微小領域の修正動作を説明する
フローチヤートである。

【図９】図８の説明を補足する図である。

【図１０】本実施例において、オリジナル画像からの変
形演算を説明する図である。

【図１１】本実施例において、オリジナル画像からの変
形演算を説明する図である。

【図１２】本実施例によるオリジナル画像からの変形演
算処理を説明するフローチャートである。

【符号の説明】

１１１画像入力部１１２処理部１１３記憶部１１４表示部１１５座標入力部１１６画像出力部１１７ＣＰＵ１１８ＲＯＭ１１９ＲＡＭ

Claims

(57)【特許請求の範囲】

【請求項１】階調性を有する画像を処理する画像処理装
置において、複数の画像を入力する入力手段と、前記入
力された複数の画像に対してそれぞれ任意の領域を設定
する設定手段と、前記設定された任意の領域の画像をそ
れぞれ変形加工する加工手段と、前記変形加工されたそ
れぞれの画像を合成して中間的な画像を作成する作成手
段とを備えることを特徴とする画像処理装置。
【請求項２】前記設定手段は、それぞれの任意の領域を
指示する領域指示手段と、前記入力された複数の画像に
対して前記領域指示手段の指示に基づいてマスク処理す
るマスク手段とを含むことを特徴とする請求項１記載の
画像処理装置。
【請求項３】前記加工手段は、前記設定手段によって設
定された任意の領域をそれぞれ微小領域に分割する分割
手段と、前記分割された微小領域を前記設定手段により
設定された領域に基づいて補正する補正手段とを含むこ
とを特徴とする請求項１記載の画像処理装置。
【請求項４】前記作成手段は、前記加工手段によって変
形加工されたそれぞれの画像の階調成分に基づいて前記
中間的な画像の階調を演算する演算手段を含むことを特
徴とする請求項１記載の画像処理装置。
【請求項５】前記演算手段は、画素単位に行うことを特
徴とする請求項４記載の画像処理装置。
【請求項６】階調性を有する画像を処理する画像処理装
置における画像処理方法であって複数の画像を入力し、
入力された複数の画像に対してそれぞれ任意の領域を設
定し、設定された任意の領域の画像をそれぞれ変形加工
し、前記変形加工されたそれぞれの画像を合成して中間
的な画像を作成することを特徴とする画像処理方法。