JP5235791B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像を異なる視点から見たような印象を与える画像に変換する画像処理装置、画像処理方法及び画像処理プログラムに関する。

ゲーム機器による画面の映像処理や画像のデザイン編集などにおいて、入力画像に対して拡大縮小を行なう変換処理する技術がある。
所定の画像に対して１本又は複数本の走査線毎にウインドウを設定し、所定の画像をウインドウ内に表示するように拡大縮小することにより、所定の画像を例えば遠近画法表示の画像に変換する技術が特許文献１に開示されている。

また、画像の縦方向における任意の場所で、かつ任意の倍率に設定を行う入力手段と、該入力手段の設定に従って、所定の倍率から任意の他の倍率へ連続的に画像を変換する技術が特許文献２に開示されている。

さらにまた、ライン毎に拡縮率を設定可能にすることにより、１つの基本となるキャラクタで、ライン毎に横方向の倍率の異なる画面を表示でき、同一キャラクタについて形や大きさが異なる多種類のキャラクタを持つ必要のないラインズームを行なう技術が特許文献３に開示されている。

特開平１−２８０５６３号公報 特開平２−７８３６８号公報 特開平９−９１４１５号公報

上述した特許文献１から３のいずれの技術も、画像全体に対して縮小拡大を行う際、同一ラインに対して均一に縮小拡大を行うため、変換前の画像の形と、変換後の画像の形が変わるというという問題があった。

これは、画像から一部の被写体を切り出して、その被写体に対して変換を行い、変換した被写体を別の画像に合成するなどの場合は問題とならないが、画像全体を変換する場合では、変換後の画像の大きさが、変換前の画像より小さくなる場合が発生する可能性があり、その場合、変換前の画像では表示ができていた領域に、変換後の画像では、表示すべき情報が無いため、表示できなくなるという問題があった。

さらにまた、縮小拡大を行うライン間において、隣接するそれぞれのラインの縮小拡大の倍率に対しては、任意であり、規定が無いため、変換後の画像を見た際に、不自然な画像となるという問題があった。

また、画像の変形により、遠近感の操作は可能であるが、画像を撮家した際の撮像位置（以下、視点位置とする）を変更するなどの複雑な変換はできないという問題があった。

本発明は、斯かる実情に鑑み、画像を異なる視点から見たような印象を与える画像に変換する場合に、元画像と形状が同じで違和感がない自然な画像に変換できる画像処理装置、画像処理方法、及び画像処理プログラムを提供しようとするものである。

本発明は、入力された入力画像データに対して画像変換を行う画像処理装置において、
前記入力画像データと、前記入力画像データ内において処理の対象となる領域である少なくとも一つ以上の変換領域を示す変換領域情報と、変換の基準となる前記変換領域内の基準線もしくは基準点の初期位置を指定する初期位置情報と、前記基準線もしくは前記基準点を変換領域内で移動させた際の移動位置を示す移動位置情報と、を外部から受け付ける入力手段と、
前記変換領域情報に基づいて、前記入力画像データから、変換領域のみを切り出して作成した少なくとも一つ以上の変換対象画像データと、変換領域でない領域を切り出して作成した少なくとも一つ以上の無変換画像データと、を出力する領域決定手段と、
前記変換対象画像データと、前記初期位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の初期位置を決定する初期位置決定手段と、
前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の移動位置を決定する移動位置決定手段と、
前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記初期位置を用いて前記変換対象画像データを少なくとも２つの小領域に分割し、前記少なくとも２つの小領域のそれぞれに対し、前記初期位置に対する前記移動位置の方向に応じて拡大または縮小を行う画像変換手段と、
前記変換画像データと、前記無変換画像データと、前記変換領域情報を入力とし、前記変換領域情報を用いて、前記変換画像データと前記無変換画像データを合成して作成した一枚の出力画像データを出力する画像合成手段と、
を備え、
前記移動位置決定手段は、前記２つの小領域のうち、最も小さい領域を移動制限範囲として求め、前記移動制限範囲の前記基準線または前記基準点を通る基準水平線または基準垂直線と直角となる方向の中心が初期位置となるように、前記移動制限範囲を前記直角となる方向に移動し、前記基準線または前記基準点を通る基準水平線または基準垂直線の移動範囲を、移動した前記移動制限範囲の範囲内となるように制限することを特徴とする画像処理装置である。

また、前記画像変換手段は、入力された前記初期位置情報と前記移動位置情報が、前記基準線の初期位置と移動位置を示す情報である場合、前記基準線である基準水平線の移動位置が初期位置よりも下であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の縮小を行い、前記基準水平線の移動位置が初期位置よりも上であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の拡大を行うことを特徴とする。

また、前記画像変換手段は、入力された前記初期位置情報と前記移動位置情報が、前記基準線の初期位置と移動位置を示す情報である場合、前記基準線である基準垂直線の移動位置が初期位置よりも右であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の縮小を行い、前記基準垂直線の移動位置が初期位置よりも左であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の拡大を行うことを特徴とする。

また、前記画像変換手段は、入力された前記初期位置情報と前記移動位置情報が、前記基準点の初期位置と移動位置を示す情報である場合、前記基準点の水平方向の座標と垂直方向の座標から、基準点を通る基準水平線と基準垂直線の初期位置と移動位置を求め、
前記基準水平線の移動位置が初期位置よりも下であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の縮小を行い、前記基準水平線の移動位置が初期位置よりも上であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の拡大を行い、
前記基準垂直線の移動位置が初期位置よりも右であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の縮小を行い、前記基準垂直線の移動位置が初期位置よりも左であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の拡大を行う
ことを特徴とする。

また、前記画像変換手段は、前記２つの小領域のそれぞれに対して、さらに複数の分割領域に分けて変換を行うことを特徴とする。

また、前記画像変換手段は、前記分割領域に対して、拡大する領域に対しては、前記基準線または前記基準点を通る基準水平線または基準垂直線から遠ざかるほど大きく拡大し、また、縮小する領域に対しては、前記基準線または前記基準点を通る基準水平線または基準垂直線から遠ざかるほど小さく縮小することを特徴とする。

また、本発明は、入力された入力画像データに対して画像変換を行う画像処理方法において、
前記入力画像データと、前記入力画像データ内において処理の対象となる領域である少なくとも一つ以上の変換領域を示す変換領域情報と、変換の基準となる前記変換領域内の基準線もしくは基準点の初期位置を指定する初期位置情報と、前記基準線もしくは前記基準点を変換領域内で移動させた際の移動位置を示す移動位置情報と、を外部から受け付ける入力ステップと、
前記変換領域情報に基づいて、前記入力画像データから、変換領域のみを切り出して作成した少なくとも一つ以上の変換対象画像データと、変換領域でない領域を切り出して作成した少なくとも一つ以上の無変換画像データと、を出力する領域決定ステップと、
前記変換対象画像データと、前記初期位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の初期位置を決定する初期位置決定ステップと、
前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の移動位置を決定する移動位置決定ステップと、
前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記初期位置を用いて前記変換対象画像データを少なくとも２つの小領域に分割し、前記少なくとも２つの小領域のそれぞれに対し、前記初期位置に対する前記移動位置の方向に応じて拡大または縮小を行う画像変換ステップと、
前記変換画像データと、前記無変換画像データと、前記変換領域情報を入力とし、前記変換領域情報を用いて、前記変換画像データと前記無変換画像データを合成して作成した一枚の出力画像データを出力する画像合成ステップと、
を備え、
前記移動位置決定ステップは、前記２つの小領域のうち、最も小さい領域を移動制限範囲として求め、前記移動制限範囲の前記基準線または前記基準点を通る基準水平線または基準垂直線と直角となる方向の中心が初期位置となるように、前記移動制限範囲を前記直角となる方向に移動し、前記基準線または前記基準点を通る基準水平線または基準垂直線の移動範囲を、移動した前記移動制限範囲の範囲内となるように制限することを特徴とする画像処理方法である。

さらに本発明は、コンピュータに、前記画像処理方法のステップを実行させるためのプログラムである。

本発明の画像処理装置によれば、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準となる前記変換領域内の基準線もしくは基準点を選択し、初期位置を指定する初期位置情報と、前記基準線もしくは前記基準点を変換領域内で移動させた際の移動位置を示す移動位置情報を指定し、前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記初期位置を用いて前記変換対象画像データを少なくとも２つの小領域に分割し、前記少なくとも２つの小領域のそれぞれに対し、前記初期位置に対する前記移動位置の方向に応じて拡大または縮小を行うことにより、指定した前記変換対象領域内の前記基準線もしくは前記基準点を移動させることができ、その結果、ユーザーに対して、あたかも異なる視点位置から見たような印象を与える画像に変換することができる。

また、本発明の画像処理装置によれば、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準線として水平線を選択し、前記基準水平線の初期位置を指定し、次に前記基準水平線の垂直方向の移動位置を指定して、前記基準水平線の移動位置が初期位置よりも下となる場合は、前記変換対象領域のうち、前記基準水平線の初期位置よりも上の領域に対しては拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては縮小を行い、また、前記基準水平線の移動位置が初期位置よりも上となる場合は、前記変換対象領域のうち、前記基準水平線の初期位置よりも上の領域に対しては縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行うことにより、指定した前記変換対象領域内の基準水平線の位置を移動させることができ、その結果、ユーザーに対して、あたかも垂直方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。

また、本発明の画像処理装置によれば、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準線として垂直線を選択し、前記垂直線の初期位置を指定し、次に前記垂直線の水平方向の移動位置を指定して、前記基準垂直線の移動位置が初期位置よりも右となる場合は、前記変換対象領域のうち、前記基準垂直線の初期位置よりも左の領域に対しては拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては縮小を行い、また、前記基準垂直線の移動位置が初期位置よりも左となる場合は、前記変換対象領域のうち、前記基準垂直線の初期位置よりも左の領域に対しては縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行うことにより、指定した前記変換対象領域内の基準垂直線の位置を移動させることができ、その結果、ユーザーに対して、あたかも水平方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。

また、本発明の画像処理装置によれば、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準となる基準点を選択し、前記基準点の初期位置を指定し、次に前記基準点の移動位置を指定して、前記基準点の水平方向の座標と垂直方向の座標から、基準点を通る基準水平線と基準垂直線の初期位置と移動位置を求め、前記基準水平線の移動位置が初期位置よりも下となる場合は、前記変換対象領域のうち、前記基準水平線の初期位置よりも上の領域に対しては拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては縮小を行い、また、前記基準水平線の移動位置が初期位置よりも上となる場合は、前記変換対象領域のうち、前記基準水平線の初期位置よりも上の領域に対しては縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行った後、さらに、前記基準垂直線の移動位置が初期位置よりも右となる場合は、前記変換対象領域のうち、前記基準垂直線の初期位置よりも左の領域に対しては拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては縮小を行い、また、前記基準垂直線の移動位置が初期位置よりも左となる場合は、前記変換対象領域のうち、前記基準垂直線の初期位置よりも左の領域に対しては縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行うことにより、指定した前記変換対象領域内の基準点の位置を移動させることができ、その結果、ユーザーに対して、あたかも水平方向や、垂直方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。

また、前記画像処理装置によれば、画像を変換領域と無変換領域に分けて変換することにより、特定の被写体を含むように無変換領域を設定してやれば、その被写体に対して変換を行わず、元の形を維持しつつ、画像内での位置を変動させることができる。

また、前記画像処理装置によれば、画像を変換する際に、入力画像より大きくなるように変換した後、入力画像と同じ大きさになるように画像をクリッピングすることにより、例えば、撮影時のミスや、撮影条件などにより、画面の端などに、本来フレームの中に入れたくない余計な被写体が映りこんでしまった場合でも、後処理で被写体をフレームの外に移動させることができる。

また、前記画像処理装置によれば、前記基準線の移動位置に制限を設けることにより、画像の一部が極端に拡大されることを制限することができ、拡大による画像ぼけを防止することができる。

また、前記画像処理装置によれば、変換対象領をさらに複数の分割領域に分けて変換を行うことにより、前記変換領域と無変換領域の境界において不連続性に見えないように違和感なく変換を行うことができる。

また、前記画像処理装置によれば、変換対象領をさらに複数の分割領域に分け、各分割領域に対して、拡大する領域に対しては、前記基準線から遠ざかるほど大きく拡大し、また、縮小する領域に対しては、基準線から遠ざかるほど小さく縮小して、前記基準線周辺の拡大縮小率を抑えることにより、各分割領域間で隣り合うものの間で拡大または縮小された後の大きさと元の大きさとの差異を最小にすることができ、自然で違和感の少ない変換を行うことができる。

本発明の画像処理装置の構成例を示すブロック図である。 本発明の画像処理装置の動作についてのフローチャート図を示す。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 変換画像データの変換例を示す図である。 本発明の画像変換手段の変換アルゴリズムのフローチャートを示す図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の入力手段を通じて入力できる移動位置情報の範囲について説明する図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の画像変換手段の変換画像の例について説明する図である。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 本発明の画像処理装置の別の構成例を示すブロック図である。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 本発明の領域決定手段に入力された入力画像データと変換領域の例を示す図である。 変換画像データの変換例を示す図である。 本発明の画像処理装置のさらに別の構成例を示すブロック図である。 基準点の指定と、基準点の移動位置の指定の方法について説明する図である。 画像データと奥行き情報データの一例を示す図である。

以下に添付図面を参照して、この発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。また、以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。

はじめに、この発明の実施の形態にかかる画像処理装置の機能的構成について説明する。図１は、この発明の実施の形態にかかる画像処理装置の概略構成を示すブロック図である。

本実施の形態にかかる画像処理装置１は、入力手段２、領域決定手段３、初期位置決定手段４、移動位置決定手段５、画像変換手段６、画像合成手段７から構成される。

入力手段２は、ユーザーが外部から入力する情報として、次の３つの情報を受け付ける。
（１）画像処理装置１に入力された入力画像データ内において処理の対象となる領域である、少なくとも一つ以上の変換領域を示す変換領域情報
（２）変換の基準となる、前記変換領域内の一本の基準水平線の初期位置を指定する初期位置情報
（３）前記基準水平線を変換領域内で移動させた際の移動位置を示す移動位置情報

領域決定手段３は、入力画像データと前記変換領域情報を入力とし、次の画像データを出力する。
（１）前記入力画像データと前記変換領域情報に基づいて、前記入力画像データから変換領域のみを切り出して作成した、少なくとも一つ以上の変換対象画像データ
（２）変換領域でない領域を切り出して作成した、少なくとも一つ以上の無変換画像データ

初期位置決定手段４は、前記変換対象画像データと、前記初期位置情報を入力とし、前記変換対象画像データにおける前記基準水平線の初期位置を決定する。

移動位置決定手段５は、前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記変換対象画像データにおける前記基準水平線の上下方向に対する移動位置を決定する。

画像変換手段６は、前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、次の変換処理を行なう。すなわち、前記基準水平線の移動位置が初期位置よりも下となる場合は、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の縮小を行い、前記基準水平線の移動位置が初期位置よりも上となる場合は、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の拡大を行うことにより、変換画像データを作成し、出力する。

画像合成手段７は、前記変換画像データと、前記無変換画像データと、前記変換領域情報を入力とし、前記変換領域情報を用いて、前記変換画像データと前記無変換画像データを合成して作成した一枚の出力画像データを出力する。

まず、画像処理装置１の動作について、フローチャートに沿ってその動作について説明する。図２は、画像処理装置１の動作についてのフローチャート図を示す。

ステップＳ１００において、画像処理装置１の電源が入り、ステップＳ１０１に進む。
ステップＳ１０１において、入力画像データが領域決定手段３に入力され、ステップＳ１０２に進む。
ステップＳ１０２において、領域決定手段３は、ユーザーに対して、入力された入力画像データを、画像処理装置１の外部に接続された図示しない画像提示手段に提示し、ユーザーは提示された画像を見ながら、入力手段２を通じて、入力画像データのうち処理の対象となる領域である少なくとも一つ以上の変換領域を指定する。それと同時に、入力手段２は前記変換領域を示す情報を変換領域情報として領域決定手段３に出力し、領域決定手段３は、前記変換領域情報を用いて、入力画像データを変換対象画像データと無変換画像データに分けて出力し、ステップＳ１０３に進む。

ここで、前記変換領域情報は、例えば、矩形の左上の点の座標と、水平方向及び垂直方向の長さとしてもよい。また、入力手段２の例として、マウスや、タッチパッド、十字キーなどのユーザーインターフェースが挙げられる。

さらにまた、領域決定手段３が出力する前記変換対象画像データと無変換画像データについて図面を用いて簡単に説明する。図３から図６はそれぞれ、領域決定手段３に入力された入力画像データと、そのときの前記変換領域の例を示す図である。

図３（ａ）は、領域決定手段３に入力された入力画像８である。例えばユーザーが画面全体を変換領域として指定する場合、ユーザーは、前記画像提示手段に表示された入力画像８に対し、前記入力手段２を通じて、図３（ｂ）の点線で囲まれたような矩形の変換領域を指定するようにする。この場合、点線部分の変換領域９は入力画像８全体であり、領域決定手段３は、変換対象画像データとして入力画像８を、無変換画像データは無いものとして出力する。

図４（ａ）は、領域決定手段３に入力された入力画像１０である。例えばユーザーが、被写体１１を含まない領域を変換領域として指定する場合、ユーザーは、前記画像提示手段に表示された入力画像１０に対し、前記入力手段２を通じて、図４（ｂ）の点線で囲まれた矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ１０のうち、変換領域１２に囲まれた領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

図５（ａ）は、領域決定手段３に入力された入力画像１３である。例えばユーザーが、被写体１４を含まない領域を変換領域として指定する場合、ユーザーは、前記画像提示手段に表示された入力画像１３に対し、前記入力手段２を通じて、図５（ｂ）の点線で囲まれた矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ１３のうち、変換領域１５に囲まれた領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

図６（ａ）は、領域決定手段３に入力された入力画像１６である。例えばユーザーが、被写体１７と被写体１８を含まない領域を変換領域として指定する場合、ユーザーは、前記画像提示手段に表示された入力画像１６に対し、前記入力手段２を通じて、図６（ｂ）の点線で囲まれた矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ１６のうち、変換領域１９に囲まれた領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

このように画像を変換領域と無変換領域に分けて変換することにより、特定の被写体を含むように無変換領域を設定してやれば、その被写体に対して変換を行わず、元の形を維持しつつ、画像内での位置を変動させることができる。

また、上記で指定した矩形の変換領域は、入力画像に対して水平のライン単位で細かく変換領域を指定するようにしてもよい。

こうすることにより、変換後の変換領域と無変換領域の境界における不連続性を排除することができる。

ステップＳ１０３において、初期位置決定手段４に変換対象画像データが入力され、初期位置決定手段４は、ユーザーに対して、変換対象画像データを前記画像提示手段に提示する。ユーザーは、提示された画像をみながら、入力手段２を通じて、変換対象画像データのうち、変換の基準となる基準水平線の垂直方向の位置（初期位置とする）を入力する。それと同時に、入力手段２は前記基準水平線の位置を初期位置決定手段４に出力し、初期位置決定手段４は、入力された前記基準水平線の位置を初期位置情報として出力し、ステップＳ１０４に進む。

ステップＳ１０４において、移動位置決定手段５に変換対象画像データと初期位置情報が入力され、移動位置決定手段５は、ユーザーに対して、変換対象画像データと、基準水平線を前記画像提示手段に提示する。ユーザーは、提示された画像をみながら、入力手段２を通じて、変換のパラメータとなる基準水平線の移動先の垂直方向位置（移動位置とする）を入力する。それと同時に、入力手段２は、前記基準水平線の移動先の位置を移動位置決定手段５に出力し、移動位置決定手段５は、入力された前記基準水平線の移動先の位置を移動位置情報として出力し、ステップＳ１０５に進む。

ここで、基準水平線の変換対象画像データ上の位置は、初期位置情報から求めることができる。このとき、基準水平線が移動できる範囲は、変換対象画像データ内とし、移動できる方向は垂直方向とする。

また、ステップＳ１０３やステップＳ１０４において、前記画像提示手段は、変換対象画像データをユーザーに提示するとしたが、変換対象画像データの代わりに、入力画像データの上に変換領域を示す点線表示を行った画像を提示してもかまわない。

ステップＳ１０５において、画像変換手段６に、前記変換対象画像データと、前記初期位置情報と、前記移動位置情報が入力され、画像変換手段６は、前記初期位置情報が示す初期位置と、前記移動位置情報の示す移動位置を比較する。移動位置が初期位置よりも下となる場合は、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の縮小を行う。また、前記基準水平線の移動位置が初期位置よりも上となる場合は、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の拡大を行う。画像変換手段６は、以上のように変換画像データを作成する。

この際の変換画像データについて図面を用いて説明する。図７は、変換画像データの変換例を示す図である。例えば、図７（ａ）に示す画像を、画像変換手段６に入力された前記変換対象画像データ２０とすると、図７（ｂ）のように、前記初期位置情報が示す初期位置にある点線２１が基準水平線として選択される。画像変換手段６は、入力された前記移動位置情報の示す位置に、点線２１の位置が移動するように画像を変換する。

例えば、前記移動位置情報が、前記初期位置情報より上の場合は、点線２１は変換画像データ内を図７（ｃ）のように移動し、前記初期位置情報より下の場合は、点線２１は変換画像データ内を図７（ｄ）のように移動する。このように、変換画像データを作成する際の拡大率と縮小率の値を変え、変換を行う。

次に、画像変換手段６が、拡大率と縮小率の値を変え変換を行う際の変換アルゴリズムの例について図面を用いてさらに詳細に説明する。また、上記では、基準水平線より上の領域か、もしくは下の領域かで、拡大または縮小を行っており、基準水平線については縮小拡大の対象としていないが、基準水平線自体を、上または下のどちらの領域に含むようにしてもよい。以下では、説明の簡単化のため、基準水平線より上の領域に基準水平線も含む場合について説明する。

次に、変換アルゴリズムについて、図面及びフローチャート図を用いて説明する。図８は、基準水平線の移動位置が初期位置より下に移動する場合の変換アルゴリズムのフローチャートを示す図であり、図９は、基準水平線の移動位置が初期位置より下に移動する場合の変換画像について説明する図である。

ステップＳ２００において、前記変換対象画像データに対する変換を開始し、ステップＳ２０１に進む。
ステップＳ２０１において、前記初期位置情報と、前記移動位置情報から、前記基準水平線の移動方向と移動量を算出し、判定ステップＳ２０２に進む。
判定ステップＳ２０２において、移動量が０でない場合は、ステップＳ２０３に進み、そうでない場合は、ステップＳ２０１に戻る。

ステップＳ２０３において、図９（ａ）の変換対象画像データ２２に対して、基準水平線２３より上の領域と基準水平線を含む領域である上領域２４と、基準水平線より下の領域である下領域２５の２つの領域に分割し、ステップＳ２０４に進む。
判定ステップＳ２０４において、移動方向が下である場合は、ステップＳ２０５に進み、そうでない場合は、ステップＳ２０６に進む。

ステップＳ２０５において、上領域２４を拡大領域と設定し、ステップＳ２０７に進む。
ステップＳ２０７において、上領域２４の拡大倍率α（αは正の数とする）を算出し、ステップＳ２０８に進む。

このときの拡大倍率αの算出方法について説明する。
例えば、図９（ａ）において、変換対象画像データ２２の高さをｈとし、上領域２４の高さをｙ１、下領域２５の高さを（ｈ−ｙ１）とする（ｈ、ｙ１はそれぞれ正の数とする）。ここで、図９（ｂ）のように、上領域２４を垂直方向にα倍で拡大した場合、変換対象画像データ２２の高さはｈ＋（α―１）×ｙ１となる。
さらに、これに対して、図９（ｃ）のように、変換対象画像データ２２の高さが元のｈとなるように、変換対象画像データ２２の全体を垂直方向に縮小した場合は、上領域２４の高さはｙ２、下領域２５の高さは（ｈ−ｙ２）となる（ｙ２は正の数とする）。

この際、図９（ｂ）と図９（ｃ）は相似であるため、幾何学的に式（１）のような関係が導き出される。

αｙ１：（ｈ−ｙ１）＝ｙ２：（ｈ−ｙ２） … 式（１）
よって、拡大倍率αは式（２）で求められる。

ここで、ｈは変換対象画像データ２２の高さであり、またｙ１は前記初期位置情報であり、ｙ２は前記移動位置情報である。よって、あらかじめαを式（２）に従って算出しておく。

ステップＳ２０８において、上領域２４をα倍に垂直方向に拡大し、ステップＳ２０９に進む。
ステップＳ２０９において、入力画像と同じ大きさになるように全体を縮小して変換画像データを作成し、作成した変換画像データを出力して、ステップＳ２１０に進む。この際、基準水平線２３の位置は、前記移動位置情報の示す位置に移動することになる。
ステップＳ２１０において、ステップＳ１０５の変換処理を終了してステップＳ１０６に進む。

また、ステップＳ２０６において、下領域２５を拡大領域と設定し、ステップＳ２１１に進む。
ステップＳ２１１において、上領域２４の拡大倍率β（βは正の数とする）を算出し、ステップＳ２１２に進む。

このときの拡大倍率βの算出方法について説明する。図１０は、基準水平線の移動位置が初期位置より上に移動する場合の変換画像について説明する図である。

例えば、図１０（ａ）において、変換対象画像データ２２の高さをｈとし、上領域２４の高さをｙ１、下領域２５の高さを（ｈ−ｙ１）とする（ｈ、ｙ１はそれぞれ正の数とする）。ここで、図１０（ｂ）のように、上領域２４を垂直方向にβ倍で拡大した場合、変換対象画像データ２２の高さはβｈ＋（１−β）×ｙ１となる。

さらに、これに対して、図１０（ｃ）のように、変換対象画像データ２２の高さが元のｈとなるように、変換対象画像データ２２の全体を垂直方向に縮小した場合は、上領域２４の高さはｙ３、下領域２５の高さは（ｈ−ｙ３）となる（ｙ３は正の数とする）。

この際、図１０（ｂ）と図１０（ｃ）は相似であるため、幾何学的に式（３）のような関係が導き出される。
ｙ１：β（ｈ−ｙ１）＝ｙ３：（ｈ−ｙ３） … 式（３）
よって、拡大倍率βは式（４）で求められる。

ここで、ｈは変換対象画像データ２２の高さであり、またｙ１は前記初期位置情報であり、ｙ２は前記移動位置情報である。よって、あらかじめβを式（２）に従って算出しておく。

ステップＳ２１２において、下領域２５をβ倍に垂直方向に拡大し、ステップＳ２０９に進む。このようにして、画像変換手段６は変換画像データを作成し、出力し、ステップＳ１０６に進む。

ステップＳ１０６において、画像合成手段７は、無変換画像データがあれば、変換領域情報を用いて、変換画像データと無変換画像データを合成して、出力画像データを作成し、無変換画像データがなければ、変換画像データを出力画像データとして作成し、ステップＳ１０７に進む。
ステップＳ１０７において、画像合成手段７は、作成した出力画像データを出力し、処理を終了する。

以上のように、本発明の画像処理装置によれば、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準となる水平線の初期位置を指定し、次に前記水平線の垂直方向の移動位置を指定して、前記水平線の移動位置が初期位置よりも下となる場合は、前記変換対象領域のうち、前記水平線の初期位置よりも上の領域に対しては拡大を行い、かつ、前記水平線の初期位置よりも下の領域に対しては縮小を行い、また、前記水平線の移動位置が初期位置よりも上となる場合は、前記変換対象領域のうち、前記水平線の初期位置よりも上の領域に対しては縮小を行い、かつ、前記水平線の初期位置よりも下の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行うことにより、指定した前記変換対象領域内の水平線の位置を移動させることができ、その結果、ユーザーに対して、あたかも垂直方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。

また、上記のステップＳ１０４において、ユーザーが入力手段２を通じて前記移動位置情報を入力する際に、入力できる移動位置情報の範囲に制限をかけてもかまわない。図１１は、入力手段２を通じて入力できる移動位置情報の範囲について説明する図である。

例えば、図１１において、変換対象画像データ２６を、基準水平線２７より上の領域と、基準水平線２７を含む領域である上領域２８と、基準水平線２７より下の領域である下領域２９の２つの領域に分割する。ここで、上領域２８の高さをｄ１、下領域２９の高さをｄ２（ｄ１、ｄ２は正の数とする）とすると、下領域２９が上領域２８より小さい場合、基準水平線２７が移動できる範囲を初期位置から、下領域２９の高さのｌ分の１となるｄ２／ｌだけしか動けないように制限してもよい（ｌは正の数とする）。図１１では、ｌが２の場合の例とし、基準水平線２７は初期位置から上下にｄ２／２だけそれぞれ離れた、線３０と線３１の間のみを移動先の位置として選択できるように制限をかけてもよい。

このようにすることにより、画像の一部が極端に拡大されることを制限することができ、拡大による画像ぼけを防止することができる。

また、上記では、ステップＳ２０７において、上領域の拡大率αを算出し、ステップＳ２０８において上領域をα倍していたが、ステップＳ２０７の前、上領域と下領域のそれぞれを分割し、各分割した領域で異なる割合で拡大または縮小を行ってから、再度、拡大率α’を算出した上で、上領域をα’倍してもよい。

また、上記では、ステップＳ２１１において、下領域の拡大率βを算出し、ステップＳ２１２において下領域をβ倍していたが、ステップＳ２１１の前、上領域と下領域のそれぞれを分割し、各分割した領域で異なる割合で拡大または縮小を行ってから、再度、拡大率β’を算出した上で、下領域をβ’倍してもよい。

例えば、ステップＳ２０７、または、ステップＳ２１１の直前に、もう１ステップ挿入し、挿入したステップにおいて、上領域をｍ分割、下領域をｎ分割し（ｍ、ｎはそれぞれ正の数とする）、分割した領域ごとに異なる拡大率で拡大を行った後、ステップＳ２０７またはステップＳ２１１において、新たに拡大倍率の算出を行ってもよい。

まず、上領域を拡大する場合における上領域および下領域の分割の方法と、新たに算出される拡大倍率α’について図面を用いて説明する。

図１２、図１３、図１４は、基準水平線の移動位置が初期位置より下に移動する場合の変換画像について説明する図であり、それぞれ、図９（ａ）、図９（ｂ）、図９（ｃ）にそれぞれ対応している。

図１２において、変換対象画像データ２２の上領域２４を、上から順に上分割領域３２と、上分割領域３３と、上分割領域３４とに均等に分割する。また、下領域２５を、上から順に下分割領域３５と、下分割領域３６と、下分割領域３７とに均等に分割する。ここで、上分割領域３２、上分割領域３３、上分割領域３４の高さをそれぞれａとし、また、下分割領域３５、下分割領域３６、下分割領域３７の高さをそれぞれｂとした場合、式（５）および式（６）のように表すことができる。（ａ、ｂは正の数とする）

ａ＝ｙ１／３ … 式（５）
ｂ＝（ｈ−ｙ１）／３ … 式（６）

ここで、上分割領域３２をＰ１倍、上分割領域３３をＰ２倍、上分割領域３４をＰ３倍に、下分割領域３５をＱ１倍、下分割領域３６をＱ２倍、下分割領域３７をＱ３倍に、それぞれ拡大した後、さらに、上分割領域３２、上分割領域３３、上分割領域３４をα’倍拡大する（Ｐ１、Ｐ２、Ｐ３、Ｑ１、Ｑ２、Ｑ３は正の数とする）。
また、ここで、Ｐ１＞Ｐ２＞Ｐ３、Ｑ１＞Ｑ２＞Ｑ３とする。

このようにすることにより、上領域は、基準水平線から遠ざかるほど大きく拡大され、
下領域は基準水平線から遠ざかるほど小さく縮小されるため、各分割領域間で隣り合うものの間で拡大または縮小された後の大きさと元の大きさとの差異を最小にすることができ、自然で違和感の少ない変換を行うことができる。

また、視点を変える際の中心となる基準水平線に近いものほど、上領域は拡大率が小さくなるように拡大して、下領域は縮小率が小さくなるように縮小を行い、基準水平線周辺の拡大縮小率を抑えることにより、より自然で違和感の少ない変換を行うことができる。

図１３は拡大された変換対象画像データ２２を示す。
図１３において、このときの上分割領域３２の高さをｓ１、上分割領域３３の高さをｓ２、上分割領域３４の高さをｓ３、下分割領域３５の高さをｔ１、下分割領域３６の高さをｔ２、下分割領域３７の高さをｔ３とすると、それぞれの値は、式（７）から式（１２）のように表すことができる。

ｓ１＝Ｐ１×α’×ａ … 式（７）
ｓ２＝Ｐ２×α’×ａ … 式（８）
ｓ３＝Ｐ３×α’×ａ … 式（９）
ｔ１＝Ｑ１×ｂ … 式（１０）
ｔ２＝Ｑ２×ｂ … 式（１１）
ｔ３＝Ｑ３×ｂ … 式（１２）

次に、図１３のように垂直方向に拡大された変換対象画像データ２２の高さが、元の高さｈになるように画像全体に対して縮小を行う。図１４は、元の高さに縮小された変換対象画像データ２２を示す。

図１３と、図１４の図形は相似の関係にあるため、幾何学的に式（１３）のような関係が導き出される。
（ｓ１＋ｓ２＋ｓ３）：（ｔ１＋ｔ２＋ｔ３）＝ｙ２：（ｈ−ｙ２） … 式（１３）

式（５）から式（１２）より、α’の値は式（１４）のように求まる。

以上のようにして、上領域および下領域の分割を行い、新たに算出される拡大倍率α’を算出し、拡大領域である上領域をα’倍に拡大してやればよい。

次に、下領域を拡大する場合における上領域および下領域の分割の方法と、新たに算出される拡大倍率β’について図面を用いて説明する。
図１５、図１６は、基準水平線の移動位置が初期位置より下に移動する場合の変換画像について説明する図であり、それぞれ、図１０（ｂ）、図１０（ｃ）にそれぞれ対応している。
下領域を拡大する場合も、図１２で説明した上領域を拡大する場合と同様にして、上領域２４と下領域２５を３分割する。

ここで、上分割領域３２をＰ４倍、上分割領域３３をＰ５倍、上分割領域３４をＰ６倍に、下分割領域３５をＱ４倍、下分割領域３６をＱ５倍、下分割領域３７をＱ６倍に、それぞれ拡大した後、さらに、下分割領域３５、下分割領域３６、下分割領域３７をβ’倍拡大する（Ｐ４、Ｐ５、Ｐ６、Ｑ４、Ｑ５、Ｑ６は正の数とする）。
また、ここで、Ｐ４＜Ｐ５＜Ｐ６、Ｑ４＜Ｑ５＜Ｑ６とする。

このようにすることにより、下領域は、基準水平線から遠ざかるほど大きく拡大され、
上領域は基準水平線から遠ざかるほど小さく縮小されるため、各分割領域間で隣り合うものの間で拡大または縮小された後の大きさと元の大きさとの差異を最小にすることができ、自然で違和感の少ない変換を行うことができる。

また、視点を変える際の中心となる基準水平線に近いものほど、下領域は拡大率が小さくなるように拡大して、上領域は縮小率が小さくなるように縮小を行い、基準水平線周辺の拡大縮小率を抑えることにより、より自然で違和感の少ない変換を行うことができる。

図１５は拡大された変換対象画像データ２２を示す。
図１５において、このときの上分割領域３２の高さをｓ４、上分割領域３３の高さをｓ５、上分割領域３４の高さをｓ６、下分割領域３５の高さをｔ４、下分割領域３６の高さをｔ５、下分割領域３７の高さをｔ６とすると、それぞれの値は、式（１５）から式（１２）のように表すことができる。

ｓ４＝Ｐ４×β’×ａ … 式（１５）
ｓ５＝Ｐ５×β’×ａ … 式（１６）
ｓ６＝Ｐ６×β’×ａ … 式（１７）
ｔ４＝Ｑ４×ｂ … 式（１８）
ｔ５＝Ｑ５×ｂ … 式（１９）
ｔ６＝Ｑ６×ｂ … 式（２０）

次に、図１５のように垂直方向に拡大された変換対象画像データ２２の高さが、元の高さｈになるように画像全体に対して縮小を行う。

図１６は、元の高さに縮小された変換対象画像データ２２を示す。
図１５と、図１６の図形は相似の関係にあるため、幾何学的に式（２１）のような関係が導き出される。
（ｓ４＋ｓ５＋ｓ６）：（ｔ４＋ｔ５＋ｔ６）＝ｙ２：（ｈ−ｙ２） …式（２１）
式（５）と式（６）および、式（１５）から式（２０）より、β’の値は式（２２）のように求まる。

以上のようにして、上領域および下領域の分割を行い、新たに算出される拡大倍率β’を算出し、拡大領域である下領域をβ’倍に拡大してやればよい。

以上のようにして、上領域および下領域の少なくともどちらか一方に対して、少なくとも２つ以上の分割を行って、分割数を増やして変換を行うことにより、前記変換領域と無変換領域の境界において不連続性に見えないように違和感なく変換を行うことができる。

また、その際、各分割領域の大きさを小さくして、各分割領域間で隣り合うものの間で拡大または縮小された後の大きさの差異を少なくなるように変換することにより、より自然で違和感の少ない変換を行うことができる。

また、上記では、変換領域が１つである場合について説明したが、２つ以上であってもかまわない。以下に、変換領域が２つある場合について説明する。
図１７は、本発明の領域決定手段３に入力された入力画像データと変換領域の例を示す図である。図１７（ａ）は、領域決定手段３に入力された入力画像３８である。

例えばユーザーが、被写体３９を含まない領域を変換領域として指定する場合、ユーザーは、前記画像提示手段に表示された入力画像３８に対し、前記入力手段２を通じて、図１７（ｂ）のように矩形で領域を指定するようにする。

この場合、図１７（ｂ）の矩形の点線が変換領域４０と、４１なり、領域決定手段３は、この点線に囲まれる領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。このときの変換対象画像データは、変換領域４０と変換領域４１をつないで一つの変換対象画像データを作成し、出力してもかまわない。このとき、複数の変換領域を一つの変換対象画像データとして出力する場合は、水平基準線を複数の変換領域の境目のいずれかとしてもよい。

また、変換領域４０と変換領域４１をそれぞれ２つの変換対象画像データとして出力してもかまわない。このとき、画像変換手段６は、変換対象画像データごとに変換処理を行うようにしてもよい。

このように画像を変換領域と無変換領域に分けて変換することにより、特定の被写体を含むように無変換領域を設定してやれば、その被写体に対して変換を行わず、元の形を維持することができる。

また、上記ステップＳ２０９において、入力画像と同じ大きさになるように全体を縮小したが、入力画像より大きくなるように縮小または拡大を行い、その後、入力画像と同じ大きさになるように画像をクリッピングしてもかまわない。

以上のように、画像を変換する際に、入力画像より大きくなるように変換した後、入力画像と同じ大きさになるように画像をクリッピングすることにより、例えば、撮影時のミスや、撮影条件などにより、画面の端などに、本来フレームの中に入れたくない余計な被写体が映りこんでしまった場合でも、後処理で被写体をフレームの外に移動させることができる。

また、上記では、基準線を水平基準線として入力画像を水平方向に領域に分割し、かつ、領域ごとの拡大と縮小を垂直方向に行っていたが、基準線を垂直方向の垂直基準線として入力画像を垂直方向に領域に分割し、かつ、領域ごとの拡大と縮小を水平方向に行ってもかまわない。

図１８は、本発明の画像処理装置１の別の構成例を示すブロック図である。
図１８の画像処理装置７１における、入力手段２と領域決定手段３、画像合成手段７は図１のものと同じものであり、その動作についての説明は省略する。

さらにまた、領域決定手段３が出力する前記変換対象画像データと無変換画像データについて図面を用いて簡単に説明する。図１９、図２０はそれぞれ、領域決定手段３に入力された入力画像データと、そのときの前記変換領域の例を示す図である。

図１９（ａ）は領域決定手段３に入力された入力画像４５である。例えばユーザーが画面全体を変換領域として指定する場合、ユーザーは、前記画像提示手段に表示された入力画像４５に対し、前記入力手段２を通じて、図３（ｂ）の点線で囲まれたような矩形の変換領域を指定するようにする。この場合、点線部分の変換領域４６は入力画像４５全体であり、領域決定手段３は、変換対象画像データとして入力画像４５を、無変換画像データは無いものとして出力する。

図２０（ａ）は、領域決定手段３に入力された入力画像４５に対して、画面の左端を含み、かつ、被写体４７を含まない領域を変換領域として指定する場合の変換領域について説明する図である。ユーザーは、前記画像提示手段に表示された入力画像４５に対し、前記入力手段２を通じて、点線で囲まれた矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ４５のうち、変換領域４８で囲まれた領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

図２０（ｂ）は、領域決定手段３に入力された入力画像４５に対して、画面の右端を含み、かつ、被写体４７を含まない領域を変換領域として指定する場合の変換領域について説明する図である。ユーザーは、前記画像提示手段に表示された入力画像４５に対し、前記入力手段２を通じて、点線で囲まれた矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ４５のうち、変換領域４９で囲まれた領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

図２０（ｃ）は、領域決定手段３に入力された入力画像４５に対して、被写体４７を含む領域を変換領域として指定する場合の変換領域について説明する図である。ユーザーは、前記画像提示手段に表示された入力画像４５に対し、前記入力手段２を通じて、点線で囲まれた矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ４５のうち、変換領域５０で囲まれた領域の画像データを変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

図２０（ｄ）は、領域決定手段３に入力された入力画像４５に対して、複数の変換領域を指定する場合の変換領域について説明する図である。例えばこの場合２つの変換領域を指定するものとする。ユーザーは、前記画像提示手段に表示された入力画像４５に対し、前記入力手段２を通じて、点線で囲まれた２つの矩形の変換領域を指定するようにする。この場合、領域決定手段３は、入力画像データ４５のうち、変換領域５１で囲まれた領域の画像データと、変換領域５２で囲まれた領域の画像データを左右に並べて作成した変換対象画像データとして、残りの領域を無変換画像データとして、それぞれ出力する。

また、このときの変換対象画像データは複数出力してもよく、その場合、変換領域５１で囲まれた領域の画像データと、変換領域５２で囲まれた領域の画像データをそれぞれ変換対象画像データとして出力してもよい。

このように画像を変換領域と無変換領域に分けて変換することにより、特定の被写体を含むように無変換領域を設定してやれば、その被写体に対して変換を行わず、元の形を維持しつつ、画像内での位置を変動させることができる。

また、上記で指定した矩形の変換領域は、入力画像に対して垂直のライン単位で細かく変換領域を指定するようにしてもよい。

こうすることにより、変換後の変換領域と無変換領域の境界における不連続性を排除することができる。

図１８において、初期位置決定手段４２に変換対象画像データが入力され、初期位置決定手段４２は、ユーザーに対して、変換対象画像データを前記画像提示手段に提示し、ユーザーは提示された画像をみながら、入力手段２を通じて、変換対象画像データのうち、変換の基準となる基準垂直線の水平方向の位置（初期位置とする）を入力する。

それと同時に、入力手段２は前記基準垂直線の位置を初期位置決定手段４２に出力し、初期位置決定手段４２は、入力された前記基準垂直線の位置を初期位置情報として出力する。

次に、移動位置決定手段４３に変換対象画像データと初期位置情報が入力され、移動位置決定手段４３は、ユーザーに対して、変換対象画像データと、基準垂直線を前記画像提示手段に提示し、ユーザーは提示された画像をみながら、入力手段２を通じて、変換のパラメータとなる基準垂直線の移動先の垂直方向位置（移動位置とする）を入力する。それと同時に、入力手段２は前記基準垂直線の移動先の位置を移動位置決定手段４３に出力し、移動位置決定手段４３は、入力された前記基準垂直線の移動先の位置を移動位置情報として出力する。ここで、基準垂直線の変換対象画像データ上の位置は、初期位置情報から求めることができる。

また、このとき、基準垂直線が移動できる範囲は、変換対象画像データ内とし、移動できる方向は水平方向とする。
また上記では、前記画像提示手段は、変換対象画像データをユーザーに提示するとしたが、変換対象画像データの代わりに、入力画像データの上に変換領域を示す点線表示を行った画像を提示してもかまわない。
ここで、画像変換手段４４が行う変換は、図１で述べた画像変換手段６が垂直方向に拡大縮小の処理を行っていたのが、水平方向に変わるだけである。

例えば、画像変換手段４４に、前記変換対象画像データと、前記初期位置情報と、前記移動位置情報が入力され、画像変換手段４４は、前記初期位置情報が示す初期位置と、前記移動位置情報の示す移動位置を比較して、移動位置が初期位置よりも右となる場合は、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の縮小を行い、前記基準垂直線の移動位置が初期位置よりも左となる場合は、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の拡大を行うことにより、変換画像データを作成する。

よって、変換処理の方法や、アルゴリズムは、水平が垂直に置き換わるだけで、本質的に同じものであるため、詳しい説明は省略するものとし、この際の変換画像データについてのみ、図面を用いて説明する。

図２１は、変換画像データの変換例を示す図である。

例えば、図２１（ａ）に示す画像を、画像変換手段４４に入力された前記変換対象画像データ５３とすると、前記初期位置情報が示す初期位置にある点線が基準垂直線５４として選択される。画像変換手段４４は、入力された前記移動位置情報の示す位置に、点線で示される基準垂直線５４の位置が移動するように画像を変換する。

例えば、前記移動位置情報が、前記初期位置情報より左の場合は、基準垂直線５４は変換画像データ内を図２１（ｂ）のように移動し、前記初期位置情報より右の場合は、基準垂直線５４は変換画像データ内を図２１（ｃ）のように移動するように、変換画像データを作成する際の拡大率と縮小率の値を変え、変換を行う。

また、上記では、基準垂直線より左の領域か、もしくは右の領域かで、拡大または縮小を行っており、基準垂直線については縮小拡大の対象としていないが、基準垂直線自体を、左または右のどちらの領域に含むようにしてもよい。

以上のように、図１で説明した画像処理装置７１において、水平方向における上を左に、下を右に対応付けることにより、垂直方向に対しても、同様に画像の変換を行うことができる。

また、本発明の画像処理装置によれば、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準線として垂直線を選択し、前記垂直線の初期位置を指定し、次に前記垂直線の水平方向の移動位置を指定して、前記垂直線の移動位置が初期位置よりも右となる場合は、前記変換対象領域のうち、前記垂直線の初期位置よりも左の領域に対しては拡大を行い、かつ、前記垂直線の初期位置よりも右の領域に対しては縮小を行い、また、前記垂直線の移動位置が初期位置よりも左となる場合は、前記変換対象領域のうち、前記垂直線の初期位置よりも左の領域に対しては縮小を行い、かつ、前記垂直線の初期位置よりも右の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行うことにより、指定した前記変換対象領域内の垂直線の位置を移動させることができ、その結果、ユーザーに対して、あたかも水平方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。
また、上記では、水平方向または垂直方向の１次元でのみの変換について説明したが、
水平方向および垂直方向の２次元の変換をおこなってもかまわない。

図２２は、２次元の変換をおこなうための、本発明の画像処理装置８１の別の構成例を示すブロック図である。１次元の場合、ユーザーは指定する水平方向のラインもしくは、垂直方向のラインについて指定し、その位置を動かすことにより、画像の変換をおこなっていたが、２次元の場合は、基準点として１点を指定し、前記基準点の移動先を入力して、前記基準点の水平方向と垂直方向の変位を求め、水平方向、垂直方向それぞれにおいて、順番に画像の変換処理を行なえばよいだけであるため、図２２において、前記基準点の位置指定をするための初期位置決定手段５５と、その点の移動先の位置を指定するための移動位置決定手段５６のみが、新しい構成となる。よって、図２２の入力手段２と、領域決定手段３、画像変換手段６、画像変換手段４４、画像合成手段７は図１や図１８のものと同じものとし、その動作についての説明は省略し、初期位置情報と、移動位置情報の取得の方法についてのみ、以下に説明する。

図２３は、基準点の指定と、基準点の移動位置の指定の方法について説明する図である。

図２３（ａ）のように、初期位置決定手段５５において、ユーザーが、画像提示手段に表示された入力画像５８に対し、入力手段２を通じて、外部から基準点５９を入力する。初期位置決定手段５５は、基準点５９の水平方向の座標と同じイチノ水平線を基準水平線６０として、また、基準点５９の垂直方向の座標と同じ位置の垂直線を基準垂直線６１とし、基準点５９の水平方向の座標と、垂直方向の座標を初期位置情報として出力する。図２３（ｂ）のように、移動位置決定手段５６において、ユーザーが、画像提示手段に表示された入力画像５８に対し、入力手段２を通じて、外部から基準点５９の移動先の位置を入力する。移動位置決定手段５６は、基準点５９の移動先の位置から、基準水平線６０と、基準垂直線６１の移動位置として、基準点５９の移動先の水平方向の座標と、垂直方向の座標を、移動位置情報として出力する。

これら初期位置情報と移動位置情報について、それぞれ水平方向と垂直方向の成分に分け、順に変換を行ってやればよい。例えば、画像変換手段６において、水平方向に関して変換を行った後、画像変換手段４４において、垂直方向に関して変換を行ってやればよい。

以上のように変換を行うことにより、画像処理装置８１は、指定した画像内の点の位置を移動させ、その結果、ユーザーに対して、あたかも垂直及び水平方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。
また、上記で指定する点を画像の消失点にすると、さらに効果をあげることができる。

また、ここでは、前記基準水平線や、前記基準垂直線、前記点の初期位置をユーザーが外部から入力するものとしたが、奥行き情報データを用いて自動的に算出してもよい。

ここで、前記奥行き情報データについて説明する。図２４は、画像データと奥行き情報データの一例を示す図である。

図２４の（ａ）は、通常の画像データの例であり、一般的に、画像データの取得には、カメラやＣＣＤなどで取得することができる。一方、図２４の（ｂ）は奥行き情報データの例である。前記奥行き情報データは、図２４（ａ）の画像データに対応して、カメラからどのぐらいの距離が離れているかを示す奥行き方向の情報を前記画像データの画素毎にもったデータであり、一般的に奥行き情報データの取得には、赤外線やレーザなどを照射して測距するアクティブ型のものや、複数視点からの画像のマッチングから距離画像を得るパッシブ型のものなどが、それぞれ例として挙げられる。

前記奥行き情報データは、例えば、カメラから遠いほど小さい値として、計測した奥行きの値にあわせ、０から２５５の値にサンプリングした画像データとして扱うことも可能であり、以下ではそのように取り扱うものとする。
また、前記入力手段２に入力される情報として、ＣＧなどで作成した画像データと、それに対応した奥行き情報データであってもかまわない。

例えば、奥行き情報データがカメラから最も遠い位置を示す画素を含む水平線を、前記基準水平線としてもよい。また、奥行き情報データがカメラから最も遠い位置を示す画素が複数ある場合は、それらのうち、水平方向において、最も画像の中心に近いものを前記基準水平線としてもよい。

また例えば、奥行き情報データがカメラから最も遠い位置を示す画素を含む垂直線を、前記基準垂直線としてもよい。また、奥行き情報データがカメラから最も遠い位置を示す画素が複数ある場合は、それらのうち、垂直方向において、最も画像の中心に近いものを前記基準垂直線としてもよい。

また例えば、奥行き情報データがカメラから最も遠い位置を示す画素を含む点を、前記基準点としてもよい。また、奥行き情報データがカメラから最も遠い位置を示す画素が複数ある場合は、それらのうち、最も画像の中心に近いものを前記基準点としてもよい。

以上のように、画像を変換対象領域と無変換領域に分け、前記変換対象領域内において、変換の基準となる基準点を選択し、前記基準点の初期位置を指定し、次に前記基準点の移動位置を指定して、前記基準点の水平方向の座標と垂直方向の座標から、基準点を通る水平線と垂直線の初期位置と移動位置を求め、前記水平線の移動位置が初期位置よりも下となる場合は、前記変換対象領域のうち、前記水平線の初期位置よりも上の領域に対しては拡大を行い、かつ、前記水平線の初期位置よりも下の領域に対しては縮小を行い、また、前記水平線の移動位置が初期位置よりも上となる場合は、前記変換対象領域のうち、前記水平線の初期位置よりも上の領域に対しては縮小を行い、かつ、前記水平線の初期位置よりも下の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行った後、さらに、前記垂直線の移動位置が初期位置よりも右となる場合は、前記変換対象領域のうち、前記垂直線の初期位置よりも左の領域に対しては拡大を行い、かつ、前記垂直線の初期位置よりも右の領域に対しては縮小を行い、また、前記垂直線の移動位置が初期位置よりも左となる場合は、前記変換対象領域のうち、前記垂直線の初期位置よりも左の領域に対しては縮小を行い、かつ、前記垂直線の初期位置よりも右の領域に対しては拡大を行って、変換領域を作成し、さらに前記変換領域が変換前の前記変換対象領域と同じ大きさになるように縮小を行うことにより、指定した前記変換対象領域内の基準点の位置を移動させることができ、その結果、ユーザーに対して、あたかも水平方向や、垂直方向に関して異なる視点位置から見たような印象を与える画像に変換することができる。

上記実施形態では、画像処理装置としての処理を記載したが、各処理については、コンピュータに実行させるプログラムを作成して、メモリなどの記憶媒体に記憶させ、コンピュータがこのプログラムを読み込むことで実行するものでも構わない。

尚、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１，７１，８１ 画像処理装置
２ 入力手段
３ 領域決定手段
４，４２，５５ 初期位置決定手段
５，４３，５６ 移動位置決定手段
６，４４，５７ 画像変換手段
７ 画像合成手段
８，１０，１３，１６，３８，４５，５８ 入力画像
１１，１４，１７，１８，３９，４７ 被写体
９，１２，１５，１９，４０，４１，４６，４８，４９，５０，５１，５２ 変換領域
２０，２２，２６，５３ 変換対象画像データ
２１ 点線
２３，２７，６０ 基準水平線
２４，２８ 上領域
２５，２９ 下領域
３０，３１ 線
３２，３３，３４ 上分割領域
３５，３６，３７ 下分割領域
５４，６１ 基準垂直線
５９ 基準点

Claims (8)

1. 入力された入力画像データに対して画像変換を行う画像処理装置において、
   前記入力画像データと、前記入力画像データ内において処理の対象となる領域である少なくとも一つ以上の変換領域を示す変換領域情報と、変換の基準となる前記変換領域内の基準線もしくは基準点の初期位置を指定する初期位置情報と、前記基準線もしくは前記基準点を変換領域内で移動させた際の移動位置を示す移動位置情報と、を外部から受け付ける入力手段と、
   前記変換領域情報に基づいて、前記入力画像データから、変換領域のみを切り出して作成した少なくとも一つ以上の変換対象画像データと、変換領域でない領域を切り出して作成した少なくとも一つ以上の無変換画像データと、を出力する領域決定手段と、
   前記変換対象画像データと、前記初期位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の初期位置を決定する初期位置決定手段と、
   前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の移動位置を決定する移動位置決定手段と、
   前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記初期位置を用いて前記変換対象画像データを少なくとも２つの小領域に分割し、前記少なくとも２つの小領域のそれぞれに対し、前記初期位置に対する前記移動位置の方向に応じて拡大または縮小を行う画像変換手段と、
   前記変換画像データと、前記無変換画像データと、前記変換領域情報を入力とし、前記変換領域情報を用いて、前記変換画像データと前記無変換画像データを合成して作成した一枚の出力画像データを出力する画像合成手段と、
   を備え、
   前記移動位置決定手段は、前記２つの小領域のうち、最も小さい領域を移動制限範囲として求め、前記移動制限範囲の前記基準線または前記基準点を通る基準水平線または基準垂直線と直角となる方向の中心が初期位置となるように、前記移動制限範囲を前記直角となる方向に移動し、前記基準線または前記基準点を通る基準水平線または基準垂直線の移動範囲を、移動した前記移動制限範囲の範囲内となるように制限することを特徴とする画像処理装置。
2. 前記画像変換手段は、入力された前記初期位置情報と前記移動位置情報が、前記基準線の初期位置と移動位置を示す情報である場合、前記基準線である基準水平線の移動位置が初期位置よりも下であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の縮小を行い、前記基準水平線の移動位置が初期位置よりも上であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の拡大を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記画像変換手段は、入力された前記初期位置情報と前記移動位置情報が、前記基準線の初期位置と移動位置を示す情報である場合、前記基準線である基準垂直線の移動位置が初期位置よりも右であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の縮小を行い、前記基準垂直線の移動位置が初期位置よりも左であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の拡大を行うことを特徴とする請求項１記載の画像処理装置。
4. 前記画像変換手段は、入力された前記初期位置情報と前記移動位置情報が、前記基準点の初期位置と移動位置を示す情報である場合、前記基準点の水平方向の座標と垂直方向の座標から、基準点を通る基準水平線と基準垂直線の初期位置と移動位置を求め、
   前記基準水平線の移動位置が初期位置よりも下であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の拡大を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の縮小を行い、前記基準水平線の移動位置が初期位置よりも上であるときは、前記変換対象画像データのうち、前記基準水平線の初期位置よりも上の領域に対しては画像の縮小を行い、かつ、前記基準水平線の初期位置よりも下の領域に対しては画像の拡大を行い、
   前記基準垂直線の移動位置が初期位置よりも右であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の拡大を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の縮小を行い、前記基準垂直線の移動位置が初期位置よりも左であるときは、前記変換対象画像データのうち、前記基準垂直線の初期位置よりも左の領域に対しては画像の縮小を行い、かつ、前記基準垂直線の初期位置よりも右の領域に対しては画像の拡大を行う
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記画像変換手段は、前記２つの小領域のそれぞれに対して、さらに複数の分割領域に分けて変換を行うことを特徴とする請求項１記載の画像処理装置。
6. 前記画像変換手段は、前記分割領域に対して、拡大する領域に対しては、前記基準線または前記基準点を通る基準水平線または基準垂直線から遠ざかるほど大きく拡大し、また、縮小する領域に対しては、前記基準線または前記基準点を通る基準水平線または基準垂直線から遠ざかるほど小さく縮小することを特徴とする請求項５記載の画像処理装置。
7. 入力された入力画像データに対して画像変換を行う画像処理方法において、
   前記入力画像データと、前記入力画像データ内において処理の対象となる領域である少なくとも一つ以上の変換領域を示す変換領域情報と、変換の基準となる前記変換領域内の基準線もしくは基準点の初期位置を指定する初期位置情報と、前記基準線もしくは前記基準点を変換領域内で移動させた際の移動位置を示す移動位置情報と、を外部から受け付ける入力ステップと、
   前記変換領域情報に基づいて、前記入力画像データから、変換領域のみを切り出して作成した少なくとも一つ以上の変換対象画像データと、変換領域でない領域を切り出して作成した少なくとも一つ以上の無変換画像データと、を出力する領域決定ステップと、
   前記変換対象画像データと、前記初期位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の初期位置を決定する初期位置決定ステップと、
   前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記変換対象画像データにおける前記基準線もしくは前記基準点の移動位置を決定する移動位置決定ステップと、
   前記変換対象画像データと、前記初期位置情報と、前記移動位置情報を入力とし、前記初期位置を用いて前記変換対象画像データを少なくとも２つの小領域に分割し、前記少なくとも２つの小領域のそれぞれに対し、前記初期位置に対する前記移動位置の方向に応じて拡大または縮小を行う画像変換ステップと、
   前記変換画像データと、前記無変換画像データと、前記変換領域情報を入力とし、前記変換領域情報を用いて、前記変換画像データと前記無変換画像データを合成して作成した一枚の出力画像データを出力する画像合成ステップと、
   を備え、
   前記移動位置決定ステップは、前記２つの小領域のうち、最も小さい領域を移動制限範囲として求め、前記移動制限範囲の前記基準線または前記基準点を通る基準水平線または基準垂直線と直角となる方向の中心が初期位置となるように、前記移動制限範囲を前記直角となる方向に移動し、前記基準線または前記基準点を通る基準水平線または基準垂直線の移動範囲を、移動した前記移動制限範囲の範囲内となるように制限することを特徴とする画像処理方法。
8. コンピュータに、請求項７に記載の画像処理方法のステップを実行させるためのプログラム。