JP5362130B2 - イメージ処理方法及びそのための装置 - Google Patents

Description

本発明は、イメージ処理方法及びそのための装置に関し、より詳しくは、ストラクチャグリッドを用いてイメージを処理する方法及びそのための装置に関する。

ヘッドカットは、表現しようとする対象の特徴的な流れに沿って所定間隔に大きさの異なる点や線を並べて、対象を表現する芸術的な技法である。このようなヘッドカットは木板感覚の絵を描くために開発されており、特に新聞や雑誌などのような印刷媒体において肖像画を表現する場合に多く用いられている。また、ヘッドカットは表現しようとする対象を点や線に表現するので、そのスタイルが魅力的であって、それにより、印刷媒体は勿論、より多様な分野において活用されている。しかしながら、限られているアーティストの数では、ヘッドカットが手作業であるため長時間が必要であり、すべての分野において幅広く用いられることに無理があった。

このようなヘッドカットの特性は、対象となるトーンを表現するために大きさの異なる点や線を用い、このような点や線は対象の特徴的な方向に沿って並べられ、並べられた点や線などは、ある程度の所定間隔をもって配置され、さらに一枚のヘッドカット映像においても、これらの点や線が違和感なく混在して用いられる。これまでの研究では、そのような特徴をすべて満足するヘッドカット生成方法はなく、スティプリング（ｓｔｉｐｐｌｉｎｇ）、ハッチング（ｈａｔｃｈｉｎｇ）が最も関連の深い研究である。

しかし、これらの方法は、ヘッドカットの特徴である対象のトーンを表現するために、大きさの異なる点や線を対象の特徴的な方向に沿って並べられ、その並べられた点や線などをある程度所定間隔をもって配置して生成されたヘッドカットの特徴に十分満足できないという問題があった。

上記のような問題点を解決するための本発明の第１の目的は、ストラクチャグリッドを用いてイメージを処理する装置を提供することである。

上記のような問題点を解決するための本発明の第２の目的は、ストラクチャグリッドを用いてイメージを処理する方法を提供することである。

本発明の第１の目的を達成するための本発明の一実施形態によるイメージ処理装置は、映像撮影機器により撮影したイメージ映像の特徴ピクセル及び前記特徴ピクセルの方向情報を用いて前記イメージ映像の形象を表現することができるベクトル長を生成する第１生成部と、前記ベクトル長を用いて前記イメージ映像の形象をレンダリングする構造を示すストラクチャグリッドを生成する第２生成部と、前記生成されたストラクチャグリッド上において所定のトーンを表現するプリミティブをレンダリングするレンダリング部、とを含んで構成することができる。

本発明の第２の目的を達成するための本発明の一実施形態によるイメージ処理方法は、映像撮影機器により撮影したイメージ映像の特徴ピクセル及び前記特徴ピクセルの方向情報を用いて前記イメージ映像の形象を表現することができるベクトル長ベクトル長を生成する段階と、前記ベクトル長を用いて前記イメージ映像の形象をレンダリングする構造を示すストラクチャグリッドを生成する段階と、前記生成されたストラクチャグリッド上において所定のトーンを表現するプリミティブをレンダリングする段階と、を含んで構成することができる。

このような本発明によるイメージ映像からアーティストが描いたものと同様な映像を生成する方法及びこれを実行する装置を用いた場合、一枚のイメージ映像から短時間に自動的に結果映像を生成することができる。これは、数限定のヘッドカットアーティストが長時間にかけて一枚のヘッドカットを完成していた限界から逸脱され誰でも写真一枚で容易にヘッドカットを生成することができる。

また、本発明のために定義された特徴ベクトル長、ストラクチャグリッド、プリミティブレンダリング方法などは、それぞれ独立的にも多様な映像処理技法として活用されることができる。特徴ベクトル長の生成は、映像の一部に定義された方向情報を反映しながら映像全体にかけてやさしく変化するベクトル長を生成して、方向を基盤とする多様な映像処理方法として活用されることができる。ストラクチャグリッドは映像でベクトル長に沿って所定間隔に繰り返されるストライプパターン、または複数のストライプパターンを重ねて生成する格子など、多様なパターンを生成することで、流れの視覚化など多くの分野に活用されることができる。ストラクチャグリッドを用いたレンダリング方法は、ピクセルを基盤に短時間に点や線など基礎的なプリミティブをレンダリングする基盤となれる。

図１は、本発明の一実施形態によるイメージ処理装置の内部構造を示すブロック図である。 図２は、本発明の一実施形態によるイメージ処理装置の第１生成部がベクトル長を生成する過程を説明するための例示図である。 図３は、本発明の一実施形態によるイメージ処理装置の第２生成部がストラクチャグリッドを生成する過程を説明するための例示図である。 図４は、本発明の一実施形態によるイメージ処理装置の第２生成部がストラクチャグリッドを生成する過程を説明するための例示図である。 図５は、本発明の一実施形態によるイメージ処理装置の第２生成部がストラクチャグリッドを生成する過程を説明するための例示図である。 図６は、本発明の一実施形態によるイメージ処理装置のレンダリング部がプリミティブレンダリングする例示図である。 図７は、本発明の一実施形態によるイメージ処理過程を説明するためのフローチャートである。

本発明は、多様な変更を加えることができ、多様な実施形態を有することができるため、特定の実施形態を図示して詳細な説明をする。しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の属する技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然本発明の技術的範囲に属するものと了解されるべきである。なお、本明細書及び図面において、実質的に同一機能や構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

第１、第２、Ａ、Ｂなどの用語は、多様な構成要素を説明するために用いられるが、前記構成要素は前記用語によって限定されない。前記用語は、１つの構成要素を他の構成要素により区別する目的だけで用いられる。例えば、本発明の権利範囲を超えないで、第１構成要素は第２構成要素として称することができ、同様に、第２構成要素も第１構成要素として称することができる。「及び／または」という用語は、複数の関係する項目の組み合わせまたは複数の関係する項目のうちのいずれかの項目を含む。

ある構成要素が他の構成要素に「連結されて」あるいは「接続されて」いると記載されている場合は、その他の構成要素に直接的に連結されているか、または接続されているとのことであるが、その間に他の構成要素が存在することもありうると理解すべきである。一方、ある構成要素が他の構成要素に「直接連結されて」あるいは「直接接続されて」いると記載されている場合は、その間に、他の構成要素が存在しないものと理解すべきである。

本願発明に用いられる用語は、ただ特定の実施形態を説明するために用いられたものであって、本願発明を限定しようとする意図ではない。単数の表現は、文脈上に明白に示さない限り複数の表現を含む。本願発明において、「含む」または「有する」などの用語は、明細書上に記載した特徴、数字、段階、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定するものであって、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはそれらを組み合わせたものなどの存在または付加可能性を予め排除しないものとして理解すべきである。

特に定義されない限り、技術的また科学的な用語を含み、ここに用いられるすべての用語は、本発明が属する技術分野にて通常の知識を有する者によって一般的に理解されるものと同一意味を有する。一般的に用いられる、事前に定義されているものと同一の用語は関連技術の文脈上に有する意味と一致する意味を有するものとして解釈すべきであり、本願発明において明白に定義しない限り、理想的や過度に形式的な意味として解釈されるものではない。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態によるイメージ処理装置の内部構造を示すブロック図である。

図１に示すように、イメージ処理装置は、受信部１０１、第１生成部１０３、第２生成部１０５、レンダリング部１０７及び映像生成部１０９を含んで構成される。

受信部１０１は、複数個の映像撮影機器により撮影されたイメージ映像、例えば２次元イメージ映像を受信する。第１生成部１０３は、受信部１０１からイメージ映像を受信し、受信されたイメージ映像から特徴ピクセルに該当する特徴ラインマップ（ｆｅａｔｕｒｅ ｌｉｎｅ ｍａｐ）を生成し、生成された特徴ラインマップに該当する点の方向情報を定義した後、これを補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）してイメージ映像に対するベクトル長を生成する。

ここで、第１生成部１０３は、特徴ラインマップに含まれない特徴ピクセルの方向情報を定義するために、特徴ラインマップに含まれている特徴ピクセルの方向情報を補間して使用する。これは、単純にイメージ映像に含まれているすべての特徴ピクセルのＥＴＦ（Ｅｄｇｅ Ｔａｎｇｅｎｔ Ｆｉｅｌｄ）情報を使用することに比べ滑らかでかつ安定的であって、特徴部分の情報を高く反映したベクトル長が得られるという長所がある。

本発明の一実施形態によれば、第１生成部１０３は散布データ補間法（ｓｃａｔｔｅｒｅｄ ｄａｔａ ｉｎｔｅｒｐｏｌａｔｉｏｎ）のうち多重レベルＢ−スプライン補間法（ｍｕｌｔｉ−ｌｅｖｅｌ Ｂ−ｓｐｌｉｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を使用して特徴ラインマップに該当する点の方向情報を補間してイメージ映像に対するベクトル長を生成することができる。

また、本発明の一実施形態によれば、第１生成部１０３は反対方向を示すベクトル、例えば（１、０）及び（−１、０）を同一方向に処理するために、特徴ピクセルの方向情報を２×２構造テンソル（ｓｔｒｕｃｔｕｒｅ ｔｅｎｓｏｒ）に変換した後、各項を補間し、補間された構造テンソルの固有ベクトル（ｅｎｇｅｎｖｅｃｔｏｒ）を算出して各ピクセルの方向に定義してイメージ映像に対するベクトル長を生成することができる。

第２生成部１０５は、第１生成部１０３から生成された特徴ベクトル長を用いて点や線のようなプリミティブを並べるために用いられるストラクチャグリッドを生成する。例えば、第２生成部１０５は、第１生成部１０３から生成されたベクトル長に沿って滑らかに変形して格子状の構造を有したストラクチャグリッドを生成することができる。

このような構造において、格子の交点部分には点を、格子線部分には線を絵として、スティプリングとハッチングまたはその混合を全部表現することができ、このように描かれたプリミティブは特徴方向及びその垂直方向すべてに沿って所定間隔で並べられる。

さらに、他の例として、第２生成部１０５は、特徴ピクセルの方向情報に従ってストライプパターンを繰り返し合成した結果である第１ストライプパターンと特徴ピクセルの方向情報に対して垂直方向でのストライプパターンを繰り返し合成した結果である第２ストライプパターンを結合してストラクチャグリッドを生成することができる。

レンダリング部１０７は、第２生成部１０５から生成されたストラクチャグリッド上に所定のトーンを表現するプリミティブをレンダリングする。ここで、プリミティブレンダリングは第２生成部１０５から生成されたストラクチャグリッド上に点や線のような基本プリミティブを、絵として最終結果映像を製作することを示す。映像生成部１０９は、第２生成部１０５によってプリミティブレンダリングされた結果に特徴線を追加して結果映像を生成する。次に、図２を参照して本発明の一実施形態によるイメージ処理装置の第１生成部がベクトル長を生成する過程を説明する。

図２は、本発明の一実施形態によるイメージ処理装置の第１生成部がベクトル長を生成する過程を説明するための例示図である。

図２に示すように、第１生成部１０３は、受信部１０１からイメージ映像を受信（２０２ａ）し、受信したイメージ映像から特徴ピクセルに該当する特徴ラインマップを生成（２０２ｂ）する。本発明の一実施形態によれば、第１生成部１０３は、流れ基盤ラインドローイング技法（２０２ｂ；黒線）を用いて特徴ラインマップを定義し、流れ基盤ラインドローイング技法は、スタイル化した特徴ラインを効果的に表現することができ、特徴ラインマップを生成する段階で得られるすべての特徴ピクセルのＥＴＦ情報を特徴ピクセルの方向情報として利用することができるという長所がある。

第１生成部１０３は、生成した特徴ラインマップに該当する点の方向情報を定義した後、これを補間してイメージ映像に対するベクトル長（２０２ｃまたは２０２ｄ）を生成する。ここで、ベクトル長２０２ｃは、第１生成部１０３が流れ基盤ラインドローイングだけで定義された特徴ラインマップを用いてベクトル長を生成した場合に該当し、ベクトル長２０２ｄは第１生成部１０３が等光線カーブ（ｉｓｏｐｈｏｔｅ ｃｕｒｖｅ）をさらに用いてベクトル長を生成した場合に該当する。

本発明の一実施形態によれば、第１生成部１０３はイメージ映像を受信し、受信したイメージ映像が２次元映像の場合、物体の模様がある程度仮定できるように等光線カーブ（２０２ｂ；青色線）を追加的に用いてベクトル長２０２ｄを生成することができ、第１生成部１０３は受信したイメージ映像の明るさ情報を使用者があらかじめ定義した数分の段階に量子化（ｑｕａｎｔｉｚａｔｉｏｎ）した後、その境界を等光線カーブとして定義し、等光線カーブに該当する特徴ピクセルを追加的に特徴ラインマップに適用した後、特徴ラインマップを用いてベクトル長２０２ｄを生成することができる。次に、図３ないし図５を参照して、本発明の一実施形態によるイメージ処理装置の第２生成部がストラクチャグリッドを生成する過程を説明する。

図３ないし図５は、本発明の一実施形態によるイメージ処理装置の第２生成部がストラクチャグリッドを生成する過程を説明するための例示図である。

図３に示すように、第２生成部１０５は、第１生成部１０３から生成した特徴ベクトル長を用いてストラクチャグリッドを生成する。ここで、ストラクチャグリッドは点や線のようなプリミティブの羅列のために定義された構造である。

本発明の一実施形態によれば、第２生成部１０５は第１生成部１０３から生成されたベクトル長に沿って滑らかに変形して格子状の構造を有したストラクチャグリッド３００ａを生成することができる。

このような構造の上で、格子の交点部分には点を、格子線部分には線を、絵としてスティプリング３００ｂとハッチング３００ｃまたはその混合３００ｄを全て表現することができ、このように描かれたプリミティブは特徴方向及びその垂直方向すべてに沿って所定間隔で並べることができる。

図４に示すように、第２生成部１０５は、第１生成部１０３から生成された特徴ベクトル長を用いてストラクチャグリッドを生成する。本発明の一実施形態によれば、第２生成部１０５は格子パターンを入力テクスチャサンプルとして定義し、ベクトル長をテクスチャ回転方向にテクスチャ合成（ｔｅｘｔｕｒｅ ｓｙｎｔｈｅｓｉｓ）してストラクチャグリッド４００ｆ、４００ｈを生成することができるが、この場合、自由に変形されたベクトル長に沿うために格子交点または格子線部分が損傷される場合がある。このような問題点を解決するための本発明の一実施形態による第２生成部１０５は、特徴ピクセルの方向情報に従ってストライプパターンを繰り返し合成した結果である第１ストライプパターン４０１ｂ、４０１ｃ、４０１ｄと特徴ピクセルの方向情報に対して垂直方向でのストライプパターンを繰り返し合成した結果である第２ストライプパターン４００ｂ、４００ｃ、４００ｄとを結合してストラクチャグリッド４００ｅ、４００ｇを生成することができる。

第１ストライプパターン４０１ｂ、４０１ｃ、４０１ｄは、特徴ピクセルの方向情報に従ってストライプパターンを繰り返し合成した結果による変化を示す。特徴ピクセルの方向情報に従ってストライプパターンを合成した、１番目の結果である第１ストライプパターン４０１ｂでは、特徴線から距離として単純に示されるが、特徴ピクセルの方向情報に従ってストライプパターンを合成した２番目の結果である第１ストライプパターン４０１ｃ及び３番目の結果である第１ストライプパターン４０１ｄでは、各部分の特徴ピクセルの方向情報に従ってストライプパターンが改善されている。

第２ストライプパターン４００ｂ、４００ｃ、４００ｄは、特徴ピクセルの方向情報に対して垂直方向でのストライプパターンを繰り返し合成した結果による変化を示す。特徴ピクセルの方向情報に対して垂直方向でのストライプパターン合成した１番目の結果である第２ストライプパターン４００ｂでは、乱数で開始して連関性がないように示されているが、特徴ピクセルの方向情報に対して垂直方向でのストライプパターン合成した２番目の結果である第２ストライプパターン４００ｃ及び３番目の結果である第２ストライプパターン４００ｄではストライプパターンを確認することができる。このように、第２生成部１０５は、２回にかけて互いに垂直方向に生成したストライプパターン、例えば、第１ストライプパターン４０１ｄと第２ストライプパターン４００ｄとを結合して、最終的にストラクチャグリッド４００ｅ、４００ｇを生成することができる。

一方、本発明において、提示した１次元ストライプパターン合成を用いたストラクチャグリッド生成は、２次元テクスチャ合成に比べて、生成されたストラクチャグリッドの結果的側面から非常に優れている。さらに、２次元テクスチャ合成を行う場合、各ピクセルを１回アップデートする度に、
Ｏ（ｄ^２（２ｒ＋１）^２）
の演算が必要であるが、本発明にて提示した１次元ストライプパターン合成を用いてテクスチャ合成を行う場合は、各ピクセルを１回アップデートする度に、
２×Ｏ（ｄ（２ｒ＋１））
の演算が必要なので、速度面から最も優れた性能を示す。

さらに、このように生成された第１ストライプパターンは、そのもでもベクトル長を効果的に示すのに効果的であるため、一実施形態として、流れ視覚化（ｆｌｏｗ ｖｉｓｕａｌｉｚａｔｉｏｎ）などに用いられる。

第２生成部１０５が生成したストラクチャグリッドＧは、ベクトル値を有するイメージ映像Ｇ：ｐ→（ｔ０、ｔ１）として定義され得る。このとき、ｔ０、ｔ１はピクセルｐから該当の特徴ピクセルの方向情報及びその垂直方向に最も近い格子線までの距離をそれぞれ示す。これは、各ピクセルが格子の有無ではなく格子までの距離情報を有することで、パターン全体がより多い情報を含むようにし、合成結果を向上させ、さらに、次の段階において該当距離情報を利用するためである。第２生成部１０５が生成したストラクチャグリッドから隣接する格子線間の所望する距離、すなわち、結果映像から所望する点または線の間隔がｄであるとした場合、ｔｉは［０、ｄ／２］範囲で値を有することができ、所定間隔で繰り返される格子を反映するために周期的に反射される形態として定義される。そして、この場合、点は（０、０）に位置し、ハッチング線は（ｔ０、０）または（０、ｔ１）に位置する。

本発明の一実施形態によれば、第２生成部１０５は、特徴ピクセルの方向情報に従ってストライプパターンを繰り返し合成した結果である図４の第１ストライプパターン４０１ｄと特徴ピクセルの方向情報に対して垂直方向でのストライプパターンを繰り返し合成した結果である図４の第２ストライプパターン４００ｄとを結合して図４のストラクチャグリッド４００ｅ、４００ｇを生成することができる。このためのストライプパターンＰは各ピクセルに対して定義された２つの距離値（ｔ０、ｔ１）のうちの１つに該当する定数値を有する映像Ｐ：ｐ→ｔと定義することができる。

第２生成部１０５が生成したストラクチャグリッドのストライプパターンＰは、ベクトル長Ｆまたはその垂直方向に沿って格子間隔ｄを有する。このとき、ストライプパターンＰは、Ｐが有する距離値を局所最適化（ｌｏｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ）方法を介して繰り返しアップデートして合成される。

そのために、第２生成部１０５は、ストラクチャグリッドのストライプパターンに対して初期値を定義する。例えば、ベクトル長Ｆの垂直方向に沿うストライプパターンの場合Ｐの初期値を決定する明確な基準がないため、第２生成部１０５は［０、ｄ／２］の間の乱数をストライプパターンＰの初期値として決定する。一方、第２生成部１０５はベクトル長Ｆ方向でのストライプパターンの場合、各ピクセルに対して最も近い特徴線までの距離情報を用いて初期化する。

例えば、第２生成部１０５は、ジャンプ氾濫（ｊｕｍｐ−ｆｌｏｏｄｉｎｇ）アルゴリズムを用いて各ピクセルに対して最も近い特徴線までの距離情報を算出することができ、数式１のように周期的に反射する形態を有する関数を用いて各ピクセルに対して最も近い格子線までの距離に変換して［０、ｄ／２］間の実数値を有するように距離情報を算出することができる。

図５に示すように、第２生成部１０５は受信したイメージ映像のピクセルのうちの少なくとも１つのピクセルｐ（５０１）に対するストライプパターンＰの最適値ｔを算出するために、イメージ映像のピクセルのうちの少なくとも１つのピクセルｐ（５０１）を中心にピクセルｐ（５０１）でのベクトル長Ｆまたはその垂直方向に方向が向けられた（２ｒ＋１）×（２ｒ＋１）大きさの隣接窓（ｎｅｉｇｈｂｏｒ ｗｉｎｄｏｗ）Ｗ（５０２）を用いてストライプパターンＰの値ｔを繰り返しアップデートする。このとき、ｒの値は一般的に結果映像において点間の所定間隔または線間の所定間隔を表す値ｄを用いる。
第２生成部１０５が隣接窓Ｗ（５０２）の各行の平均ピクセル値を算出して（２ｒ＋１）大きさの１次元配列（ａｒｒａｙ）ｗ(５０３)として定義すると、これはピクセルｐ（５０１）を中心とする現在周辺のストライプパターンＰの値ｔの分布を意味し、ｗ［ｉ］、ｉ＝−ｒ、…、ｒとして表現することができる。第２生成部１０５はこのように算出された１次元配列ｗ（５０３）とストライプパターンの目標となる関数Ｓとを比較することで、ピクセルｐに対する最適値ｔの値を定義することができる。そのために、第２生成部１０５はストライプパターンの目標となる関数Ｓからサンプリングを介してｗ［ｉ］と同一大きさのテンプレートアレイ（ｔｅｍｐｌａｔｅ ａｒｒａｙ）５０４、ｓ_ｘ［ｉ］＝Ｓ（ｉ＋ｘ）、ｉ＝−ｒ、…、ｒ（０≦ｘ＜ｄ）を定義してサンプリング位置ｘを異なるようし、１次元の配列ｗ（５０３）とテンプレートアレイ５０４との間の元素別（ｅｌｅｍｅｎｔ−ｂｙ−ｅｌｅｍｅｎｔ）差である

を最小化とするサンプリング位置のｘ値を捜す。しかし、この場合、数式１から定義されてｓ_ｘ［ｉ］に含まれたｍｉｎ関数によって、直ちに最適値を捜すことはできないので、ｘの範囲を［ｍ／２、ｍ／２＋０．５］、ｍ＝０、…、２ｄ−１の部分範囲（ｓｕｂｒａｎｇｅ）で割って、各部分範囲ではｓ_ｘ［ｉ］からｍｉｎ関数を除去してＥ（ｗ、ｓ_ｘ）が単純な２次式（ｑｕａｄｒａｔｉｃ ｆｕｎｃｔｉｏｎ）として表現されるようにする。

第２生成部１０５が各部分範囲から算出された最小Ｅ（ｗ、ｓ_ｘ）を比較し、これらのうちの最小Ｅ（ｗ、ｓ_ｘ）を有するｘ値を算出した場合、そのときのｓ_ｘがピクセルｐ（５０１）とその周辺情報を最もよく反映させたテンプレートアレイとすることができる。よって、第２生成部１０５は、ピクセルｐ（５０１）に対する現在最適値ｔをｓ_ｘの中心に該当するｓ_ｘ［０］の値にアップデートする。第２生成部１０５は、このようなピクセル単位アップデートをすべてのピクセルに対して繰り返し行い、総反復実行回数は３回から８回までの間である。

一方、第２生成部１０５が本発明において提示した１次元ストライプパターン合成を用いてテクスチャ合成を行う場合、イメージ映像のピクセルのうちの少なくとも１つのピクセルｐ（５０１）をアップデートするために、隣接窓Ｗ（５０２）を定義する際、方向だけではなく追加的に隣接窓Ｗ（５０２）の割合も一緒に調節することができる。

このように、第２生成部１０５が隣接窓Ｗ（５０２）の割合を調節する場合、イメージ映像のピクセルのうちの少なくとも１つのピクセルｐ（５０１）に対して考慮する周辺ピクセルの領域が変化して結果的にストライプパターンの間隔が変わる。

このような理由で、第２生成部１０５はイメージ映像の各部分において点や線の間隔を少しずつ滑らかに調節することができ、アーティストが描いた映像のように、自由度の高いストラクチャグリッドを生成することができる。次に、図６を参照して、本発明の一実施形態によるイメージ処理装置のレンダリング部がプリミティブレンダリングを行う場合について説明する。

図６は、本発明の一実施形態によるイメージ処理装置のレンダリング部がプリミティブレンダリングを行う例示図である。

レンダリング部１０７は、第２生成部１０５から生成したストラクチャグリッドを受信し、受信したストラクチャグリッド上において所定のトーンを表現するプリミティブをレンダリングする。ここで、プリミティブレンダリングは、第２生成部１０５から生成したストラクチャグリッド上において点や線のような基本プリミティブを描くことによって結果映像を製作することを示す。

レンダリング部１０７はストラクチャグリッド上の値と受信されたイメージ映像から生成したトーンマップを用いてレンダリングするプリミティブの位置及び大きさなどを決定する。このとき、イメージ映像から生成したトーンマップはイメージ映像をグレースケール映像に変換し、ガウシアンスムージング（Ｇａｕｓｓｉａｎ ｓｍｏｏｔｈｉｎｇ）して生成することができ、変換されたガウシアンスムージング結果に追加的に明るさやガンマ（ｇａｍｍａ）の調節など映像処理を行って生成される結果映像に表現しようとするトーンのマップを示す。

一方、格子状の構造を有するストラクチャグリッド上において格子の交点部分に点を配置したスティプリング３００ｂを表現するための方法は、本発明の一実施形態によれば、ストラクチャグリッド値が（０、０）に該当する位置に円を描く方法がある。

しかし、この場合、結果映像が人為的すぎで、特徴ピクセルの方向情報の変形などによって位置が完全ではないと、目立ちやすいという問題がある。実際、ヘッドカットアーティストの描く点は不規則な模様を示していて、これは全体的に平温でありながら特徴ピクセルの方向情報の変形にも自然な結果映像を生成することができる。

このような問題点を解決するための本発明の一実施形態によるピクセル基盤スティプリング方法を用いるレンダリング部１０７は、イメージ映像のピクセルのうちの少なくとも１つのピクセルｐが属することのできる点の位置、すなわちピクセルｐの位置から最も近い点の位置を推定する。

このとき、レンダリング部１０７がピクセルｐの位置から最も近い点にピクセルｐが属するかどうかを推定するために必要な情報は、ピクセルｐから最も近い点の中心までの距離と該当点の大きさである。

レンダリング部１０７は、ピクセルｐの位置から最も近い点の中心までの距離ｄ_ｓをストラクチャグリッド値から、

であると定義することができ、該当点の大きさを該当部分のトーン値に反比例して定義することができる。このとき、該当点を、中心においてｄ（６０２）×ｄ（６０２）大きさの領域Ω（６０３）での平均トーンをｂとした場合、トーンマップがスムージングされたことを考慮すれば、ｂは簡単にピクセルｐでのトーンマップ値に近似化することができる。

これに基づいて、レンダリング部１０７がピクセルｐの位置から最も近い点を中心にしてｄ（６０２）×ｄ（６０２）大きさの領域Ω（６０３）にトーンｂを表現するために必要な点の大きさｓ（６０１）を計算すると、数式２のようになる。このとき、点の大きさｓがｄ／２より大きい場合、点間に重りが発生するので、レンダリング部１０７はこのような場合に対しては追加的に考慮した、点の大きさｓを算出しなければならない。

数式２に示すように、ｂはピクセルｐの位置から最も近い点を中心にｄ６０２×ｄ６０２大きさの領域Ω（６０３）での平均トーンを示し、ｓ（６０１）は領域Ω（６０３）での平均トーンを表現するために必要な点の大きさを示し、ｄは結果映像において点またはハッチング線間の所定間隔を表す値、すなわち、ストラクチャグリッドの間隔を示す。

レンダリング部１０７は、ピクセルｐの位置から最も近い点の中心までの距離ｄ_ｓと該当点の大きさｓとを比較してピクセルｐの明るさの値を決定する。このとき、線が凸凹となるエリアシング（ａｌｉａｓｉｎｇ）を防止するために、レンダリング部１０７はピクセルｐの位置から最も近い点の周辺にδ_s厚さほどの境界に該当する領域を灰色部分であると定義し、ｄ_ｓがｓ−δ_sよりも小さい場合にピクセルｐの位置から最も近い点に該当する領域、例えば、黒色領域であると判断してピクセルｐの明るさ値を０に決定し、ｄ_ｓがｓよりも大きい場合、ピクセルｐの位置から最も近い点に該当しない領域、例えば、白色領域であると判断してピクセルｐの明るさ値を１に決定する。

また、レンダリング部１０７は、ピクセルｐの位置から最も近い点の周辺にδ_s厚さほどの境界に該当する、すなわち、ｄ_ｓがｓ−δ_sとｓとの間の値を有する領域ではピクセルｐの明るさ値を補間した灰色である１−（ｓ−ｄ_ｓ）／δ_sに決定し、δ_sは基本値として１を使用する。

一方、格子状の構造を有したストラクチャグリッド上において格子線部分に線を配置したハッチング３００ｃを表現するための本発明の一実施形態によれば、ストラクチャグリッドにおいてピクセルｐからピクセル特徴の方向情報及びその垂直方向に最も近い格子線までの距離をそれぞれ示すｔ０またはｔ１が０である格子線部分を連結し、ここに線を配置して生成することができる。

しかし、この場合、結果映像が人為的すぎで、特徴ピクセルの方向情報の変形などにより位置が完全ではないと目立ちやすいという問題がある。

このような問題点を解決するための本発明の一実施形態によるピクセル基盤ハッチング方法によるレンダリング部１０７は、イメージ映像のピクセルのうち少なくとも１つのピクセルｐが属することができるハッチング線の位置、すなわち、ピクセルｐの位置から最も近いハッチング線の位置を推定する。

このとき、レンダリング部１０７が、ピクセルｐの位置から最も近いハッチング線にピクセルｐが属するかどうかを推定するために必要な情報は、ピクセルｐから最も近いハッチング線の中心までの距離と該当線の太さである。

レンダリング部１０７は、ピクセルｐの位置から最も近いハッチング線の中心までの距離ｄ_ｈをストラクチャグリッド値からｍｉｎ｛ｔ０、ｔ１｝であると定義することができ、該当ハッチング線の太さを図６のスティプリングの場合と同様に該当ハッチング線のトーン値に反比例するように定義することができる。

このとき、該当のハッチング線を中心にｄ（６０５）×ｄ（６０５）大きさの領域Ω（６０６）での平均トーンをｂとする場合、領域Ω（６０６）においてトーンｂを表現するために必要なハッチング線の太さｈ（６０４）は、数式３に従って計算する。

数式３に示すように、ｂはピクセルｐの位置から最も近い点を中心にｄ（６０５）×ｄ（６０５）大きさの領域Ω（６０６）での平均トーンを示し、ｈ（６０４）は領域Ω（６０６）での平均トーンを表現するために必要なハッチング線の太さを示す。

レンダリング部１０７は、ピクセルｐの位置から最も近いハッチング線までの距離ｄ_ｈと該当線の太さｈ（６０４）とを比較してピクセルｐの明るさ値を決定する。このとき、線が凸凹となるエリアシングを防止するために、レンダリング部１０７はピクセルｐの位置から最も近いハッチング線の境界にδ_h厚さほどの線の境界に該当する領域を灰色部分として定義し、ｄ_ｈがｈ−δ_hよりも小さい場合には、ピクセルｐの位置から最も近いハッチング線に該当する領域、例えば、黒色領域であると判断してピクセルｐの明るさ値を０に決定し、ｄ_ｈがｈよりも大きい場合には、ピクセルｐの位置から最も近いハッチング線に該当しない領域、例えば、白色領域であると判断してピクセルｐの明るさ値を１に決定する。

また、レンダリング部１０７は、ピクセルｐの位置から最も近いハッチング線の境界にδ_h厚さほどの境界に該当する、すなわち、ｄ_ｈがｈ−δ_hとｈとの間の値を有する領域ではピクセルｐの明るさ値を補間した灰色である１−（ｈ−ｄ_ｈ）／δ_hに決定し、δ_hは基本値として１を使用する。

このように、本発明の一実施形態によるピクセル基盤のプリミティブレンダリング方法を用いてレンダリング部１０７がレンダリングを行う場合、各ピクセルが独立的な演算により短時間に自然な模様の点や線をレンダリングしながらも効果的にトーンマップのトーンを製作することができる。

また、このように定義されたスティプリング及びハッチングは、同一構造のストラクチャグリッド上においてすべてのピクセル基盤に生成されたため、２つのスタイルが混合（３００ｄ）されても違和感がない。したがって、実際レンダリングではこの２つのスタイルを混ぜて表現することで、従来では不可能であった、アーティストにより生成した結果映像に最も近い結果を生成することができる。

一般的にアーティストは、暗い部分を表現する際に、点が重なるスティプリングよりはハッチングを好む傾向がある。このような理由から本発明の一実施形態では最大許容点の大きさをｓ_ｍａｘであると定義し、演算された点の大きさｓがｓ_ｍａｘよりも小さい領域でスティプリングを行い、演算された点の大きさｓがｓ_ｍａｘよりも大きい領域ではハッチングを行うことで、スティプリング及びハッチングを混ぜて使用することができる。

このとき、ｓ_ｍａｘの基本値は点の重畳が開始される点の大きさであるｄ／２で定義され、ｓ_ｍａｘの値を０として定義する場合、ハッチングだけになっている結果映像を生成することができ、ｓ_ｍａｘの値が領域Ωを覆うことができるほどの大きい値に定義する場合、スティプリングだけになっている結果映像を生成することができる。

一方、生成したスティプリングだけで、ストラクチャグリッドにおいて特異点（ｓｉｎｇｕｌａｒｉｔｙ）など、ベクトル長が極端的に変化する部分では点の模様や間隔も変形しすぎることができるが、このような点の模様を改善したい場合はさらにストラクチャグリッドを改善する後処理過程を行うことができる。

まず、後処理部（図示せず）は、該当領域においてストラクチャグリッドの格子交点に該当する、例えば、

の地域的極小点を算出し、算出した地域的極小点からボロノイダイヤグラム（Ｖｏｒｏｎｏｉ ｄｉａｇｒａｎｍ）を算出する。

後処理部は、算出されたボロノイダイヤグラム上において各ピクセルから自分が属したボロノイセル（ｃｅｌｌ）の中心までの距離を特徴方向及び特徴方向の垂直方向に演算し、新たなｔ０、ｔ１値を定義して修正されたストラクチャグリッドＧ’を生成することができる。

このとき、後処理部は、ボロノイセル境界部分に示される不連続を解決するために、修正されたストラクチャグリッドＧ’のｔ０、ｔ１をそれぞれのストライプパターン合成を介してさらに定義してストラクチャグリッドＧ”を生成することができる。

最終的に、後処理部は各ピクセルに対してボロノイセル中心までの距離に反比例する加重値ｗを定義し、加重値ｗを用いて仮重合すると、アップデートされたストラクチャグリッドｗＧ’（ｐ）＋（１-ｗ）Ｇ”（ｐ）を生成することができる。

このような過程を介して修正されたストラクチャグリッドを利用する場合、レンダリング部１０７は点の中心部分においてボロノイセルの中心部分を反映して位置や間隔がある程度強制されながらも自然な模様を有し、効果的にトーンを表現する点をレンダリングすることができる。また、レンダリング部１０７がボロノイダイヤグラムと関連する演算に対してジャンプ氾濫アルゴリズムを用いて演算するため、ピクセル基盤において早い実行が可能であるので追加的な時間消耗が殆どない。

図７は、本発明の一実施形態によるイメージ処理過程を説明するためのフローチャートである。

図７に示すように、イメージ処理装置は受信されたイメージ映像から特徴ピクセル及び特徴ピクセルの方向情報を用いてイメージ映像に対するベクトル長を生成する（Ｓ７０１）。ここで、イメージ処理装置は、特徴ラインマップに含まれない特徴ピクセルの方向情報を定義するため、特徴ラインマップに含まれた特徴ピクセルの方向情報を補間して使用する。これは単純にイメージ映像に含まれたすべての特徴ピクセルのＥＴＦ情報を用いることに比較して滑らかでかつ安定的であって、特徴部分の情報を高く反映したベクトル長が得られるという長所がある。

本発明の一実施形態によれば、イメージ処理装置は散布データ補間法のうちの多重レベルＢ−スプライン補間法を用いて特徴ラインマップに該当する点の方向情報を補間してイメージ映像に対するベクトル長を生成することができる。本発明の一実施形態によれば、イメージ処理装置は反対方向を示すベクトル、例えば、（１、０）及び（−１、０）を同一方向に処理するために、特徴ピクセルの方向情報を２×２構造テンソル（ｓｔｒｕｃｔｕｒｅ ｔｅｎｓｏｒ）に変換した後、各項を補間し、補間した構造テンソルの固有ベクトルを算出して各ピクセルの方向に定義してイメージ映像に対するベクトル長を生成することができる。

イメージ処理装置は、ベクトル長を用いてストラクチャグリッドを生成する（Ｓ７０２）。本発明の一実施形態によれば、イメージ処理装置は生成されたベクトル長に沿って滑らかに変形して格子状の構造を有したストラクチャグリッドを生成することができる。このような構造の上において格子の交点部分には点を、格子線部分には線を絵としてスティプリングとハッチングまたはその混合を全部表現することができ、このように描かれたプリミティブは特徴方向及びその垂直方向すべてに沿って所定間隔に並べることができる。

イメージ処理装置は、生成されたストラクチャグリッド上において所定のトーンを表現するプリミティブをレンダリングする（Ｓ７０３）。ここで、プリミティブレンダリングは、生成されたストラクチャグリッド上において点や線のような基本プリミティブを絵として最終結果映像を製作することを示す。イメージ処理装置はプリミティブレンダリング結果に特徴線を追加して結果映像を生成する（Ｓ７０４）。

上述では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練した当業者は、添付の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範囲で、本発明を多様に修正及び変更させることができる。

１０１ 受信部
１０３ 第１生成部
１０５ 第２生成部
１０７ レンダリング部
１０９ 映像生成部

Claims (24)

1. ストラクチャグリッドを用いてイメージ処理するイメージ処理装置において、
   イメージ映像の特徴ピクセル及び前記特徴ピクセルの方向情報を用いて前記イメージ映像の形象を表現することができるベクトル長を生成する第１生成部と、
   前記ベクトル長を用いて前記イメージ映像の形象をレンダリングする構造を示すストラクチャグリッドを生成する第２生成部と、
   前記生成されたストラクチャグリッドを用いて所定のトーンを表現するプリミティブをレンダリングするレンダリング部と、
   を含むことを特徴とするイメージ処理装置。
2. 前記プリミティブレンダリング結果に前記イメージ映像の特徴を示す特徴線を追加して結果映像を生成する映像生成部をさらに含むことを特徴とする請求項１に記載のイメージ処理装置。
3. 前記第１生成部は、
   前記特徴ピクセルに該当する特徴ラインマップを生成し、前記生成された特徴ラインマップに含まれた特徴ピクセルの方向情報を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して前記イメージ映像に対するベクトル長を生成することを特徴とする請求項１に記載のイメージ処理装置。
4. 前記第２生成部は、
   少なくとも１つのベクトル長を用いて前記ベクトル長の方向に沿って所定間隔に繰り返される少なくとも１つのストライプパターンを生成することを特徴とする請求項１に記載のイメージ処理装置。
5. 前記第２生成部は、
   少なくとも１つのベクトル長を用いて前記ベクトル長の方向に対して任意の方向に沿って所定間隔に繰り返される少なくとも１つのストライプパターンを生成することを特徴とする請求項１に記載のイメージ処理装置。
6. 前記ストラクチャグリッドにおいて格子交点及び格子線に該当する位置を推定する後処理部をさらに含むことを特徴とする請求項１に記載のイメージ処理装置。
7. 前記後処理部は、
   前記推定された位置に該当する格子交点及び格子線を変形してストラクチャグリッドを補正することを特徴とする請求項６に記載のイメージ処理装置。
8. 前記レンダリング部は、
   前記ストラクチャグリッド上の値と前記イメージ映像から生成されたトーンマップを用いてレンダリングするプリミティブの位置及び大きさを決定することを特徴とする請求項１に記載のイメージ処理装置。
9. 前記レンダリング部は、
   前記イメージ映像の含まれたそれぞれのピクセルから最も近いストラクチャグリッドのグリッドラインまでの距離情報を用いて所定の大きさのプリミティブをレンダリングすることを特徴とする請求項８に記載のイメージ処理装置。
10. 前記トーンマップは、
    前記結果映像として表現しようとするトーンのマップであることを特徴とする請求項８に記載のイメージ処理装置。
11. 前記ベクトル長は、
    レンダリングすべきプリミティブの羅列方向情報を指示するベクトルであることを特徴とする請求項１に記載のイメージ処理装置。
12. 前記ストラクチャグリッドは、
    レンダリングすべきプリミティブの位置情報を指示する構造体であることを特徴とする請求項１に記載のイメージ処理装置。
13. ストラクチャグリッドを用いてイメージ処理するイメージ処理方法において、
    イメージ映像の特徴ピクセル及び前記特徴ピクセルの方向情報を用いて前記イメージ映像の形象を表現することができるベクトル長を生成する段階と、
    前記ベクトル長を用いて前記イメージ映像の形象をレンダリングする構造を示すストラクチャグリッドを生成する段階と、
    前記生成されたストラクチャグリッドを用いて所定のトーンを表現するプリミティブをレンダリングする段階と、
    を含むことを特徴とするイメージ処理方法。
14. 前記イメージ処理方法は、
    前記プリミティブレンダリング結果に、前記イメージ映像の特徴を示す特徴線を追加して結果映像を生成する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理方法。
15. 前記ベクトル長を生成する段階は、
    前記特徴ピクセルに該当する特徴ラインマップを生成し、前記生成された特徴ラインマップに含まれた特徴ピクセルの方向情報を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して前記イメージ映像に対するベクトル長を生成することを特徴とする請求項１３に記載のイメージ処理方法。
16. 前記ストラクチャグリッドを生成する段階は、
    少なくとも１つのベクトル長を用いて前記ベクトル長の方向に沿って所定間隔に繰り返される少なくとも１つのストライプパターンを生成することを特徴とする請求項１３に記載のイメージ処理方法。
17. 前記ストラクチャグリッドを生成する段階は、
    少なくとも１つのベクトル長を用いて前記ベクトル長の方向に対して任意の方向に沿って所定間隔に繰り返される少なくとも１つのストライプパターンを生成することを特徴とする請求項１３に記載のイメージ処理方法。
18. 前記イメージ処理方法は、
    前記ストラクチャグリッドにおいて格子交点及び格子線に該当する位置を推定する段階をさらに含むことを特徴とする請求項１３に記載のイメージ処理方法。
19. 前記位置を推定する段階は、
    前記推定した位置に該当する格子交点及び格子線を変形してストラクチャグリッドを補正することを特徴とする請求項１８に記載のイメージ処理方法。
20. 前記プリミティブをレンダリングする段階は、
    前記ストラクチャグリッド上の値と前記イメージ映像から生成したトーンマップを用いてレンダリングするプリミティブの位置及び大きさを決定することを特徴とする請求項１３に記載のイメージ処理方法。
21. 前記レンダリング段階は、
    前記イメージ映像の含まれたそれぞれのピクセルから最も近いストラクチャグリッドのグリッドラインまでの距離情報を用いて所定の大きさのプリミティブをレンダリングすることを特徴とする請求項２０に記載のイメージ処理方法。
22. 前記トーンマップは、
    前記結果映像として表現しようとするトーンのマップであることを特徴とする請求項２０に記載のイメージ処理方法。
23. 前記ベクトル長は、
    レンダリングすべきプリミティブの羅列方向情報を指示するベクトルであることを特徴とする請求項１３に記載のイメージ処理方法。
24. 前記ストラクチャグリッドは、
    レンダリングすべきプリミティブの位置情報を指示する構造体であることを特徴とする請求項１３に記載のイメージ処理方法。