JP5294343B2

JP5294343B2 - 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置

Info

Publication number: JP5294343B2
Application number: JP2010516785A
Authority: JP
Inventors: 正行田中; 正敏奥富; 陽一矢口
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2008-06-10
Filing date: 2009-03-12
Publication date: 2013-09-18
Anticipated expiration: 2029-03-12
Also published as: WO2009150882A1; US20110170784A1; JPWO2009150882A1

Description

本発明は、デジタル画像処理技術に関し、特に、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理技術、及び当該画像位置合わせ処理技術を利用した画質改善処理技術に関するものである。
また、本発明は、複数のモーションを含む画像に対する領域拡張処理を行う領域拡張処理技術に関するものである。
更に、本発明は、本発明の画像位置合わせ処理技術と本発明の領域拡張処理技術を利用した画質改善処理技術に関するものである。

デジタル画像処理技術において、複数の画像を利用して高画質な画像を生成する画質改善処理がある。例えば、超解像処理は、このような画質改善処理の１つである。超解像処理とは、位置ずれのある複数の低解像度画像を利用して、１つの高解像度画像を再構成（推定）する処理である。
複数の画像を利用して高画質な画像を生成する画質改善処理を行うためには、これら複数の画像間の位置合わせ処理が必要不可欠である。特に、超解像処理においては、複数の低解像度画像間の高精度な位置合わせ処理が必要である（非特許文献１を参照）。また、様々な応用において、画像全体（全画面）を超解像処理したいという要求も大きい。
しかし、撮影された低解像度画像（観測画像）には、モーションの異なる複数の移動体が含まれることが多く、このような複数のモーションを含む画像間の画像全体（全画面）の高精度な位置合わせ処理を行うことは、非常に難しい問題である。
複数のモーションが含まれる画像間の画像全体（全画面）の位置合わせ処理（以下、「複数モーションに対応した画像位置合わせ処理」と言う。）を行う既存方法としては、例えば、
（１）画像全体（全画面）を単一モーションと仮定して、位置合わせ処理を行う方法（以下、「従来方法１」という。）、
（２）局所的な情報のみを利用して、画素毎に位置合わせ処理を行う方法（非特許文献２を参照）（以下、「従来方法２」という。）、
（３）画像全体（全画面）を格子状にブロック分割して、ブロック毎に独立に位置合わせ処理を行う方法（非特許文献７〜非特許文献９を参照）（以下、「従来方法３」という。）、
（４）単一モーション領域の抽出と位置合わせ処理を同時に行う方法（非特許文献１０及び非特許文献１１を参照）（以下、「従来方法４」という。）、
（５）特徴点ベース位置合わせ処理手法を応用して、複数のモーションを抽出する方法（非特許文献１２〜非特許文献１４を参照）（以下、「従来方法５」という。）、などの方法がある。

特開２００７−２５７２８７号公報特願２００７−０３８００６特願２００７−０７０４０１

エス．パーク（Ｓ．Ｐａｒｋ）、エム．パーク（Ｍ．Ｐａｒｋ）、エム．カン（Ｍ．Ｋａｎｇ）共著，「スーパーレゾルーションイメージリコンストラクション：アテクニカルオーバービュー（Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ａｔｅｃｈｎｉｃａｌｏｖｅｒｖｉｅｗ）」，ＩＥＥＥシグナルプロセシングマガジン（ＩＥＥＥＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＭａｇａｚｉｎｅ），第２０巻，第３号，ｐ．２１−３６，２００３年ダブリュー．チャオ（Ｗ．Ｚｈａｏ）、エイチ．ソーニー（Ｈ．Ｓａｗｈｎｅｙ）共著，「イズスーパーレゾルーションウィズオプティカルフローフィージブル？（Ｉｓｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎｗｉｔｈｏｐｔｉｃａｌｆｌｏｗｆｅａｓｉｂｌｅ？）」，ヨーロピアンカンファレンスオンコンピュータビジョン（ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）（ＥＣＣＶ），第１巻，ｐ．５９９−６１３，２００２年ゼッド．エイ．イバノブスキ（Ｚ．Ａ．Ｉｖａｎｏｖｓｋｉ）、エル．パノブスキ（Ｌ．Ｐａｎｏｖｓｋｉ）、エル．ジェー．カラム（Ｌ．Ｊ．Ｋａｒａｍ）共著，「ロバストスーパーレゾルーションベースドオンピクセルレベルセレクティビティ（Ｒｏｂｕｓｔｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎｂａｓｅｄｏｎｐｉｘｅｌ−ｌｅｖｅｌｓｅｌｅｃｔｉｖｉｔｙ）」，プロスィーディングズオフＳＰＩＥ（ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＰＩＥ），第６０７７巻，ｐ．６０７７０７，２００６年戸田真人・塚田正人・井上晃共著，「レジストレーション誤差を考慮した超解像処理」，プロスィーディングズオフＦＩＴ２００６（ＰｒｏｃｅｅｄｉｎｇｏｆＦＩＴ２００６），第１巻，ｐ．６３−６４，２００６年エヌ．エル−ヤマニ（Ｎ．Ｅｌ−Ｙａｍａｎｙ）、ピー．パパミチャリス（Ｐ．Ｐａｐａｍｉｃｈａｌｉｓ）、ダブリュー．スチュカニ（Ｗ．Ｓｃｈｕｃａｎｙ）共著、「アロバストイメージスーパーレゾルーションスキームベースドオンレデセンディングＭ−エスチメイタスアンドインフォメイション−セオレティクダイバージェンス（ＡＲｏｂｕｓｔＩｍａｇｅＳｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎＳｃｈｅｍｅＢａｓｅｄｏｎＲｅｄｅｓｃｅｎｄｉｎｇＭ−ＥｓｔｉｍａｔｏｒｓａｎｄＩｎｆｏｒｍａｔｉｏｎ−ＴｈｅｏｒｅｔｉｃＤｉｖｅｒｇｅｎｃｅ）」，ＩＥＥＥインターナショナルカンファレンスオンアコースティックス，スピーチアンドシグナルプロセシング（ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ）（ＩＣＡＳＳＰ），第１巻，ｐ．７４１−７４４，２００７年エス．ファースイ（Ｓ．Ｆａｒｓｉｕ）、エム．ロビンソン（Ｍ．Ｒｏｂｉｎｓｏｎ）、エム．エラド（Ｍ．Ｅｌａｄ）、ピー．ミランファー（Ｐ．Ｍｉｌａｎｆａｒ）共著，「ファストアンドロバストマルチフレームスーパーレゾルーション（Ｆａｓｔａｎｄｒｏｂｕｓｔｍｕｌｔｉｆｒａｍｅｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ）」，ＩＥＥＥトランスアクションズオンイメージプロセシング（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ），第１３巻，第１０号，ｐ．１３２７−１３４４，２００４年イー．コース（Ｅ．Ｃｏｕｒｓｅｓ）、ティー．サーベイス（Ｔ．Ｓｕｒｖｅｙｓ）共著，「アロバストイテラティブスーパーレゾルーションリコンストラクションオフイメージシーケンスユジングアロレンティズアンベイジアンアプローチウィズファストアフィンブロックベースドレジストレイション（ＡＲｏｂｕｓｔＩｔｅｒａｔｉｖｅＳｕｐｅｒ−ＲｅｓｏｌｕｔｉｏｎＲｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＩｍａｇｅＳｅｑｕｅｎｃｅｓｕｓｉｎｇａＬｏｒｅｎｔｚｉａｎＢａｙｅｓｉａｎＡｐｐｒｏａｃｈｗｉｔｈＦａｓｔＡｆｆｉｎｅＢｌｏｃｋ−ＢａｓｅｄＲｅｇｉｓｔｒａｔｉｏｎ）」，ＩＥＥＥインターナショナルカンファレンスオンイメージプロセシング（ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ）（ＩＣＩＰ），第５巻，ｐ．３９３−３９６，２００７年エム．イラニ（Ｍ．Ｉｒａｎｉ）、ビー．ロウソウ（Ｂ．Ｒｏｕｓｓｏ）、エス．ペレグ（Ｓ．Ｐｅｌｅｇ）共著，「コンピューティングオクルーディングアンドトランスペアレントモーションズ（Ｃｏｍｐｕｔｉｎｇｏｃｃｌｕｄｉｎｇａｎｄｔｒａｎｓｐａｒｅｎｔｍｏｔｉｏｎｓ）」，インターナショナルジャーナルオフコンピュータビジョン（ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ），第１２巻，第１号，ｐ．５−１６，１９９４年エム．ブラック（Ｍ．Ｂｌａｃｋ）、ピー．アナンダン（Ｐ．Ａｎａｎｄａｎ）共著，「ザロバストエスティメイションオフマルチプルモーションズ：パラメトリックアンドピースワイズスムースフローフィールド（Ｔｈｅｒｏｂｕｓｔｅｓｔｉｍａｔｉｏｎｏｆｍｕｌｔｉｐｌｅｍｏｔｉｏｎｓ：Ｐａｒａｍｅｔｒｉｃａｎｄｐｉｅｃｅｗｉｓｅ−ｓｍｏｏｔｈｆｌｏｗｆｉｅｌｄｓ）」，コンピュータビジョンアンドイメージアンダスタンディング（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ），第６３巻，第１号，ｐ．７５−１０４，１９９６年ジェー．ウイルス（Ｊ．Ｗｉｌｌｓ）、エス．アガワル（Ｓ．Ａｇａｒｗａｌ）、エス．ビロングイエ（Ｓ．Ｂｅｌｏｎｇｉｅ）共著，「ホワットウェントホウェア（Ｗｈａｔｗｅｎｔｗｈｅｒｅ）」，ＩＥＥＥコンピュータソサイアティカンファレンスオンコンピュータビジョンアンドパターンレコグニション（ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ）（ＣＶＰＲ），第１巻，ｐ．３７−４４，２００３年ピー．バハット（Ｐ．Ｂｈａｔ）、ケイ．ツェン（Ｋ．Ｚｈｅｎｇ）、エヌ．スナベリ（Ｎ．Ｓｎａｖｅｌｙ）、エイ．アガワラ（Ａ．Ａｇａｒｗａｌａ）、エム．アグラワラ（Ｍ．Ａｇｒａｗａｌａ）、エム．コヘン（Ｍ．Ｃｏｈｅｎ）、ビー．カーレス（Ｂ．Ｃｕｒｌｅｓｓ）共著，「ピースワイズイメージレジストレイションインザプレゼンスオフマルチプルラージモーションズ（ＰｉｅｃｅｗｉｓｅＩｍａｇｅＲｅｇｉｓｔｒａｔｉｏｎｉｎｔｈｅＰｒｅｓｅｎｃｅｏｆＭｕｌｔｉｐｌｅＬａｒｇｅＭｏｔｉｏｎｓ）」，ＩＥＥＥコンピュータソサイアティカンファレンスオンコンピュータビジョンアンドパターンレコグニション（ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ）（ＣＶＰＲ），第２巻，ｐ．２４９１−２４９７，２００６年オウ．チュム（Ｏ．Ｃｈｕｍ）、ジェー．マタス（Ｊ．Ｍａｔａｓ）共著，「マッチングウイズＰＲＯＳＡＣ−プログレッシブサンプルコンセンサス（ＭａｔｃｈｉｎｇｗｉｔｈＰＲＯＳＡＣ−ｐｒｏｇｒｅｓｓｉｖｅｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ）」，ＩＥＥＥコンピュータソサイアティカンファレンスオンコンピュータビジョンアンドパターンレコグニション（ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ）（ＣＶＰＲ），第１巻，ｐ．２２０−２２６，２００５年エム．フィシャラ（Ｍ．Ｆｉｓｃｈｌｅｒ）、アール．ボレス（Ｒ．Ｂｏｌｌｅｓ）共著，「ランダムサンプルコンセンサス：アパラダイムフォーモデルフィッティングウイズアプリケイションズトゥーイメージアナリシスアンドオートメイテドカトゥーグラフィ（Ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ：ａｐａｒａｄｉｇｍｆｏｒｍｏｄｅｌｆｉｔｔｉｎｇｗｉｔｈａｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅａｎａｌｙｓｉｓａｎｄａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ）」，コミュニケーションズオフザＡＣＭ（ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ），第２４巻，第６号，ｐ．３８１−３９５，１９８１年オウ．チョウイ（Ｏ．Ｃｈｏｉ）、エイチ．キム（Ｈ．Ｋｉｍ）、アイ．ケウィオン（Ｉ．Ｋｗｅｏｎ）共著，「シマルテイニアスプレーンエクストラクションアンド２Ｄホモグラフィエスティメイションユジングローカルフィーチャートランスフォーメイションズ（ＳｉｍｕｌｔａｎｅｏｕｓＰｌａｎｅＥｘｔｒａｃｔｉｏｎａｎｄ２ＤＨｏｍｏｇｒａｐｈｙＥｓｔｉｍａｔｉｏｎＵｓｉｎｇＬｏｃａｌＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍａｔｉｏｎｓ）」，アジアンカンファレンスオンコンピュータビジョン（ＡｓｉａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）（ＡＣＣＶ），第４８４４巻，ｐ．２６９−２７８，２００７年ディー．ロウィ（Ｄ．Ｌｏｗｅ）著，「デステンクティブイメージフィーチャーズフロムスケール−インベアリアントキーポイントズ（ＤｉｓｔｉｎｃｔｉｖｅＩｍａｇｅＦｅａｔｕｒｅｓｆｒｏｍＳｃａｌｅ−ＩｎｖａｒｉａｎｔＫｅｙｐｏｉｎｔｓ）」，インターナショナルジャーナルオフコンピュータビジョン（ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ），第６０巻，第２号，ｐ．９１−１１０，２００４年矢口陽一・田中正行・奥富正敏共著，「オクルージョンや明るさ変化にロバストな超解像処理」，情報処理学会研究報告：コンピュータビジョンとイメージメディア２００７−ＣＶＩＭ−１５９，第２００７巻，第４２号，ｐ．５１−５６，２００７年シー．サン（Ｃ．Ｓｕｎ）著，「ファストアルゴリズムフォーステレオマッチングアンドモーションエスティメイション（Ｆａｓｔａｌｇｏｒｉｔｈｍｓｆｏｒｓｔｅｒｅｏｍａｔｃｈｉｎｇａｎｄｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎ）」，プロック．オフオーストラリア−ジャパンアドバーンストワークショップオンコンピュータビジョン（Ｐｒｏｃ．ＯｆＡｕｓｔｒａｌｉａ−ＪａｐａｎＡｄｖａｎｃｅｄＷｏｒｋｓｈｏｐｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ），ｐ．３８−４８，２００３年エス．ベイカ（Ｓ．Ｂａｋｅｒ）、アイ．マチューズ（Ｉ．Ｍａｔｔｈｅｗｓ）共著，「ルーカス−カナデ２０イヤーズオン：アユニファイングフレームワーク（Ｌｕｃａｓ−Ｋａｎａｄｅ２０ＹｅａｒｓＯｎ：ＡＵｎｉｆｙｉｎｇＦｒａｍｅｗｏｒｋ）」，インターナショナルジャーナルオフコンピュータビジョン（ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ），第５６巻，第３号，ｐ．２２１−２５５，２００４年田中正行・奥富正敏共著，「周波数領域最適化法によるＭＡＰ型超解像処理の高速化」，情報処理学会論文誌：コンピュータビジョンとイメージメディア，第４７巻．ＳＩＧ１０（ＣＶＩＭ１５），ｐ．１２−２２，２００６年

しかしながら、単一モーションであると仮定して位置合わせ処理を行う「従来方法１」では、実際に画像全体に複数のモーションが含まれているにもかかわらず、単一モーションと仮定しているため、位置合わせ処理の精度は低く、精度の良いモーションパラメータは得られないとの問題点がある。
また、局所的な情報のみを利用して画素毎に位置合わせ処理を行う「従来方法２」では、位置合わせ処理に局所的な情報しか利用していないため、位置合わせ処理が不安定になりがちとの問題点がある。
さらに、画像全体を格子状のブロックに分割しブロック毎に独立に位置合わせ処理を行う「従来方法３」でも、同様に、ブロック毎の位置合わせ処理では、ブロック内の情報のみ（即ち、局所的な情報のみ）を利用しているため、位置合わせ処理が不安定になりがちとの問題点がある。また、分割されたブロック内で単一モーションを仮定して、そのブロックの位置合わせ処理が行われるが、ブロック内が単一モーションであるとは限らないので、ブロックによっては、その位置合わせ処理の精度が低く、精度の良いモーションパラメータは得られないとの問題点もある。
また、単一モーション領域の抽出と位置合わせ処理を同時に行う「従来方法４」では、単一モーションが含まれる領域の抽出と位置合わせ処理を同時に行っているものの、単一モーション領域の抽出が従来方法４の主目的であるため、位置合わせ処理の精度はそれほど高いとは言えず、つまり、超解像処理に必要な精度で（サブピクセル精度で）のモーションパラメータは得られないとの問題点がある。
そして、特徴点ベース位置合わせ処理手法を応用して、複数のモーションを抽出する「従来方法５」では、各モーションに対応する特徴点が得られるだけであり、そのモーションに対応する領域は得られないとの問題点がある。
このように、上述した複数モーションに対応した画像位置合わせ処理を行う既存方法（従来方法１〜従来方法５）は、いずれも超解像処理に適したものではない。
ところで、近年、位置合わせ処理の結果が不正確であっても、それに基づいてロバストに画像を再構成することができる「ロバスト超解像処理」の研究も行われている（非特許文献２〜非特許文献７を参照）。
しかしながら、位置合わせが不正確な領域は、ロバスト超解像処理によりアーチファクトを低減することはできても、解像度を向上させることはできず、本質的な解決とはなっていない。
つまり、複数のモーションが含まれる画像の画像全体（全画面）を画質改善処理（例えば、超解像処理）するためには、複数モーションに対応し、ロバスト且つ高精度な位置合わせ処理を行うことが要求される。
換言すれば、複数のモーションに対応する画像位置合わせ処理を行うためには、それぞれのモーションに対応する「単一モーション領域」の抽出処理と、抽出した単一モーション領域に対する位置合わせ処理を行う必要があり、さらに、画質改善処理（例えば、超解像処理）のためには、抽出した単一モーション領域に対して、サブピクセル精度での位置合わせ処理を行う必要がある。
本発明は、上述のような事情から成されたものであり、本発明の目的は、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理を、ロバスト且つ高精度に行えるようにした、画像位置合わせ処理装置を提供することにある。
また、本発明のもう１つの目的は、複数のモーションを含む複数の画像に対し、本発明の画像位置合わせ処理装置により位置合わせ処理を行い、その位置合わせ処理結果と複数の画像を利用して画質改善処理を行うようにした、画質改善処理装置を提供することにある。
また、本発明のもう１つの目的は、複数のモーションを含む画像に対する領域拡張処理を行う領域拡張処理装置を提供することにある。
更に、本発明のもう１つの目的は、複数のモーションを含む複数の画像に対し、本発明の画像位置合わせ処理装置により位置合わせ処理を行い、そして、その位置合わせ処理結果に基づき、前記複数の画像に対し、本発明の領域拡張処理装置により領域拡張処理を行い、更に、その位置合わせ処理結果、その領域拡張処理結果及び前記複数の画像を利用して画質改善処理を行うようにした、画質改善処理装置を提供することにある。

本発明は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理装置に関し、本発明の上記目的は、特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーション領域抽出処理部と、領域ベース位置合わせ処理部と、特徴点削除処理部とを備え、前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行い、前記特徴点削除処理部が、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理部に抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことによって効果的に達成される。
また、本発明の上記目的は、前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定することによってより効果的に達成される。
また、本発明の上記目的は、前記画像位置合わせ処理装置では、前記第１モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理部にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、第２支配的なモーションに対応する第２単一モーション領域を抽出し、抽出した第２単一モーション領域に対応する第２モーションパラメータを推定することによってより効果的に達成される。
また、本発明の上記目的は、前記画像位置合わせ処理装置では、前記第２モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定することによってより効果的に達成される。
更に、本発明は、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置に関し、本発明の上記目的は、画像位置合わせ処理部と、画質改善処理部とを備え、前記画像位置合わせ処理部が、前記複数の画像から１枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、本発明の画像位置合わせ処理装置により行われる１枚の基準画像と１枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定し、前記画質改善処理部が、前記画像位置合わせ処理部から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することによって効果的に達成させる。
また更に、本発明は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理装置に関し、本発明の上記目的は、特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーション領域抽出処理部と、領域ベース位置合わせ処理部とを備え、前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことにより、或いは、前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定することによって効果的に達成される。
また、本発明は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、前記基準画像と前記入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び前記複数の単一モーション領域に対応する複数のモーションパラメータに基づき、前記基準画像及び前記入力画像に対する領域拡張処理を行う領域拡張処理装置に関し、本発明の上記目的は、前記基準画像を入力とするテクスチャレス領域抽出処理部と、前記入力画像及び前記複数のモーションパラメータを入力とする画像変形処理部と、前記基準画像を１つの入力とする類似度による閾値処理部と、論理積処理部と、前記複数の単一モーション領域を入力とする論理和処理部とを備え、前記テクスチャレス領域抽出処理部が、前記基準画像のテクスチャレス領域を抽出する、テクスチャレス領域抽出処理を行い、抽出したテクスチャレス領域を前記論理積処理部へ出力し、前記画像変形処理部が、前記複数のモーションパラメータに基づき、前記入力画像を変形し、変形された入力画像を変形入力画像として前記類似度による閾値処理部へ出力し、前記類似度による閾値処理部が、前記基準画像及び前記変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、抽出した類似領域を前記論理積処理部へ出力し、前記論理積処理部が、前記テクスチャレス領域抽出処理部から出力された前記テクスチャレス領域、及び前記類似度による閾値処理部から出力された前記類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、生成したテクスチャレス類似領域を前記論理和処理部へ出力し、前記論理和処理部が、前記論理積処理部から出力された前記テクスチャレス類似領域、及び前記複数の単一モーション領域に対し、論理和処理を行うことにより、前記テクスチャレス類似領域と前記複数の単一モーション領域を合わせた、複数の拡張単一モーション領域を生成することによって効果的に達成される。
また、本発明の上記目的は、前記テクスチャレス領域抽出処理では、前記基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出することにより、或いは、前記類似度による閾値処理部に利用される前記局所的な類似度は、ＳＳＤ又はＳＡＤであることによってより効果的に達成される。
また更に、本発明は、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置に関し、本発明の上記目的は、画像位置合わせ処理部と、領域拡張処理部と、画質改善処理部とを備え、前記画像位置合わせ処理部が、前記複数の画像から１枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、本発明の画像位置合わせ処理装置により行われる１枚の基準画像と１枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定し、前記領域拡張処理部が、前記画像位置合わせ処理部から出力された、前記複数の画像における全ての単一モーション領域と、前記全ての単一モーション領域に対応する全てのモーションパラメータとに基づき、本発明の領域拡張処理装置により行われる１枚の基準画像及び１枚の入力画像に対する領域拡張処理を、前記複数の画像に対して繰り返し行うことで、前記複数の画像における全ての拡張単一モーション領域を生成し、前記画質改善処理部が、前記領域拡張処理部から出力された前記複数の画像における全ての拡張単一モーション領域と、前記画像位置合わせ処理部から出力された前記全てのモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することによって効果的に達成される。

本発明に係る画像位置合わせ処理技術によれば、複数のモーションを含む画像間の画像全体の位置合わせ処理をロバスト且つ高精度に行うことができるという優れた効果を奏する。
また、初期モーションなしで大きな変形をもった画像間の位置合わせ処理は、従来の領域ベース位置合わせ処理アルゴリズムによっては不可能であるが、本発明に係る画像位置合わせ処理技術は、特徴点ベース位置合わせ処理と領域ベース位置合わせ処理の長所を併せ持っているので、本発明によれば、そのような困難な位置合わせ処理を行うことも可能である。
また、従来の多くの位置合わせ処理方法は、単一モーションを仮定しているため、実際に、そのような位置合わせ処理方法を画像処理等のアプリケーションに適用する際に、アプリケーションのユーザが、単一モーション領域を指定する必要がある。
しかし、本発明では、単一モーション領域を抽出しながら、モーションパラメータを推定するようにしているので、ユーザによる単一モーション領域を指定する必要は全くない。
更に、本発明に係る画像位置合わせ処理技術により、抽出された複数の単一モーション領域と、推定されたそれらの単一モーション領域に対応する複数のモーションパラメータを用いて、本発明に係る画質改善処理装置にて、画像全体（全画面）の超解像処理を実現した。
本発明によれば、別々に動く複数の移動体（モーション）が存在する時系列画像から、高解像度の画像を再構成できるという優れた効果を奏する。

図１は本発明に係る画質改善処理装置の第１実施形態を示すブロック構成図である。
図２は本発明に係る画像位置合わせ処理装置の実施形態を示すブロック構成図である。
図３は本発明の画像位置合わせ処理装置１００の処理流れを示すフロー図である。
図４は本発明に係る画像位置合わせ処理装置による、複数のモーションを含む２つの画像間の画像全体の位置合わせ処理を行う際の画像例を示す図である。
図５は２つの移動体が別々に動いているシーンを撮影した時系列画像を示す図である。
図６は単一モーション領域抽出処理の結果を示す図である。
図７は左右の移動体を基準画像に合わせて変形した結果を示す図である。
図８は超解像処理結果を示す図である。
図９は超解像処理結果を示す図である。
図１０は超解像処理結果を示す図である。
図１１は本発明に係る画質改善処理装置の第２実施形態を示すブロック構成図である。
図１２は本発明に係る領域拡張処理装置の実施形態を示すブロック構成図である。

本発明は、複数モーションに対応した画像位置合わせ処理技術及び、当該画像位置合わせ処理技術を利用した画質改善処理技術に関する。
具体的に、本発明は、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理を、ロバスト且つ高精度に行えるようにした、画像位置合わせ処理装置、画像位置合わせ処理方法及び画像位置合わせ処理プログラムに関する。
また、本発明は、複数のモーションを含む複数の画像に対し、本発明の画像位置合わせ処理装置にて画像間の位置合わせ処理を行い、得られた複数の単一モーション領域及び各単一モーション領域に対応する高精度なモーションパラメータと、複数の画像を利用して、画質改善処理を行うことにより、画質改善画像を生成する、画質改善処理装置に関する。
また、本発明は、複数のモーションを含む画像に対する領域拡張処理を行う領域拡張処理技術に関する。また更に、本発明は、本発明の画像位置合わせ処理技術と本発明の領域拡張処理技術を利用した画質改善処理技術に関する。
ここで、まず、本発明の着眼点について述べる。
画像間の位置合わせ処理は、特徴点ベース位置合わせ処理と領域ベース位置合わせ処理に大きく分けられる。
領域ベース位置合わせ処理は、モーションパラメータの初期値と単一モーション領域を与える必要があるが、位置合わせ処理を高精度に行うことができる。
一方、特徴点ベース位置合わせ処理では、モーションパラメータの初期値や単一モーション領域を必要とせず、位置合わせ処理をロバストに行うことが可能である。
しかしながら、特徴点ベース位置合わせ処理は、領域ベース位置合わせ処理ほど、高精度に位置合わせ処理を行うことができない。また、特徴点ベース位置合わせ処理では、モーションパラメータを推定できるものの、そのモーションパラメータに対応する単一モーション領域を推定することができない。
本発明の発明者らは、特徴点ベース位置合わせ処理と領域ベース位置合わせ処理の長所に着眼し、両者の短所を排除した上で両者の長所を融合し、更に、独自な単一モーション領域抽出処理技術を利用することにより、複数のモーションを含む画像間の画像全体（全画面）の位置合わせ処理をロバスト且つ高精度に行えるようにした本発明を発明した。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
本発明では、複数のモーションを含む画像間の位置合わせ処理を行うために、それぞれのモーションを単一モーションとして推定し、その単一モーションに対応する単一モーション領域を抽出し、更に、抽出した単一モーション領域のモーションパラメータを高精度に推定する。
つまり、本発明を用いて、複数のモーションを含む１枚の基準画像と、複数のモーションを含む１枚の入力画像との画像全体（全画面）の位置合わせ処理を行う場合に、まず、基準画像及び入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理（以下、第１処理とも言う。）を行う。
次に、基準画像から抽出された特徴点（基準画像特徴点）と、入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理を行い、対応付けられた特徴点から外れ値を削除して、初期モーションパラメータをロバストに推定する、特徴点ベース位置合わせ処理（以下、第２処理とも言う。）を行う。以下、第２処理は、外れ値の削除を伴う特徴点ベース位置合わせ処理とも言う。
次に、推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する領域（即ち、単一モーション領域）を抽出する単一モーション領域抽出処理（以下、第３処理とも言う。）を行う。
次に、初期モーションパラメータと、抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で（高精度に）推定する、領域ベース位置合わせ処理（以下、第４処理とも言う。）を行う。
このように、基準画像及び入力画像から抽出された全ての特徴点を利用して、第１処理から第４処理までの一連の処理を行うことにより、最も多くの特徴点を含んでいる支配的なモーション（以下、第１支配的なモーションとも言う。）に対応する単一モーション領域を抽出することができ、また、その単一モーション領域に対応するモーションパラメータを推定することができる。
つまり、上記のように、画像間で対応付けられた全ての特徴点を用い、外れ値の削除を伴う特徴点ベース位置合わせ処理（第２処理）を行うことにより、最も多くの特徴点を含む支配的なモーションが推定される訳である。
次に、基準画像特徴点及び入力画像特徴点から、単一モーション領域に含まれる特徴点を削除する特徴点削除処理（以下、第５処理とも言う。）を行う。
次に、削除されずに残った特徴点を基準画像特徴点及び入力画像特徴点として利用し、再び、第２処理から第４処理までの一連の処理を行うことにより、２番目に支配的なモーション（以下、第２支配的なモーションとも言う。）に対応する単一モーション領域を抽出することができ、また、その単一モーション領域に対応するモーションパラメータを推定することができる。
本発明では、上記のようにして、第５処理を行うことにより単一モーション領域に含まれる特徴点を取り除きながら、第２処理から第４処理までの一連の処理を繰り返し行うことにより、複数のモーションに対応する単一モーション領域を逐次的に抽出し、そして、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する。つまり、本発明では、特徴点を多く含む支配的なモーションから順番に逐次的に複数のモーションパラメータを推定するようにしている。
このように、本発明では、第１処理を行い、更に、第２処理から第５処理までの一連の処理を繰り返し行うことにより、複数の単一モーション領域を抽出することが可能となり、また、それぞれの単一モーション領域に対応するモーションパラメータをロバスト且つ高精度に推定することができる。
ちなみに、上記のような処理は、複数のモーションを含む２つの画像間の画像全体の位置合わせ処理となる。上記のような処理（複数のモーションを含む２つの画像間の画像全体の位置合わせ処理）を、複数のモーションを含む複数の画像に対して繰り返し適用することにより、複数のモーションを含む複数の画像間の画像全体の位置合わせ処理が可能になる。
更に、本発明では、複数のモーションを含む複数の画像に対して、画像全体の位置合わせ処理を行うことにより、高精度に（即ち、サブピクセル精度で）推定されたモーションパラメータと、当該モーションパラメータに対応する単一モーション領域を利用して、画像全体の画質改善処理（例えば、超解像処理）を行うことにより、画質改善画像を生成する。
図１は本発明に係る画質改善処理装置の第１実施形態を示すブロック構成図である。
図１に示すように、本発明に係る画質改善処理装置１は、画像位置合わせ処理部１０と、画質改善処理部２０とから構成され、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成するものである。
本発明の画質改善処理装置１では、まず、画像位置合わせ処理部１０が、複数のモーションを含む複数の画像に対し、詳細は後述する本発明に係る画像位置合わせ処理装置により、画像全体の位置合わせ処理を行うことにより、複数のモーションに対応する複数の単一モーション領域を抽出し、また、抽出されたそれぞれの単一モーション領域に対応するモーションパラメータをロバスト且つ高精度に推定する。
つまり、画像位置合わせ処理部１０では、まず、複数のモーションを含む複数の画像から、１枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、本発明に係る画像位置合わせ処理装置により行われる１枚の基準画像と１枚の入力画像との画像全体の位置合わせ処理を、複数のモーションを含む複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定する。
次に、画質改善処理部２０が、画像位置合わせ処理部１０から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、複数のモーションを含む複数の画像に対し、画質改善処理を行うことにより、画質改善画像を生成する。また、画質改善処理部２０にて行われる画質改善処理は、例えば、特許文献３に開示された画質改善処理方法を用いて行うことができる。
なお、本発明に係る画質改善処理装置に利用される複数のモーションを含む複数の画像として、複数の動き（複数の複雑な動き）のある動画像（即ち、複数の移動体が別々に動いているシーンを撮影した時系列画像）を用いることができる。その場合、例えば、時系列画像の最初のフレームを基準画像とし、その後のフレームを入力画像とすることができる。
勿論、本発明の画質改善処理装置は、動画像に適用されることに限定されることはなく、複数のモーションを含む複数の画像として、静止画像を用いることも勿論可能である。
図２は本発明に係る画像位置合わせ処理装置の実施形態（画像位置合わせ処理装置１００）を示すブロック構成図である。また、図３は本発明の画像位置合わせ処理装置１００の処理流れを示すフロー図である。以下、図２及び図３を用いて、本発明に係る画像位置合わせ処理装置を詳細に説明する。
本発明に係る画像位置合わせ処理装置にて行われる処理は、複数のモーションを含む２枚の画像間の画像全体の位置合わせ処理である。
図２に示すように、本発明に係る画像位置合わせ処理装置１００は、特徴点抽出処理部１１０と、特徴点ベース位置合わせ処理部１２０と、単一モーション領域抽出処理部１３０と、領域ベース位置合わせ処理部１４０と、特徴点削除処理部１５０とから構成され、複数のモーションを含む２枚の画像間（１枚の画像は基準画像で、もう１枚の画像は入力画像である）の画像全体の位置合わせ処理を行うものである。
図２に示すように、本発明の画像位置合わせ処理装置１００では、まず、特徴点抽出処理部１１０が、基準画像及び入力画像に基づき、基準画像及び入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行う（図３のステップＳ１０、ステップＳ２０を参照）。
次に、特徴点ベース位置合わせ処理部１２０が、特徴点ベース位置合わせ処理を行う。特徴点ベース位置合わせ処理は、基準画像から抽出された特徴点（基準画像特徴点）と、入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理（図３のステップＳ３０を参照）と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理（図３のステップＳ４０を参照）とから構成される。
次に、単一モーション領域抽出処理部１３０が、特徴点ベース位置合わせ処理部１２０から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する単一モーション領域抽出処理（図３のステップＳ６０を参照）を行う。
次に、領域ベース位置合わせ処理部１４０が、特徴点ベース位置合わせ処理部１２０から出力された初期モーションパラメータと、単一モーション領域抽出処理部１３０から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で（高精度に）推定する、領域ベース位置合わせ処理（図３のステップＳ７０を参照）を行う。
つまり、領域ベース位置合わせ処理部１４０では、特徴点ベース位置合わせ処理部１２０から出力された初期モーションパラメータをモーションパラメータの初期値とし、単一モーション領域抽出処理部１３０から出力された単一モーション領域を注目領域として、当該単一モーション領域（注目領域）に対応するモーションパラメータをサブピクセル精度で推定するようにしている。
本発明の画像位置合わせ処理装置１００では、まず、基準画像及び入力画像に基づき、特徴点抽出処理部１１０にて行われる処理、特徴点ベース位置合わせ処理部１２０にて行われる処理、単一モーション領域抽出処理部１３０にて行われる処理、領域ベース位置合わせ処理部１４０にて行われる処理を順番に行うことにより、特徴点抽出処理部１１０により抽出された全ての特徴点を利用して、最も多くの特徴点を含んでいる支配的なモーション（第１支配的なモーション）に対応する単一モーション領域（以下、第１単一モーション領域と言う。）を抽出し、また、第１単一モーション領域に対応するモーションパラメータ（以下、第１モーションパラメータと言う。）を推定する。
次に、特徴点削除処理部１５０が、基準画像特徴点及び入力画像特徴点から、単一モーション領域抽出処理部１３０に抽出された単一モーション領域に含まれる特徴点を削除する特徴点削除処理（図３のステップＳ９０を参照）を行う。
次に、本発明の画像位置合わせ処理装置１００では、特徴点削除処理部１５０にて行われる特徴点削除処理により削除されずに残った特徴点を、特徴点ベース位置合わせ処理部１２０にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、特徴点ベース位置合わせ処理部１２０にて行われる処理、単一モーション領域抽出処理部１３０にて行われる処理、領域ベース位置合わせ処理部１４０にて行われる処理を順番に行うことにより、２番目に支配的なモーション（第２支配的なモーション）に対応する単一モーション領域（以下、第２単一モーション領域と言う。）を抽出し、また、第２単一モーション領域に対応するモーションパラメータ（以下、第２モーションパラメータと言う。）を推定する。
本発明の画像位置合わせ処理装置１００では、上記のようにして、特徴点削除処理部１５０にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、特徴点ベース位置合わせ処理部１２０にて行われる処理、単一モーション領域抽出処理部１３０にて行われる処理、領域ベース位置合わせ処理部１４０にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、そして、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する。
換言すれば、本発明の画像位置合わせ処理装置１００では、特徴点を多く含む支配的なモーションから、順番に逐次的に単一モーション領域を抽出し、そして、順番に逐次的に抽出された単一モーション領域に対応するモーションパラメータを推定するようにしている。
このように、本発明の画像位置合わせ処理装置１００では、特徴点抽出処理部１１０により特徴点抽出処理を行い、更に、特徴点ベース位置合わせ処理部１２０にて行われる処理、単一モーション領域抽出処理部１３０にて行われる処理、領域ベース位置合わせ処理部１４０にて行われる処理、特徴点削除処理部１５０にて行われる処理を繰り返し行うことにより、複数のモーションに対応する複数の単一モーション領域を抽出することが可能となり、また、それぞれの単一モーション領域に対応するモーションパラメータをロバスト且つ高精度に推定することができる。
以下、図３のフロー図及び図４の画像例を用いて、本発明の画像位置合わせ処理装置にて行われるそれぞれの処理について、より詳細に説明する。
＜１＞特徴点抽出処理
図３のステップＳ１０とステップＳ２０に示すように、本発明の画像位置合わせ処理装置では、複数のモーションを含む基準画像及び入力画像に対して、特徴点抽出処理をそれぞれ行う。また、図４に基準画像及び入力画像に対して行った特徴点抽出処理結果の画像例を示している。
本発明における特徴点抽出処理では、まず、ガウシアンのスケールパラメータを変化させながら、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）を計算する。次に、ＤｏＧの極小値又は極大値を特徴点として抽出する。
このとき、ＤｏＧの極小値又は極大値に対応するＤｏＧのスケールパラメータは、＜２ａ＞で詳述する「画像間の特徴点の対応付け処理」において、抽出された特徴点の周辺領域を正規化するときに利用される。
る。ただし、Ｎ_Ｔは基準画像から抽出された特徴点の数を表し、また、Ｎ_Ｉは入力画像から抽出された特徴点の数を表す。
＜２＞特徴点ベース位置合わせ処理
本発明の画像位置合わせ処理装置では、特徴点ベース位置合わせ処理部１１０が、基準画像から抽出された特徴点（基準画像特徴点）と入力画像から抽出された特徴点（入力画像特徴点）とに基づき、特徴点ベース位置合わせ処理を行う。
ここで、特徴点ベース位置合わせ処理について、その概要を述べる。
特徴点ベース位置合わせ処理は、基準画像特徴点と入力画像特徴点との対応付け処理、（即ち、画像間の特徴点の対応付け処理）と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される。
ここで言う「対応付けられた特徴点から外れ値を削除する」とは、画像間の特徴点の対応付け処理によって得られた特徴点対（以下、「対応付けられた特徴点対」と言う。）から、所定の基準に外れた特徴点対（以下、「外れ特徴点対」と言う。）を削除することを意味する。非特許文献１２〜非特許文献１４に、対応付けられた特徴点対から外れ特徴点対を取り除きながら、モーションパラメータを推定する方法が記載されている。
本発明の画像位置合わせ処理装置１００では、特徴点抽出処理部１１０にて行われる「特徴点抽出処理」と、特徴点ベース位置合わせ処理部１２０にて行われる「画像間の特徴点の対応付け処理（図３のステップＳ３０を参照）」については、非特許文献１５に記載されたＳＩＦＴアルゴリズムを利用した。なお、非特許文献１５に記載されたＳＩＦＴアルゴリズムは、変形が大きくても比較的ロバストな結果が得られる方法である。
また、特徴点ベース位置合わせ処理部１２０にて行われる「対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理（図３のステップＳ４０を参照）」については、非特許文献１３に記載されたＲＡＮＳＡＣアルゴリズムの高速化手法である、非特許文献１２に記載されたＰＲＯＳＡＣアルゴリズムを利用した。
本発明では、外れ特徴点対の削除（外れ値の削除）を伴う特徴点ベース位置合わせ処理を行うことにより、初期モーションパラメータをロバストに推定することができる。
＜２ａ＞画像間の特徴点の対応付け処理
図３のステップＳ３０に示すように、本発明の画像位置合わせ処理装置では、基準画像から抽出された特徴点（基準画像特徴点）と、入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理、即ち、画像間の特徴点の対応付け処理を行う。
本発明における画像間の特徴点の対応付け処理は、特徴点の周辺領域を正規化する処理と、特徴点の特徴量を計算する処理と、特徴量の距離に基づく対応付け処理とから構成される。
特徴点の周辺領域を正規化する処理を行うために、まず、特徴点のスケールパラメータと特徴点の方向を定める。特徴点のスケールパラメータとして、特徴点が抽出されたときのＤｏＧのスケールパラメータを利用する。また、特徴点の方向を定めるために、抽出された特徴点の周辺領域の各画素の勾配の方向を計算し、計算された勾配の方向のヒストグラムを作成する。作成されたヒストグラムのピークを対応する画素の勾配の方向を特徴点の方向として定める。
このように定められた、特徴点の周辺領域を、スケールパラメータと方向に基づき、正規化する。特徴点の周辺領域を正規化する処理とは、周辺領域をスケールと方向を全ての特徴点で等しくなるように、拡大または縮小、回転をする処理である。
次に、特徴点の周辺領域を正規化する処理により、正規化された特徴点の周辺領域を、小領域に分割する。一つの具体例として、例えば、正規化された特徴点の周辺領域を４×４の１６個の小領域に分割する。
次に、分割された各小領域において、各画素の勾配の方向を計算し、計算された勾配の方向のヒストグラムを作成する。一つの具体例として、例えば、３６０度の方向を４５度幅でヒストグラムを作成することにより、８方向の頻度値が得られる。この頻度値を画素数で正規化した値を、特徴点の特徴量とする。
分割された１６個の小領域で、それぞれ８方向の正規化された頻度値が得られるので、一つの特徴点に対して、１２８個の特徴量が得られることになる。
である。
特徴量の距離に基づく対応付け処理では、まず、基準画像のｐ番目の特徴点と、入力画像のｑ番目の特徴点との距離ｓ_ｐｑを計算する。距離
を表す。
基準画像のｐ番目の特徴点に対応する入力画像の特徴点は、距離ｓ_ｐｑを最も小さくなるような入力画像のｑ番目の特徴点が選ばれる。
閾値より大きい場合のみ、画像間の特徴点の対応付けを行う。一つの具体例として、例えば、信頼度ｒの閾値を１．５とした。
以上の一連の処理により、基準画像から抽出された特徴点と、入力画像から抽出された特徴点とは対応付けされる。
徴点の数をＮ_ＴＩとする。つまり、ｋ＝１〜Ｎ_ＴＩが成立する。
＜２ｂ＞対応づけられた特徴点から外れ値を削除して初期モーションパラメータ推定処理
図３のステップＳ４０に示すように、本発明の画像位置合わせ処理装置では、対応付けられた特徴点から外れ値を削除して、初期モーションパラメータ推定処理を行う。
対応づけられた特徴点から外れ値を削除して初期モーションパラメータ推定処理は、具体的に、下記ステップ１〜ステップ１０により行われる。
なお、以下の実施例では、モーションモデルに射影変換を利用しており、つまり、推定される初期モーションパラメータは射影変換パラメータである。但し、本発明は、モーションモデルに射影変換を利用することに限定されることは無く、例えば、射影変換以外のモーションモデルを利用することも勿論可能である。
ステップ１：
ｔ、ｎ、Ｌに対し、それぞれ所定の適切な値をセットする。ここで、ｔ＝１、ｎ＝５、Ｌ＝０にセットする。
ステップ２：
信頼度ｒの大きな方から、（ｎ−１）個の特徴点の対応を選び、その中から３つの特徴点の対応をランダムに選択する。
ステップ３：
選択された３つの特徴点とｎ番目に信頼度ｒの大きい特徴点との対応を利用して、射影変換パラメータＨ_ｔを計算する。
ステップ４：
射影変換パラメータＨ_ｔに基づき、入力画像特徴点を変換し、変換された入力画像特徴点の位置と、入力画像特徴点に対応付けされている基準画像特徴点の位置との差を計算する。計算された位置の差が所定の閾値以下である特徴点の数を数える。一具体例として、例えば、この所定の閾値を２とする。
ステップ５：
位置の差が所定の閾値以下である特徴点の数が、Ｌよりも大きい場合は、Ｌに位置の差が所定の閾値以下である特徴点の数をセットする。
ステップ６：
ｔが下記数１で表す条件を満足する場合には、射影変換パラメータＨ_ｔを初期モーションパラメータの推定値Ｈ_０として出力し、初期モーションパラメータ推定処理が終了する（図３のステップＳ５０を参照）。
但し、ηは設計パラメータであり、一具体例として、例えば、ηを０．０５とした。
ステップ７：
ｔを１増加させる。
ステップ８：
ｔが所定の数τを超えた場合に、初期モーションパラメータ推定処理が失敗したものとして、本発明の画像位置合わせ処理装置における処理を終了する（図３のステップＳ５０を参照）。一具体例として、例えば、τ＝１００００００とした。
ステップ９：
ｔが下記数３で表す条件を満足する場合には、ｎを１増加させる。
ステップ１０：
ステップ２に戻り、処理を繰り返す。
＜３＞単一モーション領域抽出処理
本発明の画像位置合わせ処理装置では、単一モーション領域抽出処理部１３０にて行われる「単一モーション領域抽出処理」については、特許文献２、非特許文献１６に開示された画素選択アルゴリズムを利用した。
つまり、単一モーション領域抽出処理部１３０では、特許文献２、非特許文献１６に開示された画素選択アルゴリズムを用いて画素を選択し、そして選択した画素のみで構成される領域（即ち、選択した画素の集合）を単一モーション領域として抽出する。
特許文献２や非特許文献１６では、画素を選択する際に、画像間の類似度による評価に加えて、局所的な位置ずれ量を利用する。本発明では、非特許文献１６に記載されたアルゴリズムを用いた場合に、画像間の類似度が高く、位置ずれ量の小さな画素を選択する。選択した画素を単一モーション領域に属する画素とする。
なお、単一モーション領域抽出処理部１３０では、特許文献２、非特許文献１６に開示された画素選択アルゴリズムを利用して単一モーション領域抽出処理を行うことに限定されることはなく、例えば、特許文献１に開示されたようなマスク画像生成アルゴリズムを利用することによりマスク画像を生成し、生成したマスク画像を単一モーション領域として抽出することも勿論可能である。
本発明の画像位置合わせ処理装置では、図３のステップＳ６０に示すように、推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する、単一モーション領域を抽出する単一モーション領域抽出処理を行う。また、図４に抽出された単一モーション領域の画像例を示している。
以下、単一モーション領域抽出処理の好適な実施例を具体的に説明する。
本発明の単一モーション領域抽出処理では、基準画像Ｔと入力画像Ｉ、推定された初期モーションパラメータＨ_０（以下、単に、初期モーションパラメータＨ_０とも言う。）から、対応する入力画像における領域を、マスク画像Ｍとして抽出する。
ここで、マスク画像Ｍは単一モーション領域を表す。また、基準画像Ｔを初期モーションパラメータＨ_０で変形した画像を、変形基準画像Ｔ’とする。
まず、変形基準画像Ｔ’と入力画像Ｉとの位置（ｘ，ｙ）における類似度Ｒ（ｘ，ｙ；ｉ，ｊ）を、下記数４のように定義する。
ここで、ｗは周辺領域の大きさを表す。本実施例では、ｗ＝７としている。
次に、ｉ＝−１，０，１とｊ＝−１，０，１における９つの類似度Ｒ（ｘ，ｙ；ｉ，ｊ）の値を利用して、単一モーション領域を表すマスク画像Ｍの位置（ｘ，ｙ）における値、即ち、Ｍ（ｘ，ｙ）を下記のように設定する。
まず、９つの類似度Ｒ（ｘ，ｙ；ｉ，ｊ）の値を利用して、下記数５で表す２次関数にフィッティングし、６個の係数Ｃ_ａ，Ｃ_ｂ，Ｃ_ｃ，Ｃ_ｄ，Ｃ_ｅ及びＣ_ｆを求める。
次に、求められた６個の係数Ｃ_ａ，Ｃ_ｂ，Ｃ_ｃ，Ｃ_ｄ，Ｃ_ｅ及びＣ_ｆに関して、下記数６〜数９で表す関係が全て成立した場合には、Ｍ（ｘ，ｙ）に１を設定する。そして、下記数６〜数９で表す関係のうち、一つでも成立しない場合には、Ｍ（ｘ，ｙ）に０を設定する。
本実施例では０．９９２５としている。
全ての位置（ｘ，ｙ）について、以上の計算処理を繰り返すことにより、単一モーション領域を表すマスク画像Ｍ（ｘ，ｙ）を計算（抽出）することができる。
＜４＞領域ベース位置合わせ処理
本発明の画像位置合わせ処理装置では、領域ベース位置合わせ処理部１４０にて行われる領域ベース位置合わせ処理については、非特許文献１８に記載されたＩＣＩＡアルゴリズムを利用した。ＩＣＩＡアルゴリズムは、高速で高精度に位置合わせ処理を行うことができるアルゴリズムである。
本発明の画像位置合わせ処理装置では、図３のステップＳ７０に示すように、ロバストに推定された初期モーションパラメータと、抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で（高精度に）推定する、領域ベース位置合わせ処理を行う。また、図４に領域ベース位置合わせ処理で得られたモーションパラメータを用いて、基準画像と入力画像との画像全体の位置合わせ結果の画像例を示している。
以下、本発明に係る領域ベース位置合わせ処理の好適な実施例を具体的に説明する。
本発明の領域ベース位置合わせ処理では、下記数１０で表す評価関数を最小にするように、モーションパラメータＨ_１を高精度に推定する。
ここで、Ｍ’（ｘ，ｙ）は単一モーション領域Ｍ（ｘ，ｙ）を、初期モーションパラメータＨ_０に基づき変形したマスク画像を表す。
また、ｗ_ｘ（ｘ，ｙ；Ｈ_１）はモーションパラメータＨ_１で変換した後のｘ座標を表す。ｗ_ｙ（ｘ，ｙ；Ｈ_１）はモーションパラメータＨ_１で変換した後のｙ座標を表す。
上記数１０で表す評価関数を最小にするために、勾配に基づく最小化手法を利用する。勾配に基づく最小化方法では初期値を必要とするが、その初期値には、初期モーションパラメータＨ_０を利用する。
数１０で表す評価関数を最小化することにより得られたモーションパラメータＨ_１を出力し、領域ベース位置合わせ処理が終了する（図３のステップＳ８０を参照）。
一方、最小化手法により数１０で表す評価関数を最小化することに失敗したときに、モーションパラメータ推定処理が失敗したものとして、本発明の画像位置合わせ処理装置における処理を終了する（図３のステップＳ８０を参照）。
＜５＞画質改善処理
本発明の画質改善処理装置１では、画質改善処理部２０が、画像位置合わせ処理部１０から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、複数のモーションを含む複数の画像に対し、画質改善処理を行うことにより、画質改善画像を生成する。
以下、本発明の画質改善処理の好適な実施例を具体的に説明する。
Ｎ枚の画像を観測（撮影）し、それぞれの観測画像からＭ_ｋ個のモーションパラメータ（射影変換パラメータ）Ｈ_ｋｌと、モーションパラメータに対応する単一モーション領域を表すマスク画像Ｍ_ｋｌが、画像位置合わせ処理部１０にて行われる画像全体の位置合わせ処理により、得られた。
このとき、画質改善処理では、下記数１１で表す評価関数を最小化することにより、画質改善処理が行われる。
ここで、ｈは画質改善画像のベクトル表現を表す。ｆ_ｋはｋ番目の観測画像のベクトル表現を表す。ｍ_ｋｌはｋ番目の観測画像のｌ番目のモーションパラメータ（射影変換パラメータ）に対応する単一モーション領域を表すマスク画像のベクトル表現を表す。Ｎは観測画像の枚数である。
また、Ａ_ｋｌはｋ番目の観測画像のｌ番目のモーションパラメータ（射影変換パラメータ）とカメラモデルから得られる画質改善画像からｋ番目の観測画像を推定するための行列を表す。Ｑは画質改善画像の拘束を表す行列を表す。λは拘束の大きさを表すパラメータを表す。ｄｉａｇ（ｍ_ｋｌ）はｍ_ｋｌを対角要素にもつ対角行列を表す。Ｔは行列の転置オペレータを表す。
本発明に係る画像位置合わせ処理装置及び画質改善処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などのハードウェアにより実装されることも勿論できる。
以下では、複数の移動体が存在し、遮蔽や鏡面反射などが生じている複雑な実シーンを撮影した時系列画像（実画像）に対して、本発明の画像位置合わせ処理技術を適用し、更に、本発明による画像位置合わせ処理結果に基づき、超解像処理を行うことにより、本発明の有効性を実証した。その結果、画像全体の解像度が効果的に向上していることが確認された。
図５に２つの移動体が別々に動いているシーンを撮影した時系列画像を示す。図５に示す時系列画像に対し、本発明による画像全体の位置合わせ処理を行った。本発明における単一モーションとして、平面射影変換を仮定した。平面射影変換は、単一平面のモーションを表現する画像変形である。
図６に単一モーション領域抽出処理の結果を示す。図６の左側は左の単一モーション領域の抽出結果で、図６の右側は右の単一モーション領域の抽出結果である。図６から、単一モーション領域だけが正しく抽出されていることが分かる。ここで注意したいのは、移動体内のすべての画素を抽出する必要はないということである。本発明では、画質改善処理（例えば、超解像処理）を行うことをも目的としているため、サブピクセル精度で正確に位置合わせされている画素だけを抽出することの方がむしろ重要である。
図７に左右の移動体を基準画像に合わせて変形した結果を示す。図５（Ａ）と比較すると、基準画像に正しく位置合わせされていることが分かる。
次に、本発明によって推定されたモーションパラメータを使って超解像処理を行った。また、比較のため、濃度勾配法によって推定されたモーションパラメータを使って超解像処理をも行った。濃度勾配法の処理領域は、画像全体（全画面）、手動で指定した左の移動体、手動で指定した右の移動体の３種類とした。濃度勾配法では、モーションとして平面射影変換を仮定した。ロバスト超解像処理として、非特許文献１６に記載された方法で求めたモーションに対応する領域のみを使って超解像処理を行った。観測画像のフレーム数は３０枚である。再構成法には、非特許文献１９に記載された方法を用い、高解像度化の倍率は縦横３倍に設定した。
図８に超解像処理結果を示す。まず、前述したロバスト超解像処理の効果によって、図８のいずれの超解像処理結果にも画像劣化が見られないことが分かる。ロバスト超解像処理は画像劣化を抑える効果があるが、位置合わせが不正確な領域の解像度を向上することはできない。図８（Ｃ）左側、（Ｄ）右側、（Ｅ）左側、（Ｅ）右側は、図８のほかの超解像処理結果に比べて解像度が向上していることが分かる。解像度が向上した領域は、位置合わせが正確な領域である。この結果から、本発明によって複数のモーションを含む画像間の画像全体の位置合わせ処理により、移動体の位置合わせが正確に行われたことが分かる。
図９及び図１０に、より複雑なシーンを撮影した時系列画像に対する超解像処理結果を示す。このシーン（時系列画像）は、２冊の本を人間が自由に動かしている動画像である。２つの平面である２冊の本が別々に動き、非平面である顔や服も自由に動いている。また、遮蔽や鏡面反射成分も含むような照明変化が生じている。このシーンに対し、動画像の全フレームに対して超解像処理を行った。
本発明によって推定したモーションパラメータを使って超解像処理を行った。また、比較のため、画像全体を濃度勾配法によって推定したモーションパラメータを使って超解像処理をも行った。濃度勾配法では、モーションとして平面射影変換を仮定した。図９及び図１０は、左の列から順に、フレーム０、フレーム５０、フレーム１００、フレーム１４９に対応している。図９（Ｂ）、（Ｃ）、（Ｄ）は、眼鏡の含まれる領域を手動で切り出した画像である。図１０（Ｂ）、（Ｃ）、（Ｄ）は、青い本の含まれる領域を手動で切り出した画像である。それぞれ、フレームごとに領域を設定し、本発明と既存手法、観測画像から同じ領域を切り出した。
図９（Ｂ）、（Ｃ）、（Ｄ）を比較すると、眼鏡のふち等において、本発明による位置合わせ結果を用いた超解像処理結果がもっとも解像感が高く、色ずれも抑えられていることがわかる。図１０（Ｂ）、（Ｃ）、（Ｄ）を比較すると、観測画像の拡大や画像全体の濃度勾配法でのモーション推定結果を用いた超解像処理結果では読めない文字が、本発明による位置合わせ結果を用いた超解像処理によって読めるようになることが分かる。
図９（Ａ）のような動画像（観測時系列画像）に対し、特定のフレームにおける特定の領域を超解像処理する場合には、処理領域を指定して濃度勾配法によってモーションパラメータを推定する手法も有用である。しかし、超解像処理の対象が動画像の全フレームである場合、全フレームに対して処理領域を指定するような作業は非現実的である。
一方、本発明による位置合わせ結果を利用すれば、処理領域の指定などの作業を必要とせずに、全フレームの画像全体において超解像処理を行うことができる。
上述した本発明に係る画質改善処理装置の第１実施形態において、単一モーション領域抽出処理では、画像間の類似度と局所的な位置ずれ量に基づき、単一モーション領域を抽出するようにしている。
ところで、局所的な位置ずれ量を推定する際に、テクスチャレス領域では、局所的な位置ずれ量推定が不安定になりやすいことがある。そのため、テクスチャレス領域を判定し、テクスチャレス領域を単一モーション領域に含めないようにするという処理が行われることがある。
そこで、本発明の発明者らは、テクスチャレス領域について鋭意研究した結果として、テクスチャレス領域であっても、例えばＳＳＤのような局所的な類似度が高ければ、高い局所的な類似度を有するそのテクスチャレス領域を画質改善処理に利用可能であることを見出した。
つまり、本発明に係る画質改善処理装置の第２実施形態では、テクスチャレス領域であるとともに、類似領域でもある領域（以下、このような領域を単に「テクスチャレス類似領域」とも言う。）を、単一モーション領域に加えることにより、画質改善処理により、テクスチャレス領域のＳＮ比の向上を実現している。
図１１は本発明に係る画質改善処理装置の第２実施形態（本発明に係る画質改善処理装置２）を示すブロック構成図である。
図１１に示すように、本発明に係る画質改善処理装置２は、画像位置合わせ処理部１０と、領域拡張処理部１８と、画質改善処理部２０とから構成され、複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成するものである。
本発明の画質改善処理装置２では、まず、画像位置合わせ処理部１０が、複数の画像から１枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、上述した本発明に係る画像位置合わせ処理装置により行われる１枚の基準画像と１枚の入力画像との画像全体の位置合わせ処理を、複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定する。
なお、本発明の画質改善処理装置２における画像位置合わせ処理部１０の具体的な処理流れ（動作）は、本発明の画質改善処理装置１における画像位置合わせ処理部１０の処理流れと同様であるため、その説明を省略する。
次に、領域拡張処理部１８が、画像位置合わせ処理部１０から出力された、複数の画像における全ての単一モーション領域と、全ての単一モーション領域に対応する全てのモーションパラメータとに基づき、詳細は後述する本発明に係る領域拡張処理装置により行われる１枚の基準画像及び１枚の入力画像に対する領域拡張処理を、複数の画像に対して繰り返し行うことで、複数の画像における全ての拡張単一モーション領域を生成する。
次に、画質改善処理部２０が、領域拡張処理部１８から出力された複数の画像における全ての拡張単一モーション領域と、画像位置合わせ処理部１０から出力された全てのモーションパラメータとに基づき、複数のモーションを含む複数の画像に対し、画質改善処理を行うことにより、画質改善画像を生成する。また、画質改善処理部２０にて行われる画質改善処理は、例えば、特許文献３に開示された画質改善処理方法を用いて行うことができる。
なお、本発明に係る画質改善処理装置２に利用される複数のモーションを含む複数の画像として、複数の動き（複数の複雑な動き）のある動画像（即ち、複数の移動体が別々に動いているシーンを撮影した時系列画像）を用いることができる。その場合、例えば、時系列画像の最初のフレームを基準画像とし、その後のフレームを入力画像とすることができる。
勿論、本発明に係る画質改善処理装置２は、動画像に適用されることに限定されることはなく、複数のモーションを含む複数の画像として、静止画像を用いることも勿論可能である。
図１２は本発明に係る領域拡張処理装置の実施形態（領域拡張処理装置１８０）を示すブロック構成図である。以下、図１２に基づき、本発明に係る領域拡張処理装置を詳細に説明する。
本発明に係る領域拡張処理装置にて行われる処理は、複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、基準画像と入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び複数の単一モーション領域に対応する複数のモーションパラメータに基づき、基準画像及び入力画像に対する領域拡張処理である。
本発明に係る領域拡張処理装置で利用される複数のモーションに対応する複数の単一モーション領域及び複数の単一モーション領域に対応する複数のモーションパラメータは、本発明に係る画像位置合わせ処理装置にて行われる画像全体の位置合わせ処理により得られたものである。
図１２に示すように、本発明の領域拡張処理装置１８０は、基準画像を入力とするテクスチャレス領域抽出処理部１８１と、入力画像及び複数のモーションパラメータを入力とする画像変形処理部１８２と、基準画像を１つの入力とする類似度による閾値処理部１８３と、論理積処理部と、複数の単一モーション領域を入力とする論理和処理部とを備える。
本発明の領域拡張処理装置１８０では、まず、テクスチャレス領域抽出処理部１８１が、基準画像のテクスチャレス領域を抽出する、テクスチャレス領域抽出処理を行い、抽出したテクスチャレス領域を論理積処理部へ出力する。
次に、画像変形処理部１８２が、複数のモーションパラメータに基づき、入力画像を変形し、変形された入力画像を変形入力画像として類似度による閾値処理部へ出力する。
そして、類似度による閾値処理部１８３が、基準画像及び変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、抽出した類似領域を論理積処理部１８４へ出力する。
次に、論理積処理部１８４が、テクスチャレス領域抽出処理部１８１から出力されたテクスチャレス領域、及び類似度による閾値処理部１８３から出力された類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、生成したテクスチャレス類似領域を論理和処理部１８５へ出力する。
最後に、論理和処理部１８５が、論理積処理部１８４から出力されたテクスチャレス類似領域、及び複数の単一モーション領域に対し、論理和処理を行うことにより、テクスチャレス類似領域と複数の単一モーション領域を合わせた、複数の拡張単一モーション領域を生成する。
テクスチャレス領域抽出処理部１８１にて行われるテクスチャレス領域抽出処理は、既存の方法を利用することが可能である。テクスチャレス領域抽出処理の一具体例として、例えば、基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出する方法がある。
また、類似度による閾値処理部１８３に利用される局所的な類似度は、既存の類似度を利用することが可能である。その具体例として、例えば、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）又はＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を用いることができる。
上述した本発明に係る画質改善処理装置２によれば、テクスチャレス類似領域を単一モーション領域に加えることにより得られた拡張単一モーション領域に基づいて、画質改善処理を行うようにしているので、テクスチャレス領域のＳＮ比の向上を実現できるという優れた効果を奏する。
なお、上述した本発明に係る領域拡張処理装置及び画質改善処理装置２は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などのハードウェアにより実装されることも勿論できる。

１、２画質改善処理装置
１０画像位置合わせ処理部
１８領域拡張処理部
２０画質改善処理部
１００画像位置合わせ処理装置
１１０特徴点抽出処理部
１２０特徴点ベース位置合わせ処理部
１３０単一モーション領域抽出処理部
１４０領域ベース位置合わせ処理部
１５０特徴点削除処理部
１８０領域拡張処理装置
１８１テクスチャレス領域抽出処理部
１８２画像変形処理部
１８３類似度による閾値処理部
１８４論理積処理部
１８５論理和処理部

Claims

複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理装置であって、
特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーション領域抽出処理部と、領域ベース位置合わせ処理部と、特徴点削除処理部とを備え、
前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、
前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、
前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、
前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行い、
前記特徴点削除処理部が、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理部に抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことを特徴とする画像位置合わせ処理装置。
前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定する請求項１に記載の画像位置合わせ処理装置。
前記画像位置合わせ処理装置では、前記第１モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理部にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、第２支配的なモーションに対応する第２単一モーション領域を抽出し、抽出した第２単一モーション領域に対応する第２モーションパラメータを推定する請求項２に記載の画像位置合わせ処理装置。
前記画像位置合わせ処理装置では、前記第２モーションパラメータが推定された後に、前記特徴点削除処理部にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する請求項３に記載の画像位置合わせ処理装置。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理装置であって、
特徴点抽出処理部と、特徴点ベース位置合わせ処理部と、単一モーション領域抽出処理部と、領域ベース位置合わせ処理部とを備え、
前記特徴点抽出処理部が、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、
前記特徴点ベース位置合わせ処理部が、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、
前記単一モーション領域抽出処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、
前記領域ベース位置合わせ処理部が、前記特徴点ベース位置合わせ処理部から出力された初期モーションパラメータと、前記単一モーション領域抽出処理部から出力された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことを特徴とする画像位置合わせ処理装置。
前記画像位置合わせ処理装置では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理部にて行われる処理、前記特徴点ベース位置合わせ処理部にて行われる処理、前記単一モーション領域抽出処理部にて行われる処理、前記領域ベース位置合わせ処理部にて行われる処理を順番に行うことにより、前記特徴点抽出処理部により抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定する請求項５に記載の画像位置合わせ処理装置。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理方法であって、
特徴点抽出処理ステップと、特徴点ベース位置合わせ処理ステップと、単一モーション領域抽出処理ステップと、領域ベース位置合わせ処理ステップと、特徴点削除処理ステップとを有し、
前記特徴点抽出処理ステップでは、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、
前記特徴点ベース位置合わせ処理ステップでは、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、
前記単一モーション領域抽出処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、
前記領域ベース位置合わせ処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータと、前記単一モーション領域抽出処理ステップで抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行い、
前記特徴点削除処理ステップでは、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理ステップで抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことを特徴とする画像位置合わせ処理方法。
前記画像位置合わせ処理方法では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理ステップにて行われる処理、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を順番に行うことにより、前記特徴点抽出処理ステップで抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定する請求項７に記載の画像位置合わせ処理方法。
前記画像位置合わせ処理方法では、前記第１モーションパラメータが推定された後に、前記特徴点削除処理ステップにて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理ステップにて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を順番に行うことにより、第２支配的なモーションに対応する第２単一モーション領域を抽出し、抽出した第２単一モーション領域に対応する第２モーションパラメータを推定する請求項８に記載の画像位置合わせ処理方法。
前記画像位置合わせ処理方法では、前記第２モーションパラメータが推定された後に、前記特徴点削除処理ステップにて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する請求項９に記載の画像位置合わせ処理方法。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行う画像位置合わせ処理方法であって、
特徴点抽出処理ステップと、特徴点ベース位置合わせ処理ステップと、単一モーション領域抽出処理ステップと、領域ベース位置合わせ処理ステップとを有し、
前記特徴点抽出処理ステップでは、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、
前記特徴点ベース位置合わせ処理ステップでは、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、
前記単一モーション領域抽出処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、
前記領域ベース位置合わせ処理ステップでは、前記特徴点ベース位置合わせ処理ステップで推定された初期モーションパラメータと、前記単一モーション領域抽出処理ステップで抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことを特徴とする画像位置合わせ処理方法。
前記画像位置合わせ処理方法では、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理ステップにて行われる処理、前記特徴点ベース位置合わせ処理ステップにて行われる処理、前記単一モーション領域抽出処理ステップにて行われる処理、前記領域ベース位置合わせ処理ステップにて行われる処理を順番に行うことにより、前記特徴点抽出処理ステップで抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定する請求項１１に記載の画像位置合わせ処理方法。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行うための画像位置合わせ処理プログラムであって、
特徴点抽出処理手順と、特徴点ベース位置合わせ処理手順と、単一モーション領域抽出処理手順と、領域ベース位置合わせ処理手順と、特徴点削除処理手順とをコンピュータに実行させるためのプログラムであり、
前記特徴点抽出処理手順では、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、
前記特徴点ベース位置合わせ処理手順では、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、
前記単一モーション領域抽出処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、
前記領域ベース位置合わせ処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータと、前記単一モーション領域抽出処理手順で抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行い、
前記特徴点削除処理手順では、前記基準画像特徴点及び前記入力画像特徴点から、前記単一モーション領域抽出処理手順で抽出された単一モーション領域に含まれる特徴点を削除する、特徴点削除処理を行うことを特徴とする画像位置合わせ処理プログラム。
前記画像位置合わせ処理プログラムでは、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理手順にて行われる処理、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を順番に行うことにより、前記特徴点抽出処理手順で抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定する請求項１３に記載の画像位置合わせ処理プログラム。
前記画像位置合わせ処理プログラムでは、前記第１モーションパラメータが推定された後に、前記特徴点削除処理手順にて行われる特徴点削除処理により削除されずに残った特徴点を、前記特徴点ベース位置合わせ処理手順にて行われる特徴点ベース位置合わせ処理に利用される基準画像特徴点及び入力画像特徴点とした上で、再び、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を順番に行うことにより、第２支配的なモーションに対応する第２単一モーション領域を抽出し、抽出した第２単一モーション領域に対応する第２モーションパラメータを推定する請求項１４に記載の画像位置合わせ処理プログラム。
前記画像位置合わせ処理プログラムでは、前記第２モーションパラメータが推定された後に、前記特徴点削除処理手順にて行われる処理により単一モーション領域に含まれる特徴点を取り除きながら、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を繰り返し行うことにより、複数のモーションに対応する全ての単一モーション領域を逐次的に抽出し、逐次的に抽出された単一モーション領域に対応するモーションパラメータをも逐次的に推定する請求項１５に記載の画像位置合わせ処理プログラム。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像との画像全体の位置合わせ処理をロバスト且つ高精度に行うための画像位置合わせ処理プログラムであって、
特徴点抽出処理手順と、特徴点ベース位置合わせ処理手順と、単一モーション領域抽出処理手順と、領域ベース位置合わせ処理手順とをコンピュータに実行させるためのプログラムであり、
前記特徴点抽出処理手順では、前記基準画像及び前記入力画像の特徴点をそれぞれ抽出する、特徴点抽出処理を行い、
前記特徴点ベース位置合わせ処理手順では、前記基準画像から抽出された特徴点（基準画像特徴点）と、前記入力画像から抽出された特徴点（入力画像特徴点）との対応付け処理と、対応付けられた特徴点から外れ値を削除してからの初期モーションパラメータ推定処理とから構成される、特徴点ベース位置合わせ処理を行い、
前記単一モーション領域抽出処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータに基づき、画像間の類似度と局所的な位置ずれ量を利用して、当該初期モーションパラメータに対応する単一モーション領域を抽出する、単一モーション領域抽出処理を行い、
前記領域ベース位置合わせ処理手順では、前記特徴点ベース位置合わせ処理手順で推定された初期モーションパラメータと、前記単一モーション領域抽出処理手順で抽出された単一モーション領域とに基づき、当該単一モーション領域に対応するモーションパラメータをサブピクセル精度で推定する、領域ベース位置合わせ処理を行うことを特徴とする画像位置合わせ処理プログラム。
前記画像位置合わせ処理プログラムでは、前記基準画像及び前記入力画像に基づき、前記特徴点抽出処理手順にて行われる処理、前記特徴点ベース位置合わせ処理手順にて行われる処理、前記単一モーション領域抽出処理手順にて行われる処理、前記領域ベース位置合わせ処理手順にて行われる処理を順番に行うことにより、前記特徴点抽出処理手順で抽出された全ての特徴点を利用して、第１支配的なモーションに対応する第１単一モーション領域を抽出し、抽出した第１単一モーション領域に対応する第１モーションパラメータを推定する請求項１７に記載の画像位置合わせ処理プログラム。
複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置であって、
画像位置合わせ処理部と、画質改善処理部とを備え、
前記画像位置合わせ処理部が、前記複数の画像から１枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、請求項１乃至請求項４の何れかに記載の画像位置合わせ処理装置により行われる１枚の基準画像と１枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定し、
前記画質改善処理部が、前記画像位置合わせ処理部から出力された、複数の単一モーション領域と、それぞれの単一モーション領域に対応するモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することを特徴とする画質改善処理装置。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、前記基準画像と前記入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び前記複数の単一モーション領域に対応する複数のモーションパラメータに基づき、前記基準画像及び前記入力画像に対する領域拡張処理を行う領域拡張処理装置であって、
前記基準画像を入力とするテクスチャレス領域抽出処理部と、
前記入力画像及び前記複数のモーションパラメータを入力とする画像変形処理部と、
前記基準画像を１つの入力とする類似度による閾値処理部と、
論理積処理部と、
前記複数の単一モーション領域を入力とする論理和処理部と、
を備え、
前記テクスチャレス領域抽出処理部が、前記基準画像のテクスチャレス領域を抽出する、テクスチャレス領域抽出処理を行い、抽出したテクスチャレス領域を前記論理積処理部へ出力し、
前記画像変形処理部が、前記複数のモーションパラメータに基づき、前記入力画像を変形し、変形された入力画像を変形入力画像として前記類似度による閾値処理部へ出力し、
前記類似度による閾値処理部が、前記基準画像及び前記変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、抽出した類似領域を前記論理積処理部へ出力し、
前記論理積処理部が、前記テクスチャレス領域抽出処理部から出力された前記テクスチャレス領域、及び前記類似度による閾値処理部から出力された前記類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、生成したテクスチャレス類似領域を前記論理和処理部へ出力し、
前記論理和処理部が、前記論理積処理部から出力された前記テクスチャレス類似領域、及び前記複数の単一モーション領域に対し、論理和処理を行うことにより、前記テクスチャレス類似領域と前記複数の単一モーション領域を合わせた、複数の拡張単一モーション領域を生成することを特徴とする領域拡張処理装置。
前記テクスチャレス領域抽出処理では、前記基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出する請求項２０に記載の領域拡張処理装置。
前記類似度による閾値処理部に利用される前記局所的な類似度は、ＳＳＤ又はＳＡＤである請求項２０又は請求項２１に記載の領域拡張処理装置。
複数のモーションを含む複数の画像に基づき、高画質な画質改善画像を生成する画質改善処理装置であって、
画像位置合わせ処理部と、領域拡張処理部と、画質改善処理部とを備え、
前記画像位置合わせ処理部が、前記複数の画像から１枚の基準画像を選択し、残った全ての画像を入力画像とし、次に、請求項１乃至請求項４の何れかに記載の画像位置合わせ処理装置により行われる１枚の基準画像と１枚の入力画像との画像全体の位置合わせ処理を、前記複数の画像に対して繰り返し行うことで、複数のモーションを含む複数の画像における全ての単一モーション領域を抽出し、また、それらの単一モーション領域に係る全てのモーションパラメータをロバスト且つ高精度に推定し、
前記領域拡張処理部が、前記画像位置合わせ処理部から出力された、前記複数の画像における全ての単一モーション領域と、前記全ての単一モーション領域に対応する全てのモーションパラメータとに基づき、請求項２０乃至請求項２２の何れかに記載の領域拡張処理装置により行われる１枚の基準画像及び１枚の入力画像に対する領域拡張処理を、前記複数の画像に対して繰り返し行うことで、前記複数の画像における全ての拡張単一モーション領域を生成し、
前記画質改善処理部が、前記領域拡張処理部から出力された前記複数の画像における全ての拡張単一モーション領域と、前記画像位置合わせ処理部から出力された前記全てのモーションパラメータとに基づき、前記複数の画像に対し、画質改善処理を行うことにより、前記画質改善画像を生成することを特徴とする画質改善処理装置。
複数のモーションを含む基準画像と、複数のモーションを含む入力画像と、前記基準画像と前記入力画像との画像全体の位置合わせ処理を行うことにより得られた複数のモーションに対応する複数の単一モーション領域及び前記複数の単一モーション領域に対応する複数のモーションパラメータに基づき、前記基準画像及び前記入力画像に対する領域拡張処理を行う領域拡張処理方法であって、
前記基準画像を入力とするテクスチャレス領域抽出処理ステップと、
前記入力画像及び前記複数のモーションパラメータを入力とする画像変形処理ステップと、
前記基準画像を１つの入力とする類似度による閾値処理ステップと、
論理積処理ステップと、
前記複数の単一モーション領域を入力とする論理和処理ステップと、
を有し、
前記テクスチャレス領域抽出処理ステップでは、前記基準画像のテクスチャレス領域を抽出する、テクスチャレス領域抽出処理を行い、
前記画像変形処理ステップでは、前記複数のモーションパラメータに基づき、前記入力画像を変形し、変形された入力画像を変形入力画像とし、
前記類似度による閾値処理ステップでは、前記基準画像及び前記変形入力画像に対し、局所的な類似度を閾値処理することにより、類似領域を抽出し、
前記論理積処理ステップでは、前記テクスチャレス領域抽出処理ステップで抽出された前記テクスチャレス領域、及び前記類似度による閾値処理ステップで抽出された前記類似領域に対し、論理積処理を行うことにより、テクスチャレス類似領域を生成し、
前記論理和処理ステップでは、前記論理積処理ステップで生成されたテクスチャレス類似領域、及び前記複数の単一モーション領域に対し、論理和処理を行うことにより、前記テクスチャレス類似領域と前記複数の単一モーション領域を合わせた、複数の拡張単一モーション領域を生成することを特徴とする領域拡張処理方法。
前記テクスチャレス領域抽出処理では、前記基準画像における局所的な画像の分散を求め、求めた局所的な画像の分散が所定の閾値以下の領域をテクスチャレス領域として抽出する請求項２４に記載の領域拡張処理方法。
前記類似度による閾値処理ステップで利用される前記局所的な類似度は、ＳＳＤ又はＳＡＤである請求項２４又は請求項２５に記載の領域拡張処理方法。