JP5676610B2

JP5676610B2 - 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法

Info

Publication number: JP5676610B2
Application number: JP2012524680A
Authority: JP
Inventors: グオ，ジュ; ルオ，イン; ルラッチ，ジョーン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2009-08-12
Filing date: 2009-08-12
Publication date: 2015-02-25
Anticipated expiration: 2029-08-12
Also published as: EP2465095A1; KR20120061873A; JP2013502147A; WO2011019330A1; US20120144304A1; KR101437626B1; CN102483849A

Description

本発明は、概してデジタル画像処理及びディスプレイ・システムに関し、より詳細には、特にユーザ・フィードバックを効率的に組み込み、ユーザの努力を最小化し及び適応して画像を処理する、画像内のアーティファクトを低減するシステム及び方法に関する。

画像アーティファクトは、デジタル画像又はフィルム内の画像シーケンスのような画像の処理中に気付かれる。一般的なアーティファクト現象はバンディング（誤った輪郭としても知られる）であり、強度及び色レベルの変化する筋（band）が画像の元の円滑な線形遷移領域で表示されるものである。色補正、スケーリング、色空間変換及び圧縮のような処理は、バンディング効果を導入しうる。バンディングは、画像が人間により作り出され高周波数成分及び最小雑音を有するアニメーション素材で最も高頻度に見られる。限られた帯域幅のどんな処理も、エイリアス、「リンギング」又はバンディングをやむを得ず生じてしまう。

既存の画像処理システムは、標準的に低レベル特徴に基づき画像を処理する。このようなシステムでは、大部分の人間の相互作用は、処理パラメータの初期設定を含む。処理の後、結果はユーザ／オペレータにより評価される。所望の結果が達成されない場合、新しいパラメータが用いられ画像を再処理してもよい。ビデオ処理では、膨大な数のフレームを処理する必要があるため、この手法は甚大な努力を必要とする。既存のビデオ処理システムでは、同じ初期設定が、通常全てのビデオ・フレームに適用される。しかしながら、処理中にエラーが生じた場合、処理は取り消され、ユーザは新しいパラメータを再入力することにより処理を再開しうる。これらの種類の既存のシステムは、最適ではなく、ユーザにとって非常に不便でありうる。さらに、これらのシステムは、ユーザ・フィードバック情報を処理の実行中に適切に取り入れることができない。

したがって、画像内のアーティファクトを低減する、前述の問題を解決するシステム及び方法が必要である。本願明細書に記載される本発明は、上述の及び／又は他の問題を解決し、画像内のアーティファクトを低減する、特にユーザ・フィードバックを効率的に組み込み、ユーザの努力を最小化し、画像を適応して処理するシステム及び方法を提供する。

本発明の一態様によると、複数のフレームを有する動画を処理する方法が開示される。例示的な実施形態によると、この方法は、アルゴリズムを実行して第１のフレームの第１の領域内のアーティファクトを除去するステップであって、該第１の領域の外側の領域は影響を受けない、前記ステップと、前記第１のフレームに続く第２のフレームの第２の領域を識別するステップであって、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する、前記ステップと、前記第２の領域を示した第２のフレームを表示するステップと、前記第２の領域内の第３の領域を定める第１のユーザ入力を受信するステップと、前記アルゴリズムを実行して前記第２の領域内であって前記第３の領域以外のアーティファクトを除去するステップと、を含む。

本発明の別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、アルゴリズムを実行して第１のフレームの第１の領域内のアーティファクトを除去するステップであって、該第１の領域の外側の領域は影響を受けない、前記ステップと、前記第１のフレームに続く第２のフレームの第２の領域を識別するステップであって、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する、前記ステップと、前記第２の領域を示した第２のフレームを表示するステップと、第３の領域を定める第１のユーザ入力を受信するステップと、前記アルゴリズムを実行して前記第２の領域及び前記第３の領域により形成される結合領域内のアーティファクトを除去するステップと、を含む。

本発明の更に別の態様によると、複数のフレームを有する動画を処理するシステムが開示される。例示的な実施形態によると、システムは、第１の手段であって、アルゴリズムを有するデータを格納するメモリ等、第２の手段であって、前記アルゴリズムを実行し第１のフレームの第１の領域内のアーティファクトを除去し、該第１の領域の外側の領域は影響を受けない、プロセッサ等、を備える。前記第２の手段は、前記第１のフレームに続く第２のフレームの第２の領域を識別し、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する。前記第２の手段は、前記第２の領域を示した第２のフレームを表示させる。前記第２の手段は、前記第２の領域の内側の第３の領域を定める第１のユーザ入力を受信し、前記アルゴリズムを実行して前記第２の領域内であって前記第３の領域以外のアーティファクトを除去する。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別のシステムが開示される。例示的な実施形態によると、システムは、第１の手段であって、アルゴリズムを有するデータを格納するメモリ等、第２の手段であって、前記アルゴリズムを実行し第１のフレームの第１の領域内のアーティファクトを除去し、該第１の領域の外側の領域は影響を受けない、プロセッサ等、を備える。前記第２の手段は、前記第１のフレームに続く第２のフレームの第２の領域を識別し、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する。前記第２の手段は、前記第２の領域を示した第２のフレームを表示させる。前記第２の手段は、前記第２の領域の内側の第３の領域を定める第１のユーザ入力を受信し、前記アルゴリズムを実行して前記第２の領域及び前記第３の領域により形成される結合領域内のアーティファクトを除去する。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、第１の領域を示したフレームを表示するステップであって、該第１の領域は前のフレームからトラッキングされる、前記ステップと、前記第１の領域内の第２の領域を定めるユーザ入力を受信するステップと、アルゴリズムを実行して前記第１の領域内であって前記第２の領域以外のアーティファクトを除去するステップと、を含む。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、第１の領域を示したフレームを表示するステップであって、該第１の領域は前のフレームからトラッキングされる、前記ステップと、前記第１の領域内の第２の領域を定めるユーザ入力を受信するステップと、アルゴリズムを実行して前記第１の領域及び前記第２の領域により形成される結合領域内のアーティファクトを除去するステップと、を含む。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、第１のアルゴリズムを実行して第１のフレームの第１の領域内のアーティファクトを除去するステップであって、該第１の領域の外側の領域は影響を受けない、前記ステップと、前記第１のフレームに続く第２のフレームの第２の領域を識別するステップであって、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する、前記ステップと、前記第２の領域を示した第２のフレームを表示するステップと、前記第２の領域の内側の第３の領域を定めるユーザ入力を受信するステップと、前記第１のアルゴリズムと異なる第２のアルゴリズムを実行して前記第２の領域内であって前記第３の領域以外のアーティファクトを除去するステップと、を含む。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、第１のアルゴリズムを実行して第１のフレームの第１の領域内のアーティファクトを除去するステップであって、該第１の領域の外側の領域は影響を受けない、前記ステップと、前記第１のフレームに続く第２のフレームの第２の領域を識別するステップであって、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する、前記ステップと、前記第２の領域を示した第２のフレームを表示するステップと、前記第２の領域の内側の第３の領域を定めるユーザ入力を受信するステップと、前記第１のアルゴリズムと異なる第２のアルゴリズムを実行して前記第２の領域及び前記第３の領域により形成される結合領域内のアーティファクトを除去するステップと、を含む。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、第１のパラメータを用いてアルゴリズムを実行して第１のフレームの第１の領域内のアーティファクトを除去するステップであって、該第１の領域の外側の領域は影響を受けない、前記ステップと、前記第１のフレームに続く第２のフレームの第２の領域を識別するステップであって、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する、前記ステップと、前記第２の領域を示した第２のフレームを表示するステップと、前記第２の領域の内側の第３の領域を定める第１のユーザ入力を受信するステップと、前記第１のパラメータと異なる第２のパラメータを用いて前記アルゴリズムを実行して前記第２の領域内であって前記第３の領域以外のアーティファクトを除去するステップと、を含む。

本発明の更に別の態様によると、複数のフレームを有する動画を処理する別の方法が開示される。例示的な実施形態によると、方法は、第１のパラメータを用いてアルゴリズムを実行して第１のフレームの第１の領域内のアーティファクトを除去するステップであって、該第１の領域の外側の領域は影響を受けない、前記ステップと、前記第１のフレームに続く第２のフレームの第２の領域を識別するステップであって、該第２のフレームの第２の領域は前記第１のフレームの第１の領域に対応する、前記ステップと、前記第２の領域を示した第２のフレームを表示するステップと、第３の領域を定める第１のユーザ入力を受信するステップと、前記第１のパラメータと異なる第２のパラメータを用いて前記アルゴリズムを実行して前記第２の領域及び前記第３の領域により形成される結合領域内のアーティファクトを除去するステップと、を含む。

本発明の実施形態の以下の記載を添付の図面とともに参照することにより、本発明の上述の及び他の特徴及び利点並びにそれらを達成する方法は一層明らかになり、本発明は良好に理解されるだろう。

本発明の例示的な実施形態による画像内のアーティファクトを低減するシステムのブロック図である。本発明の例示的な実施形態による図１のスマート・カーネルの更なる詳細を提供するブロック図である。本発明の例示的な実施形態による画像内のアーティファクトを低減するステップを示すフローチャートである。本発明の例示的な実施形態による最初に選択された関心領域を示す図である。本発明の例示的な実施形態によりどのようにユーザが関心領域を修正するかを示す図である。本発明の別の例示的な実施形態によりどのようにユーザが関心領域を修正するかを示す図である。

本願明細書に説明される適例は本発明の好適な実施形態を示し、これらの適例は本発明の範囲をいかなる方法によっても限定すると見なされない。

図中の要素は種々の形式のハードウェア、ソフトウェア又はそれらの組み合わせで実施されてもよいことが理解される。望ましくは、これらの要素は、ハードウェア及びソフトウェアの組み合わせで、１又は複数の適切にプログラムされた汎用装置に実施される。該汎用装置は、プロセッサ、メモリ及び入力／出力インタフェースを含みうる。

本願明細書の記載は、本発明の原理を説明する。したがって、当業者は種々のアレンジを考案できることが理解される。これらのアレンジは、本願明細書に明示的に記載又は示されないが本発明の原理を具現化し本発明の精神と範囲に包含される。

本願明細書に記載された全ての例及び条件文は、教育上の目的で、読者が本発明の原理及び発明者により考案された概念を理解するのを助け、技術を促進させるためであり、これらの特に記載された例及び条件に限定されないものと考えられるべきである。

さらに、本発明の原理、態様及び実施形態、並びにそれらの特定の例を引用する本願明細書の全ての記載は、それらの構造的及び機能的等価物の両方を包含すると考えられる。さらに、このような等価物は、現在知られている等価物及び将来に開発される等価物、つまり任意の開発される要素であって同一の機能を実行するものを構造に関係なく包含すると考えられる。

したがって、例えば、当業者により、本願明細書で提示されるブロック図は本発明の原理を具現化する説明のための回路の概念図を提示するものであることが理解される。同様に、どんなフローチャート、フロー図、状態遷移図、擬似コード等も種々の処理を表し、コンピュータ可読媒体に実質的に表現されてもよく、したがってコンピュータ又はプロセッサにより実行されてもよく、該コンピュータ又はプロセッサが明示されているか否かを問題としないことが理解される。

図中に示された種々の要素の機能は、専用ハードウェア及び適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を通じて提供されうる。プロセッサにより提供される場合、機能は、単一の専用プロセッサにより、単一の共有プロセッサにより又は複数の個別のプロセッサであって一部が共有されうるものにより提供されてもよい。さらに、用語「プロセッサ」又は「制御部」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に表すと考えられるべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納する読み出し専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を黙示的に包含するがこれらに限定されない。

他のハードウェア、つまり従来及び／又はカスタムのものも含まれてもよい。同様に、図中に示されるどんなスイッチも単に概念的なものである。それらの機能は、プログラム・ロジックの動作を通じて、専用ロジックを通じて、プログラム制御及び専用ロジックの相互作用を通じて、又は手動でも実行されてもよく、特定の技術は文脈から更に詳細に理解されるように実施者により選択可能である。

本願の特許請求の範囲では、特定の機能を実行する手段として表現された任意の要素は該機能を実行するどんな方法も包含すると考えられ、例えば（ａ）回路要素の組み合わせであって該機能を実行するもの、（ｂ）任意の形式のソフトウェアであって、したがってファームウェア、マイクロコード等であって該ソフトウェアを実行して該機能を実行する適切な回路と組み合わされたものを含む。特許請求の範囲により定められる本発明は、種々の記載された手段により提供される機能が請求項の請求する方法で組み合わされ一緒にされるという事実にある。したがって、これらの機能を提供しうるどんな手段も本願明細書に示された手段と等価であると考えられる。

大部分の既存の画像処理技術は画像ピクセルのレベルで動作し、低レベルの特徴、例えば明度及び色情報等を用いる。これらの技術の殆どは、空間的相関に基づく統計的モデルを用いて良好な結果を達成する。画像の複数のフレームが利用可能な場合、画像処理結果を向上させるためにフレーム相関を用いることもできる。しかしながら、画像処理は低レベルの画像特徴に基づくので、画像処理は多くの場合、存在するアーティファクトを除去することができないばかりか、更なるアーティファクトを画像に導入してしまう。意味内容（セマンティック・コンテンツ）に基づく画像処理は依然として今日も課題である。

関心領域（Region of interest：ROI）に基づく画像処理は、アーティファクト又は変更の必要な望ましくない特徴を有する画像の特定領域に画像処理を適用する。画像の一部を選択的に処理することにより、ＲＯＩは伝統的な画像処理技術よりも良好な結果を達成できる。しかしながら、どのように関心領域をロバスト且つ効率的な方法で識別するかという未解決の問題が依然として存在する。自動的な手法は、色、輝度情報を用い、特定の特徴又は該特徴の変化を分割又は検出する。一式の特徴に基づき画像が領域に分類され、大部分の特徴を有する領域は関心領域として分類される。デジタルの中間物又はデジタル・ビデオ処理では、領域検出は、アーティファクト、例えばちらつき及びぼけ等を回避するためにフレームに渡って一貫している必要がある。領域は、多くの場合、方形又は多角形として定められる。幾つかのアプリケーション、例えば領域に基づく色補正及び２Ｄ画像からの奥行きマップ回復（recovery）等では、領域の境界はピクセル的な精度で正確に定められる必要がある。

セマンティック・オブジェクトは領域のセットであり、セマンティックの意味（semantic meaning）を人間に提示する。標準的に、領域のセットは一般的な低レベルの特徴を共有する。例えば、空の領域は飽和した青い色を有するだろう。車の領域は同様の動きを有するだろう。しかしながら、時には、セマンティック・オブジェクトは低レベルの特徴において明らかな類似性を有しない領域を含む。したがって、セマンティック・オブジェクトを生成するために領域のセットをグループ化することは、多くの場合、所望の目的を達成できない。これは、人間の脳の処理とコンピュータに基づく画像処理との間の根本的な相違から生じる。人間はセマンティック・オブジェクトを識別するために知識を用いるが、コンピュータに基づく画像処理は低レベルの特徴に基づく。セマンティック・オブジェクトの使用は、ＲＯＩに基づく画像処理を多くの点で有意に向上する。しかしながら、セマンティック・オブジェクトを効率的に識別する方法は困難である。

本発明の原理によると、人間の知識とコンピュータに基づく画像処理を統合して良好な結果を達成する解決策（例えば、半自動又はユーザ支援型手法）が提供される。この方法では、人間の相互作用はコンピュータに基づく画像処理に知的指針を提供でき、それにより良好な結果を達成する。人間とコンピュータは異なる分野で活動するので、どのように人間の知識をコンピュータにマッピングし、人間の相互作用の効率を最大化するかという課題がある。人的資源のコストは増大しており、一方でコンピュータの処理能力のコストは減少している。したがって、人間の相互作用とコンピュータに基づく画像処理を統合する効率的なツールは、良好な画像品質を生成し低コストの利益を有することが必要などんなビジネスにとっても非常に貴重なツールである。

現在、殆どのソフトウェア・ツールは、グラフィック・ユーザ・インタフェースを処理パラメータの初期設定のために提供し、最終処理が開始される前に結果をプレビューする。ユーザは、結果が満足のいくものではなく同一の処理を再び繰り返すときは、常に停止できる。しかしながら、これら現在のシステムでは、ユーザ・フィードバックを分析し及びそれにシステムを適応することにより処理を向上させるフィードバック機構が存在しない。したがって、ユーザがしきりに新しいパラメータ・セットで処理を再開する場合には、ユーザ相互作用は非常に非効率になる。

図、特に図１を参照すると、本発明の例示的な実施形態による画像内のアーティファクトを低減するシステム１００のブロック図が示される。図１では、走査装置１０３は、フィルム・プリント１０４、例えばカメラのオリジナル・ネガフィルムを走査してデジタル・フォーマット、例えばＣｉｎｅｏｎフォーマット又はＳＭＰＴＥＤＰＸファイルにするために設けられてもよい。走査装置１０３は、例えばテレシネ又はフィルム、例えばビデオ出力を有するＡｒｒｉＬｏｃＰｒｏ（登録商標）等からビデオ出力を生成する任意の装置を有してもよい。代替として、撮影後の編集作業又はデジタル・シネマ（例えば、既にコンピュータ可読形式のファイル）からのデジタル・フィルム画像１０６を表すファイルを直接用いることもできる。コンピュータ可読ファイルの可能性のあるソースは、ＡＶＩＤ（登録商標）エディタ、ＤＰＸファイル、Ｄ５テープ等である。

走査されたフィルム・プリントは、ポストプロセス装置１０２、例えばコンピュータに入力される。ポストプロセス装置１０２は種々の知られたいかなるコンピュータ・プラットフォームにも実装され、１又は複数の中央処理装置（ＣＰＵ）のようなハードウェア、ランダム・アクセス・メモリ（ＲＡＭ）及び／又は読み出し専用メモリ（ＲＯＭ）のようなメモリ１１０、並びにキーボード、カーソル制御装置（例えば、マウス、ジョイスティック等）及びディスプレイ装置のような入力／出力（Ｉ／Ｏ）ユーザ・インタフェース１１２を有する。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも有する。本願明細書に記載される種々の処理及び機能は、マイクロ命令コードの一部又はソフトウェア・アプリケーション・プログラムの一部（又はそれらの組み合わせ）のいずれかであってもよく、それらはオペレーティング・システムを介して実行される。さらに、種々の他の周辺装置は、コンピュータ・プラットフォームに、種々のインタフェース及びバス構造、例えばパラレル・ポート、シリアル・ポート又はユニバーサル・シリアル・バス（ＵＳＢ）等により接続されてもよい。他の周辺装置は、１又は複数の追加の記憶装置１２４及びフィルム・プリンタ１２８を有してもよい。フィルム・プリンタ１２８は、フィルム１２６の改訂又はマークアップ版、例えばフィルムの立体像版を印刷するために用いられてもよい。ポストプロセス装置１０２は、圧縮フィルム１３０も生成してもよい。

代替として、既にコンピュータ可読形式のファイル／フィルム・プリント１０６（例えばデジタル・シネマ、これは例えば外付けハードディスク・ドライブ１２４に格納されてもよい）は、ポストプロセス装置１０２に直接入力されてもよい。本願明細書で用いられる用語「フィルム」は、フィルム・プリント又はデジタル・シネマのどちらも表すことができることに留意する。

ソフトウェア・プログラムは、メモリ１１０内に格納された誤差拡散モジュール１１４を有し、画像内のアーティファクトを低減する。誤差拡散モジュール１１４は雑音又は信号生成器１１６を有し、信号を生成して画像内のアーティファクトをマスクする。雑音信号は、白色雑音、ガウス雑音、異なるカットオフ周波数フィルタで変調された白色雑音等でありうる。トランケーション・モジュール１１８が設けられ、画像のブロックの量子化誤差を特定する。誤差拡散モジュール１１４は、誤差分布モジュール１２０も有する。誤差分布モジュール１２０は、量子化誤差を近隣のブロックに分布するよう構成される。

トラッキング・モジュール１３２が設けられ、シーンの数フレームを通じて１つのＲＯＩをトラッキングする。トラッキング・モジュール１３２は、マスク生成器１３４を有する。マスク生成器１３４は、所与のビデオ・シーケンスの各画像又はフレームのためにバイナリ・マスクを生成する。バイナリ・マスクは、画像内の定められたＲＯＩから、例えばＲＯＩを囲むように線が引かれたユーザの入力した多角形により又は自動検出アルゴリズム若しくは機能により生成される。バイナリ・マスクは、ピクセル値１又は０を有する画像である。ＲＯＩ内の全てのピクセルは値１を有し、他のピクセルは値０を有する。トラッキング・モジュール１３２は、トラッキング・モデル１３６を有する。トラッキング・モデル１３６は、ＲＯＩのトラッキング情報をある画像から別の画像へと、例えば所与のビデオ・シーケンスのフレーム間で推定する。

トラッキング・モジュール１３２は、スマート・カーネル１３８を更に有する。スマート・カーネル１３８は、ユーザ・フィードバックを解釈して実際の画像内容に適応するよう動作する。例示的な実施形態によると、スマート・カーネル１３８は、画像処理アルゴリズム及びそれに対応するパラメータをユーザの入力及び画像内に内在する領域の分析に基づき自動的に修正し、それにより良好な画像処理結果を提供する。この方法で、本発明は、ユーザの操作を簡略化し、システム１００が満足のいく結果を生成できなかったときに処理を再開しなければならないユーザの負荷を軽減できる。画像の処理を該画像の実際の内容及びユーザ・フィードバックに適応させることにより、本発明は一層効率的な画像処理を強靱且つ優れた画像品質とともに提供する。スマート・カーネル１３８に関する更なる詳細は、本願明細書に後述される。図１には、エンコーダ１２２も設けられる。エンコーダ１２２は、出力画像を任意の知られた圧縮規格、例えばＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等にエンコードする。

図２を参照すると、ブロック図は、本発明の例示的な実施形態による図１のスマート・カーネル１３８の更なる詳細を提供する。本発明の原理によると、ユーザ・インタフェース１１２によって、ユーザがスマート・カーネル１３８に入力できるようにする。また、ユーザ・インタフェース１１２は、直感的に理解できるユーザ・インタフェースであり、画像処理の詳細な知識を有しないユーザが効率的に操作することができる。特に、ユーザ・インタフェース１１２は、ユーザに、画像処理が満足のいく結果を生成できなかった問題のある領域（つまり、関心領域）を識別させる。

図２に示されるように、スマート・カーネル１３８は画像分析モジュール１４０、修正アルゴリズム・モジュール１４２及び修正パラメータ・モジュール１４４を有する。例示的な実施形態によると、ユーザが画像処理後に満足のいかない関心領域（ＲＯＩ）を識別すると、スマート・カーネル１３８は、ユーザ・フィードバック情報を受信し、内部パラメータ及び処理ステップをそれに応答して修正できる。スマート・カーネル１３８の機能は次の通りである。

先ず、画像分析モジュール１４０は、前述のユーザ・フィードバック情報に基づき画像内容を分析し、不満足な処理結果を有する１又は複数の関心領域を特徴付ける（つまり、定める）。１又は複数の関心領域が分析されると、スマート・カーネル１３８は、アルゴリズム及び／又はパラメータをモジュール１４２及び１４４をそれぞれ介して修正できる。例えば、幾つかの領域トラッキング・アルゴリズムは、システム１００により用いられ、関心領域を定める１又は複数の領域のセットをトラッキングしうる（例えば、輪郭に基づくトラッカー、特徴点に基づくトラッカー、テクスチャに基づくトラッカー、色に基づくトラッカー等）。トラッキングされる領域の特徴（つまり、画像分析モジュール１４０の出力結果）に依存して、修正アルゴリズム・モジュール１４２は、最も適切なトラッキング方法を設計選択に従い選択する。例えば、初期の関心領域が人の顔であるが、後にユーザが関心領域（ＲＯＩ）の修正を人の髪を追加することにより決めた場合、スマート・カーネル１３８の修正アルゴリズム・モジュール１４２は、色に基づくトラッカーから輪郭に基づくトラッカーに切り替えることができる（つまり、顔と髪とがもはや同種の色ではない場合）。

さらに、修正アルゴリズム・モジュール１４２がトラッキング・アルゴリズムを変更しない場合でも、上述のように、スマート・カーネル１３８の修正パラメータ・モジュール１４４は、トラッキング・パラメータを変更すると決定してもよい。例えば、初期の関心領域が青い空であり、ユーザが後に関心領域（ＲＯＩ）を白い雲を青い空に追加することにより修正すると決定した場合、修正アルゴリズム・モジュール１４２は、色に基づくトラッカーを使い続けてもよいが、修正パラメータ・モジュール１４４はトラッキング・パラメータを変更して青と白の両方を（つまり青のみに代えて）トラッキングしてもよい。図２に示されるように、スマート・カーネル１３８からの出力は画像処理（つまり、トラッキング処理）のためにブロック１４６で提供される。

図３を参照すると、フローチャート３００は、本発明の例示的な実施形態による画像内のアーティファクトを低減するステップを説明する。例及び説明を目的として、図３のステップは、図１のシステム１００の特定の要素に関連して記載される。しかしながら、図３のステップは、スマート・カーネル１３８により上述のように進められることが直感的に理解される。図３のステップは、単なる例であり、本発明の用途をいかなる方法によっても限定することを意図しない。

ステップ３１０で、ユーザは初期の関心領域（ＲＯＩ）をビデオ・シーケンスの所与のフレーム内で選択する。例示的な実施形態によると、ユーザは、トラッキング・エラーが存在する初期のＲＯＩの外形を描くために、ステップ３１０でマウス及び／又はユーザ・インタフェース１１２の他の要素を用いることができる。図４は、ステップ３１０で選択されうる例示的なＲＯＩ（つまり、Ｒ）を示す。図４に表された簡易なユーザ・インタフェースは、ステップ３１０でユーザにＲＯＩを直感的に識別させる。本発明の原理によると、ステップ３１０で選択された（及び後続のフレームのために修正されうる）ＲＯＩは、除去される必要のある（例えば、トラッキング・アルゴリズムを介してマスキング信号を用いて）アーティファクトが存在する領域を表す。

ステップ３２０で、ＲＯＩ（このＲＯＩのどんな修正も含む）は、所与のビデオ・シーケンスの次のフレームまでトラッキングされる。例示的な実施形態によると、ＲＯＩをトラッキングするために、２Ｄアフィン運動モデルがステップ３２０で用いられうる。トラッキングのモデル化は次のように表現できる。
ｘ’＝ａ_１ｘ＋ｂ_１ｙ＋ｃ_１
ｙ’＝ａ_２ｘ＋ｂ_２ｙ＋ｃ_２（１）
ここで、（ｘ，ｙ）は前のフレーム内のトラッキング領域Ｒ内のピクセル位置であり、（ｘ’，ｙ’）は現在のフレーム内のトラッキング領域Ｒ’内の対応するピクセル位置であり、（ａ_１，ｂ_１，ｃ_１，ａ_２，ｂ_２，ｃ_２）は一定係数である。前のフレーム内の領域Ｒが与えられると、現在のフレーム内の領域Ｒ’の最良の一致は、強度差の二乗平均誤差を最小化することにより見つけることができる。

例示的な実施形態によると、ステップ３２０のトラッキング処理は、ＲＯＩからアーティファクトを除去し（例えばマスキング信号を介して）、同時にフレームの残りの領域に影響を与えないように設計されたアルゴリズムの一部である。特に、システム１００は、フレームの所与のビデオ・シーケンス内のアーティファクトをトラッキング及び除去するよう設計される。効率的にアーティファクトを除去するために、ＲＯＩが識別され、マスキング信号がその特定領域に追加されてアーティファクトをマスクする。システム１００は多数のフレームにわたりＲＯＩをトラッキングするために動き情報を用いる。

ステップ３３０で、ステップ３２０のトラッキング結果はユーザによる評価のために表示される。ステップ３４０で、ユーザは現在のＲＯＩを修正する選択肢を提供される。例示的な実施形態によると、ユーザは、ステップ３４０で、１又は複数の領域を現在のＲＯＩに追加及び／又はそれから除去することを、彼／彼女がステップ３３０で表示されたトラッキング結果の中にトラッキング・エラーを検出したか否かに基づいて決定する。

ステップ３４０での決定が肯定的である場合、処理フローはステップ３５０へ進む。ステップ３５０で、１又は複数の領域は、ユーザ・インタフェース１１２を介したユーザ入力に応答して現在のＲＯＩに追加及び／又はそれから除去される。図５に示す例では、ユーザが領域Ｒ’_Ｅをトラッキング領域Ｒ’から除去することを選択している。図６に示す例では、ユーザが領域Ｒ’_Ａをトラッキング領域Ｒ’に追加することを選択している。

ステップ３５０から又はステップ３４０での決定が否定的である場合、処理フローはステップ３６０へ進む。ステップ３６０で、トラッキング処理が停止されるべきか否かに関する決定が行われる。例示的な実施形態によると、ステップ３６０で、ユーザは、彼／彼女の判断で、１又は複数の所定の入力をユーザ・インタフェース１１２を介して提供することにより、トラッキング処理を手動で停止できる。代替として、トラッキング処理は、所与のビデオ・シーケンスの終わりに達したときにステップ３６０で停止してもよい。

ステップ３６０での決定が否定的である場合、処理フローはステップ３７０へ進む。ステップ３７０で、処理は所与のビデオ・シーケンス内の次のフレームに進む。ステップ３７０から、処理フローは上述したようなステップ３２０へループ・バックする。ステップ３４０及び３５０でユーザがＲＯＩを修正することを選択したとすると、ステップ３２０で、修正されたＲＯＩは所与のビデオ・シーケンス内の次のフレームまでトラッキングされる。例えば、図５で、領域Ｒ_Ｅ’がユーザにより識別された場合、領域は、ステップ３２０で上述されたのと同一の処理により次のフレームのＲ_Ｅ’の領域内でトラッキングされるだろう。したがって、フレームに対する最終的なトラッキング領域は、次のように表現される。

ここで、最終的なトラッキング領域Ｒ_Ｆは、領域Ｒ’から領域Ｒ_Ｅ’内のピクセルを除去したものである。

同様に、図６の例では、領域Ｒ_Ａがユーザにより追加され、領域は、ステップ３２０で上述されたのと同一の処理により次のフレームのＲ_Ａ’領域内でトラッキングされるだろう。したがって、フレームに対する最終的なトラッキング領域は、次のように表現される。

ここで、最終的なトラッキング領域Ｒ_Ｆは、領域Ｒ’に領域Ｒ_Ａ’内のピクセルが追加されたものである。図３のステップは、ステップ３６０で肯定的な決定が行われるまで繰り返されてもよい。この場合には、ステップ３８０で、最終的なＲＯＩは所与のビデオ・シーケンス内のトラッキングされたフレームのそれぞれに対して生成（及び格納）される。ステップ３９０で処理は終了する。特に本発明の前述の原理がどのように実施されうるかについて検討された例は、本願の種々の従属請求項に表現される。また、これらの従属請求項の主題は、参照されることによりそれらの全体が本願明細書の本文に組み込まれる。

ユーザがＲＯＩを識別するのを助けるために、現在のＲＯＩは明確にマーク付けされる。例えば、ＲＯＩは赤のような特定の所定の色で表示され、ユーザ入力に応答してユーザにより選択可能であってもよい。ユーザ入力はユーザ・インタフェースのキーを押下することにより生成されてもよい。特定の所定の色は、同一の又は異なるユーザ入力に応答して除去されうる。ＲＯＩが特定の所定の色で表示されるとき、ＲＯＩ内に含まれる領域は、ユーザによりＲＯＩから除外されるべきであると識別され、特定の所定の色と異なるユーザの選択した色で表示されるべきである。ユーザにより指定された領域がＲＯＩの外側にあるとき又はＲＯＩと重なり合っている場合、ＲＯＩの外側の部分は、ＲＯＩと結合され新たなＲＯＩを形成するものと考えられ、特定の所定の色で表示されるべきである。特定の所定の色が除去されるとき、削除された領域を示すために選択された色も除去される。

上述のように、本発明は、ユーザ・フィードバックを効率的に取り入れ、ユーザの努力を最小化し及び適応して画像を処理する、画像内のアーティファクトを低減するシステム及び方法を提供する。特に、システム１００は、トラッキング領域及び誤りのある領域を自動的に更新し、ユーザ・フィードバック情報を効果的に用いて、強靱な領域トラッキングを達成する。ユーザは、トラッキング・エラーを有する領域を定めるだけでよく、システム１００は自動的に該情報をトラッキング処理に取り入れる。

本発明は好適な設計を有するとして記載されたが、本発明は本開示の精神及び範囲の中で更に修正することができる。したがって、本願は、本発明の一般的な原理を用いた本発明のどんな変形、使用又は適応も包含することを意図する。さらに、本願は、本開示からのそのような逸脱も、本発明の属する分野の知られている又は慣行に包含されるとして、及び添付の特許請求の範囲の制限の範囲内に包含されるとして、包含することを意図する。

Claims

複数のフレームを含む動画を処理する方法であって、
前の第１のフレームからトラッキングされた第１の領域を示した第２のフレームを表示するステップと、
前記第１の領域の内部にあるか、又は前記第１の領域の外の部分を有する第２の領域を定義するユーザ入力を受信するステップと、
第１のアルゴリズムを実行して第１の関心領域におけるアーティファクトを除去するステップとを含み、
前記第１の関心領域は、前記第２の領域の一部が前記第１の領域の外部にある場合における、前記第１の領域と前記第２の領域とにより形成される結合領域、及び前記第２の領域が前記第１の領域の内部にある場合における、前記第１の領域から前記第２の領域を引いたものにより形成される領域、のうちの１つである、
方法。
第２のアルゴリズムを実行して、前記第１のフレームの第３の領域におけるアーティファクトを除去するステップを更に含み、前記第３の領域の外部にある領域は影響を受けず、前記第３の領域は前記第２のフレームにおける前記第１の領域に対応し、前記第２のアルゴリズムは、前記第１のアルゴリズムと同じであるか、又は前記第１のアルゴリズムとは異なる、
請求項１記載の方法。
前記第２のフレームに続く第３のフレームの、前記第１の関心領域に対応する第４の領域を識別するステップと、
前記第１のアルゴリズムを実行し、前記第３のフレームの前記第４の領域におけるアーティファクトを除去するステップと、
を更に含む請求項２記載の方法。
前記第２の領域を、前記第１の関心領域とは別に表示し、どの部分が前記第１のアルゴリズムを実行するために含まれるかをユーザが識別するのを可能にするステップを更に含む、
請求項２記載の方法。
前記第１のアルゴリズムを実行するために含まれるべき前記第２の領域を識別する第２のユーザ入力を受信するステップと、
前記第２の領域が前記第１の領域の内部にある場合に、前記第２の領域の表示を除くステップと、
を更に含む請求項４記載の方法。
複数のフレームを含む動画を処理するシステムであって、
第１のアルゴリズムを有するデータを格納する第１の手段と、
前記第１のアルゴリズムを実行して第１のフレームの第１の領域におけるアーティファクトを除去する第２の手段とを備え、前記第１の領域の外部の領域は影響を受けず、
前記第２の手段は、前記第１のフレームに続く第２のフレームの第２の領域を識別し、前記第２のフレームの前記第２の領域は、前記第１のフレームの第１の領域に対応し、
前記第２の手段は、前記第２の領域を示した前記第２のフレームの表示を可能にし、
前記第２の手段は、第３の領域を定義する第１のユーザ入力を受信し、前記第３の領域は、前記第２の領域の内部にあるか、又は前記第２の領域の外の部分を有し、
前記第２の手段は、第２のアルゴリズムを実行して第１の関心領域におけるアーティファクトを除去し、前記第１の関心領域は、前記第３の領域が前記第２の領域の内部ある場合における、前記第３の領域を除く前記第２の領域、及び前記第３の領域の一部が前記第２の領域の外部にある場合における、前記第２の領域と前記第３の領域とにより形成される結合領域、のうちの１つであり、
前記第２のアルゴリズムは、前記第１のアルゴリズムと同じであるか、又は第１のアルゴリズムとは異なる、
システム。
前記第２の手段は、前記第２のフレームに続く第３のフレームの第４の領域を識別し、前記第４の領域は、前記第１の関心領域に対応し、
前記第２の手段は、前記第２のアルゴリズムを実行して前記第３のフレームの前記第４の領域におけるアーティファクトを除去する、
請求項６記載のシステム。
前記第２の手段は、前記第３の領域を、前記第１の関心領域とは別に表示し、どの部分が前記第１のアルゴリズムを実行するために含まれるかをユーザが識別するのを可能にする、
請求項６記載のシステム。
前記第２の手段は、前記第１のアルゴリズムを実行するために含まれるべき前記第３の領域を識別する第２のユーザ入力を受信し、
前記第２の手段は、前記第３の領域が前記第２の領域の内部にある場合、前記第３の領域の表示を除去する、
請求項８記載のシステム。