JP6797306B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

ビジョンセンサ（カメラ）を含むシステムには、当該システム固有の画像処理が施されることが往々にしてある。例えば、一部の内視鏡システムでは、３Ｄノイズリダクションの機能を有する（特許文献１参照）。これは、入力画像（動画）に際して各フレーム単体ではなく連続する２フレームを比較して差分を取ることでノイズを抽出するものであり、単一のフレームからノイズを抽出する２Ｄノイズリダクションよりも精度が高いことを特徴とする。このように補正された画像がリアルタイムにＬＣＤ等のモニタに表示され、医師等はその態様を観察しうる。

特開２０１３−０８９２０５号公報

ところで、このような内視鏡システムは、リアルタイムの動画表示を一時停止する機能を有することが一般的である。しかしながら、３Ｄノイズリダクションは、一時停止するとその後表示される画像は、同一の画像（静止）であるため、差分を取ってノイズを抽出する３Ｄノイズリダクションが効かなくなって画像が不鮮明になるという問題がある。

更に、そもそも一般的に静止画よりも動画の方が、その輪郭がぼやけて見えるという性質がある。例えば、入力画像のうち一部の領域が動いているといった状況では、動いている領域を鮮鋭化しようとすると静止している領域にノイズが目立ってしまうが、逆に静止している領域のノイズを低減しようとノイズリダクションの度合いを高めると、今度は動いている領域が不鮮明になってしまう。

本発明は、このような事情を鑑みてなされたものであり、動作領域と静止領域の両方を含みうる入力画像に対して適切な鮮鋭度の画像を出力しうる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の観点によれば、静動情報算出部と、ブレンド率決定部と、画像処理部とを備え、画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出部は、入力された入力画像の静動情報を算出し、前記ブレンド率決定部は、前記入力画像の前記静動情報に所定の演算を実施してブレンド率を決定し、前記画像処理部は、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像を生成する、画像処理装置が提供される。

この観点に係る画像処理装置では、ブレンド率決定部が、静動情報算出部により算出された静動情報に所定の演算を実施して、ブレンド率を決定する。かかるブレンド率に基づいて入力画像を画像処理して得られた出力画像は、静止領域及び動作領域の両方に最適化されており、すなわち視認する上で全体として最適化された出力画像を得ることができるという効果を奏する。

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は、互いに組み合わせ可能である。

好ましくは、前記静動情報は、０又は１に２値化されたピクセルデータを有する画像であり、前記所定の演算では、前記静動情報における第１小領域とこの周辺に位置する第２小領域とについて当該２値がそれぞれ占める割合を使用する。
前記画像処理部は、第１〜第３画像処理部を備え、前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、前記第１画像処理部は、前記入力画像を画像処理して前記静止状態に対応する第１中間画像を生成し、前記第２画像処理部は、前記入力画像を画像処理して前記動作状態に対応する第２中間画像を生成し、前記第３画像処理部は、前記ブレンド率に基づいて、前記第１及び第２中間画像を重ね合わせて前記出力画像を生成する。
好ましくは、パラメータ算出部を更に備え、前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、前記パラメータ算出部は、前記ブレンド率に基づいて、前記静止状態に対応する静止パラメータと、前記動作状態に対応する動作パラメータとを重ね合わせて静動パラメータを算出し、前記画像処理部は、前記静動パラメータを用いて前記出力画像を生成する。
好ましくは、前記第２小領域は、前記第１小領域の上側、左上側、左側において前記第１小領域と隣接する小領域である。
好ましくは、前記画像処理部は、前記ブレンド率に基づいてノイズリダクション処理及び鮮鋭化処理のうち少なくとも一方を実施して前記出力画像を生成する。
好ましくは、前記画像処理部は、前記ブレンド率に基づいて超解像処理を実施して前記出力画像を生成する。
好ましくは、前記入力画像は、３次元ノイズリダクション処理が予め施されている画像である。

本発明の別の観点によれば、静動情報算出ステップと、ブレンド率決定ステップと、画像処理ステップとを備え、画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出ステップでは、入力された入力画像の静動情報が算出され、前記ブレンド率決定ステップでは、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、前記画像処理ステップでは、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、画像処理方法が提供される。

この観点に係る画像処理方法では、ブレンド率決定ステップにおいて、静動情報算出ステップで算出された静動情報に所定の演算を実施して、ブレンド率が決定される。かかるブレンド率に基づいて入力画像を画像処理して得られた出力画像は、静止領域及び動作領域の両方に最適化されており、すなわち視認する上で全体として最適化された出力画像を得ることができるという効果を奏する。

本発明の別の観点によれば、コンピュータに、所定の機能を実現させるプログラムであって、前記所定の機能は、静動情報算出機能と、ブレンド率決定機能と、画像処理機能とを備え、画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出機能では、入力された入力画像の静動情報が算出され、前記ブレンド率決定機能では、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、前記画像処理機能では、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、画像処理プログラムが提供される。

この観点に係る画像処理プログラムでは、ブレンド率決定機能によって、静動情報算出機能で算出された静動情報に所定の演算を実施して、ブレンド率が決定される。かかるブレンド率に基づいて入力画像を画像処理して得られた出力画像は、静止領域及び動作領域の両方に最適化されており、すなわち視認する上で全体として最適化された出力画像を得ることができるという効果を奏する。

本発明の実施形態に係る画像処理装置３を用いたシステム１の構成概要を示す機能ブロック図である。 本発明の実施形態に係る静動情報算出部３５による静動情報の算出方法を示すフローチャートである。 入力画像Ｉ（ｆ）から縮小画像Ｊ（ｆ）を生成する際の概要図である。 図３の入力画像Ｉ（ｆ）から生成された縮小画像Ｊ（ｆ）と、過去の縮小画像Ｊ（ｆ−Δｆ）である参照画像Ｒを示す概要図であり、特に、図４Ａは縮小画像Ｊ（ｆ）、図４Ｂは参照画像Ｒを示している。 図４Ａ及び図４Ｂの縮小画像Ｊ（ｆ）と参照画像Ｒとから生成される差分画像Ｓ（ｆ）と、差分画像Ｓ（ｆ）を２値化処理したバイナリ画像Ｂ（ｆ）とを示す概要図であり、特に、図５Ａは差分画像Ｓ（ｆ）、図５Ｂはバイナリ画像Ｂ（ｆ）を示している。 入力画像Ｉ（ｆ）の一例を示すもので、内視鏡システム２が送信するような医療画像に係るものではないが、敢えて簡単な例示として採用している。 図６の入力画像Ｉ（ｆ）に関する、縮小画像Ｊ（ｆ）、参照画像Ｒ、及びバイナリ画像Ｂ（ｆ）の例を示す概要図であり、特に、図７Ａは縮小画像Ｊ（ｆ）、図７Ｂは参照画像Ｒ、図７Ｃはバイナリ画像Ｂ（ｆ）を示している。 本発明の実施形態に係るブレンド率決定部３６によるブレンド率の決定方法を示すフローチャートである。 図８に示したブレンド率の決定方法を適用した一例であり、図９Ａはバイナリ画像Ｂ（ｆ）の一部の領域、図９Ｂはこの領域に対応する縮小ブレンド率Ｘ（ｆ）であって計算途中のものを示している。 図８に示したブレンド率の決定方法を適用した一例であり、決定された縮小ブレンド率Ｘ（ｆ）を示している。 種々の画像処理結果を示す図であり、特に図１１Ａ〜図１１Ｄは比較例、図１１Ｅ及び図１１Ｆは本発明に係る実施例である。 変形例に係り、入力画像Ｉ（ｆ）から縮小画像Ｊ（ｆ）を生成する際の概要図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものを指しうる。

また、広義の回路とは、回路（ｃｉｒｃｕｉｔ）、回路類（ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＬＰＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものであることに留意されたい。

また、本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうるものである。具体的には、画像（２次元配列）の一部であって少なくとも１つのピクセルからなる領域である「小領域」、過去フレームから現在フレームへの静動変化を小領域毎に示した「静動情報」、静動情報を小領域毎に代数演算を実施して得られる「ブレンド率」等が、かかる情報／概念に含まれうる。これらについては、再度必要に応じて詳しく説明するものとする。

１．システム１（全体構成）
図１は、本発明の実施形態に係る画像処理装置３を用いたシステム１の構成概要を示す機能ブロック図である。システム１は、内視鏡システム２と、画像処理装置３と、表示部４とを備える。

１．１ 内視鏡システム２
内視鏡システム２は、内視鏡２１と、画像処理部２２とを備える。内視鏡２１は不図示のビジョンセンサ（カメラ）を有し、例えばこれを被験体の口腔部から腹部に向けて挿入することで、被検体の腹部等を撮像可能に構成される。なお、情報処理という観点において、撮像された画像データは、２次元の画素の集合体（ピクセル配列）である。また、画像処理部２２は、内視鏡２１によって撮像された画像データに所定の画像処理を施す。ここでは当該画像処理は、上述の課題で例示した３Ｄノイズリダクションであるものとする。つまり、内視鏡２１によって撮像された画像データのうち特に時系列において隣接する２フレームを用いて、画像に重畳しているノイズを低減する。

１．２ 画像処理装置３
画像処理装置３は、内視鏡システム２より送信された画像データ（上述の通り３Ｄノイズリダクションが施されているもの）に対して所定の画像処理を実行する装置である。画像処理装置３は、制御部３１と、記憶部３２と、入力部３３と、送受信部３４と、静動情報算出部３５と、ブレンド率決定部３６と、画像処理部３７とを備え、これらが通信バス３Ｂを介して接続されている。以下、構成要素３１〜３７をそれぞれ詳述する。

＜制御部３１＞
制御部３１は、画像処理装置３に関連する全体動作の処理・制御を行う。制御部３１は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３１は、記憶部３２に記憶された所定のプログラムを読み出すことによって、画像処理装置３ないしはシステム１に係る種々の機能を実現する。例えば、所定のプログラムを読み出して、内視鏡２１のリアルタイムの表示画像を含むグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示部４に表示させることが含まれる。

なお、図１においては、単一の制御部３１として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３１を有するように実施してもよい。またそれらの組合せであってもよい。

＜記憶部３２＞
記憶部３２は、上述の通り、制御部３１により実現させるための種々のプログラム等を記憶する。これは、例えばハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして実施されうる。また記憶部３２は、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとしても実施されうる。また、これらの組合せであってもよい。

＜入力部３３＞
入力部３３は、例えば、画像処理装置３自体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３３は、タッチパネルとして実施されうる。或いは、スイッチボタン、マウス、キーボード等のユーザインターフェースを採用してもよい。入力部３３を介して、操作者（例えば、医師）の指示（コマンド）を受け付ける。当該指示は、通信バス３Ｂを介して制御部３１に転送され、制御部３１が必要に応じて所定の制御や演算を実行しうる。当該指示の一例として、操作者は、入力部３３を介して、表示部４に表示されている内視鏡２１が撮像中の画像を一時停止することができる。つまり、内視鏡システム２において、内視鏡２１が画像の撮像を一時停止（中断）することができ、その一方で画像処理部２２が３Ｄノイズリダクションを実施することができる。この結果、一時停止された場合、３Ｄノイズリダクションがされていない画像が、システム１の送受信部３４に送信されることとなる。

＜送受信部３４＞
送受信部３４は、画像処理装置３と、画像処理装置３以外の外部機器との通信のためのユニットである。すなわち、送受信部３４を介して、内視鏡システム２より入力画像となる画像データを受信し、これを画像処理した後出力画像として表示部４に送信しうる。なお、送受信部３４による通信は、画像データに限るものではない。例えば、有線ＬＡＮネットワーク通信、Ｂｌｕｅｔｏｏｔｈ通信、無線ＬＡＮネットワーク通信等を含む複数の通信手段の集合体であって通信対象について適切な通信規格を含むように実施することが好ましい。

＜静動情報算出部３５＞
静動情報算出部３５は、送受信部３４を介して内視鏡システム２から受信した入力画像の静動情報を算出する。静動情報とは、入力画像とそれより過去に撮像された参照画像とを比較したときの静動変化（過去の所定のフレームから現在のフレームへのピクセルデータの変化）を示したピクセル配列である。静動情報の算出に関する詳細については、第２節に述べるものとする。

＜ブレンド率決定部３６＞
ブレンド率決定部３６は、静動情報算出部３５によって算出された静動情報に所定の代数演算を施して、入力画像に対するブレンド率を決定する。ブレンド率とは、静止状態に対応する（好ましくは、最適化された）画像処理（静止画用処理）と、動作状態に対応する（好ましくは、最適化された）画像処理（動画用処理）の重み付けとなるピクセル配列である。例えば、ブレンド率は静動情報をもとに算出される。注目領域（特許請求の範囲における「第１小領域」の一例）、及び、その周辺領域（特許請求の範囲における「第２小領域」の一例）における動作領域の割合が大きい場合、静止画処理に対して動画処理の重み付けが大きくなる。一方、注目領域、及び、周辺領域における静止領域の割合が大きい場合、動画処理に対して静止画処理の重み付けが大きくなる。なお、ブレンド率の決定に関する詳細については、第３節に述べるものとする。

＜画像処理部３７＞
画像処理部３７は、ブレンド率に基づいて所定の画像処理を実行することで、静止状態及び動作状態の両方に最適化された出力画像を生成する。なお、かかる出力画像が通信バス３Ｂ及び送受信部３４を介して表示部４に送信され、表示部４が当該出力画像を表示する。画像処理方法に関する詳細については、第２節に述べるものとする。

１．３ 表示部４
表示部４は、画像処理装置３によって画像処理された画像データが入力されると、各ピクセルデータ（各ピクセルが有する輝度値等の情報）に基づいてこれを映像として表示する媒体であり、例えばＬＣＤモニタ、ＣＲＴモニタ、有機ＥＬモニタ等であってよい。なお、画像処理装置３が表示部４を含んでもよい。

２．静動情報
続いて、静動情報について詳述する。

２．１ 静動情報の算出方法
図２は、本発明の実施形態に係る静動情報算出部３５による静動情報の算出方法を示すフローチャートである。以下、図２における各ステップに基づいて流れを説明するものとする。

［開始］
（ステップＳ１−１）
入力画像Ｉ（ｆ）（特許請求の範囲における「現在フレーム」の一例）について、入力画像Ｉ（１）を縮小処理して得られる縮小画像Ｊ（１）を参照画像Ｒとして登録し、次のステップであるステップＳ１−２に進む。

（ステップＳ１−２）
続いて、参照画像Ｒ（特許請求の範囲における「過去フレーム」の一例）が、現在の入力画像Ｉ（ｆ）よりもΔｆフレーム前に撮像されたフレームかどうかが判定される。ここでΔｆの値については、元の画像データのフレームレートによって適宜設定されることが好ましい。特に限定されるものではないが、例えばΔｆ＝１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５等が考えられる。表示部４の表示フレームレートに合わせるため、元々はフレームレートの低い画像データをアップコンバート（例えば２４ｆｐｓ→６０ｆｐｓ等）したものを入力画像Ｉ（ｆ）に使用する場合は、時系列で隣接する入力画像Ｉ（ｋ）、Ｉ（ｋ＋１）が同一の画像である場合を含むこととなる。そのため、このようなものを排除しうる適切なΔｆの設定が必要である。或いは、入力画像Ｉ（ｆ）のフレームレート判定を行う処理を追加し、適切なΔｆが設定されるように実施してもよい。参照画像Ｒが現在の入力画像Ｉ（ｆ）よりもΔｆフレーム前に撮像されたフレームである場合は次のステップであるステップＳ１−３に進み、そうではない場合はステップＳ１−２ａに進む。なお、ステップＳ１−２ａではｆの値が＋１インクリメントされて、再度ステップＳ１−２が実行される。

（ステップＳ１−３）
続いて、入力画像Ｉ（ｆ）を縮小処理して縮小画像Ｊ（ｆ）が生成され、次のステップであるステップＳ１−４に進む。なお、かかる縮小処理については、第２．２節で詳述する。

（ステップＳ１−４）
続いて、ステップＳ１−３において生成された縮小画像Ｊ（ｆ）と、参照画像Ｒとに対して差分演算処理を実行することによって差分画像Ｓ（ｆ）が生成され、次のステップであるステップＳ１−５に進む。なお、かかる差分演算処理については、第２．２節で詳述する。

（ステップＳ１−５）
続いて、ステップＳ１−４において生成された差分画像Ｓ（ｆ）に対して２値化処理を実行することによってバイナリ画像Ｂ（ｆ）が生成され、次のステップであるステップＳ１−５に進む。なお、かかる２値化処理については、第２．２節で詳述する。また、本実施形態では、バイナリ画像Ｂ（ｆ）が静動情報である。

（ステップＳ１−６）
最後に、参照画像Ｒを現在の縮小画像であるＪ（ｆ）に上書き更新する。その後、ステップＳ１−２ａに戻り上述のステップＳ１−２〜Ｓ１−６が繰り返されるが、最終フレームである場合にはそのフレームをもって処理を終了する。
［終了］

２．２ 各演算処理
ここでは、上述の静動情報の算出方法において登場した各演算処理について説明する。図３は、入力画像Ｉ（ｆ）から縮小画像Ｊ（ｆ）を生成する際の概要図である。図４Ａ及び図４Ｂは、図３の入力画像Ｉ（ｆ）から生成された縮小画像Ｊ（ｆ）と、過去の縮小画像Ｊ（ｆ−Δｆ）である参照画像Ｒを示す概要図であり、特に、図４Ａは縮小画像Ｊ（ｆ）、図４Ｂは参照画像Ｒを示している。図５Ａ及び図５Ｂは、図４Ａ及び図４Ｂの縮小画像Ｊ（ｆ）と参照画像Ｒとから生成される差分画像Ｓ（ｆ）と、差分画像Ｓ（ｆ）を２値化処理したバイナリ画像Ｂ（ｆ）とを示す概要図であり、特に、図５Ａは差分画像Ｓ（ｆ）、図５Ｂはバイナリ画像Ｂ（ｆ）を示している。図６は、入力画像Ｉ（ｆ）の一例を示すもので、内視鏡システム２が送信するような医療画像に係るものではないが、敢えて簡単な例示として採用している。図７Ａ〜図７Ｃは、図６の入力画像Ｉ（ｆ）に関する、縮小画像Ｊ（ｆ）、参照画像Ｒ、及びバイナリ画像Ｂ（ｆ）の例を示す概要図であり、特に、図７Ａは縮小画像Ｊ（ｆ）、図７Ｂは参照画像Ｒ、図７Ｃはバイナリ画像Ｂ（ｆ）を示している。

＜縮小処理＞
入力画像Ｉ（ｆ）は、図３に示されるようなＭ×Ｎのピクセル配列（行列）を有する画像であり、左上を基準としてｍ行ｎ列目のピクセルをピクセルｉ＿ｍ．ｎと表記している。この縮小処理は、入力画像Ｉ（ｆ）を１／４倍も縮小するものであり、４×４の小領域に含まれる１６個のピクセルｉ＿ｍ．ｎのピクセルデータの平均値を、縮小画像Ｊ（ｆ）の１つのピクセルにおけるピクセルデータとして採用する。例えば、入力画像Ｉ（ｆ）における小領域Ａ１について、ピクセルｉ＿１．１〜ピクセルｉ＿４．４のピクセルデータの平均値が算出され、入力画像Ｉ（ｆ）における小領域Ａ２について、ピクセルｉ＿５．５〜ピクセルｉ＿８．８のピクセルデータの平均値が算出される。これを各小領域について繰り返すことで得られる画像が、図４Ａに示される縮小画像Ｊ（ｆ）である。

縮小画像Ｊ（ｆ）は、［Ｍ／４］×［Ｎ／４］（［］はガウス記号）のピクセル配列（行列）を有する画像であり、左上を基準としてｍ行ｎ列目のピクセルをピクセルｊ＿ｍ．ｎと表記している。上述の通り、入力画像Ｉ（ｆ）における小領域に対応するものである。例えば、ピクセルｊ＿１．１のピクセルデータは、ピクセルｉ＿１．１〜ピクセルｉ＿４．４のピクセルデータの平均値であり、ピクセルｊ＿１．２のピクセルデータは、ピクセルｉ＿１．５〜ピクセルｉ＿４．８のピクセルデータの平均値であり、ピクセルｊ＿２．２のピクセルデータは、ピクセルｉ＿５．５〜ピクセルｉ＿８．８のピクセルデータの平均値である。なお、縮小画像Ｊ（ｆ）を生成し、これを元に静動情報を算出することによって、直接入力画像Ｉ（ｆ）を用いて静動情報を算出する場合に比して、メモリ（記憶部３２）の確保量を小さくすることができる。この例においては、メモリの確保量が約１／１６で済むことになる。

＜差分演算処理＞
参照画像Ｒは、上述の通り現在の縮小画像Ｊ（ｆ）よりもΔｆフレーム前に撮像された縮小画像Ｊ（ｆ−Δｆ）である。ここでは参照画像Ｒのピクセルをピクセルｒ＿ｍ．ｎと表記している。各ピクセルｒ＿ｍ．ｎは、入力画像Ｉ（ｆ）における小領域に対応するものである。差分演算処理では、縮小画像Ｊ（ｆ）と参照画像Ｒとの行列における差分演算が実行され、差分画像Ｓ（ｆ）が生成される（数式（１）参照）。
Ｓ（ｆ）＝｜Ｊ（ｆ）−Ｒ｜ （１）
換言すると、差分画像Ｓ（ｆ）における各ピクセルｓ＿ｍ．ｎのピクセルデータは、縮小画像Ｊ（ｆ）における各ピクセルｊ＿ｍ．ｎのピクセルデータと参照画像Ｒにおける各ピクセルｒ＿ｍ．ｎのピクセルデータの差で表される。

＜２値化処理＞
２値化処理では、差分画像Ｓ（ｆ）の各ピクセルｓ＿ｍ．ｎのピクセルデータが所定の閾値を超えるか否かが判定され、バイナリ画像Ｂ（ｆ）の各ピクセルｂ＿ｍ．ｎのピクセルデータが０（閾値未満）又は１（閾値以上）を有するようにバイナリ画像Ｂ（ｆ）が生成される（数式（２）参照）。
Ｂ（ｆ）＝ｂｉｎ（Ｓ（ｆ）） （２）
上述の通り、本実施形態では、バイナリ画像Ｂ（ｆ）が静動情報として採用される。これについて少し補足する。図７Ａ〜図７Ｃに示されるように、図６の入力画像Ｉ（ｆ）を縮小した縮小画像Ｊ（ｆ）と、Δｆフレーム前の縮小画像Ｊ（ｆ−Δｆ）である参照画像Ｒとにおいて、動きがある場合は、対応するピクセルであるピクセルｊ＿ｍ．ｎのピクセルデータとピクセルｒ＿ｍ．ｎのピクセルデータに変化が起こる。そのため、その後の差分演算処理及び２値化処理を介することでバイナリ画像Ｂ（ｆ）の各ピクセルｂ＿ｍ．ｎは、ピクセルデータとして０（黒：動きなし）又は１（白：動きあり）を有することとなる。このような理由でバイナリ画像Ｂ（ｆ）が入力画像Ｉ（ｆ）における各小領域の静動変化を示す静動情報として採用されうる。

３．ブレンド率
続いて、ブレンド率について詳述する。ブレンド率は、メディアンフィルタや膨張縮小処理による誤判定低減処理と、スムージングフィルタによる静動境界平滑化や隣接するピクセルのピクセルデータを用いた変動量制御とを組合せて決定されうるものだが、一例として注目ピクセル（入力画像Ｉ（ｆ）に対しては小領域に対応）の近傍の３ピクセルを用いた変動量制御と、線形拡大とを組合せた方法について以下、説明する。

３．１ ブレンド率の決定方法
図８は、本発明の実施形態に係るブレンド率決定部３６によるブレンド率の決定方法を示すフローチャートである。本算出方法では、まず、ステップＳ２−１〜ステップＳ２−６に示されるように、バイナリ画像Ｂ（ｆ）の各ピクセルｂ＿ｍ．ｎから縮小ブレンド率Ｘ（ｆ）を決定する。縮小ブレンド率Ｘ（ｆ）は、［Ｍ／４］×［Ｎ／４］のピクセル配列（行列）を有する画像であり、左上を基準としてｍ行ｎ列目のピクセルをピクセルｘ＿ｍ．ｎと表記することにする。最後に、ステップＳ２−７において線形拡大処理をすることによって、ブレンドＹ（ｆ）が決定される。以下、図８における各ステップに基づいて流れを説明するものとする。

［開始］
（ステップＳ２−１）
各ピクセルｂ＿ｍ．ｎが左上の端部を構成するピクセルｂ＿ｍ．ｎであるかが判定される。端部を構成するピクセルｂ＿ｍ．ｎである場合は、ステップＳ２−１ａに示されるようにこれに対応するピクセルｘ＿ｍ．ｎのピクセルデータをピクセルｂ＿ｍ．ｎのピクセルデータ（０又は１）とし、ステップＳ２−１ｂに示されるように次のピクセルｂ＿ｍ．ｎ＋１（又はピクセルｂ＿ｍ＋１．１）に処理を進める。端部を構成するピクセルｂ＿ｍ．ｎでない場合は、次のステップであるステップＳ２−２に進む。

（ステップＳ２−２）
ピクセルｂ＿ｍ．ｎのピクセルデータが０又は１かが判定される。換言すると、入力画像Ｉ（ｆ）における対応する小領域が静止領域（０）か動作領域（１）かが判定されている。ピクセルｂ＿ｍ．ｎのピクセルデータが０である場合は、ステップＳ２−３及びＳ２−４に進み、ピクセルｂ＿ｍ．ｎのピクセルデータが１である場合は、ステップＳ２−５及びＳ２−６に進む。

（ステップＳ２−３）
今回処理するピクセルｂ＿ｍ．ｎに対応するピクセルｘ＿ｍ．ｎ（これからピクセルデータを決定する注目ピクセル）の上、左上、左の３つのピクセルのピクセルデータに着目する。それぞれ、ピクセルｘ＿ｍ−１．ｎ、ピクセルｘ＿ｍ−１．ｎ−１、ピクセルｘ＿ｍ．ｎ−１である。そして、これら３つの各ピクセルデータのうちの最小値をαとして抽出し、次のステップであるステップＳ２−４に進む。

（ステップＳ２−４）
ステップＳ２−３において決定されたαから所定のパラメータｄの値を減算した値と、０とのうち大きい方の値が、ピクセルｘ＿ｍ．ｎのピクセルデータとして決定される。なお、パラメータｄは、自由に調節できるパラメータである。その後ステップＳ２−１ｂに示されるように次のピクセルｂ＿ｍ．ｎ＋１（又はピクセルｂ＿ｍ＋１．１）に処理を進め、次のピクセルがない場合には処理を終了する。

（ステップＳ２−５）
今回処理するピクセルｂ＿ｍ．ｎに対応するピクセルｘ＿ｍ．ｎ（これからピクセルデータを決定する注目ピクセル）の上、左上、左の３つのピクセルのピクセルデータに着目する。それぞれ、ピクセルｘ＿ｍ−１．ｎ、ピクセルｘ＿ｍ−１．ｎ−１、ピクセルｘ＿ｍ．ｎ−１である。そして、これら３つの各ピクセルデータのうちの最大値をβとして抽出し、次のステップであるステップＳ２−６に進む。

（ステップＳ２−６）
ステップＳ２−５において決定されたβから所定のパラメータｄの値を加算した値と、１とのうち小さい方の値が、ピクセルｘ＿ｍ．ｎのピクセルデータとして決定される。なお、パラメータｄは、自由に調節できるパラメータである。その後ステップＳ２−１ｂに示されるように次のピクセルｂ＿ｍ．ｎ＋１（又はピクセルｂ＿ｍ＋１．１）に処理を進め、次のピクセルがない場合には処理を終了する。
［終了］

３．２ 適用例
図９Ａ及び図９Ｂは、図８に示したブレンド率の決定方法を適用した一例であり、図９Ａはバイナリ画像Ｂ（ｆ）の一部の領域、図９Ｂはこの領域に対応する縮小ブレンド率Ｘ（ｆ）であって計算途中のものを示している。また、図１０は、図８に示したブレンド率の決定方法を適用した一例であり、決定された縮小ブレンド率Ｘ（ｆ）を示している。

ここで、図９Ｂにおける注目ピクセルｘ１（特許請求の範囲における「第１小領域」の一例）のピクセルデータの決定について説明する。まず、注目ピクセルｘ１は、端部を構成するものではなく、且つ注目ピクセルｘ１に対応するバイナリ画像Ｂ（ｆ）のピクセルｂ１は、ピクセルデータが１である。したがって、図８に示したフローチャートでいえば、ステップＳ２−１、Ｓ２−２、Ｓ２−５、Ｓ２−６の順に処理が実行される。ステップＳ２−５に際して、ピクセルｘ１の上、左上、左の３つのピクセル（特許請求の範囲における「第２小領域」の一例）のピクセルデータはそれぞれ、０．５、０．２、０．３である。したがって最大値β＝０．５である。また、パラメータｄ＝０．３とすると、ステップＳ２−６に際して、β＋ｄ＝０．５＋０．３＝０．８となり、１よりも小さい。したがって、ピクセルｘ１のピクセルデータは、０．８と決定される。

同様に、次々と他のピクセルについても同様の演算を行うことで、図１０に示される縮小ブレンド率Ｘ（ｆ）が決定される。換言すると、小領域単位においては、近傍の小領域どうしの動作領域と静止領域の割合を用いて縮小ブレンド率Ｘ（ｆ）が決定されていることに留意されたい。更にこれを線形拡大したものが、ブレンド率Ｙ（ｆ）として決定される。

４．画像処理方法
続いて、画像処理方法について説明する。簡単のためここでは、入力画像Ｉ（ｆ）に画像処理フィルタＦを左から乗算することで出力画像Ｏ（ｆ）が得られる場合を考えるものとする（数式（３）参照）。特に、例えば、小領域毎の入力画像Ｉ（ｆ）に画像処理フィルタＦを左から乗算することで小領域毎の出力画像Ｏ（ｆ）が得られる。かかる乗算は、上述の画像処理部３７が実施しうるものである。
Ｏ（ｆ）＝Ｆ×Ｉ（ｆ） （３）
また、画像処理フィルタＦは、静止領域（又は静止状態）に最適化された画像処理フィルタＦ０と、動作領域（又は動作状態）に最適化された画像処理フィルタＦ１とが用意されていることに留意されたい。例えば、画像処理フィルタＦ（Ｆ０、Ｆ１含む）は、入力画像Ｉ（ｆ）に対して鮮鋭化処理を行うようなフィルタや、ノイズリダクション処理を行うようなフィルタが例として想定されうる。一方、フィルタＦ０（又はＦ１）を鮮鋭化処理フィルタとし、フィルタＦ１（又はＦ０）をノイズリダクション処理フィルタとする、というようにフィルタＦ０、Ｆ１をそれぞれ異なる処理を実行するフィルタとしてもよい。以下、いくつかの画像処理方法を説明する。

４．１ 第１画像処理方法
第１画像処理方法では、静止領域に最適化して得られる第１中間画像Ｍ０（ｆ）と、動画領域に最適化して得られる第２中間画像Ｍ１（ｆ）とを、ブレンド率Ｙ（ｆ）に基づいて重ね合わせることにより、静止領域及び動作領域の両方に最適化された出力画像Ｏ（ｆ）を生成するものである（数式（４）〜（６）参照）。
Ｍ０（ｆ）＝Ｆ０×Ｉ（ｆ） （４）
Ｍ１（ｆ）＝Ｆ１×Ｉ（ｆ） （５）
Ｏ（ｆ）＝Ｙ（ｆ）×Ｍ０（ｆ）＋｛１−Ｙ（ｆ）｝×Ｍ１（ｆ） （６）
なお、かかる演算はあくまでも一例であり、更に何らかの重み付けを考慮してもよいし、静動状態によって変えるべき複数のパラメータについてそれぞれ実施してもよい。例えば、スパースコーディングを用いた超解像処理であれば、ノイズリダクションに用いる係数と鮮鋭度向上に用いる係数が例示されうる。例えば、ノイズリダクションに用いる係数について説明すると、Ｆ０はノイズリダクションについて静止領域に最適化された係数であり、Ｆ１はノイズリダクションについて動作領域に最適化された係数である。また、鮮鋭度向上について説明すると、Ｆ０は鮮鋭度向上について静止領域に最適化された係数であり、Ｆ１は鮮鋭度向上について動作領域に最適化された係数である。かかるブレンド率Ｙ（ｆ）を用いることで、これらの係数をそれぞれ最適化することができる。なお、ここでは画像処理部３７が特許請求の範囲における第１〜第３画像処理部の一例として機能している。

４．２ 第２画像処理方法
第２画像処理方法では、静止領域に最適化された画像処理フィルタＦ０（特許請求の範囲における「静止パラメータ」の一例）と、動作領域に最適化された画像処理フィルタＦ１（特許請求の範囲における「動作パラメータ」の一例）とをブレンド率Ｙ（ｆ）に基づいて重ね合わせることにより、最適化フィルタＦ２（特許請求の範囲における「静動パラメータ」の一例）を生成し、更に入力画像Ｉ（ｆ）に最適化フィルタＦ２を左から乗算することで静止領域及び動作領域の両方に最適化された出力画像Ｏ（ｆ）を生成するものである（数式（７）及び（８）参照）。
Ｆ２＝Ｙ（ｆ）×Ｆ０＋｛１−Ｙ（ｆ）｝×Ｆ１ （７）
Ｏ（ｆ）＝Ｆ２×Ｉ（ｆ） （８）
特に、第１画像処理方法とは異なって画像処理そのものは、数式（８）に示されるように１度で済むため、画像処理部３７の回路構成が第１画像処理方法に比してシンプルで済むという効果がある。また、こちらについても、かかる演算はあくまでも一例であり、更に何らかの重み付けを考慮してもよいし、複数の静動状態によって変えるべき複数のパラメータについて実施してもよい。なお、ここでは画像処理部３７が特許請求の範囲におけるパラメータ算出部の一例として機能している。

４．３ 実施例
図１１Ａ〜図１１Ｆは、種々の画像処理結果を示す図であり、特に図１１Ａ〜図１１Ｄは比較例、図１１Ｅ及び図１１Ｆは本発明に係る実施例である。何れもスパースコーディングを用いた超解像処理が実施されているものである。例えば、図１１Ａに示されるように、静止領域に最適化された画像処理フィルタＦ０を動作領域に適用すると鮮鋭度が著しく低い画像となる。また、図１１Ｄに示されるように、動作領域に最適化された画像処理フィルタＦ１を静止領域に適用すると鮮鋭度が高く且つノイズが強調された画像となる。一方、本実施形態に係る画像処理方法（ここでは一例として第２画像処理方法）を実施すると、画像処理フィルタＦ２によって、静止領域／動作領域ともに適切な鮮鋭度を有する出力画像が出力されている。特に、ブレンド率Ｙ（ｆ）は動作領域と静止領域の境界において自然な出力画像を出力するためのピクセルデータを有するように構成されるため、動作領域と静止領域が混在している場合は、最適化に際してより大きな効果を奏するといえる。

５．変形例
上述の本実施形態に係る画像処理方法は、以下の態様によっても実施することができる。

第１に、本実施形態においては、１／４倍の縮小処理を採用したが、縮小倍率は特に限定されるものではなく例えば１／２倍や１／８倍の縮小処理を実施してもよい。或いは、かかる処理を行わず入力画像Ｉ（ｆ）から差分画像Ｓ（ｆ）やバイナリ画像Ｂ（ｆ）を生成してもよい。

第２に、本実施形態においては、縮小処理を採用したが、小領域内に含まれるピクセルｉ＿ｍ．ｎに関してそのピクセルデータの平均値を代表値とするのではなく、別の値、例えば中央値等を採用してもよい。或いは、小領域内に含まれる特定の位置にあるピクセルｉ＿ｍ．ｎ、例えば図１２に示されるように、ピクセルｉ＿４ｋ−３．４ｌ−３（ただし、１≦ｋ≦［Ｍ／４］、１≦ｌ≦［Ｎ／４］であり［］はガウス記号）のピクセルだけを代表ピクセルとして選択してもよい。特に図１２では、入力画像Ｉ（ｆ）における小領域Ａ１の代表ピクセルとして、ピクセルｉ＿１．１が選択されていることが確認できる。

第３に、本実施形態に係るブレンド率の決定方法では、注目ピクセルの上、左上、左に隣接するピクセルのピクセルデータを用いて所定の演算を実施したが、この演算方法に限定されるものではない。ピクセルの処理順がラスタ状に行われるため、上、左上、左に着目することは好ましいが、例えば注目ピクセルの周囲に隣接する８ピクセルを採用してもよい。

第５に、ブレンド率Ｙ（ｆ）を生成することなく縮小ブレンド率Ｘ（ｆ）を直接用いて画像処理を実施してもよい。かかる場合、入力画像Ｉ（ｆ）の各ピクセルｉ＿ｍ．ｎと、縮小ブレンド率Ｘ（ｆ）の各ピクセルｘ＿ｍ．ｎとは１対１に対応しないため、複数のピクセルｉ＿ｍ．ｎに１つのピクセルｘ＿ｍ．ｎが対応するように、画像処理演算をする必要があることに留意されたい。

第６に、静動情報（例えばバイナリ画像Ｂ（ｆ））からブレンド率（例えば縮小ブレンド率Ｘ（ｆ））を算出するにあたり、両者の２次元配列の大きさが異なっていてもよい。

第７に、上述の種々の２次元配列は、最終的に所望の画像が表示部４に表示できるのであれば、演算途中に際して１次元配列として記憶されていてもよい。また、１次元配列又は２次元配列を用いて演算する代わりに、逐次、演算をしてもよい。

第８に、本実施形態に係るシステム１は、内視鏡システム２を採用しているがこれに限らず、動作領域と静止領域の両方を含みうる入力画像を送信する信号源であれば、応用が可能である。すなわち、内視鏡システム２以外に応用した場合であっても、動作領域と静止領域の両方を含みうる入力画像に対して適切な鮮鋭度の画像を出力しうるという効果を奏する。

第９に、コンピュータに、所定の機能を実現させるプログラムであって、前記所定の機能は、静動情報算出機能と、ブレンド率決定機能と、画像処理機能とを備え、画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、前記静動情報算出機能では、入力された入力画像の静動情報が算出され、前記ブレンド率決定機能では、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、前記画像処理機能では、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成される、画像処理プログラムを提供することもできる。また、かかるプログラムの機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、かかるプログラムを、インターネット等を介して配信することもできる。さらに、システム１を構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。

６．結言
以上のように、本実施形態によれば、動作領域と静止領域の両方を含みうる入力画像に対して適切な鮮鋭度の画像を出力しうる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１：システム、２：内視鏡システム、２１：内視鏡、２２：画像処理部、３：画像処理装置、３Ｂ：通信バス、３１：制御部、３２：記憶部、３３：入力部、３４：送受信部、３５：静動情報算出部、３６：ブレンド率決定部、３７：画像処理部、４：表示部、Ａ１：小領域、Ａ２：小領域、Ｂ：バイナリ画像、Ｂ２：バイナリ画像、Ｆ：画像処理フィルタ、Ｆ０：画像処理フィルタ、Ｆ１：画像処理フィルタ、Ｆ２：最適化フィルタ、Ｉ：入力画像、Ｊ：縮小画像、Ｍ０：第１中間画像、Ｍ１：第２中間画像、Ｏ：出力画像、Ｒ：参照画像、Ｓ：差分画像、Ｘ：縮小ブレンド率、Ｙ：ブレンド率、

Claims (12)

1. 静動情報算出部と、ブレンド率決定部と、画像処理部とを備え、
   画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
   前記静動情報算出部は、入力された入力画像の静動情報を０又は１に２値化されたピクセルデータを有する画像として算出し、
   前記ブレンド率決定部は、前記入力画像の前記静動情報に所定の演算を実施してブレンド率を決定し、
   前記画像処理部は、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像を生成し、
   前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、
   前記ブレンド率は、前記静止状態に対して最適化された画像処理と、前記動作状態に対して最適化された画像処理の重み付けに用いられ、
   前記静動情報の第１小領域に対応する前記ブレンド率の決定では、前記第１小領域及びその周辺に位置する第２小領域において当該２値がそれぞれ占める割合を使用する、
   画像処理装置。
2. 静動情報算出部と、ブレンド率決定部と、画像処理部とを備え、
   画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
   前記静動情報算出部は、入力された入力画像の静動情報を算出し、
   前記ブレンド率決定部は、前記入力画像の前記静動情報に所定の演算を実施してブレンド率を決定し、
   前記画像処理部は、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像を生成し、
   前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、
   前記ブレンド率は、前記静止状態に対して最適化された画像処理と、前記動作状態に対して最適化された画像処理の重み付けに用いられ、
   前記静動情報の第１小領域に対応する前記ブレンド率は、前記第１小領域及びその周辺に位置する第２小領域において、前記静止状態にある小領域の割合が大きい場合には前記静止状態に対して最適化された前記画像処理の重み付けが大きくなり、前記動作状態にある小領域の割合が大きい場合には前記動作状態に対して最適化された前記画像処理の重み付けが大きくなるように決定される、
   画像処理装置。
3. 前記静動情報は、０又は１に２値化されたピクセルデータを有する画像であり、
   前記所定の演算では、前記静動情報における第１小領域とこの周辺に位置する第２小領域とについて当該２値がそれぞれ占める割合を使用する、
   請求項２に記載の画像処理装置。
4. 前記画像処理部は、前記ブレンド率に基づいて前記入力画像における１つのフレームを画像処理することで前記静動変化に対して最適化された出力画像を生成する、
   請求項１〜請求項３の何れか１つに記載の画像処理装置。
5. 前記画像処理部は、第１〜第３画像処理部を備え、
   前記第１画像処理部は、前記入力画像を画像処理して前記静止状態に対応する第１中間画像を生成し、
   前記第２画像処理部は、前記入力画像を画像処理して前記動作状態に対応する第２中間画像を生成し、
   前記第３画像処理部は、前記ブレンド率に基づいて、前記第１及び第２中間画像を重ね合わせて前記出力画像を生成する、
   請求項１〜請求項４の何れか１つに記載の画像処理装置。
6. パラメータ算出部を更に備え、
   前記パラメータ算出部は、前記ブレンド率に基づいて、前記静止状態に対応する静止パラメータと、前記動作状態に対応する動作パラメータとを重ね合わせて静動パラメータを算出し、
   前記画像処理部は、前記静動パラメータを用いて前記出力画像を生成する、
   請求項１〜請求項５の何れか１つに記載の画像処理装置。
7. 前記第２小領域は、前記第１小領域の上側、左上側、左側において前記第１小領域と隣接する小領域である、
   請求項１〜請求項６の何れか１つに記載の画像処理装置。
8. 前記画像処理部は、前記ブレンド率に基づいてノイズリダクション処理及び鮮鋭化処理のうち少なくとも一方を実施して前記出力画像を生成する、
   請求項１〜請求項７の何れか１つに記載の画像処理装置。
9. 前記画像処理部は、前記ブレンド率に基づいて超解像処理を実施して前記出力画像を生成する、
   請求項１〜請求項８の何れか１つに記載の画像処理装置。
10. 前記入力画像は、３次元ノイズリダクション処理が予め施されている画像である、
    請求項１〜請求項９の何れか１つに記載の画像処理装置。
11. 静動情報算出ステップと、ブレンド率決定ステップと、画像処理ステップとを備え、
    画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
    前記静動情報算出ステップでは、入力された入力画像の静動情報が０又は１に２値化されたピクセルデータを有する画像として算出され、
    前記ブレンド率決定ステップでは、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、
    前記画像処理ステップでは、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成され、
    前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、
    前記ブレンド率は、前記静止状態に対して最適化された画像処理と、前記動作状態に対して最適化された画像処理の重み付けに用いられ、
    前記静動情報の第１小領域に対応するブレンド率の決定では、前記第１小領域及びその周辺に位置する第２小領域において当該２値がそれぞれ占める割合を使用する、
    画像処理方法。
12. コンピュータに、所定の機能を実現させるプログラムであって、
    前記所定の機能は、静動情報算出機能と、ブレンド率決定機能と、画像処理機能とを備え、
    画像の一部であって少なくとも１つのピクセルからなる領域を「小領域」と定義し、動画において過去フレームから現在フレームへの静動変化を前記小領域毎に示した情報を「静動情報」と定義した場合において、
    前記静動情報算出機能では、入力された入力画像の静動情報が０又は１に２値化されたピクセルデータを有する画像として算出され、
    前記ブレンド率決定機能では、前記入力画像の前記静動情報に所定の演算を実施してブレンド率が決定され、
    前記画像処理機能では、前記ブレンド率に基づいて前記入力画像を画像処理することで前記静動変化に対して最適化された出力画像が生成され、
    前記静動変化について、変化がない状態を静止状態と定義し且つ変化がある状態を動作状態と定義した場合において、
    前記ブレンド率は、前記静止状態に対して最適化された画像処理と、前記動作状態に対して最適化された画像処理の重み付けに用いられ、
    前記静動情報の第１小領域に対応するブレンド率の決定では、前記第１小領域及びその周辺に位置する第２小領域において当該２値がそれぞれ占める割合を使用する、
    画像処理プログラム。