JP6749504B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

表示装置に所望の画像を表示し、これをなんらかの検査等に使用する場面は多々存在する。例えば、医療分野における内視鏡の利用が挙げられる。内視鏡分野では血管視認性向上技術が多く開発されている。例えば、特許文献１に開示されるような血管視認性向上に係る従来技術では、血管を視認しやすいように敢えて本来の色味とは異なる色（偽色）に変換することで、視認性を向上させている。具体的には、内視鏡画像では最も多い傾向にあるＲ成分（赤色成分）を除去、もしくは減衰させ、Ｇ成分（緑色成分）及びＢ成分（青色成分）を相対的に際立たせて表示することで、画像を視認する医師等の使用者にとっての視認性を向上させている。

特開２０１２−０５５４１２号公報

しかしながら、上述のような従来技術では、本来の色味とは異なる色で表示していることから、医師等の使用者にとって違和感を生じる等の問題点もある。より自然で且つ視認性の高い画像の提示が求められているといえる。

本発明は、このような事情を鑑みてなされたものであり、医師等の使用者にとって違和感無く且つ視認性の高い画像を生成する上で有益な画像処理を実行可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の観点によれば、画像処理装置であって、重み付け決定部と、輝度算出部とを備え、当該画像処理装置に入力された入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、前記重み付け決定部は、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定し、前記輝度算出部は、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度を算出する、画像処理装置が提供される。

この観点に係る画像処理装置では、重み付け決定部が入力画像における注目領域内での各ＲＧＢ成分の多少に基づいて各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定し、輝度算出部が各重み付け係数に基づいて注目領域に含まれる各ピクセルの輝度を算出することを特徴とする。このように算出された輝度を用いることで、医師等の使用者にとってより違和感無く且つ視認性の高い画像を生成することができるという効果を奏する。

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は、互いに組み合わせ可能である。

好ましくは、前記注目領域内での前記各ＲＧＢ成分の割合を、順不同でａ、ｂ、ｃ（ただしａ≧ｂ≧ｃを満たす）とし、これらに対応する各重み付け係数を、Ｗ＿ａ、Ｗ＿ｂ、Ｗ＿ｃとすると、Ｗ＿ａ≦Ｗ＿ｂ≦Ｗ＿ｃであることを特徴とする。
好ましくは、前記入力画像は、時系列に複数のフレームを有する動画であり、前記重み付け決定部は、前記入力画像の現在又は過去のフレームにおける前記注目領域を用いて前記重み付け係数を決定し、前記輝度算出部は、現在のフレームにおける前記各ピクセルの輝度を算出する。
好ましくは、第１変換部と、第２変換部とを更に備え、前記第１変換部は、前記ＲＧＢ色空間で表現される入力画像を、明度又は輝度をパラメータに含む別色空間で表現される画像に変換し、前記第２変換部は、前記輝度算出部により算出された前記輝度を補正された明度又は補正された輝度として、これと前記第１変換部によって変換された画像における明度又は輝度以外のパラメータとに基づいて前記別色空間で表現される画像を前記ＲＧＢ色空間で表現される出力画像に逆変換する。
好ましくは、第１変換部と、ブレンド演算部と、第２変換部とを更に備え、前記第１変換部は、前記ＲＧＢ色空間で表現される入力画像を、明度又は輝度をパラメータに含む別色空間で表現される画像に変換し、前記ブレンド演算部は、前記第１変換部において変換された画像における明度又は輝度と、前記輝度算出部により算出された前記輝度とを所定のブレンド率でブレンドすることにより補正された明度又は補正された輝度である補正明度又は補正輝度を算出し前記第２変換部は、前記補正明度又は補正輝度と前記第１変換部によって変換された画像における明度又は輝度以外のパラメータとに基づいて前記ＲＧＢ色空間で表現される出力画像に逆変換する。
好ましくは、前記ブレンド率は、前記第１変換部によって変換された画像における前記注目領域内での前記明度又は輝度と前記輝度算出部により算出された前記輝度との割合に基づいて決定される。
好ましくは、前記重み付け決定部は、前記注目領域内での前記ＲＧＢ成分に係る全体の平均値と前記各ＲＧＢ成分の平均値との各差分に基づいて前記重み付け係数をそれぞれ決定する。
好ましくは、前記重み付け決定部は、前記各差分の写像に基づいて前記重み付け係数をそれぞれ決定し、前記写像に係る関数は、ｎ次関数（ｎ≧１）、対数関数、指数関数を含む。

本発明の別の観点によれば、画像処理方法であって、重み付け決定ステップと、輝度算出ステップとを備え、当該画像処理方法で取り扱う入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、前記重み付け決定ステップでは、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定し、前記輝度算出ステップでは、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度を算出する、画像処理方法が提供される。

この観点に係る画像処理方法では、重み付け決定ステップで入力画像における注目領域内での各ＲＧＢ成分の多少に基づいて各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定し、輝度算出ステップで各重み付け係数に基づいて注目領域に含まれる各ピクセルの輝度を算出することを特徴とする。このように算出された輝度を用いることで、医師等の使用者にとってより違和感無く且つ視認性の高い画像を生成することができるという効果を奏する。

本発明の別の観点によれば、コンピュータに、所定の機能を実現させる画像処理プログラムであって、前記所定の機能は、重み付け決定機能と、輝度算出機能とを含み、前記コンピュータに入力された入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、前記重み付け決定機能によれば、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数がそれぞれ決定され、前記輝度算出機能によれば、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度が算出される、画像処理プログラムが提供される。

この観点に係る画像処理プログラムでは、重み付け決定機能によれば入力画像における注目領域内での各ＲＧＢ成分の多少に基づいて各ＲＧＢ成分に対応する重み付け係数がそれぞれ決定され、輝度算出機能によれば各重み付け係数に基づいて注目領域に含まれる各ピクセルの輝度が算出されることを特徴とする。このように算出された輝度を用いることで、医師等の使用者にとってより違和感無く且つ視認性の高い画像を生成することができるという効果を奏する。

本発明の第１及び第２実施形態共通に係る画像処理装置３を用いたシステム１の構成概要を示す図である。 本発明の第１及び第２実施形態共通に係る適応処理部３５、色相彩度算出部３６、変換出力部３７による処理フローを表すブロック線図である。 本発明の第１実施形態に係る適応処理部３５の処理フローを表すブロック線図である。 重み付け決定部３５ａの処理フローを表すブロック線図である。 入力画像ＩのＲＧＢ成分の一例を示す概要図である。 輝度算出部３５ｂの処理フローを表すブロック線図である。 第１実施形態に係る適応処理部３５おいて確認される課題を示す図であり、特に図７Ａは入力画像Ｉ、図７Ｂは出力画像Ｏを示している。 本発明の第２実施形態に係る適応処理部３５の処理フローを表すブロック線図である。 ブレンド率決定部３５ｄの処理フローを表すブロック線図である。 ブレンド率αの決定に使用される規則の一例を示すグラフである。 ブレンド演算部３５ｅの処理フローを表すブロック線図である。 図７Ａ及び図７Ｂとの比較画像であり、特に図１２Ａは入力画像Ｉ、図１２Ｂは出力画像Ｏを示している。 Ｒ成分を多く含む風景画像に第２実施形態に係る画像処理装置３を用いて画像処理を実行した場合を示しており、特に図１３Ａは入力画像Ｉ、図１３ＢはＶ成分を抽出した中間画像、図１３Ｃは出力画像Ｏを示している。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものを指しうる。

また、広義の回路とは、回路（ｃｉｒｃｕｉｔ）、回路類（ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＬＰＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものであることに留意されたい。

また、本明細書では、画像処理装置等に入力された入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、当該入力画像は、ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義するものとする。更に、画像とは、静止画／動画の何れも含むものとし、動画の場合においては特に指定がない限りそのうちの１フレームを指すものとする。

また、下記に詳述する実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうるものである。具体的には、「注目領域」、「重み付け係数」、「輝度Ｙ」、「ＲＧＢ成分」、「色相Ｈ」、「彩度Ｓ」、「明度Ｖ」、「ブレンド率」等が、かかる情報／概念に含まれうる。これらについては、再度必要に応じて詳しく説明するものとする。

１．システム１（全体構成）
図１は、本発明の実施形態（第１及び第２実施形態共通）に係る画像処理装置３を用いたシステム１の構成概要を示す図である。システム１は、内視鏡システム２と、画像処理装置３と、表示部４とを備える。

１．１ 内視鏡システム２
内視鏡システム２は、内視鏡２１と、画像処理部２２とを備える。内視鏡２１は不図示のビジョンセンサ（カメラ）を有し、例えばこれを被験体の口腔部から腹部に向けて挿入することで、被検体の腹部等を撮像可能に構成される。なお、情報処理という観点において、撮像された画像データは、２次元の画素の集合体（ピクセル配列）である。また、画像処理部２２は、内視鏡２１によって撮像された画像データに所定の画像処理を施す。例えば、内視鏡２１によって撮像された画像データのうち特に時系列において隣接する２フレームを用いて、画像に重畳しているノイズを低減する３Ｄノイズリダクション処理等が含まれうる。

１．２ 画像処理装置３
画像処理装置３は、内視鏡システム２より送信された画像データに対して所定の画像処理を実行する装置である。画像処理装置３は、制御部３１と、記憶部３２と、入力部３３と、送受信部３４と、適応処理部３５と、色相彩度算出部３６と、変換出力部３７とを備え、これらが通信バス３Ｂを介して接続されている。以下、構成要素３１〜３７をそれぞれ詳述する。

＜制御部３１＞
制御部３１は、画像処理装置３に関連する全体動作の処理・制御を行う。制御部３１は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３１は、記憶部３２に記憶された所定のプログラムを読み出すことによって、画像処理装置３ないしはシステム１に係る種々の機能を実現する。例えば、所定のプログラムを読み出して、内視鏡２１のリアルタイムの表示画像を含むグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示部４に表示させることが含まれる。

なお、図１においては、単一の制御部３１として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３１を有するように実施してもよい。またそれらの組合せであってもよい。

＜記憶部３２＞
記憶部３２は、上述の通り、制御部３１により実現させるための種々のプログラム等を記憶する。これは、例えばハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして実施されうる。また記憶部３２は、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとしても実施されうる。また、これらの組合せであってもよい。

＜入力部３３＞
入力部３３は、例えば、画像処理装置３自体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部３３は、タッチパネルとして実施されうる。或いは、スイッチボタン、マウス、キーボード等のユーザインターフェースを採用してもよい。入力部３３を介して、操作者（例えば、医師）の指示（コマンド）を受け付ける。当該指示は、通信バス３Ｂを介して制御部３１に転送され、制御部３１が必要に応じて所定の制御や演算を実行しうる。当該指示の一例として、操作者は、入力部３３を介して、表示部４に表示されている内視鏡２１が撮像中の画像を一時停止することができる。つまり、内視鏡システム２において、内視鏡２１が画像の撮像を一時停止（中断）することができ、その一方で画像処理部２２が３Ｄノイズリダクションを実施することができる。この結果、一時停止された場合、３Ｄノイズリダクションがされていない画像が、システム１の送受信部３４に送信されることとなる。

＜送受信部３４＞
送受信部３４は、画像処理装置３と、画像処理装置３以外の外部機器との通信のためのユニットである。すなわち、送受信部３４を介して、内視鏡システム２より入力画像となる画像データを受信し、これを画像処理（詳細後述）した後、出力画像として表示部４に送信しうる。なお、送受信部３４による通信は、画像データに限るものではない。例えば、有線ＬＡＮネットワーク通信、Ｂｌｕｅｔｏｏｔｈ通信、無線ＬＡＮネットワーク通信等を含む複数の通信手段の集合体であって通信対象について適切な通信規格を含むように実施することが好ましい。

＜適応処理部３５＞
図２は、本発明の第１及び第２実施形態共通に係る適応処理部３５、色相彩度算出部３６、変換出力部３７による処理フローを表すブロック線図である。適応処理部３５は、送受信部３４を介して内視鏡システム２から受信した入力画像（ＲＧＢ空間で表現されたもの：別色空間から変換され処理直前においてＲＧＢ空間で表現されているものを含む）に所定の適応処理を実行して、補正された明度Ｖ（Ｖａｌｕｅ）である補正明度Ｖ１を算出する。適応処理部３５の構成に係る更なる詳細や、補正明度Ｖ１については、第２節において再度説明する。

＜色相彩度算出部３６＞
色相彩度算出部３６（特許請求の範囲における「第１変換部」の一例）は、送受信部３４を介して内視鏡システム２から受信した入力画像（ＲＧＢ空間で表現されたもの）から、当該入力画像の色相Ｈ（Ｈｕｅ）と彩度Ｓ（Ｓａｔｕｒａｔｉｏｎ）とを算出する。なお、色相Ｈ、彩度Ｓ、明度Ｖをパラメータとする色空間は、一般的にＨＳＶ色空間（特許請求の範囲における「別色空間」の一例）と呼ばれている。

＜変換出力部３７＞
変換出力部３７（特許請求の範囲における「第２変換部」の一例）は、図２に示されるように、適応処理部３５において算出された補正明度Ｖ１と、色相彩度算出部３６において算出された色相Ｈ、彩度Ｓとからなる中間画像（ＨＳＶ色空間で表現されたもの）から、ＲＧＢ成分をそれぞれ算出することで、ＲＧＢ色空間で表現された所望の出力画像に逆変換する。なお、かかる出力画像が通信バス３Ｂ及び送受信部３４を介して表示部４に送信され、表示部４が当該出力画像を表示する。

１．３ 表示部４
表示部４は、画像処理装置３によって画像処理された画像データが入力されると、各ピクセルデータ（各ピクセルが有する輝度等の情報）に基づいてこれを映像として表示する媒体であり、例えばＬＣＤモニタ、ＣＲＴモニタ、有機ＥＬモニタ等であってよい。なお、画像処理装置３が表示部４を含んでもよい。

２．適応処理部３５
適応処理部３５は、下記の通り第１及び第２実施形態を含みうる。それぞれの実施形態に係る適応処理部３５について以下詳述するものとする。

２．１ 第１実施形態
図３は、本発明の第１実施形態に係る適応処理部３５の処理フローを表すブロック線図である。図３に示されるように、適応処理部３５は、重み付け決定部３５ａと、輝度算出部３５ｂとを備える。

＜重み付け決定部３５ａ＞
図４は、重み付け決定部３５ａの処理フローを表すブロック線図である。また、図５は、入力画像ＩのＲＧＢ成分の一例を示す概要図である。重み付け決定部３５ａは、輝度Ｙの算出に用いられ、各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定する。具体的には、以下のような処理が実行されることとなる。

［開始］
（ステップＳ１−１）
入力画像Ｉの注目領域（ここでは入力画像Ｉの全ピクセル：動画であれば１フレーム分）内における全ピクセルの各ＲＧＢ成分及び全成分の平均値をそれぞれ算出する。例えば、各ＲＧＢ成分は、８ビット（０〜２５５）の整数値をとるものとして、図５に示される４×４ピクセルの入力画像Ｉでは、Ｒ成分の平均値Ｒ＿ａｖｇ＝１７２．５、Ｇ成分の平均値Ｇ＿ａｖｇ＝９５．０、Ｂ成分の平均値Ｂ＿ａｖｇ＝５０．０、及び全成分の平均値Ａ＿ａｖｇ≒１０５．８が算出されることとなる。もちろん実際に扱う入力画像Ｉは、これよりも遥かに解像度の高い画像であることは言うまでもない。次のステップであるステップＳ１−２に進む。

（ステップＳ１−２）
続いて、各ＲＧＢ成分Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇと全体の平均値Ａ＿ａｖｇの差分Ｒ＿ｓｕｂ、Ｇ＿ｓｕｂ、Ｂ＿ｓｕｂを計算する。すなわち図５に示される例においては、Ｒ＿ｓｕｂ＝６６．７、Ｇ＿ｓｕｂ＝−１０．８、Ｂ＿ｓｕｂ＝−５５．８となる。次のステップであるステップＳ１−３に進む。

（ステップＳ１−３）
続いて、ステップＳ１−２において算出された差分Ｒ＿ｓｕｂ、Ｇ＿ｓｕｂ、Ｂ＿ｓｕｂに線形写像変換（１次関数への代入）をすることで、各ＲＧＢ成分に対応する重み付け係数Ｗ＿ｒ、Ｗ＿ｇ、Ｗ＿ｂが決定されうる（式（１）〜（３））。
Ｗ＿ｒ＝ｍ×Ｒ＿ｓｕｂ＋ｎ （１）
Ｗ＿ｇ＝ｍ×Ｇ＿ｓｕｂ＋ｎ （２）
Ｗ＿ｂ＝ｍ×Ｂ＿ｓｕｂ＋ｎ （３）
［終了］

特にここでは、重み付け決定部３５ａは、注目領域（ここでは入力画像Ｉの全ピクセル：動画であれば１フレーム分）内での各ＲＧＢ成分の多少に基づいて各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定していることを特徴とすることに留意されたい。

なお、ステップＳ１−３における線形写像変換の傾きｍは、負の値をとるように設定される。すなわち、各ＲＧＢ成分Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇの大小関係と、これらに対応する各重み付け係数Ｗ＿ｒ、Ｗ＿ｇ、Ｗ＿ｂの大小関係は逆順に対応することに留意されたい。図５に示される例であれば、Ｒ＿ａｖｇ＞Ｇ＿ａｖｇ＞Ｂ＿ａｖｇ（特許請求の範囲におけるａ、ｂ、ｃの一例）であるから、Ｗ＿ｒ＜Ｗ＿ｇ＜Ｗ＿ｂ（特許請求の範囲におけるＷ＿ａ、Ｗ＿ｂ、Ｗ＿ｃの一例）を満たすこととなる。なお、ｍ、ｎ（切片）は予め実施された試験・研究結果等に基づいて適宜決定されることが好ましい。

＜輝度算出部３５ｂ＞
図６は、輝度算出部３５ｂの処理フローを表すブロック線図である。輝度算出部３５ｂは、図６に示されるように、重み付け決定部３５ａによって決定された重み付け係数Ｗ＿ｒ、Ｗ＿ｇ、Ｗ＿ｂを用いて、入力画像Ｉの各ピクセルの輝度Ｙを算出する。ここで輝度Ｙは、式（４）のように定義される。
Ｙ＝Ｗ＿ｒ×Ｒ、Ｗ＿ｇ×Ｇ、Ｗ＿ｂ×Ｂ （４）
ここで、Ｒ、Ｇ、Ｂは各ピクセルにおけるＲＧＢ成分それぞれの値（例えば０〜２５５の整数値）である。

なお、第１実施形態では、各ピクセルの輝度Ｙを、補正明度Ｖ１として扱う。つまり変換出力部３７において、輝度Ｙ（補正明度Ｖ１）と、色相彩度算出部３６において算出された色相Ｈ、彩度Ｓとからなる中間画像（ＨＳＶ色空間で表現されたもの）から、ＲＧＢ成分をそれぞれ算出することで、ＲＧＢ色空間で表現された所望の出力画像Ｏが生成される。

このような出力画像Ｏは、色相Ｈや彩度Ｓについて元の入力画像Ｉの情報を維持している。すなわち、第１実施形態に係る画像処理装置３を含むシステム１によれば、本来の色味を維持した上でより視認性の高い画像を生成し、これを表示部４に表示させることができるという効果を奏する。

図７Ａ及び図７Ｂは、第１実施形態に係る適応処理部３５おいて確認される課題を示す図であり、特に図７Ａは入力画像Ｉ、図７Ｂは出力画像Ｏを示している。第１実施形態においては各ＲＧＢ成分の多少が輝度Ｙの算出に影響することとなるが、画像によっては、黒つぶれが起きる等の弊害も確認されている。例えば、図７Ａのように、１色（ここではＲ成分とする）からなるグラデーション画像（左側から右側に向かって徐々に色成分が大きくなる例）を入力画像Ｉとすると、第１実施形態に係る適応処理部３５を含む画像処理装置３において出力される出力画像Ｏは、Ｗ＿ｒが非常に小さくなり、且つ単色画像（Ｇ成分、Ｂ成分がともに０）であるため、図７Ｂに示されるように、黒つぶれが発生してしまう。このような問題を解決するためには、第２．２節において説明する第２実施形態が好ましい。

２．２ 第２実施形態
図８は、本発明の第２実施形態に係る適応処理部３５の処理フローを表すブロック線図である。図８に示されるように、適応処理部３５は、重み付け決定部３５ａと、輝度算出部３５ｂと、明度算出部３５ｃと、ブレンド率決定部３５ｄと、ブレンド演算部３５ｅとを備える。なお、重み付け決定部３５ａ及び輝度算出部３５ｂの構成や動作は、第１実施形態と略同様であるため、必要に応じて第２．１節における説明を再度参照されたい。

＜明度算出部３５ｃ＞
明度算出部３５ｃ（特許請求の範囲における「第１変換部」の一例）は、入力画像Ｉの各ピクセルの明度Ｖを算出する。ここで明度Ｖは、式（５）のように定義される。
Ｖ＝Ｍａｘ［Ｒ，Ｇ，Ｂ］ （５）
ここで、Ｒ、Ｇ、Ｂは各ピクセルにおけるＲＧＢ成分それぞれの値（例えば０〜２５５の整数値）である。

＜ブレンド率決定部３５ｄ＞
図９は、ブレンド率決定部３５ｄの処理フローを表すブロック線図である。ブレンド率決定部３５ｄは、輝度算出部３５ｂで算出された輝度Ｙと、明度算出部３５ｃで算出された明度Ｖとをブレンド（詳細は、ブレンド演算部３５ｅの動作を参照）において使用しうるブレンド率を決定する。具体的には、以下のような処理が実行されることとなる。

［開始］
（ステップＳ２−１）
入力画像Ｉの注目領域（ここでは入力画像Ｉの全ピクセル：動画であれば１フレーム分）内における全ピクセルの輝度Ｙ及び明度Ｖの平均値（Ｙ＿ａｖｇ、Ｖ＿ａｖｇ）をそれぞれ算出する。次のステップであるステップＳ２−２に進む。

（ステップＳ２−２）
続いて、ステップＳ２−１において算出されたＹ＿ａｖｇとＶ＿ａｖｇとの割合（ここではＹ＿ａｖｇ/Ｖ＿ａｖｇ）に基づいて、ブレンド率（ここではＹのブレンド率αとする）を決定する。例えば、図１０に示されるブレンド率の決定規則に基づいてブレンド率αが決定されうる。特に、ブレンド率αは、注目領域内での明度Ｖと輝度Ｙとの割合に基づいて決定されることに留意されたい。なお、図１０に示すものはあくまでも例示であり、本規則は予め実施された試験・研究結果等に基づいて適宜決定されることが好ましい。
［終了］

＜ブレンド演算部３５ｅ＞
図１１は、ブレンド演算部３５ｅの処理フローを表すブロック線図である。ブレンド率決定部３５ｄによって決定されたブレンド率αを用いて、注目領域内における各ピクセルの明度Ｖと輝度Ｙとをブレンドし、これを補正明度Ｖ１とする（式（６）参照）。
Ｖ１＝（１−α）Ｖ＋αＹ （６）

その後、変換出力部３７において、補正明度Ｖ１と、色相彩度算出部３６において算出された色相Ｈ、彩度Ｓとからなる中間画像（ＨＳＶ色空間で表現されたもの）から、ＲＧＢ成分をそれぞれ算出することで、ＲＧＢ色空間で表現された所望の出力画像Ｏが生成される。

このような出力画像Ｏは、色相Ｈや彩度Ｓについて元の入力画像Ｉの情報を維持している。すなわち、第２実施形態に係る画像処理装置３を含むシステム１によれば、本来の色味を維持した上でより視認性の高い画像を生成し、これを表示部４に表示させることができるという効果を奏する。

図１２Ａ及び図１２Ｂは、図７Ａ及び図７Ｂとの比較画像であり、特に図１２Ａは入力画像Ｉ、図１２Ｂは出力画像Ｏを示している。上述の通り、第１実施形態において、画像によっては黒つぶれが起きる等の弊害も確認されていた。一方、第２実施形態では、輝度Ｙと明度Ｖとを適宜ブレンドすることで、図１２Ａ（図７Ａの再掲）のように、１色（ここではＲ成分とする）からなるグラデーション画像（左側から右側に向かって徐々に色成分が大きくなる例）を入力画像Ｉとしても、第２実施形態に係る適応処理部３５を含む画像処理装置３において出力される出力画像Ｏは、図１２Ｂに示されるように、グラデーションを維持するような結果となっている。

更に、図１３Ａ〜図１３Ｃは、Ｒ成分を多く含む風景画像に第２実施形態に係る画像処理装置３を用いて画像処理を実行した場合を示しており、特に図１３Ａは入力画像Ｉ、図１３ＢはＶ成分を抽出した中間画像、図１３Ｃは出力画像Ｏを示している。このような実画像においても、図１２Ａ及び図１２Ｂの結果同様、自然なグラデーションを維持し、視認性の高い出力画像Ｏが得られていることが確認できる（図１３Ｃ参照）。図１３Ｂ（Ｖ成分を抽出した中間画像）と図１３Ｃ（出力画像Ｏ）とを比較すると、中間画像においてはグラデーションの維持ができておらず、出力画像Ｏの差異は明白である。

３．変形例
本実施形態は、以下の態様によっても実施することができる。

第１に、本実施形態においては、輝度算出等に係る範囲（注目領域）を入力画像Ｉ（動画であれば１フレーム）の全ピクセルとして説明しているが、使用するピクセルを部分的に選択してもよい。例えば、注目領域を一部の矩形領域としてもよいし、所定サイズの矩形小領域ごとに代表ピクセル（例えば、左上といった特定位置や小領域における中央値）を適宜選択することで縮小画像を生成し、これを注目領域として実施してもよい。

第２に、上述の種々の処理では２次元配列を想定しているが、最終的に所望の画像が表示部４に表示できるのであれば、演算途中に際して１次元配列として記憶されていてもよい。また、１次元配列又は２次元配列を用いて演算する代わりに、逐次、演算をしてもよい。

第３に、本実施形態においては、ＲＧＢ色空間から明度Ｖを含むＨＳＶ色空間への変換を含むものであるが、これに限定されるものではない。第１実施形態における輝度Ｙを補正明度Ｖ１とみなすことができることと同様に、明度以外に輝度をパラメータに含む色空間へ変換してもよい。例えば、ＹＵＶ色空間、ＹＣｒＣｂ、ＹＰｒＰｂ、又は、ＨＳＬ色空間等を採用してもよい。これらの色空間における輝度ＹやＬに補正明度Ｖ１を代入して逆変換することで、本実施形態に示す効果が同様に期待されうる。

第４に、本実施形態に係るシステム１は内視鏡システム２を採用しているが、これに限らず、特定のＲＧＢ成分のうち特定の成分を多く含みうる入力画像を送信する信号源であれば、効果的な応用が可能であると考えられる。すなわち、内視鏡システム２以外に応用した場合であっても、視認性の高い画像を出力しうるという効果を奏する。

第５に、本実施形態においては、（入力画像Ｉが動画であるとして、）重み付け決定部３５ａが入力画像Ｉにおけるある時刻での（現在の）フレームを用いて前記重み付け係数を決定し、輝度算出部３５ｂも同じフレームにおける各ピクセルの輝度を算出するように記載しているが、これに限定されるものではない。例えば、重み付け決定部３５ａが入力画像Ｉにおけるある時刻での（過去の）フレームを用いて前記重み付け係数を決定し、輝度算出部３５ｂはその時刻よりも後の（現在の）フレームにおける各ピクセルの輝度を算出するように実施してもよい。過去のフレームがどの程度過去のものであるかは、特に限定されるものではなく、例えば、１フレーム前、２フレーム前、３フレーム前等が考えられる。

第６に、本実施形態において、重み付け決定部３５ａは線形写像変換（１次関数への代入）をすることで、各ＲＧＢ成分に対応する重み付け係数Ｗ＿ｒ、Ｗ＿ｇ、Ｗ＿ｂを決定しているが、あくまでも例であり、これに限定されるものではない。写像に係る関数は、例えばｎ次関数（ｎ≧２）でもよいし、対数関数、指数関数でもよい。

第７に、コンピュータに、所定の機能を実現させる画像処理プログラムであって、前記所定の機能は、重み付け決定機能と、輝度算出機能とを含み、前記コンピュータに入力された入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、前記重み付け決定機能によれば、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数がそれぞれ決定され、前記輝度算出機能によれば、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度が算出される、画像処理プログラムを提供することもできる。また、かかるプログラムの機能を実装したコンピュータ読み取り可能な非一時的な記録媒体として提供することもできる。また、かかるプログラムを、インターネット等を介して配信することもできる。更に、システム１を構成する各部は、同じ筐体に含まれてもよく、複数の筐体に分散配置されてもよい。

４．結言
以上のように、本実施形態によれば、医師等の使用者にとって違和感無く且つ視認性の高い画像を生成する上で有益な画像処理を実行可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１：システム、２：内視鏡システム、２１：内視鏡、２２：画像処理部、３：画像処理装置、３Ｂ：通信バス、３１：制御部、３２：記憶部、３３：入力部、３４：送受信部、３５：適応処理部、３５ａ：重み付け決定部、３５ｂ：輝度算出部、３５ｃ：明度算出部、３５ｄ：ブレンド率決定部、３５ｅ：ブレンド演算部、３６：色相彩度算出部、３７：変換出力部、４：表示部、Ａ＿ａｖｇ：平均値、Ｒ＿ａｖｇ：平均値、Ｂ＿ａｖｇ：平均値、Ｇ＿ａｖｇ：平均値、Ｒ＿ｓｕｂ：差分、Ｇ＿ｓｕｂ：差分、Ｂ＿ｓｕｂ：差分、Ｈ：色相、Ｓ：彩度、Ｖ：明度、Ｖ１：補正明度、Ｙ：輝度、Ｗ＿ｒ：重み付け係数、Ｗ＿ｇ：重み付け係数、Ｗ＿ｂ：重み付け係数、Ｉ：入力画像、Ｏ：出力画像、ｍ：傾き、ｎ：切片、α：ブレンド率

Claims (9)

1. 画像処理装置であって、重み付け決定部と、輝度算出部とを備え、
   当該画像処理装置に入力された入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、
   前記重み付け決定部は、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定し、
   前記輝度算出部は、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度を算出し、
   前記注目領域内での前記各ＲＧＢ成分の割合を、順不同でａ、ｂ、ｃ（ただしａ≧ｂ≧ｃを満たす）とし、これらに対応する各重み付け係数を、Ｗ＿ａ、Ｗ＿ｂ、Ｗ＿ｃとすると、
   Ｗ＿ａ≦Ｗ＿ｂ≦Ｗ＿ｃ
   であることを特徴とする、画像処理装置。
2. 前記入力画像は、時系列に複数のフレームを有する動画であり、
   前記重み付け決定部は、前記入力画像の現在又は過去のフレームにおける前記注目領域を用いて前記重み付け係数を決定し、
   前記輝度算出部は、現在のフレームにおける前記各ピクセルの輝度を算出する、
   請求項１に記載の画像処理装置。
3. 第１変換部と、第２変換部とを更に備え、
   前記第１変換部は、前記ＲＧＢ色空間で表現される入力画像を、明度又は輝度をパラメータに含む別色空間で表現される画像に変換し、
   前記第２変換部は、前記輝度算出部により算出された前記輝度を補正された明度又は補正された輝度として、これと前記第１変換部によって変換された画像における明度又は輝度以外のパラメータとに基づいて前記別色空間で表現される画像を前記ＲＧＢ色空間で表現される出力画像に逆変換する、
   請求項１又は請求項２に記載の画像処理装置。
4. 第１変換部と、ブレンド演算部と、第２変換部とを更に備え、
   前記第１変換部は、前記ＲＧＢ色空間で表現される入力画像を、明度又は輝度をパラメータに含む別色空間で表現される画像に変換し、
   前記ブレンド演算部は、前記第１変換部において変換された画像における明度又は輝度と、前記輝度算出部により算出された前記輝度とを所定のブレンド率でブレンドすることにより補正された明度又は補正された輝度である補正明度又は補正輝度を算出し
   前記第２変換部は、前記補正明度又は補正輝度と前記第１変換部によって変換された画像における明度又は輝度以外のパラメータとに基づいて前記ＲＧＢ色空間で表現される出力画像に逆変換する、
   請求項１又は請求項２に記載の画像処理装置。
5. 前記ブレンド率は、前記第１変換部によって変換された画像における前記注目領域内での前記明度又は輝度と前記輝度算出部により算出された前記輝度との割合に基づいて決定される、
   請求項４に記載の画像処理装置。
6. 前記重み付け決定部は、前記注目領域内での前記ＲＧＢ成分に係る全体の平均値と前記各ＲＧＢ成分の平均値との各差分に基づいて前記重み付け係数をそれぞれ決定する、
   請求項１〜請求項５の何れか１つに記載の画像処理装置。
7. 前記重み付け決定部は、前記各差分の写像に基づいて前記重み付け係数をそれぞれ決定し、
   前記写像に係る関数は、ｎ次関数（ｎ≧１）、対数関数、指数関数を含む、
   請求項６に記載の画像処理装置。
8. 画像処理方法であって、重み付け決定ステップと、輝度算出ステップとを備え、
   当該画像処理方法で取り扱う入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、
   前記重み付け決定ステップでは、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数をそれぞれ決定し、
   前記輝度算出ステップでは、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度を算出し、
   前記注目領域内での前記各ＲＧＢ成分の割合を、順不同でａ、ｂ、ｃ（ただしａ≧ｂ≧ｃを満たす）とし、これらに対応する各重み付け係数を、Ｗ＿ａ、Ｗ＿ｂ、Ｗ＿ｃとすると、
   Ｗ＿ａ≦Ｗ＿ｂ≦Ｗ＿ｃ
   であることを特徴とする、画像処理方法。
9. コンピュータに、所定の機能を実現させる画像処理プログラムであって、
   前記所定の機能は、重み付け決定機能と、輝度算出機能とを含み、
   前記コンピュータに入力された入力画像の少なくとも一部であって複数のピクセルからなる領域を注目領域と定義し、前記入力画像は、当初から又は入力後演算の結果ＲＧＢ色空間で表現される画像であってすなわち各ピクセルが赤色を構成するＲ成分と、緑色を構成するＧ成分と、青色を構成するＢ成分とからなるものであり且つこれらをまとめてＲＧＢ成分と定義した場合において、
   前記重み付け決定機能によれば、前記注目領域内での各ＲＧＢ成分の多少に基づいて前記各ＲＧＢ成分に対応する重み付け係数がそれぞれ決定され、
   前記輝度算出機能によれば、前記各重み付け係数に基づいて前記注目領域に含まれる各ピクセルの輝度が算出され、
   前記注目領域内での前記各ＲＧＢ成分の割合を、順不同でａ、ｂ、ｃ（ただしａ≧ｂ≧ｃを満たす）とし、これらに対応する各重み付け係数を、Ｗ＿ａ、Ｗ＿ｂ、Ｗ＿ｃとすると、
   Ｗ＿ａ≦Ｗ＿ｂ≦Ｗ＿ｃ
   であることを特徴とする、画像処理プログラム。