JP6542194B2 - ノイズ認識のエッジ強調 - Google Patents

Description

技術の進歩によって、医療用撮像能力の進歩がもたらされている。最も有益な進歩の一部を享受している１つの領域が、内視鏡を構成する構成部品の進歩による内視鏡的外科処置の領域である。

本開示は、一般的に、電磁式感知及びセンサに関し、高度な映像ストリームのフレーム内のエッジ検出の増大に関する。本開示の特徴及び利点を以下の説明で述べるのである程度この説明から明らかとなるか、及び、かつ、又は、不相応な実験のない本開示の実践によって習得されるであろう。本開示の特徴及び利点は、特に添付の特許請求の範囲において指摘する器具及び組合せによって実現及び取得され得る。

本開示の非制限的及び非網羅的な実装を以下の図を参照して説明し、同様の参照番号は、特に指定がない限り様々な図を通して同様の部品を指す。本開示の利点は、以下の説明及び添付図面に関してより深く理解されるであろう。
本開示の原理及び教示に従う画像フレーム強調のグラフィック表現を示す。 本開示の原理及び教示に従う画像エッジデータのグラフィック表現の例示である。 本開示の原理及び教示に従う、光不足環境において画像内のエッジを向上させるシステム及び方法を例示する。 本開示の原理及び教示に従う、光不足環境において画像内のエッジを向上させるシステム及び方法を例示する。 本開示の教示及び原理に従う、３次元画像を生成する複数の画素アレイを有するモノリシックセンサの実装の斜視図及び側面図を例示する。 本開示の教示及び原理に従う、３次元画像を生成する複数の画素アレイを有するモノリシックセンサの実装の斜視図及び側面図を例示する。 それぞれ、１つの画素列と、関連の又は対応する回路列との間の電気的接続及び通信を示す、画素アレイを形成する複数の画素列が第１の基板上に位置し、複数の回路コラムが第２の基板上に位置する、複数の基材上に構築された画像センサの実装の斜視図及び側面図を例示する。 それぞれ、１つの画素列と、関連の又は対応する回路列との間の電気的接続及び通信を示す、画素アレイを形成する複数の画素列が第１の基板上に位置し、複数の回路コラムが第２の基板上に位置する、複数の基材上に構築された画像センサの実装の斜視図及び側面図を例示する。 それぞれ、３次元画像を生成する複数の画素アレイを有する画像センサの、この複数の画素アレイ及び画像センサが、複数の基板上で構築される実装の斜視図及び側面図を例示する。 それぞれ、３次元画像を生成する複数の画素アレイを有する画像センサの、この複数の画素アレイ及び画像センサが、複数の基板上で構築される実装の斜視図及び側面図を例示する。 本開示の原理及び教示に従う補完的システムハードウェアの概略図である。

本開示は、エッジ強調の強度を制御して、それによってノイズの知覚に及ぼす強調の影響を制限するために、画素間の予想ノイズについての知識を利用することができる、光不足環境において画像内のエッジを向上させる方法、システム及びコンピュータ対応製品まで拡張される。本開示の以下の説明では、本明細書の一部を成し、かつ、本発明の実施形態を実践し得る特定の実施形態が例示として示される添付図面を参照する。他の実施形態が利用され得、構造上の変更が本発明の範囲から逸脱することなく行われ得ることが理解される。

任意のデジタル撮像システムについては、映像の最終的な品質は、フロントエンド画像電子捕捉プロセスのエンジニアリング上の詳細に基本的に依存する。大雑把にいうと、知覚した画質は、以下の特性に依存する。
信号対ノイズ比（ＳＮＲ）
ダイナミックレンジ（ＤＲ）
空間解像度
可視の不自然なアーチファクトの知覚
空間歪みの知覚
色忠実度及び訴求力

一般に、カメラ及び撮像素子のメーカは、多くの共通の目的のために、小型化及び低コスト化の趨勢に向かう絶え間ない圧力に直面している。しかしながら、両方の要素は、高画質画像を配信する能力に有害な影響を与え得る。

画質が最新のデジタル画像処理において裁かれる際の最も有意な特性の１つは、知覚した解像度である。これは、実際の空間解像度及びアキュータンスの組合せから来るものである。空間解像度は、いくつかの因子、例えば、画素密度、焦点、光学的変調伝達関数（ＭＴＦ）などによって決定づけられる。アキュータンスは、輝度の突然の遷移部周りの局所的コントラストを指す。これは、エッジ強調として知られているプロセスにおいて画像処理パイプライン（ＩＳＰ）内で人工的に強調され得る。基本的なアプローチは、有意な輝度遷移部を検出し、かつ、各遷移の底部でのアンダーシュート、頂部でのオーバーシュートによって該遷移部を増大させることである。

人の被験者に行われた精神物理学上の実験の結果、エッジ強調の適用は、オブジェクト及びテクスチャの精細度を増大させることから、画像及びビデオストリームをアプリケーションがより主観的に感じ良くするのに効果的であることが実証されている。実は、人の眼自体が、網膜内である程度のエッジ強調を行っており、これは、黒から白への段差遷移部をじっと見つめる簡単な実験において観察され得る。

一実装は、まず輝度成分を抽出し、次に、例えば、Ｃａｎｎｙアプローチ、又は、アンシャープマスク法を用いてエッジを検出し、エッジデータに何らかの利得係数を適用して、元の輝度にエッジデータを追加することを伴う。主な課題は、本当のエッジ及び組織情報を遍在するランダムノイズから分離することができることである。典型的な最新のデジタルカメラでは、検出された光信号の任意の認められるほどの量について、優勢な時間的ノイズ源は、捕捉装置によって導入される電子的変動ではなく、光子到着率におけるランダムポアソン不確実性から生じる。これは、通常、ショットノイズと呼ばれる。

ランダムノイズが強調された場合、信号対ノイズ比を低減する。したがって、画質が、改善されるのではなく、急激に劣化する。通常であれば、エッジ強調アルゴリズムは、ノイズ分布を違和感なく上回るときにのみ強調を適用するために何らかの種類の閾値適用を伴う。問題が、ノイズが信号の関数として増加し、信号レベルが高くなるほど大きなエッジ強調が望ましいということから生じる。閾値が過度に高い場合、その後、大きいエッジは小さい遷移及びテクスチャに対して不釣合いに強調される場合がある。このために、結果的に、不自然な漫画のような画像になる可能性がある。

ランダム時間的ノイズの原点を理解すると、閾値の最適リアルタイム配置を予知することができる。実は、電子ユニットにおける局所信号がわかる場合、該信号は、常に平均信号の平方根に等しいことから、ショットノイズ主成分のΣが正確にわかる。

本開示は、予想局所ノイズの知識によって案内される、画素単位で連続的に閾値を変わるエッジ強調アプリケーションアルゴリズムを説明する。この方法での閾値の継続的な時空間トゥイーキングは、エッジ強調有効性とノイズ制御との間の最も理想的な妥協を可能にする。それを行うオプションは、全ての関連のセンサ利得について、正確にデジタル数字から電子への捕捉された信号の較正の利用可能性に依存する。

純粋輝度画像成分を抽出した後、画像内に存在するエッジの所在及び振幅を判定するために採用することができるいくつかの方法がある。ここで説明する実施例は、いわゆる「アンシャープマスク」アプローチであり、該アプローチは、ハードウェア及びソフトウェアに実装され得る。他の実装では、あるいは、とりわけエッジ検出オペレータカーネル（例えばソーベル、Ｒｏｂｅｒｔｓ、又は、Ｐｒｅｗｉｔｔ）が画像の空間フィルタリング後のバージョンに適用されるＣａｎｎｙ法、二次導関数においてゼロ交差を検出するＬａｐｌａｃｉａｎ法、又は、ＳＵＳＡＮ法を使用することができよう。

図１をここで参照すると、アンシャープマスク法では、輝度平面の空間フィルタリング後のバージョンを作製し、その後、差平面（difference plane）を作製するためにオリジナルから差し引くことができよう。平坦な領域は、ゼロの最終結果を有することになり、一方、遷移は、結果として、空間周波数と共に拡大縮小する振幅を有する局所両極性信号になることになる。空間フィルタは、例えば、大きさ７×７のガウスフィルタカーネル、Ｈであり得る。

ｆ_ｉが画素ｉの輝度ｙ_ｉのフィルタリング後のバージョンである場合、

差平面ｄ_ｉは、以下によって定義される。

図１は、１Ｄ段差遷移部のｙ_ｉ、ｆ_ｉ及びｄ_ｉの形状を示す。

結果として生じる差平面は、事実上、高域フィルタリング後のバージョンであり、該バージョンは、その後、オリジナル輝度平面に追加される前に利得係数ｘで逓倍され得る。この利得係数は、エッジ強調の強度を支配することになる。

この特定のアルゴリズムでは、利得係数、ｇ、は、α_ｉ及びβという２つの正の実数部の積である。

したがって、最終的な輝度式（Ｙ_ｉ）は、以下により与えられる。

α_ｉ係数は、１の最大値を有し、その大きさは、画像内で局所的に起こっていることに基づいて判定されることになる。β係数は、好みにしたがって調整するようにカメラオペレータに提示され得る強度調整体にすぎない。

αが何であるべきかについて判断するために、信号較正が、電子ユニットに対する輝度を変換するためにまず適用されなければならない。変換利得ε（μＶ／ｅ−単位）及びＡＤＣ電圧振幅、Ｗ（Ｖ単位）として知られている内界センサ特性がわかる場合、以下の式は、較正係数、Ｋ（ｅ−／ＤＮ単位）を計算するために使用することができる。

ｎ＝ＡＤＣビットの数、Ｇは、センサ上で適用される絶対全体線形利得である。Ｇが対数的単位（ｄＢ）である場合、式は、以下となる。

センサ設計パラメータがわからない場合、Ｋは、利得の広義の範囲についてノイズ（ＤＮ^２単位）及び信号（ＤＮ単位）の光子増幅特性曲線をプロットすることによって経験的に判定することができる。この場合、Ｋ_Ｇは、各利得についてグラフの線形領域内の勾配の逆数に等しい。

Ｋがわかると、局所フィルタリング輝度（ｆ_ｉ）に基づいて、画素ｉについてノイズ予想、σ_ｉ（ＤＮ単位）の大きさを予知するために使用され得、

Ｂは、出力（ＤＮ単位）でのセンサ黒偏位であり、ｃは、ｅ−単位のセンサ読取ノイズ（ノイズレベル）である。図２は、ｄ_ｉの係数に依存するようにαがどのように構築され得るかの実施例を示す。この実施例では、α_ｉは、線形依存性に従う。他の実装が考えられ得、ここでα_ｉは線形ではなく、ゼロと任意の正の実数との間の何らかの他の数学的な進行を有する。

例えば、

α_ｉ、ｔ_１及びｔ_２の遷移点は、最も感じの良い結果にしたがって、及び、雇用されるαの関数形式によって調整されるであろう。

類似のアプローチは、Σの代わりにノイズ分散を計算して、係数の代わりに差分パラメータｄ_ｉの二乗に基づいてα_ｉを判定することである。これは、平方根計算を回避することからハードウェアにおける実装に有益である。

その場合、分散予想は、

ｗ_１及びｗ_２が２つの画質調整パラメータとしてｔ_１及びｔ_２に取って代わる。

実際には、リアルタイム平方根演算及び除算演算の実装は、些細なものではない。通常の実装は、逆数によって乗算すること、又は、予めプレコンパイルしたルックアップ表を使用することを伴う。逆数によって乗算することは、除数が定数である場合には非常に良好に機能し、第２の方法は、ルックアップ表内の値の範囲が小さい場合に良好に機能する。完全な実装であれば、そのノイズ値に基づいて各画素に適用されるように強調量を計算することになる。

ハードウェアにおいて実装され得る別の実装は、画素単位の代わりにフレーム当たりで強調量を修正するために適用された利得及び結果的に得られたノイズの知識を使用し得る。複雑な（除算及び二乗ルート）演算は、画素値の変化ではなく、フレーム値の差に依存することになる。

この場合、主要な強調方程式は以下の通りである。

Ｙｆ_ａは、画像の７×７ガウスぼけである。
Ｙｆ_ｂは、画像の３×３ガウスぼけである。

Ｙｆ_ａ−Ｙｆ_ｂは、画像のぼけの大きい（７×７）バージョンと画像のぼけの小さい（３×３）バージョンとの間のエッジ検出である。この違いは、Ｇ及びＤの積によって取得される。

Ｇは、０〜ｎの利得係数であり、ｎは、定義された上限値を有する０よりも大きい任意の数であり得る。

Ｄは、０〜１の重みづけ係数である。Ｄは、ひねり係数ｄ_ｈｉｇｈ及びｄ_ｌｏｗを設定することによって生成される。Ｄの方程式は、以下の通りである：

ｄ_ｈｉｇｈ及びｄ_ｌｏｗは、ソフトウェアに設定される。ｄ_ｈｉｇｈは、センサに追加された利得の量に基づく。ゲイン値が低い場合、ｄ_ｌｏｗは低く、利得が増加するように、ｄ_ｈｉｇｈも増加する。利得及びｄ_ｈｉｇｈが増加するにつれて、Ｄの勾配は、平坦化する。その結果として、強調方程式では、検出されたエッジの増幅率を上げる前に前、高域フィルタにおいてより大きな量の差分が必要である。利得がノイズを追加するので、システムは、強調の前にエッジ差分の拡大化を必要とすることによって高い利得状況に応答する。低利得及び低ノイズ状況では、システムは、エッジを差分の縮小化と解釈して適切に強調することができる。

本開示の実装は、以下で更に詳細に論じるように、例えば、１つ又は２つ以上のプロセッサ及びシステムメモリなど、コンピュータハードウェアを含む専用又は汎用コンピュータを含むか又は利用し得ることが認識されるであろう。本開示の範囲内の実装は、また、コンピュータ実行可能な命令及び／又はデータ構造を担持つまり記憶する物理メディア及び他のコンピュータ可読媒体を含み得る。そのようなコンピュータ可読媒体は、汎用又は専用コンピュータシステムによってアクセスすることができる任意の利用可能な媒体であり得る。コンピュータ実行可能な命令を記憶するコンピュータ可読媒体は、コンピュータ記憶媒体（装置）である。コンピュータ実行可能な命令を担持するコンピュータ可読媒体は、伝送媒体である。したがって、制限するものではなく一例として、本開示の実装は、少なくとも２つの明確に異なる種類のコンピュータ可読媒体、即ち、コンピュータ記憶媒体（装置）及び伝送媒体を含むことができる。

コンピュータ記憶媒体（装置）としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ソリッドステートドライブ（「ＳＳＤ」）（例えば、ＲＡＭ対応）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、他の形式のメモリ、他の光ディスク記憶装置、磁気ディスク記憶装置、又は、他の磁気記憶装置、又は、コンピュータ実行可能な命令又はデータ構造の形である所望のプログラムコード手段を記憶するために使用することができ、かつ、汎用又は専用コンピュータによってアクセスすることができる任意の他の媒体が挙げられる。

「ネットワーク」は、コンピュータシステム及び／又はモジュール及び／又は他の電子機器間の電子データの転送を可能にする１つ又は２つ以上のデータリンクとして定義される。実装では、センサ及びカメラ制御ユニットは、互い、かつ、接続先であるネットワーク上で接続される他の構成部品と通信するためにネットワーク化され得る。情報がコンピュータにネットワーク又は別の通信接続（配線接続、無線、又は、配線接続又は無線の組合せ）で転送つまり提供されるとき、コンピュータは、接続を伝送媒体と適切に見る。伝送媒体としては、コンピュータ実行可能な命令又はデータ構造の形で所望のプログラムコード手段を担持するために使用することができ、かつ、汎用又は専用コンピュータによってアクセスすることができるネットワーク及び／又はデータリンクを挙げることができる。上記の組合せは、また、コンピュータ可読媒体の範囲内に含まれるべきである。

更に、様々なコンピュータシステム構成部品に到達すると、コンピュータ実行可能な命令又はデータ構造の形のプログラムコード手段は、あの、伝送媒体からコンピュータ記憶媒体（装置）に（又は、その逆）自動的に転送することができる。例えば、ネットワーク又はデータリンク上で受信されたコンピュータ実行可能な命令又はデータ構造は、ネットワークインターフェイスモジュール（例えば、「ＮＩＣ」）内でＲＡＭにおいてバッファリングし、その後、最終的には、コンピュータシステムＲＡＭ及び／又はコンピュータシステムでの揮発性が小さいコンピュータ記憶媒体（装置）に転送することができる。また、ＲＡＭとしては、ソリッドステートドライブ（ＦｕｓｉｏｎＩＯなど、ＳＳＤ又はＰＣＩｘ対応リアルタイムメモリ階層型ストレージ）を挙げることができる。したがって、コンピュータ記憶媒体（装置）は、また（又は、主としてさえ）伝送媒体を利用するコンピュータシステム構成部品に含めることができることを理解されたい。

コンピュータ実行可能な命令は、例えば、プロセッサにて実行されたとき、汎用コンピュータ、専用コンピュータ、又は、専用処理装置に特定の機能又はグループの機能を実行させる命令及びデータを含む。コンピュータ実行可能な命令は、例えば、バイナリ、アセンブリ言語などの中間書式命令、又はソースコードでさえあり得る。主題を構造上の特徴及び／又は方法の行為特有の言語で説明してきたが、添付の特許請求の範囲内で定義する主題が必ずしも説明した特徴、又は、先述した行為に限定されるというわけではないことを理解されたい。むしろ、説明する特徴及び行為は、本開示を実行するという例示的な形態として開示する。

当業者は、本開示は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、ハンドヘルドデバイス、ハンドピース、マルチプロセッサーシステム、マイクロプロセッサ対応又はプログラマブル大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、移動体電話、ＰＤＡ、タブレット、ポケットベル、ルータ、スイッチ、様々な記憶装置などを含め、多くの形式のコンピュータシステム構成を有するネットワークコンピューティング環境において実践され得ることを認識するであろう。上述したコンピューティングデバイスのいずれも、レンガ及びモルタル製の場所によって提供され得るか、又は、該場所内に位置し得ることに注意されたい。本開示は、また、ネットワークを介して（配線接続データリンク、無線データリンク、又は、配線接続データリンク及び無線データリンクの組合せによって）結び付けられるローカル及びリモートコンピュータシステムが両方ともタスクを実行する分散システム環境において実践され得る。分散型システム環境においては、プログラムモジュールは、ローカル及びリモートの両方のメモリ記憶デバイス内に位置し得る。

更に、適切な場合、本明細書で説明する機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成部品、又はアナログ構成部品の１つ又は２つ以上において実行することができる。例えば、１つ又は２つ以上の特定用途向け集積回路（ＡＳＩＣ）、又は、フィールドプログラマブルゲートアレイは、本明細書で説明するシステム及び処置の１つ又は２つ以上を実行するようにプログラムすることができる。特定の用語が、特定のシステム構成部品を指すために以下の説明及び本開示を通して使用される。当業者が認識することになるように、構成部品は、異なる名前によって指される場合がある。本文書は、名前が異なる構成部品を区別することを意図するのではなく、機能が異なる構成部品を区別することを意図する。

図３Ａ及び図３Ｂをここで参照すると、光不足環境において画像内のエッジを強調するデジタル画像処理システム及び方法３００が例示されている。図３Ａに例示するデジタル画像処理システム３０１は、周囲光不足の環境において使用される内視鏡装置３０２を含み得る。内視鏡的装置３０２は、次に、内視鏡３０４、内視鏡ハウジング３０６（例えば、ハンドピース及び／又はカメラヘッド）と，制御ユニット３０８と、電子ケーブルなど電子通信３２０と、光源３０９と、光源３０９及び内視鏡装置３０２に接続された光ファイバケーブルなど光ケーブル３２６と、ディスプレイ３１２と、撮像デバイス３１４（例えば、画像センサ及び関連の回路など）とを含み得る。尚、この実施例では、考察を容易にするために、内視鏡装置３０４、内視鏡ハウジング３０６、制御ユニット３０８、光源３０９、表示３１２、及び撮像デバイス３１４は、それぞれ、互いに対して個別に図示されている。しかしながら、これは制限的と解釈されるべきではなく、これらの構成部品の任意の１つ又は２つ以上は任意の好適な方法で一体化及び／又は接続することができることを認識及び理解されたい。

撮像装置３１４は、画素アレイを含む画像センサを含み得、シーンは、画素アレイ上へ連続的に集束されることが認識されるであろう。画像センサは、画素アレイを使用して又は該画素アレイで反射された電磁放射線を感知することが認識されるであろう。画素アレイは、画像データを生成し、画像フレームが、画像データから作成される。プロセッサ３２４は、画像フレーム内で画像テクスチャ及びエッジを検出し得、かつ、画像フレーム内のテクスチャ及びエッジを更に強調し得る。プロセッサ３２４は、ハウジング３０６内であるか、又は、制御ユニット３０８にてであるかを問わず、また、メモリから、画素技術及び適用されたセンサ利得に関連する特性を検索し、上記のセンサにより作成された画像フレーム内のノイズの大きさの予想を評価して、上記のノイズ予想を使用して、エッジ強調アプリケーションを制御し得る。画像のストリームは、複数の画像フレームを連続して結合することにより作成され得る。

図３Ｂをここで参照すると、周囲光不足の環境内の内視鏡と共に使用されるデジタル画像処理方法が例示されている。方法３００は、３１０にて可視、赤外線、又は、紫外線の電磁放射線源を使用して環境を照明することを含み得る。３２０にて、方法３００は、シーンをセンサの画素アレイ上へ連続的に集束させることを含み得る。方法３００は、反射された電磁放射線を上記の画素アレイで感知することを含み得、上記の画素アレイは、３３０にて画像データを生成する。３４０にて、方法３００は、画像フレームを上記の画像データから作成することを含み得る。３５０にて、方法３００は、画像テクスチャ及びエッジを画像フレーム内で検出することを含み得る。方法３００は、３６０にて、画像フレーム内のテクスチャ及びエッジを強調することを含み得る。３７０にて、方法３００は、メモリから、画素技術及び適用されたセンサ利得に関連する特性を検索し、上記のセンサによって作成された画像フレーム内のノイズの大きさの予想を評価し、上記のノイズ予想を使用して、エッジ強調アプリケーションを制御することを含み得る。３８０にて、方法３００は、複数の画像フレームを連続して結合することによって画像のストリームを作成することを含み得る。

図３Ａ及び図３Ｂのシステム及び方法は、本明細書で開示するようにエッジ強調を提供することを含み得る。エッジ強調は、光信号の変動によるノイズの変動に対応する画素アレイによって生成された当初の画像内の複数の強調を含み得る。適用されたエッジ強調の度合いは、検出されたエッジに適用されたデジタル利得係数により支配され得、該デジタル利得係数は、予想ノイズに依存する。システムは、スタッキングされる複数の基材上に配置された複数の画素アレイの画像フレームを結合することによって３次元画像ストリームを作成することを含み得る。

システム及び方法は、光子到着のポアソン統計と画素アレイ及びその読み出し電子部品から生じる電子ノイズとの組合せに基づいてノイズ補正を計算することを更に含み得る。そのは、画素アレイ内の各画素の変換利得、適用されたセンサ利得、及びデジタイザの電圧範囲がわかって予想ノイズを計算することを含み得る。

図３Ａ及び図３Ｂのシステム及び方法は、予想ノイズの経験的な判定を画素アレイについて行われた室内実験のデータベースから導出することを更に含み得る。システム及び方法は、照明のレベルを変え、ノイズがＤＮ^２であることに対して信号をデジタル数字（ＤＮ）でプロットして、該信号をメモリに再符号化することを含み得る。経験的な判定は、複数の適用されたセンサ利得設定について繰り返され得る。システム及び方法は、プロット内の勾配を測定することを更に含み得ることが認識されるであろう。実装では、デジタル利得係数は、各画素について、又は、画素の地域集団内で局所的に評価され得ることが認識されるであろう。実装では、デジタル利得係数は、適用されたセンサ利得に基づいてフレーム全体について判定され得る。実装では、デジタル利得係数は、各画素の近傍に位置する予想ノイズとのエッジ強度パラメータの比較から導出され得る。実装では、システム及び方法は、エッジ強調の度合いを制御することを更に含み得、かつ、デジタル利得係数をエッジ強度パラメータに適用して、結果を当初の画像の輝度成分に追加することを伴う。

実装では、エッジ強度パラメータは、各々に異なるフィルターカーネルが適用された、当初の画像の輝度成分の２つの空間フィルタリング後のバージョン間の違いの係数であるとみなされ得る。実装では、エッジ強度パラメータは、当初のフレームの輝度成分の１つの空間フィルタリング後のバージョンと１つのフィルタリング前のバージョンとの違いの係数であるとみなされ得る。

図４Ａ及び図４Ｂをここで参照すると、図は、本開示の教示及び原理に従う、３次元画像を生成する複数の画素アレイを有するモノリシックセンサ４００の実装の、それぞれ、斜視図及び側面図を例示する。そのような実装は、３次元画像捕捉に望ましくものであり得、２つの画素アレイ４０２及び４０４は、使用中に偏位され得る。別の実装では、第１の画素アレイ４０２及び第２の画素アレイ４０４は、電磁放射線の所定の範囲の波長の受信専用であり得、第１の画素アレイ４０２は、第２の画素アレイ４０４と異なる範囲の波長の電磁放射線専用である。

図５Ａ及び図５Ｂは、複数の基材上に構築された画像センサ５００の実装の斜視図及び側面図を、それぞれ、示す。例示するように、画素アレイを形成する複数の画素列５０４が、第１の基板５０２上に位置し、複数の回路列５０８が第２の基板５０６上に位置する。また、１つの画素列とその関連の又は対応する回路列との間の電気的接続及び通信が、図で例示されている。１つの実装では、その他の方法であれば画素アレイ及び支援回路が単一のモノリシック基板／チップ上にある状態で製造されることがあり得る画像センサが、画素アレイが支援回路の全て又は大部分から分離され得る。本開示は、３次元スタッキング技術を用いて共にスタッキングされることになる少なくとも２つの基板／チップを使用し得る。２つの基板／チップのうち第１の基板／チップ５０２は、画像ＣＭＯＳプロセスを用いて処理され得る。第１の基板／チップ５０２は、もっぱら画素アレイ、又は、有限の回路によって取り囲まれた画素アレイのどちらかで構成され得る。第２の又はその後の基板／チップ５０６は、任意のプロセスを用いて処理され得、かつ、画像ＣＭＯＳプロセスによるものである必要はない。第２の基板／チップ５０６は、様々な及びいくつかの機能を基板／チップ上の非常に限られた空間又は領域内に一体化するために、高密度なプロセス、又は、例えば正確なアナログ機能を一体化するために、混合モード又はアナログプロセス、又は、無線能力を実装するために、ＲＦプロセス、又は、ＭＥＭＳデバイス置を一体化するために、ＭＥＭＳ（微小電気機械システム）であり得るがこれらに限定されるものではない。画像ＣＭＯＳ基板／チップ５０２は、任意の３次元技術を用いて第２又はその後の基板／チップとスタッキングされ得る。第２の基板／チップ５０６は、（モノリシック基板／チップ上に実装された場合には）周辺回路としてその他の方法で第１の画像ＣＭＯＳチップ５０２内で実装されたと思われる回路の大半つまり大部分を支持し得、したがって、システム領域全体が増大されると同時に、画素アレイサイズを一定に、かつ、可能な限りの範囲まで最適化された状態に保ち得る。２つの基板／チップ間の電気的接続は、ワイヤボンド、バンプ及び／又はＴＳＶ（シリコンバイアを介して）であり得るインタコネクト５０３及び５０５を介して行われ得る。

図６Ａ及び図６Ｂは、３次元画像を生成する複数の画素アレイを有する画像センサ６００の実装の図を例示する。３次元画像センサは、複数の基板上に構築され得、複数の画素アレイ及び他の関連の回路を含み得、第１の画素アレイを形成する複数の画素列６０４ａ及び第２の画素アレイを形成する複数の画素列６０４ｂは、それぞれの基板６０２ａ及び６０２ｂ上に位置し、複数の回路列６０８ａ及び６０８ｂは、別個の基板６０６上に位置する。画素列と、関連の又は対応する回路列との間の電気的接続及び通信も例示されている。

図７は、例示的なコンピューティングデバイス７００を示すブロック図である。コンピューティングデバイス７００は、本明細書で論じるものなど、様々な処置を実行するために使用され得る。コンピューティングデバイス７００は、サーバー、クライアント、又は、任意の他のコンピューティングエンティティとして機能することができる。コンピューティングデバイスは、本明細書で説明するアプリケーションプログラムなど、本明細書で論じるように様々なモニタリング機能を実行することができ、かつ、１つ又は２つ以上のアプリケーションプログラムを実行することができる。コンピューティングデバイス７００は、デスクトップコンピュータ、ノートパソコン、サーバコンピュータ、ハンドヘルドコンピュータ、カメラ制御ユニット、タブレットコンピュータなどなど、多種多様なコンピューティングデバイスのいずれかであり得る。

コンピューティングデバイス７００は、１つ又は２つ以上のプロセッサ７０２と、１つ又は２つ以上の記憶装置７０４と、１つ又は２つ以上のインターフェース７０６と、１つ又は２つ以上の大容量記憶装置７０８と、１つ又は２つ以上の入出力（Ｉ／Ｏ）装置７３１０と、表示装置１３３０とを含み、これらの全ては、バス７１２に結合される。プロセッサ７０２は、記憶装置７０４及び／又は大容量記憶装置７０８内に記憶された命令を実行する１つ又は２つ以上のプロセッサ又は制御装置を含む。プロセッサ７０２は、また、キャッシュメモリなど、様々な形式のコンピュータ可読媒体を含み得る。

記憶装置７０４としては、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）７１４）及び／又は不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）７１６）など、様々なコンピュータ可読媒体が挙げられる。また、記憶装置７０４としては、フラッシュメモリなど、再書き込み可能ＲＯＭを挙げることができる。

大容量記憶装置７０８としては、磁気テープ、磁気ディスク、光ディスク、ソリッドステートメモリ（例えば、フラッシュメモリ）など、様々なコンピュータ可読媒体が挙げられる。図５に示すように、特定の大容量記憶装置は、ハードディスクドライブ７２４である。様々なドライブが、また、様々なコンピュータ可読媒体からの読み取り値及び／又は該媒体への書き込みを有効にするために大容量記憶装置７０８内に含まれ得る。大容量記憶装置７０８は、取り外し可能な媒体７２６及び／又は取り外し不可能な媒体を含む。

Ｉ／Ｏ装置７１０としては、データ及び／又は他の情報をコンピューティングデバイス７００から入力又は検索することを可能にする様々な装置が挙げられる。例示的なＩ／Ｏ装置７１０としては、デジタル画像処理装置、電磁センサ及びエミッタ、カーソル制御デバイス、キーボード、キーパッド、マイク、モニタ、又は、他の表示装置、スピーカ、プリンタ、ネットワークインターフェースカード、モデム、レンズ、ＣＣＤ、又は、他の画像捕捉デバイスなどが挙げられる。

表示装置７３０として、情報をコンピューティングデバイス７００の１つ又は２つ以上のユーザに表示することができる任意の形式の装置が挙げられる。表示装置７３０の実施例としては、モニタ、ディスプレイ端末、映像投影装置などが挙げられる。

インターフェース７０６としては、コンピューティングデバイス７００が他のシステム、装置、又は、コンピューティング環境と相互作用することを可能にする様々なインターフェースが挙げられる。例示的なインターフェース７０６は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク及びインターネットとのインターフェースなど、任意の数の異なるネットワークインターフェース７２０を含み得る。他のインターフェースとしては、ユーザインターフェース７１８及び周辺デバイスインターフェース７２２が挙げられる。インターフェース７０６は、また、１つ又は２つ以上のユーザインターフェース要素７１８を含み得る。インターフェース７０６は、また、プリンタ、ポインティングデバイス（マウス、トラックパッドなど）、キーボードなどのインターフェースなどの１つ又は２つ以上の周辺インターフェースを含み得る。

バス７１２は、プロセッサ７０２、記憶装置７０４、インターフェース７０６、大容量記憶装置７０８、及びＩ／Ｏ装置７１０が互い、並びに、バス７１２に結合された他の装置又は構成部品と通信することを可能にする。バス７１２は、システムバス、ＰＣＩバス、ＩＥＥＥ １３９４バス、ＵＳＢバスなど、いくつかの形式のバス構造体の１つ又は２つ以上を表す。

例示を目的として、プログラム及び他の実行可能なプログラムコンポーネントは、個別的なブロックとして本明細書で示すが、そのようなプログラム及びコンポーネントは、コンピューティングデバイス７００の異なるストレージ構成部品内に様々な時間にて常駐し得、かつ、プロセッサ７０２によって実行され得ることが理解される。あるいは、本明細書で説明するシステム及び手順は、ハードウェア、又は、ハードウェア、ソフトウェア及び／又はファームウェアの組合せで実装され得る。例えば、１つ又は２つ以上の特定用途向け集積回路（ＡＳＩＣ）は、本明細書で説明するシステム及び手順の１つ又は２つ以上を実行するようにプログラムすることができる。

本開示の教示及び原理は、本開示の範囲から逸脱することなく再使用可能装置プラットフォーム、限定的使用装置プラットフォーム、再配置可能使用装置プラットフォーム、又は、１回使い切り／使い捨て装置プラットフォームにおいて使用され得ることが認識されるであろう。再使用可能装置プラットフォームでは、エンドユーザが、装置の洗浄及び滅菌を担当することが認識されるであろう。限定的使用装置プラットフォームでは、装置は、操作不能になる前にある程度の指定の時間量にわたって使用することができる。典型的な新しい装置は、エンドユーザが洗浄及び殺菌することを必要する更なる使用で無菌で供給される。再配置可能使用装置プラットフォームでは、第三者が、新しいユニットよりも低コストでの更なる使用のために装置を再処理し得る、１回使い切り装置を（例えば、洗浄、包装、及び殺菌する）。１回使い切り／使い捨て装置プラットフォームでは、装置は、手術室に無菌で提供されて、処分される前に１回のみ使用される。

その上、本開示の教示及び原理は、赤外線（ＩＲ）、紫外線（ＵＶ）及びＸ線のような可視及び非可視のスペクトルを含む電磁エネルギーの波長のうちのいずれか及び全てを含んでもよい。

本明細書で開示する様々な特徴が当技術分野において有意な利点及び前進を提供することが認識されるであろう。以下の実装は、上記の特徴の一部を例示する。

本開示の前出の「発明を実施するための形態」では、本開示の様々な特徴は本開示を簡素化するために単一の実施形態において共にグループ化される。この開示の方法は、主張する主題には、各請求項において明示的に記載されるものより多い特徴部が必要であるという意図を反映するとは解釈しないものとする。むしろ、本発明の種々の態様は、単一の先述の開示する実施形態の全ての特徴に該当するわけではない。

上記の構成は、本開示の原理の適用を例示し得るにすぎないことを理解されたい。多数の改変物及び代替構成が、本開示の趣旨及び範囲から逸脱することなく当業者によって考案され得、添付の本開示は、そのような改変物及び構成を包含することが意図されている。

したがって、本開示が図面に示して特に詳細に説明するが、サイズ、材料、形状、形態、動作、操作の機能及び方法、組立体及び使用の変形例を含むがこれらに限定されない多数の改変が、本明細書に定める原理及び概念から逸脱することなく行われ得ることが、当業者には明らかであろう。

更に、適切な場合、本明細書で説明する機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成部品、又はアナログ構成部品の１つ又は２つ以上において実行することができる。例えば、１つ又は２つ以上の特定用途向け集積回路（ＡＳＩＣ）は、本明細書で説明するシステム及び手順の１つ又は２つ以上を実行するようにプログラムすることができる。特定の用語が、特定のシステム構成部品を指すために以下の説明及び本開示を通して使用される。当業者が認識することになるように、構成部品は、異なる名前によって指される場合がある。本文書は、名前が異なる構成部品を区別することを意図するのではなく、機能が異なる構成部品を区別することを意図する。

実施例の先の説明は、例示及び説明を目的として提示したものである。網羅的であること、及び、開示した正確な形態に本発明を制限することを目的とするものではない。上記の教示に照らして多くの改変及び変形が可能である。更に、上述した代替実装のいずれか又は全ては、本開示の更なる混成の実装を形成するために望まれる任意の組合せで使用され得ることに注意されたい。

更に、本開示の特定の実装を説明及び例示してきたが、本開示はそのように説明及び例示した部品の特定の形態及び構成に限定されるべきではない。本開示の範囲は、本明細書に添付した特許請求の範囲、本明細書で提起する任意の今後の特許請求の範囲によって、及び、異なる出願、及び、均等物定義されるべきである。

〔実施の態様〕
（１） 周囲光不足の環境内の内視鏡と共に使用されるデジタル画像処理方法であって、
可視、赤外線、又は、紫外線の電磁放射線源を使用して環境を照明することと、
シーンをセンサの画素アレイ上へ連続的に集束させることと、
反射された電磁放射線を前記画素アレイで感知することであって、前記画素アレイは、画像データを生成する、感知することと、
画像フレームを前記画像データから作成することと、
画像テクスチャ及びエッジを前記画像フレーム内で検出することと、
前記画像フレーム内のテクスチャ及びエッジを強調することと、
メモリから、画素技術及び適用されたセンサ利得に関連する特性を検索することであって、
前記センサによって作成された画像フレーム内のノイズの大きさの予想を評価し、
前記ノイズ予想を使用して、エッジ強調アプリケーションを制御する、ことと、
複数の画像フレームを連続して結合することによって画像のストリームを作成することと、を含む、方法。
（２） 前記エッジ強調は、
光信号（photo-signal）の変動によるノイズの変動に対応する、前記画素アレイによって生成された当初の画像内の複数の強調を含む、実施態様１に記載の方法。
（３） 光子到着のポアソン統計と前記画素アレイ及びその読み出し電子部品から生じる電子ノイズとの組合せに基づいてノイズ補正を計算することを更に含む、実施態様２に記載の方法。
（４） 前記画素アレイ内の各画素の変換利得、前記適用されたセンサ利得、及び、デジタイザの電圧範囲がわかって、予想ノイズを計算することを更に含む、実施態様２に記載の方法。
（５） 前記予想ノイズの経験的な判定を前記画素アレイについて行われた室内実験のデータベースから導出することを更に含む、実施態様２に記載の方法。

（６） 照明のレベルを変えることと、前記ノイズがＤＮ^２であることに対して前記信号をデジタル数字（ＤＮ）でプロットすることと、前記信号をメモリに再符号化することとを更に含む、実施態様５に記載の方法。
（７） 前記プロット内の勾配を測定することを含む、実施態様６に記載の方法。
（８） 前記経験的な判定は、複数の適用されたセンサ利得設定について繰り返される、実施態様５に記載の方法。
（９） 適用されたエッジ強調の前記度合いは、前記検出されたエッジに適用されたデジタル利得係数により支配され、該デジタル利得係数は、予想ノイズに依存する、実施態様１に記載の方法。
（１０） 前記デジタル利得係数は、各画素について、又は、画素の局所的グループ内で局所的に評価される、実施態様９に記載の方法。

（１１） 前記デジタル利得係数は、前記適用されたセンサ利得に基づいてフレーム全体について判定される、実施態様９に記載の方法。
（１２） 前記デジタル利得係数は、各画素の近傍に位置する前記予想ノイズとのエッジ強度パラメータの比較から導出される、実施態様９に記載の方法。
（１３） 前記エッジ強度パラメータは、各々に異なるフィルターカーネルが適用された、前記当初の画像の輝度成分の２つの空間フィルタリング後のバージョン間の違いの係数であるとみなされる、実施態様１２に記載の方法。
（１４） 前記エッジ強度パラメータは、前記当初のフレームの輝度成分の１つの空間フィルタリング後のバージョンと１つのフィルタリング前のバージョンとの前記違いの係数であるとみなされる、実施態様１２に記載の方法。
（１５） エッジ強調の前記度合いを制御する前記方法は、前記デジタル利得係数を前記エッジ強度パラメータに適用して、結果を前記当初の画像の前記輝度成分に追加することを伴う、実施態様９に記載の方法。

（１６） スタッキングされる複数の基材上に配置された複数の画素アレイの前記画像フレームを結合することによって３次元画像ストリームを作成することを更に含む、実施態様１に記載の方法。
（１７） デジタル画像処理システムであって、
周囲光不足の環境において使用される内視鏡装置と、
環境を照明する可視、赤外線、又は、紫外線の電磁放射線源と、
画素アレイを含む画像センサであって、シーンは、前記画素アレイ上へ連続的に集束される、画像センサと、を備え、
前記画像センサは、反射された電磁放射線を前記画素アレイで感知し、前記画素アレイは、画像データを生成し、
画像フレームは、前記画像データから作成され、
プロセッサは、
画像テクスチャ及びエッジを前記画像フレーム内で検出し、
前記画像フレーム内のテクスチャ及びエッジを強調し、
メモリから、画素技術及び適用されたセンサ利得に関連する特性を検索し、前記センサによって作成された画像フレーム内のノイズの大きさの予想を評価し、前記ノイズ予想を使用して、エッジ強調アプリケーションを制御し、
画像のストリームは、複数の画像フレームを連続して結合することによって作成される、デジタル画像処理システム。
（１８） 前記エッジ強調は、
光信号の変動によるノイズの変動に対応する、前記画素アレイによって生成された当初の画像内の複数の強調を含む、実施態様１７に記載のシステム。
（１９） 前記システムは、光子到着のポアソン統計と前記画素アレイ及びその読み出し電子部品から生じる電子ノイズとの組合せに基づいてノイズ補正を計算することを更に含む、実施態様１８に記載のシステム。
（２０） 前記システムは、前記画素アレイ内の各画素の変換利得、前記適用されたセンサ利得、及び、デジタイザの電圧範囲がわかって予想ノイズを計算することを更に含む、実施態様１８に記載のシステム。

（２１） 前記システムは、前記予想ノイズの経験的な判定を前記画素アレイについて行われた室内実験のデータベースから導出することを更に含む、実施態様１８に記載のシステム。
（２２） 前記システムは、照明のレベルを変えることと、前記ノイズがＤＮ^２であることに対して前記信号をデジタル数字（ＤＮ）でプロットすることと、該信号をメモリに再符号化することとを更に含む、実施態様２１に記載のシステム。
（２３） 前記システムは、前記プロット内の勾配を測定することを更に含む、実施態様２２に記載のシステム。
（２４） 前記経験的な判定は、複数の適用されたセンサ利得設定について繰り返される、実施態様２１に記載のシステム。
（２５） 適用されたエッジ強調の前記度合いは、前記検出されたエッジに適用されたデジタル利得係数により支配され、該デジタル利得係数は、予想ノイズに依存する、実施態様１７に記載のシステム。

（２６） 前記デジタル利得係数は、各画素について、又は、画素の局所的グループ内で局所的に評価される、実施態様２５に記載のシステム。
（２７） 前記デジタル利得係数は、前記適用されたセンサ利得に基づいてフレーム全体について判定される、実施態様２５に記載のシステム。
（２８） 前記デジタル利得係数は、各画素の近傍に位置する前記予想ノイズとのエッジ強度パラメータの比較から導出される、実施態様２５に記載のシステム。
（２９） 前記エッジ強度パラメータは、各々に異なるフィルターカーネルが適用された、前記当初の画像の輝度成分の２つの空間フィルタリング後のバージョン間の違いの係数であるとみなされる、実施態様２８に記載のシステム。
（３０） 前記エッジ強度パラメータは、前記当初のフレームの輝度成分の１つの空間フィルタリング後のバージョンと１つのフィルタリング前のバージョンとの違いの係数であるとみなされる、実施態様２８に記載のシステム。

（３１） エッジ強調の前記度合いを制御する前記システムは、前記エッジ強度パラメータに前記デジタル利得係数を適用して、結果を前記当初の画像の前記輝度成分に追加することを伴う、実施態様２５に記載のシステム。
（３２） 前記システムは、スタッキングされる複数の基材上に配置された複数の画素アレイの前記画像フレームを結合することによって３次元画像ストリームを作成することを更に含む、実施態様１７に記載のシステム。

Claims (5)

1. デジタル画像処理システムであって、
   周囲光不足の環境において使用される内視鏡装置と、
   環境を照明する可視、赤外線、又は、紫外線の電磁放射線源と、
   画素アレイを含む画像センサであって、シーンは、前記画素アレイ上へ連続的に集束される、画像センサと、を備え、
   前記画像センサは、反射された前記電磁放射線を前記画素アレイで感知し、前記画素アレイは、画像データを生成し、
   画像フレームは、前記画像データから作成され、
   プロセッサは、
   画像テクスチャ及びエッジを前記画像フレーム内で検出し、
   前記画像フレーム内の前記画像テクスチャ及びエッジを強調し、
   メモリから、前記画像フレーム内の前記画像テクスチャ及びエッジの強調に関連する内界センサ特性を読み出し、前記内界センサ特性が、画素又は画素グループに対する既知の変換利得及びＡＤコンバータの電圧振幅を含み、前記既知の変換利得、前記ＡＤコンバータの電圧振幅及び前記内界センサ上で適用される絶対全体線形利得に基づき前記画像フレーム内の予想ノイズの大きさを決定し、前記予想ノイズを使用して、前記画像フレーム内のテクスチャ及びエッジの強調を制御し、
   画像のストリームは、複数の画像フレームを連続して結合することによって作成される、デジタル画像処理システム。
2. 前記エッジの強調は、
   ショットノイズの変動に対応する、前記画素アレイによって生成された当初の画像内の複数の前記画像テクスチャ及びエッジの強調を含む、請求項１に記載のシステム。
3. 前記システムは、前記画素アレイ内の各画素の前記既知の変換利得、前記内界センサ上で適用される絶対全体線形利得、及び、前記ＡＤコンバータの電圧振幅がわかって予想ノイズを計算することを更に含む、請求項２に記載のシステム。
4. 前記既知の変換利得は、各画素について、又は、画素の局所的グループ内で局所的に評価される、請求項１に記載のシステム。
5. 前記システムは、スタッキングされる複数の基材上に配置された複数の画素アレイの前記画像フレームを結合することによって３次元画像ストリームを作成することを更に含む、請求項１に記載のシステム。

Images