JP7012291B2

JP7012291B2 - 画像処理装置、画像処理装置の作動方法およびプログラム

Info

Publication number: JP7012291B2
Application number: JP2019526420A
Authority: JP
Inventors: 宗憲福西; 徳道津村; 幸樹栗田
Original assignee: Chiba University NUC; Olympus Corp
Current assignee: Chiba University NUC; Olympus Corp
Priority date: 2017-06-26
Filing date: 2017-06-26
Publication date: 2022-01-28
Anticipated expiration: 2037-06-26
Also published as: US20200121192A1; JPWO2019003285A1; US11304611B2; WO2019003285A1

Description

本発明は、動画中に含まれる生体起因の局所的かつ微小変動を表示する画像処理装置、画像処理方法およびプログラムに関する。

従来、外科手術または内視鏡手術においては、医師が血管の位置を把握しながら手技を行う。医師は、血管が手術対象となる粘膜または臓器表面等の生体表面近くにある場合、血管の存在を容易に視認することができるが、血管が生体表面の下層にある場合、表面から血管を視認することが難しく困難が伴う。このように血管が生体表面の下層にある場合、医師は、生体表面の拍動を手で確認しながら手技を行うことがあるが、解剖学的な知見によって血管の配置を推測しつつ手技を実施することもあり、自身の経験則に頼っているのが現状である。このため、外科手術または内視鏡手術においては、映像解析によって生体表面から視認困難な血管の配置等を医師へ出力することができれば、医師の負担を軽減することが考えられる。

近年、映像処理技術の進展に伴い、動画中に含まれる微小な動きや色変化を強調するｖｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法が提案されている（非特許文献１参照）。この方法では、動画の各フレームについて空間的なローパスフィルタを施してボケ動画を生成し、このボケ動画に対して時間的なバンドパスフィルタを施して所望の周波数の変動成分を抽出した後、抽出した変動成分にゲインを乗算しながら、入力動画と合成することで、局所変動が現れた出力画像を得る。この方法により、人間が視認困難な微小変動を可視化することができ、生体表面から下層の血管の存在の有無を知らせるための手がかりを提供することが考えられる。

G.Balakrishnan, F.Durand, and J.Guttag, "Detecting pulse from head motions in video," in Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on. IEEE, 2013, pp. 3430－3437

しかしながら、上述したｖｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法（以下、「従来方法」という）では、動画に含まれる時間的に変動するＲＧＢ信号成分を強調しているため、生体に起因した微小変動だけでなく、生体の陰影変化も強調されてしまうことで、所望の生体起因の局所的かつ微小変動が陰影変化に埋もれてしまい、生体起因の変動のみを視認することが困難であった。

本発明は、上記に鑑みてなされたものであって、陰影変化による影響を抑え、生体起因の変動を視認することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、動画データを取得する取得部と、前記動画データを構成する複数のフレームのうち所定のフレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定部と、前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成部と、を備えることを特徴とする。

また、本発明に係る画像処理方法は、動画データを取得する取得ステップと、前記動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、を実行させることを特徴とする。

また、本発明に係るプログラムは、画像処理装置に、画像処理装置に、動画データを取得する取得ステップと、前記動画データを構成する複数のフレームのうち所定のフレームの画像データにおいて成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、前記生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、を実行させることを特徴とする。

本発明によれば、陰影変化による影響を抑え、生体起因の変動を視認することができるという効果を奏する。

図１は、本実施の形態１に係る撮像システムの機能構成を示すブロック図である。図２は、本実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。図３は、図２の周期変動動画生成処理の概要を示すフローチャートである。図４は、２層からなる生体の断面を模式的に示す図である。図５は、式（６）の各ベクトルの関係を示す図である。図６Ａは、画像処理装置に入力された動画データの入力フレームの画像の一例を示す図である。図６Ｂは、陰影成分の画像の一例を示す図である。図６Ｃは、第１独立成分の画像の一例を示す図である。図６Ｄは、第２独立成分の画像の一例を示す図である。図７は、本実施の形態２に係る動画生成部の機能構成を示すブロック図である。図８は、本実施の形態２に係る画像処理装置が実行するフローチャートである。図９Ａは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。図９Ｂは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。図９Ｃは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。図９Ｄは、撮像装置が生成した元の動画データに対応する動画の一例を模式的に示す図である。図１０Ａは、従来のＶｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。図１０Ｂは、従来のＶｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。図１０Ｃは、従来のＶｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。図１０Ｄは、従来のＶｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。図１１Ａは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。図１１Ｂは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。図１１Ｃは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。図１１Ｄは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図である。図１２は、本実施の形態３に係る動画生成部の機能構成を示すブロック図である。図１３は、本実施の形態３に係る画像処理装置が実行するフローチャートである。図１４は、本実施の形態３に係る周波数解析処理部が周波数解析を行う生体成分の周期変動動画の１フレームの画像の一例を示す図である。図１５Ａは、図１４に示す領域Ｒ１における生体成分の周期変動動画の生体成分値の時間変動を示す図である。図１５Ｂは、図１４に示す領域Ｒ１における生体成分値の時間変動の周波数解析結果を示す図である。図１６Ａは、図１４に示す領域Ｒ２における生体成分の周期変動動画の生体成分値の時間変動と生体成分値の時間変動の周波数解析結果を示す図である。図１６Ｂは、図１４に示す領域Ｒ２における生体成分値の時間変動の周波数解析結果を示す図である。図１７は、生体周期変動の空間分布の一例を示す図である。図１８は、本実施の形態４に係る動画生成部の機能構成を示すブロック図である。図１９は、本実施の形態４に係る画像処理装置が実行する処理の概要を示すフローチャートである。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被写体を連続的に撮像して動画データを生成して表示する撮像システムを例に説明する。また、以下の実施の形態により本発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本実施の形態１に係る撮像システムの機能構成を示すブロック図である。図１に示す撮像システム１は、患者等の被写体を連続的に撮像して生成された動画データに対応する動画中に含まれる生体起因の局所的かつ微小変動を強調して表示するシステムである。図１に示すように、撮像システム１は、被写体を連続的に撮像して時間的に連続する画像データのフレームで構成された動画データを生成する撮像装置２と、撮像システム１の各種の操作情報の入力を受け付ける入力部３と、撮像システム１に関する各種情報や動画データに対応する動画を表示する表示部４と、撮像装置２が生成した動画データを取得して所定の画像処理を行って表示部４へ出力する画像処理装置５と、を備える。

まず、撮像装置２について説明する。
図１に示すように、撮像装置２は、光学系２１と、撮像部２２と、を備える。

光学系２１は、１または複数のレンズを用いて構成され、焦点距離を変更するズーム機能と、焦点位置を変更するフォーカス機能と、を有する。光学系２１は、被写体像を集光し、撮像部２２の受光面に被写体像を結像する。

撮像部２２は、後述する画像処理装置５の制御のもと、光学系２１が結像した被写体像を所定のフレームレート（例えば６０ｆｐｓや１２０ｆｐｓ）に沿って連続的に撮像して動画データを生成し、この動画データを画像処理装置５へ出力する。撮像部２２は、少なくとも、被写体像を受光して光電変換を行って画像信号（電気信号）を生成するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子が生成した画像信号に所定の信号処理（例えばゲインアップ処理）を行う信号処理回路と、信号処理回路が信号処理を行ったアナログの画像信号をデジタルの画像信号に変換して動画データまたは画像データとして出力するＡ／Ｄ変換回路と、を用いて構成される。

次に、入力部３について説明する。
入力部３は、撮像システム１の各種の操作情報の入力を受け付ける。具体的には、入力部３は、撮像装置２に撮影を指示する指示信号の入力、撮像装置２が生成した動画データのゲインや色調の変更を指示する指示信号の入力、画像処理装置５による画像処理の変更を指示する指示信号の入力等を受け付ける。入力部３は、キーボード、マウスおよびタッチパネル等の入力デバイスを用いて構成される。なお、入力部３は、必ずしも有線である必要はなく、例えば無線であってもよい。

次に、表示部４について説明する。
表示部４は、画像処理装置５の制御のもと、画像処理装置５によって画像処理が施された動画データに対応する動画や画像データに対応する画像を表示する。また、表示部４は、撮像システム１に関する各種情報を表示する。表示部４は、有機ＥＬ（Electro Luminescence）や液晶等の表示パネル等を用いて構成される。なお、表示部４は、必ずしも有線である必要はなく、例えば無線であってもよい。

次に、画像処理装置５について説明する。
画像処理装置５は、撮像装置２によって生成された動画データを取得する取得部５１と、画像処理装置５が実行する各種のプログラムや処理中のデータを記録する記録部５２と、画像処理装置５を含む撮像システム１の各部を制御する制御部５３と、取得部５１が取得した動画データに対して画像処理を施して表示部４へ出力する画像処理部５４と、を備える。

取得部５１は、撮像装置２を含む撮像システム１の態様に応じて適宜構成される。例えば、取得部５１は、撮像装置２との間で、動画データの受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された動画データを読み出すリーダ装置として構成される。また、取得部５１は、撮像装置２によって生成された動画データを記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって動画データを取得する。さらに、取得部５１は、撮像装置２からケーブルを介して動画データが入力されるインターフェース装置等で構成してもよい。もちろん、取得部５１は、撮像装置２から無線通信によって動画データが入力される無線通信インターフェース装置等で構成してもよい。

記録部５２は、ＦｌａｓｈメモリやＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。記録部５２は、取得部５１が取得した動画データを一時的に記録するフレームメモリ５２１と、画像処理装置５が実行する各種プログラムを記録するプログラム記録部５２２と、を有する。

制御部５３は、撮像システム１の各部を統括的に制御する。制御部５３は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサまたはＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部５３が汎用プロセッサである場合、記録部５２が記憶する各種プログラムを読み込むことによって画像処理装置５を構成する各部への指示やデータの転送等を行い、画像処理装置５全体の動作を統括して制御する。また、制御部５３が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部５２が記憶する各種データ等を用いることで、プロセッサと記録部５２が協働または結合して種々の処理を実行してもよい。

画像処理部５４は、ＣＰＵ等の汎用プロセッサまたはＡＳＩＣやＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。画像処理部５４は、制御部５３の制御のもと、記録部５２のフレームメモリ５２１から動画データを取得し、取得した動画データに対応する動画中に含まれる生体起因の局所的かつ微小変動を強調して表示するための画像処理を行って表示部４へ出力する。画像処理部５４は、生体成分分布推定部５４１と、動画生成部５４２と、を有する。

生体成分分布推定部５４１は、動画データを構成する複数のフレームのうち所定のフレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、この推定した各フレーム画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成する。具体的には、生体成分分布推定部５４１は、動画データを構成する複数のフレームの各フレームの画像データまたは所定のフレーム数毎の画像データ（例えば１フレームおきの画像データ、または１０フレームおきの画像データ等）に対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、この推定したフレームの画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成する。より具体的には、生体成分分布推定部５４１は、生体成分に含まれる２つ以上の独立成分の空間的な分布を推定し、この２つ以上の独立成分を動画データから抽出した生体成分動画データを生成する。ここで、少なくとも１つの生体成分は、少なくともヘモグロビン、酸化ヘモグロビン、還元ヘモグロビン、ビリルビン（ヘマトイジン）、ポルフィリンおよびヘモジデリンの１つ以上である。なお、少なくとも１つの生体成分は、メラニン、チトクロムおよびミオグロビンのいずれか１つ以上を除く生体成分であってもよい。以下においては、２つの生体成分をメラニン（第１独立成分）およびヘモグロビン（第２独立成分）として説明する。

動画生成部５４２は、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。具体的には、動画生成部５４２は、生体成分動画データに対して、所定の周波数成分を抽出するバンドパスフィルタを施して生体成分の周期変動動画データを生成する。ここで、バンドパスフィルタの周波数特性は、生体成分に応じて適宜設定される。具体的には、バンドパスフィルタの周波数特性は、所定の周期で変動する生理現象に基づく周期信号を透過させるように設定される。例えば、バンドパスフィルタの周波数特性は、少なくとも生体の心拍、脈波、痙攣および呼吸の１つ以上に基づく周期信号を透過させるように設定される。

〔画像処理装置の処理〕
次に、画像処理装置５が実行する処理について説明する。図２は、画像処理装置５が実行する処理の概要を示すフローチャートである。

図２に示すように、まず、取得部５１は、撮像装置２から動画データを取得する（ステップＳ１０１）。この場合、取得部５１は、記録部５２のフレームメモリ５２１に動画データを一時的に記録する。

続いて、画像処理部５４は、フレームメモリ５２１に記録された動画データから生体成分の周期変動を抽出した生体成分動画データを生成する周期変動動画生成処理を実行する（ステップＳ１０２）。ステップＳ１０２の後、画像処理装置５は、本処理を終了する。

〔周期変動動画生成処理〕
図３は、図２のステップＳ１０２における周期変動動画生成処理の概要を示すフローチャートである。

図３に示すように、まず、生体成分分布推定部５４１は、フレームメモリ５２１に記録された動画データを取得する（ステップＳ２０１）。

続いて、生体成分分布推定部５４１は、動画データを構成する各フレームの画像データに対して成分分離処理を行う（ステップＳ２０２）。ステップＳ２０２の後、画像処理装置５は、後述するステップＳ２０３へ移行する。

ここで、上述したステップＳ２０２において生体成分分布推定部５４１が行う成分分離処理の詳細について説明する。

生体成分分布推定部５４１は、動画データを構成する各フレーム、即ち、各ＲＧＢ画像データを入力して、所望の成分画像データを取得する成分分離処理を行う。ここで、ＲＧＢ画像データとは、各画素値において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像データである。

また、撮像装置２が受光する反射光は、図４に示すように、図示しない光源によって生体Ｚ１表面に光が照射された場合、生体Ｚ１表面で反射する直接反射光Ｑ１（表面反射光）と、生体Ｚ１内部に入ってから反射される内部反射光Ｌと、に分類することができる。本実施の形態１では、生体成分を推定するのに直接反射光Ｑ１が関係ない。このため、以下においては、内部反射光Ｌについて説明する。なお、直接反射光Ｑ１は、光学系２１の前面に、所定の波長帯域の光のみを透過させる偏光フィルタ等を設けることによって除去する。もちろん、画像処理等によって直接反射光Ｑ１の成分を除去してもよい。また、図４においては、生体Ｚ１を模式的に説明するため、Ａ層とＢ層とからなる２層モデルとする。さらに、Ａ層には、物質ａが存在し、Ｂ層には、物質ｂが存在する。さらにまた、図４においては、陰影Ｗ１をハッチングで表現する。

図４において、位置（ｘ，ｙ）の波長λの内部反射光Ｌ（ｘ，ｙ，λ）は、モデファイド・ランベルト・ベールの法則則（Modified Lambert-Beer Law）を用いて次式（１）で与えられる。

Ｅ（ｘ，ｙ，λ）は、照射照度を示し、ρ_ａ（ｘ，ｙ）が物質ａの濃度を示し、ρ_ｂ（ｘ，ｙ）が物質ｂの濃度を示し、σ_ａ（ｘ，ｙ）が吸収に関わる面積を示し、σ_ｂ（ｘ，ｙ）が吸収に関わる面積を示し、ｌ_Ａ（λ）がＡ層の平均光路長を示し、ｌ_Ｂ（λ）がＢ層の平均光路長を示す。

ここで、撮像信号を、ν_ｉ（ｘ，ｙ），ｉ＝Ｒ，Ｇ，Ｂとすると、以下の式（２）が成り立つ。

ｓ_ｉ（λ）が撮像装置２の感度（ＩＳＯ感度）を示し、ｋが係数（ゲイン）を示す。

簡易にするため、ｓ_ｉ（λ）＝δ（λ-λ_ｉ）とし、

ρ（ｘ，ｙ）が陰影係数を示す。

上述した式（２）および（３）より、撮像信号ν_ｉ（ｘ，ｙ）は、

以上より、次式（５）を得る。

ただし、

図５は、式（６）の各ベクトルの関係を示す図である。図５に示すように、対数変換後のＲＧＢ信号ν^ｌｏｇは、σ_ａ，σ_ｂ，１，ｅ^ｌｏｇ（ｘ，ｙ）の４ベクトルの合成で表現することができる。また、予め生体色平面を実験的に定義しておけば、生体成分分布推定部５４１は、観察信号のＲＧＢ値の対数ベクトルν^ｌｏｇをベクトル１に沿って射影し、そのベクトルσ_ａ，σ_ｂ方向の係数の値を求めることで、物質ａ（第１独立成分）および物質ｂ（第２独立成分）それぞれの成分量（空間的な分布）を推定することができる。

図６Ａ～図６Ｄは、各成分を分離した画像の一例を示す図である。図６Ａが画像処理装置５に入力された動画データの入力フレームの画像の一例を示す図であり、図６Ｂが陰影成分の画像の一例を示す図であり、図６Ｃが第１独立成分の画像の一例を示す図であり、図６Ｄが第２独立成分の画像の一例を示す図である。

図６Ａ～図６Ｄに示すように、生体成分分布推定部５４１は、上述した処理を行い、入力フレームの画像から陰影成分を除去する。これにより、被写体の微小な動きに起因した陰影成分の変動による影響を排除することができる。

ここで、上述するモデルにおいて、例えば物質ａをメラニン、物質ｂをヘモグロビンとした場合において、生体成分分布推定部５４１は、ヘモグロビン成分（第２独立成分）を抽出することができる。このとき、生体成分分布推定部５４１が抽出する生体成分は、予め生成する生体色平面に依存し、ヘモグロビン、酸化ヘモグロビン、還元ヘモグロビンおよびビリルビンのいずれか１つを抽出しても同様の効果を得ることができる。

また、生体成分分布推定部５４１が抽出する成分は、ヘモグロビン、酸化ヘモグロビン、還元ヘモグロビンおよびビリルビンのいずれか２つ以上を組み合わせた複数成分を代表する軸として定義することもできる。もちろん、生体成分分布推定部５４１は、メラニン、チトクロムおよびミオグロビン等の周期変動しない生体成分（第１独立成分）と、それ以外の生体成分に分離してもよい。なお、生体成分分布推定部５４１が実行する成分分離処理は、周知の技術（例えば特許第４７５６３９８号公報、または Wang, W.,den Brinker, A.,Stuijk, S. and de Haan, G., “Algorithmic principles of remote-PPG,” IEEE Trans Biomed Eng 2016 Sep 13. Epub 2016 Sep 13.等を参照）を用いてもよい。

図３に戻り、ステップＳ２０３以降の説明を続ける。
ステップＳ２０３において、動画データを構成する全フレームの画像データに対する処理が終了した場合（ステップＳ２０３：Ｙｅｓ）、画像処理装置５は、後述するステップＳ２０４へ移行する。これに対して、動画データを構成する全フレームの画像データに対する処理が終了していない場合（ステップＳ２０３：Ｎｏ）、画像処理装置５は、上述したステップＳ２０２へ戻り、動画データを構成する全フレームの画像データに対する成分分離処理が終了するまで、繰り返し行う。

ステップＳ２０４において、動画生成部５４２は、ステップＳ２０２で成分分離処理を行った生体成分動画データに対して時間的なバンドパスフィルタ処理を行い、所望の周期で変動する生体成分の周期変動動画データを生成する（ステップＳ２０４）。通常、心拍数は、年齢とともに変化するが、通常、６０ｂｐｍ（beat per minute）である。このため、動画生成部５４２は、生体成分動画データに対して、心拍数を表す６０ｂｐｍの周波数成分を包含する０．５～３Ｈｚ（３０～１８０ｂｐｍ）成分を抽出するバンドパスフィルタを用いてバンドパスフィルタ処理を行うことによって、生体成分である心拍変動成分を抽出した周期変動動画データを生成する。なお、生体成分とバンドパスフィルタの周波数特性との関係は、１対１である必要はなく、生体成分に応じて複数設けてもよい。

続いて、動画生成部５４２は、ステップＳ２０４で生成した生体成分の周期変動動画データを記録部５２に出力する（ステップＳ２０５）。なお、記録部５２に出力した周期変動動画データは、そのまま外部の表示装置に表示したり、他の装置に転送して使用したりすることができる。ステップＳ２０５の後、画像処理装置５は、上述した図２のステップＳ１０２へ戻る。

以上説明した本実施の形態１によれば、生体成分分布推定部５４１が動画データを構成する複数のフレームのうち所定のフレーム、例えば各フレームの画像データに対して成分スペクトルが時間的に変動する所定の生体成分の空間的な分布を推定し、この推定した各フレームの画像データにおける生体成分の空間的な分布に基づいて、動画データから生体成分を抽出した生体成分動画データを生成した後、動画生成部５４２が生体成分分布推定部５４１によって生成された陰影変化に関係しない生体成分の生体成分動画データに対して、所定の周波数成分を抽出するバンドパスフィルタを施して生体成分の周期変動動画データを生成するので、陰影成分の変動に起因したアーチファクト（Artifact）を排除しつつ、生体起因の微小な変動のみを視認することができる。

（実施の形態２）
次に、本実施の形態２について説明する。本実施の形態２に係る画像処理部は、上述した実施の形態１に係る画像処理部５４と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態２に係る画像処理部の構成を説明後、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図７は、本実施の形態２に係る動画生成部の機能構成を示すブロック図である。図７に示すように、画像処理部５４は、上述した実施の形態１に係る動画生成部５４２に換えて、動画生成部５４２ａを備える。

動画生成部５４２ａは、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。また、動画生成部５４２ａは、フレーム合成処理部５４２１を有する。

フレーム合成処理部５４２１は、周期変動動画データと動画データとを重み付け合成することによって、生体成分の微小変動が強調された強調動画データを生成する。具体的には、フレーム合成処理部５４２１は、周期変動動画データと動画データとを合成する比率が１となるように合成することによって、生体成分の微小変動が強調された強調動画データを生成する。例えば、フレーム合成処理部５４２１は、周期変動動画データに乗じる重み付け係数を０．５とし、動画データに乗じる重み付け係数を０．５として合成することによって、生体成分の微小変動が強調された強調動画データを生成する。

〔画像処理装置の処理〕
次に、画像処理装置５が実行する処理について説明する。図８は、画像処理装置５が実行するフローチャートである。図８に示すように、本実施の形態２に係る画像処理装置５は、上述した実施の形態１のステップＳ１０１およびステップＳ１０２の処理に加えて、ステップＳ１０３およびステップＳ１０４の処理をさらに実行する。このため、以下においては、ステップＳ１０３およびステップＳ１０４について説明する。

ステップＳ１０３において、フレーム合成処理部５４２１は、生体成分分布推定部５４１が生成した周期変動動画データと動画データとを重み付け合成することによって生体微小変動を強調した強調動画データを生成する生体微小変動の強調動画生成処理を実行する。

続いて、フレーム合成処理部５４２１は、ステップＳ１０３で生成した生体微小変動の強調動画データを表示部４へ出力する（ステップＳ１０４）。なお、ステップＳ１０４の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、そのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ１０４の後、画像処理装置５は、本処理を終了する。

ここで、表示部４が表示する強調動画データに対応する強調動画について説明する。図９Ａ～図９Ｄは、撮像装置２が生成した元の動画データに対応する動画の一例を模式的に示す図である。図１０Ａ～図１０Ｄは、従来のＶｉｄｅｏＭａｇｎｉｆｉｃａｔｉｏｎ法による動画データに対応する動画の一例を模式的に示す図である。図１１Ａ～図１１Ｄは、本実施の形態２に係る強調動画データに対応する強調動画の一例を模式的に示す図であり、生体成分として第１独立成分を強調した強調動画の一例を模式的に示すである。なお、図１０Ａ～図１０Ｄでは、陰影部分をハッチングで表現する。また、図１１Ａ～図１１Ｄでは、強調される部分をハッチングで表現する。なお、図９Ａ～図９Ｄ、図１０Ａ～図１０Ｄおよび図１１Ａ～図１１Ｄでは、口腔内における舌の裏面における静脈（舌下脈絡）を模式的に示す。

図９Ａ～図９Ｄの画像Ｐ１～画像Ｐ４に示すように、元の動画では、心拍に起因した変動（舌下脈絡の変動）を視認することが困難である（図９Ａ→図９Ｂ→図９Ｃ→図９Ｄ）。また、図１０Ａ～図１０Ｄの画像Ｐ１０～画像Ｐ１３に示すように、従来方法では、フレームによっては全体的に暗くなる（図１０Ａ→図１０Ｂ→図１０Ｃ→図１０Ｄ）。従来方法は、画像データに含まれるＲＧＢ信号を強調しているため、陰影成分の変動が強調されてしまう（例えば図１０Ａの画像Ｐ１０や図１０Ｃの画像Ｐ１２）。このため、心拍に起因した変動（舌下脈絡の変動）を視認することが困難である

これに対して、本実施の形態２では、図１１Ａ～図１１Ｄの画像Ｐ２１～Ｐ２４に示すように、陰影成分の変動に起因したアーチファクトを排除しつつ、血管位置のみ周期変動（舌下脈絡の変動をハッチングで表現）を強調することができる（図１１Ａ→図１１Ｂ→図１１Ｃ→図１１Ｄ）。この理由は、生体成分の成分分離によって陰影成分を除去しつつ、所望の生体成分（第２独立成分）だけを強調することができるからである。

以上説明した本実施の形態２によれば、フレーム合成処理部５４２１が周期変動動画データと動画データとを重み付け合成することによって、生体成分の微小変動が強調された強調動画データを生成して表示部４へ出力するので、被写体の動きや照明変動（強度や照射方向）に起因した陰影変化（例えば凹凸の変化や表面形状の変化）を取り除き、生体起因の局所変動だけを強調して表示することが可能となり、生体の表層血管の有無等を容易に視認することができる。

なお、本実施の形態２では、フレーム合成処理部５４２１が周期変動動画データと動画データとを合成する比率が均等になるように重み付け合成することによって、ヘモグロビンの時間的変化を強調した強調動画データを生成していたが、これに限定されることなく、フレーム合成処理部５４２１は、入力部３から入力される指示信号に応じた重み付け係数によって周期変動動画データと動画データとを合成する比率が変更して重み付け合成してもよい。例えば、フレーム合成処理部５４２１は、周期変動動画データの重み付け係数が１となるように、周期変動動画データと動画データとを合成することによって、ヘモグロビン成分（第２独立成分）の時間的変化のみを強調した強調動画データを生成してもよい。

また、本実施の形態２では、フレーム合成処理部５４２１が周期変動動画データと動画データとを合成していたが、動画データに換えて、ヘモグロビン成分と異なる生体成分を抽出した周期変動動画データとヘモグロビン成分を抽出した周期変動動画データとを重み付け合成することによって、２つの生体成分の局所的かつ微小変動が強調された強調動画データを生成して表示部４へ出力してもよい。

（実施の形態３）
次に、本実施の形態３について説明する。本実施の形態３に係る画像処理部は、上述した実施の形態１に係る画像処理部５４と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態３に係る画像処理部の構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図１２は、本実施の形態３に係る動画生成部の機能構成を示すブロック図である。図１２に示すように、画像処理部５４は、上述した実施の形態１に係る動画生成部５４２に換えて、動画生成部５４２ｂを備える。

動画生成部５４２ｂは、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。また、動画生成部５４２ｂは、周波数解析処理部５４２２を有する。

周波数解析処理部５４２２は、周期変動動画データに対して、各フレームの画像データにおける所定位置（映像位置）の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、輝度値および色の少なくとも一方を設定した表示画像データを生成して表示部４へ出力する。

〔画像処理装置の処理〕
図１３は、画像処理装置５が実行する処理の概要を示すフローチャートである。図１１において、ステップＳ３０１およびステップＳ３０２は、上述した図２のステップＳ１０１およびステップＳ１０２それぞれに対応する。

ステップＳ３０３において、周波数解析処理部５４２２は、生体成分の周期変動動画データを入力して生体周期変動の空間分布を出力するための周波数解析処理を実行する。ステップＳ３０３の後、画像処理装置５は、後述するステップＳ３０４へ移行する。

図１４は、周波数解析処理部５４２２が周波数解析を行う生体成分の周期変動動画の１フレームの画像の一例を示す図である。本実施の形態３では、周波数解析処理部５４２２が図１２に示す領域Ｒ１および領域Ｒ２それぞれに対して周波数解析を行う。なお、領域Ｒ１には、口腔内における舌の裏面における静脈（舌下脈絡）が含まれる。

また、図１５Ａおよび図１５Ｂは、図１４に示す領域Ｒ１における生体成分の周期変動動画の生体成分値の時間変動と生体成分値の時間変動の周波数解析結果を示す図である。図１６Ａおよび図１６Ｂは、図１４に示す領域Ｒ２における生体成分の周期変動動画の生体成分値の時間変動と生体成分値の時間変動の周波数解析結果を示す図である。図１７は、生体周期変動の空間分布の一例を示す図である。図１５Ａおよび図１６Ａにおいて、横軸が時刻（ｓｅｃ）を示し、縦軸が成分量を示し、曲線Ｌ１が領域Ｒ１における生体成分値の時間変動を示し、図１５Ｂおよび図１６Ｂにおいて、曲線Ｌ１０が領域Ｒ２における生体成分値の時間変動を示し、曲線Ｌ２が領域Ｒ１における生体成分値の時間変動の周波数解析結果を示し、曲線Ｌ１１が領域Ｒ２における生体成分値の時間変動の周波数解析結果を示す。

図１５Ａに示すように、領域Ｒ１では、心拍に起因した成分値の周期的な変動が認められる。これに対して、図１６Ａに示すように、領域Ｒ２では、心拍に起因した成分値の周期的な変動が認められない。具体的には、図１５Ｂに示すように、領域Ｒ１では、心拍の周波数成分を示す１Ｈｚ前後において、領域Ｒ１のパワースペクトルが大きい値を示す。これに対して、図１６Ｂに示すように、領域Ｒ２では、心拍の周波数成分を示す１Ｈｚ前後において、領域Ｒ２のパワースペクトルが小さい値を示す。周波数解析処理部５４２２は、図１７に示すように、上述した所望の周波数成分である心拍の周波数領域のパワースペクトルの積分値を計算し、パワースペクトルの積分値に応じて色付けを行ったヒートマップ（表示画像データ）を生成する。具体的には、周波数解析処理部５４２２は、パワースペクトルの積分値が大きい値を赤色とし、小さい値を青色となるようにヒートマップを生成する（赤色＞黄色＞青色）。これにより、心拍に起因した局所的かつ微小変動の空間的な分布を可視化することができる。

図１３に戻り、ステップＳ３０４以降の説明を続ける。
ステップＳ３０４において、周波数解析処理部５４２２は、生体成分の周期変動動画に対して周波数解析処理を行って生成した生体周期変動の空間分布を表示部４へ出力する。なお、ステップＳ３０４の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、生体周期変動の空間分布をそのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ３０４の後、画像処理装置５は、本処理を終了する。

以上説明した本実施の形態３によれば、周波数解析処理部５４２２が周期変動動画データに対して、前記各フレームの画像データにおける所定位置の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、色を設定したヒートマップを生成して表示部４へ出力することによって、所望の周波数成分の振幅およびパワースペクトルの少なくとも一方の空間的な分布を出力することができるので、元の動画で視認することが困難な心拍に起因した微小変動の空間的な分布を可視化することができ、生体表面の下層に存在する血管の有無を推定するための補助的な情報を提供することができる。

なお、本実施の形態３では、周波数解析処理部５４２２が周期変動動画データに対して、各フレームの画像データにおける所定位置の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいたヒストグラムを生成して表示部４へ出力してもよい。もちろん、周波数解析処理部５４２２は、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、輝度値を強調した表示画像データを生成して表示部４へ出力してもよい。

（実施の形態４）
次に、本実施の形態４について説明する。本実施の形態４に係る画像処理部は、上述した実施の形態１に係る画像処理部５４と構成が異なるうえ、画像処理装置が実行する処理が異なる。以下においては、本実施の形態４に係る画像処理部の構成を説明後、本実施の形態４に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

図１８は、本実施の形態３に係る動画生成部の機能構成を示すブロック図である。図１８に示すように、画像処理部５４は、上述した実施の形態１に係る動画生成部５４２に換えて、動画生成部５４２ｃを備える。

動画生成部５４２ｃは、生体成分動画データに対して、所定の周波数成分を抽出するフィルタを施して生体成分の周期変動動画データを生成する。また、動画生成部５４２ｃは上述したフレーム合成処理部５４２１と、周波数解析処理部５４２２と、を有する。

図１９は、画像処理装置５が実行する処理の概要を示すフローチャートである。図１９において、ステップＳ４０１～ステップＳ４０２は、上述した図２のステップＳ１０１およびステップＳ１０２それぞれに対応する。

ステップＳ４０３において、入力部３から強調動画を表示する指示信号が入力された場合（ステップＳ４０３：Ｙｅｓ）、画像処理装置は、後述するステップＳ４０４へ移行する。これに対して、入力部３から強調動画を表示する指示信号が入力されていない場合（ステップＳ４０３：Ｎｏ）、画像処理装置は、後述するステップＳ４０６へ移行する。

ステップＳ４０４およびステップＳ４０５は、上述した図８のステップＳ１０３およびステップＳ１０４それぞれに対応する。なお、ステップＳ４０５の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、そのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ４０５の後、画像処理装置５は、本処理を終了する。

ステップＳ４０６およびステップＳ４０７は、上述した図１３のステップＳ３０３およびステップＳ３０４それぞれに対応する。ステップＳ４０７の処理は、必須の処理ではなく、入力部３の操作に応じて画像処理装置５が実行するか否かを選択することができるものであり、生体周期変動の空間分布をそのまま外部の表示部４に表示したり、他の装置に転送して使用したりすることができる。ステップＳ４０７の後、画像処理装置５は、本処理を終了する。

以上説明した本発明の実施の形態４によれば、入力部３の操作に応じて強調動画データまたは所望の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方の空間的な分布を示す表示画像データを表示部４に表示させることができる。

なお、本実施の形態４では、入力部３の操作に応じて強調動画データおよび所望の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方の空間的な分布を示す表示画像データの一方を表示部４に出力していたが、これに限定されることなく、強調動画データおよび表示画像データそれぞれを表示部４に出力してもよい。

（その他の実施の形態）
また、本実施の形態１～４では、撮像システムに、撮像装置、入力部、表示部、記録部および制御部の各々を設けていたが、これらの構成要素は発明の要旨を逸脱しない範囲内で削除してもよい。また、上述した実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。

また、本実施の形態１～４では、撮像装置、入力部および表示部の各々が画像処理装置と別体であったが、一体的に形成してもよい。

また、本実施の形態では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

また、本実施の形態では、伝送ケーブルを介して撮像装置から動画データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、撮像装置から動画データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

また、本実施の形態では、撮像システムであったが、例えば被検体に挿入される軟性型や硬性型の内視鏡、カプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

１，１ａ，１ｂ撮像システム
２撮像装置
３入力部
４表示部
５，５ａ，５ｂ画像処理装置
２１光学系
２２撮像部
５１取得部
５２記録部
５３制御部
５４，５４ａ，５４ｂ画像処理部
５２１フレームメモリ
５２２プログラム記録部
５４１生体成分分布推定部
５４２，５４２ａ，５４２ｂ，５４２ｃ動画生成部
５４２１フレーム合成処理部
５４２２周波数解析処理部

Claims

動画データを取得する取得部と、
前記動画データを構成する複数のフレームのうち所定のフレームの画像データに対して、生体成分に含まれ、その濃度の空間的な分布が時間的に変動する独立成分である、所定の生体成分の濃度の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の濃度の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定部と、
前記生体成分動画データに対して、所定の周期で変動する生理現象の前記周期に対応する所定の周波数成分を抽出するバンドパスフィルタを施して前記生体成分の周期変動動画データを生成する動画生成部と、
を備えることを特徴とする画像処理装置。
前記動画生成部は、前記周期変動動画データと前記動画データとを重み付け合成することによって、前記生体成分の微小変動が強調された強調動画データを生成するフレーム合成処理部を有することを特徴とする請求項１に記載の画像処理装置。
前記動画生成部は、前記周期変動動画データに対して、前記所定のフレームの画像データにおける所定位置の時間的な変動を周波数解析し、かつ、所定の周波数成分の振幅およびパワースペクトルの大きさの少なくとも一方に基づいて、輝度値および色の少なくとも一方を設定した表示画像データを生成して出力する周波数解析処理部を有することを特徴とする請求項１に記載の画像処理装置。
前記生体成分は、
少なくともヘモグロビン、酸化ヘモグロビン、還元ヘモグロビンおよびビリルビンの１つ以上であることを特徴とする請求項１に記載の画像処理装置。
前記生体成分は、
メラニン、チトクロムおよびミオグロビンを除く生体成分であることを特徴とする請求項１に記載の画像処理装置。
画像処理装置の作動方法であって、
画像処理装置の取得部が、動画データを取得する取得ステップと、
画像処理装置の生体成分分布推定部が、前記動画データを構成する複数のフレームのうち所定のフレームの画像データに対して、生体成分に含まれ、その濃度の空間的な分布が時間的に変動する独立成分である、所定の生体成分の濃度の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の濃度の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、
画像処理装置の動画生成部が、前記生体成分動画データに対して、所定の周期で変動する生理現象の前記周期に対応する所定の周波数成分を抽出するバンドパスフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、
を行う画像処理装置の作動方法。
画像処理装置に、
動画データを取得する取得ステップと、
前記動画データを構成する複数のフレームのうち所定のフレームの画像データに対して、生体成分に含まれ、その濃度の空間的な分布が時間的に変動する独立成分である、所定の生体成分の濃度の空間的な分布を推定し、該推定した所定のフレームの画像データにおける生体成分の濃度の空間的な分布に基づいて、前記動画データから前記生体成分を抽出した生体成分動画データを生成する生体成分分布推定ステップと、
前記生体成分動画データに対して、所定の周期で変動する生理現象の前記周期に対応する所定の周波数成分を抽出するバンドパスフィルタを施して前記生体成分の周期変動動画データを生成する動画生成ステップと、
を実行させることを特徴とするプログラム。