JP2023520007A - マルチスペクトル光音響イメージングのためのシステム、方法、及び装置 - Google Patents
マルチスペクトル光音響イメージングのためのシステム、方法、及び装置 Download PDFInfo
- Publication number
- JP2023520007A JP2023520007A JP2022559768A JP2022559768A JP2023520007A JP 2023520007 A JP2023520007 A JP 2023520007A JP 2022559768 A JP2022559768 A JP 2022559768A JP 2022559768 A JP2022559768 A JP 2022559768A JP 2023520007 A JP2023520007 A JP 2023520007A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- multispectral
- photoacoustic imaging
- optoacoustic image
- photoacoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000003384 imaging method Methods 0.000 title claims abstract description 78
- 230000003595 spectral effect Effects 0.000 claims abstract description 89
- 230000008569 process Effects 0.000 claims abstract description 77
- 239000006096 absorbing agent Substances 0.000 claims abstract description 54
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000001228 spectrum Methods 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012880 independent component analysis Methods 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 15
- 238000000862 absorption spectrum Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 claims description 11
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 11
- 108010002255 deoxyhemoglobin Proteins 0.000 claims description 11
- 238000000513 principal component analysis Methods 0.000 claims description 11
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 10
- 201000010099 disease Diseases 0.000 claims description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 150000002632 lipids Chemical class 0.000 claims description 6
- 108010062374 Myoglobin Proteins 0.000 claims description 5
- 102000036675 Myoglobin Human genes 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 56
- 238000012545 processing Methods 0.000 description 14
- 238000013459 approach Methods 0.000 description 12
- 238000002604 ultrasonography Methods 0.000 description 12
- 238000010521 absorption reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000002156 mixing Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 239000000090 biomarker Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000012285 ultrasound imaging Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 4
- 229960004657 indocyanine green Drugs 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 208000007465 Giant cell arteritis Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010043207 temporal arteritis Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000005166 vasculature Anatomy 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000012216 imaging agent Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000005005 sentinel lymph node Anatomy 0.000 description 1
- 210000001994 temporal artery Anatomy 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Dentistry (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
特定の実施形態は、マルチスペクトル光音響イメージングのためのシステム、方法、及び装置を説明する。本方法は、例えば、光音響イメージングシステムからマルチスペクトル光音響画像データを受信することを含み得る。本方法はまた、マルチスペクトル光音響画像データを前処理することを含み得る。前処理は、マルチスペクトル光音響画像データのノイズフロアを上回る複数の有意な成分を決定することを含み得る。加えて、本方法は、教師なしスペクトルアンミキシングプロセスを使用して、マルチスペクトル光音響画像データから複数の有意な成分に基づいて生体組織の光吸収体を検出することを含み得る。教師なしスペクトルアンミキシングプロセスは、マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含み得る。本方法は、検出された生体組織の光吸収体を存在量マップに表示することをさらに含み得る。
Description
(関連出願の相互参照)
本出願は、2020年3月31日に出願された米国仮特許出願第63/002,714号に関連し、その利益を主張し、その全体が参照により本明細書に取り込まれる。
本出願は、2020年3月31日に出願された米国仮特許出願第63/002,714号に関連し、その利益を主張し、その全体が参照により本明細書に取り込まれる。
(資金提供を受けた研究に関する記載)
本出願に至るプロジェクトは、マリー・スクロドフスカ・キュリー助成契約番号811226の下で、欧州連合の研究及びイノベーションプログラム「Horizon2020」から資金提供を受けている。
本出願に至るプロジェクトは、マリー・スクロドフスカ・キュリー助成契約番号811226の下で、欧州連合の研究及びイノベーションプログラム「Horizon2020」から資金提供を受けている。
本発明は、マルチスペクトル光音響イメージングのためのシステム、方法、及び装置に関する。
生体組織の光吸収体(tissue chromophores)を観察する技術は、様々な疾患や健康状態の早期発見、予測、及びモニタリングにおいて有用なツールとなり得る。分子イメージングは、生体組織の光吸収体を検出して定量化するために使用される方法の1つである。特に、マルチスペクトル光音響(光音響)イメージングは、生体組織の光吸収体を可視化するための有用な非侵襲的分子イメージングツールとして登場した。光音響イメージングの基本原理は、ナノ秒のレーザパルスを使用して、異なる波長を生体組織内に照射することである。生体組織の光吸収体の光吸収係数に応じて、生体組織はレーザ光を吸収し、生体組織の熱弾性膨張(thermo-elastic expansion)に起因する音響波を発生させることができる。従来の超音波イメージングと同様に、これら発生した光音響信号を検出し、生体組織の光吸収体の光吸収を再構成することができる。したがって、光音響イメージングは、光吸収体の光吸収コントラストと、超音波イメージングの空間的音響分解能及び侵入深度(penetration depth)とを組み合わせて、分子情報を提供するハイブリッドイメージングモダリティと考えられている。
超音波と光学のハイブリッドイメージングモダリティであるため、このマルチモーダルイメージング技術は、数十マイクロメートルまでの分解能で、生体組織の数センチメートルの深さの解剖学的、機能的、及び分子的情報を提供することができる。光音響イメージングは、腫瘍の進行、腫瘍再発の予測、治療モニタリング、血管系のイメージング、及び造影剤の生体内分布など、様々な前臨床用途に使用することができる。前臨床用途に加えて、光音響イメージングは、臨床試験や臨床用途にも使用することができる。例えば、乳癌イメージング、センチネルリンパ節イメージング、及び/又は巨大細胞性動脈炎(GCA)の疑いのある患者における側頭動脈の検査に使用することができる。その他の用途として、表在血管系の可視化と低侵襲的手術のための針誘導のための低リソース環境における光音響イメージングの使用を含んでいる。
一般に光音響イメージングのハードウェア開発に重点が置かれてきたが、データ解析及び再構成アルゴリズムは、光音響イメージングの感度を向上させる上で重要な役割を果たし得る。
以下に説明される開示される主題は、改良された光音響イメージングシステム、装置、及び方法の非限定的な実施例を提供する。例えば、開示される主題の実施形態は、光音響画像データを処理するための教師なしスペクトルアンミキシングプロセス又はアルゴリズムを提供することができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用することは、生体組織の光吸収体の検出を改善するのに役立ち、それによって、検出された生体組織の光吸収体に関連する疾患又は病状(medical condition)の監視、診断、又は治療を改善することができる。
例示的な光音響イメージング方法は、光音響(PA:photoacoustic)イメージングシステムからマルチスペクトル光音響画像データを受信することを含み得る。本方法はまた、マルチスペクトル光音響画像データを前処理することを含み得る。前処理は、マルチスペクトル光音響画像データのノイズフロアを上回る複数の有意な成分を決定することを含み得る。言い換えれば、ノイズフロア、すなわちノイズレベルは、マルチスペクトル光音響画像データからの複数の有意な成分を定義するために使用され得る。さらに、本方法は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用して、マルチスペクトル光音響画像データからの複数の有意な成分に基づいて生体組織の光吸収体を検出することを含み得る。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含み得る。言い換えれば、ウィンドウ処理及びクラスタリングを使用して、マルチスペクトル光音響画像データ中に存在する顕著な生体組織の光吸収体を決定することができる。さらに、本方法は、検出された生体組織の光吸収体を存在量マップに表示することを含み得る。
別の例では、光音響イメージング装置は、コンピュータプログラムコードを含む少なくとも1つのメモリと、少なくとも1つのプロセッサとを含み得る。コンピュータプログラムコードは、少なくとも1つのプロセッサによって実行されると、光音響イメージング装置に、少なくともマルチスペクトル光音響画像データを受信させ、マルチスペクトル光音響画像データを前処理させるように構成され得る。前処理は、マルチスペクトル光音響画像データのノイズフロアを上回る複数の有意な成分を決定することを含み得る。また、コンピュータプログラムコードは、少なくとも1つのプロセッサによって実行されると、光音響イメージング装置に、少なくとも、教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用して、マルチスペクトル光音響画像データから複数の有意な成分に基づいて生体組織の光吸収体を検出させるように構成され得る。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含み得る。さらに、コンピュータプログラムコードは、少なくとも1つのプロセッサによって実行されると、光音響イメージング装置に、少なくとも、検出された生体組織の光吸収体を存在量マップに表示させるように構成され得る。
特定の非限定的な実施形態によれば、非一時的コンピュータ可読媒体は、ハードウェアで実行されたときに処理を実行する命令をコード化する。処理は、光音響イメージングシステムからマルチスペクトル光音響画像データを受信することを含み得る。処理はまた、マルチスペクトル光音響画像データを前処理することを含み得る。前処理は、マルチスペクトル光音響画像データからノイズフロアを上回る複数の有意な成分を決定することを含み得る。加えて、処理は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用して、マルチスペクトル光音響画像データから複数の有意な成分に基づいて生体組織の光吸収体を検出することを含み得る。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含み得る。さらに、この処理は、検出された生体組織の光吸収体を存在量マップに表示することを含み得る。
装置は、特定の非限定的な実施形態において、方法に従って処理を実行するための命令をコード化するコンピュータプログラム製品を含み得る。本方法は、光音響イメージングシステムからマルチスペクトル光音響画像データを受信することを含み得る。本方法はまた、マルチスペクトル光音響画像データを前処理することを含み得る。前処理は、マルチスペクトル光音響画像データからノイズフロアを上回る複数の有意な成分を決定することを含み得る。さらに、本方法は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用して、マルチスペクトル光音響画像データから複数の有意な成分に基づいて生体組織の光吸収体を検出することを含み得る。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含み得る。さらに、本方法は、検出された生体組織の光吸収体を存在量マップに表示することを含み得る。
ここで、開示される主題の様々な例示的な実施形態を詳細に参照するが、これらの実施形態は添付の図面に示されている。開示される主題の構造及び対応する動作方法は、システムの詳細な説明と併せて説明される。以下で説明される実施例及び実施形態は、単なる例示であり、開示される主題の範囲を限定するものとして解釈されるべきではない。
特定の非限定的な実施形態では、光音響イメージングはスペクトルアンミキシングアルゴリズムを使用する。特に、生体組織の光吸収体の光吸収係数はスペクトルにわたって変化するので、光吸収体を区別するためにマルチスペクトル画像処理アプローチを適用することができる。マルチスペクトル光音響画像の画素強度は、励起光の特定の波長における各生体組織の吸収値に比例させ得る。画素サイズを無限小(infinitesimal)とみなすことによって、異なる波長にわたるすべての吸収信号が、単一の分子成分から得られる信号を表すことができる。しかしながら、画素の有限の寸法、及び取得された信号を破損させ得るノイズの存在に起因して、各スペクトルは、混合信号をもたらし得る。いくつかの非限定的な実施形態では、混合信号は、異なるソース光吸収体(source chromophores)の吸収スペクトルと、望ましくない生体ノイズ及び機器ノイズとの組み合わせであり得る。スペクトルアンミキシングアルゴリズムを使用して、異なる光吸収体からのこれらの信号をアンミキシングし、及び/又は所与の生体組織の光吸収体の濃度を推定することができる。
特に、スペクトルアンミキシングは、線形ミキシングモデルに基づくデータ分解アプローチとすることができる。そのために、スペクトルアンミキシングアルゴリズムを使用して、混合画素スペクトルを、エンドメンバとも呼ばれるスペクトルの集合と、部分存在量マップ(fractional abundance maps)のセットとに区別することができる。成分スペクトル又はエンドメンバは、混合画素スペクトル又はマルチスペクトル光音響画像データから抽出された純粋な分子吸収スペクトルを表す。存在量マップは、所与の画素に存在する各エンドメンバのパーセンテージを表す。したがって、スペクトルアンミキシングアルゴリズムは、マルチスペクトル画像処理の一部として使用され、所与の分子のスペクトル吸収プロファイルに基づいて生体組織内に存在する分子を特徴付けることができる。特定の非限定的な実施形態では、スペクトルアンミキシングアルゴリズムは、受信したマルチスペクトル光音響画像データを処理して、画像(複数可)の残りの部分を推定又は推測することができる。
図1は、開示される主題のいくつかの実施例による、教師ありアンミキシングシステム又は方法を示す図である。特に、図1は、既知のスペクトルシグネチャを先験的情報(a-priori information)として用いた差分ベースのアンミキシングアルゴリズムを使用して、マルチスペクトル光音響イメージングにより生体組織の光吸収体を検出するための方法を示す。図1に示すように、入力110は、光音響イメージングシステムから得られるマルチスペクトル光音響画像データとすることができる。このデータは、680nm~970ナノメートル(nm)の近赤外(NIR)の波長範囲にわたる二次元領域の画像として受け取ることができる。他の非限定的な実施形態では、任意の他の波長範囲を使用することができる。マルチスペクトル光音響画像データは、例えば、1nm、5nm、又は10nmのステップサイズを有することができる。ステップサイズが小さいほど解像度は高くなり、1nmのステップサイズは、5nm又は10nmのステップサイズよりも高い解像度を有し得ることを意味する。このように、1nmのステップサイズを有するマルチスペクトル光音響画像データを処理することは、5nm又は10nmのステップサイズを有するデータよりも多くのリソースを必要とし得る。いくつかの他の非限定的な実施形態では、任意の他のステップサイズを使用することができる。5nmのステップサイズを有する680nm~970nmのNIRの波長範囲の場合、データセットは、59個の異なる波長で撮像された同一又は類似の二次元領域を含むことができる。
図1に示すシステム又は方法は、教師ありアンミキシング法を用いて生体組織の光吸収体を検出するために使用され得る。具体的には、図1は、既知のスペクトルシグネチャを先験的情報120として用いる差分ベースのアンミキシング方法を使用する。先験的情報120は、オキシヘモグロビン(Oxy Hb)吸収スペクトル及びデオキシヘモグロビン(Deoxy Hb)吸収スペクトルなどの、生体組織の光吸収体のユーザ定義されたエンドメンバの吸収スペクトルであり得る。別の例では、先験的情報は、予め定めた又は既知の関心領域であり得る。ユーザによって入力された先験的情報120に基づいて、入力110が処理され、出力130が生成され得る。出力130は、例えば、オキシヘモグロビン、デオキシヘモグロビンのような内因性の生体組織の光吸収体、及びインドシアニングリーン(ICG)などの外因性の造影剤の分布を示す1つ以上の存在量マップを含むことができる。上述したように、生体組織のスペクトルシグネチャが疾患又は病状に関して異なるため、教師ありスペクトルアンミキシングアプローチは困難である可能性がある。疾患又は病状は、生体組織の光吸収体の理論的な吸収スペクトルの特性の変化を誘発し得る複雑なプロセスを含む可能性がある。加えて、外因性の造影剤の吸収スペクトルもまた、注入後の生体組織内での相互作用によって異なる可能性がある。
図1に示すように、いくつかの非限定的な実施形態は、ユーザとの対話を必要とする、教師ありスペクトルアンミキシングアルゴリズムを利用する。したがって、そのような教師ありアルゴリズムは、顕著な光吸収体について、ユーザが、ソーススペクトル又は以前に特定された関心領域若しくは既知の関心領域を、定義できることに依拠している。生体組織のスペクトルシグネチャは、疾患又は病状に関して異なるので、ソーススペクトル又は関心領域を定義できることは、困難であるか、又はユーザによってバイアスされる可能性がある。ソーススペクトル、又は以前に特定された関心領域若しくは既知の関心領域は、先験的情報と呼ばれ、これは、教師となるユーザが処理前又は処理中にその情報を事前に定義する必要があることを意味し得る。加えて、教師ありスペクトルアンミキシングアルゴリズムを使用して正確なフィッティング結果を得るためには、光音響画像取得についてより多くの波長が必要とされるであろう。より多くの波長を使用することにより、光音響画像取得システム又は装置によるリソース使用量が増加し、より多くのメモリ、ブロードバンド、ネットワーク、又はプロセッサリソースが必要となる可能性がある。また、教師ありスペクトルアンミキシングアルゴリズムは、生体ノイズ及び機器ノイズを低減するためにユーザとの対話に依存し、これらは両方ともユーザのバイアス及び嗜好に左右される。
上記の欠点の1つ以上を克服するのを助けるために、特定の非限定的な実施形態は、1つ以上の教師なし又は自律的なスペクトルアンミキシングアルゴリズムを利用することができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、教師なし機械学習アルゴリズムの一種であり得、いかなるユーザの教示(supervision)をも必要とせず、それによって顕著な成分スペクトルの自動検出を可能にする。顕著な成分スペクトル(prominent component spectra)は、本明細書では単に成分と呼ぶことができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、例えば、特異値分解(SVD)、主成分分析(PCA)、スパースフィルタリング(SF)、独立成分分析(ICA)、再構成独立成分分析(RICA)、非負値行列因子分解(NNMF:non-negative matrix factorization)、又はこの技術分野で知られている任意の他の教師なしスペクトルアンミキシングプロセス又はアルゴリズムであり得る。
特定の非限定的な実施形態では、教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、ブラインドソース分離アルゴリズムと呼ばれることがある。ブラインドソース分離アルゴリズムは、コスト関数を最小化することによる近似を含む、反復最適化方法論に基づくことができる。1つ以上のコスト関数が、すべてのブラインドアプローチに対して定義又は決定され得る。アルゴリズムの各反復を使用して、コスト関数を最小化することができる。この反復アプローチを使用することで、スペクトルアンミキシングにより光音響画像データを定量的成分マップに分解し、スペクトルコントラストを提供するリカバーされた下層組織の光吸収体の生体内分布を特定することができる。ブラインドソース分離アルゴリズムに入力されるマルチスペクトル光音響画像データは、単一のデータ行列の形態でもよい。
教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、高い感度及び特異性で、光音響画像データからの分子情報及び定量情報へのアクセスを可能にし得る。いくつかの非限定的な実施形態では、教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、代表的なスペクトルパターンを検出又は認識することによって、システム、装置、又はプロセッサが、限定的な人間の介入により又は人間の介入なしでマルチスペクトル光音響画像データから学習することを可能にすることができる。データ駆動方法として、教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、隠れた下層の特徴、成分、又は光吸収体を正確に抽出することができる。
上述のように、特定の非限定的な実施形態は、生理学的状態及び病理学的状態の両方におけるバイオマーカの固有の吸収傾向の抽出及び定量化を容易にすることができる機械学習に基づく教師なしアンミキシングアルゴリズムを利用することができる。そのようなデータ駆動アプローチを使用することで、生体組織の光吸収体からの顕著なスペクトルは、限定的なユーザとの対話により又はユーザとの対話なしで、マルチスペクトルイメージングデータセットから検出することが可能である。得られた生体組織の光吸収体は、優れた感度で可視化及び/又は定量化することができる。図2は、開示される主題のいくつかの実施例による、教師なしアンミキシングシステム又は方法を示す図である。特に、図2は、教師なし混合アルゴリズムを用いた光音響画像データの処理と、存在量マップ又は成分スペクトルの出力とを示している。
図2に示すように、マルチスペクトル光音響画像データとも呼ばれる未加工のマルチスペクトル光音響画像210を、方法、装置、又はシステムに入力することができる。未加工のマルチスペクトル光音響画像は、光音響イメージング機器又は装置から受信することができる。いくつかの非限定的な実施形態では、超音波イメージング機器又は装置と、光音響イメージング機器又は装置とは、同じ機器又は装置内に含まれ得る。特定の非限定的な実施形態では、未加工のマルチスペクトル光音響画像210は、680nm~970nmのNIRの波長範囲の一部又は全部にわたる二次元領域の形態をとることができる。他の非限定的な実施形態では、任意の他のNIRの波長範囲を利用することができる。NIR範囲の波長のステップサイズは、1nm、5nm、10nm、又は任意の他のステップサイズとすることができる。未加工のマルチスペクトル光音響画像210の1つ又は複数は、バックグラウンド除去211、データ補正212、及び/又はデータ削減213のうちの少なくとも1つを使用して前処理され得る。データ補正212は、生体ノイズ又は機器ノイズを低減するためのガウシアンフィルタを含むことができる。ガウシアンフィルタは、5×5画素のカーネル、又は任意の他のサイズのカーネルを使用してデータを処理することができる。一方、データ削減213は、4×4の正方形の関心領域に従って画像画素をグループ化することを含むことができる。他の非限定的な実施形態では、データ削減213は、正方形の関心領域、又は異なる形状を有し1つ以上の画素を有する関心領域に従って、1つ以上の画素をグループ化することを含むことができる。
特定の非限定的な実施形態では、前処理は、マルチスペクトル光音響画像データから複数の有意な成分216を定義するために、ノイズレベル215を決定することを含むことができる。成分は、例えば、バイオマーカであり得る。教師なしスペクトルアンミキシングプロセス又はアルゴリズム217は、1つ以上のバイオマーカの固有吸収の抽出及び定量化を容易にするのに役立ち得る。例えば、成分又はバイオマーカは、メラニン、水、コラーゲン、脂質、オキシヘモグロビン、デオキシヘモグロビン、ミオグロビン、又はこの技術分野で公知の任意の他のバイオマーカであり得る。検出された生体組織の光吸収体は、ノイズレベルを上回る決定された有意な成分に基づくことができる。
図7に示すように、例えば、ノイズフロア(noise floor)を超えている有意成分スペクトルを表示することができる。いくつかの非限定的な実施形態では、固有値アルゴリズムを使用して、ノイズフロアを決定し、次いで、有意である成分を決定することができる。固有値アルゴリズムは、例えば、べき乗反復(power iteration)、逆反復、レイリー商反復、局所最適ブロック事前条件付き共役勾配(LOBPCG:locally optimal block preconditioned conjugate gradient)アルゴリズム、QRアルゴリズム、ヤコビ固有値アルゴリズム、分解可能多項式、又は固有値を決定するために使用される任意の他の既知の方程式、方法、もしくはアルゴリズムであり得る。
図2に示すように、入力ステップ及び前処理ステップの後、データは、線形ミキシングモデル、又は任意の他の既知のミキシングモデルを使用して混合され得る。得られた混合観測値214の全部又は一部は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムにロード又は入力することができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズム217は、反復アプローチを使用して、マルチスペクトル光音響画像データから純粋な分子スペクトルを分離することができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズム217は、PCA、ICA、RICA、SF、及び/又はNNMFを含むことができる。例えば、NNMFを使用して、マルチスペクトル画像からの混合画素スペクトルを、エンドメンバ218と呼ばれる構成成分スペクトルの集合と、部分存在量マップ(fractional abundance map)と呼ばれ得る存在量マップ219のセットと、に分別することができる。エンドメンバ218及び/又は存在量マップのセット219は、第1の結果と呼ぶことができる。したがって、NNMFは、関心領域における顕著な光吸収体の成分スペクトル、空間分布マップ、及び/又は存在量マップをもたらすことができる。
特定の非限定的な実施形態では、教師なしスペクトルアンミキシングプロセスは、クラスタリング及び/又はウィンドウ処理を含むことができる。クラスタリングは、例えば、類似スペクトル220及び/又は容易に区別可能なスペクトル221を含み得る。一方、ウィンドウ処理は、マルチスペクトル光音響画像データを1つ以上のサブセット222に分割することを含み得る。一旦、1つ以上のサブセット222が決定されると、教師なしスペクトルアンミキシングプロセスを使用して、複数の有意な成分に基づいて、各サブセットについて生体組織の光吸収体を検出することができる。次いで、サブセット222からのエンドメンバ及び/又はデータセット221全体からのエンドメンバを結合して、有意成分スペクトル223を決定することができる。次いで、存在量マップ224が、有意成分スペクトル223から導出され得る。特定の実施形態では、存在量マップ224は、検出されたすべての有意な成分223の定量的な空間分布とすることができる。
図3は、開示される主題のいくつかの例による、教師なしアンミキシングアルゴリズムの実施形態を示す図である。特に、図3は、試験マルチスペクトル光音響画像データなどの試験データを処理する、様々な教師なしスペクトルアンミキシングプロセス又はアルゴリズム310~360と比較した、オキシ-デオキシヘモグロビン300の理想的又は理論的な吸収スペクトル及びバックグラウンドの生体組織吸収を示す。SVD310及びPCA320は、機械学習における教師なし次元削減アプローチ(unsupervised dimension reduction approaches)である。SVD310及びPCA320の両方は、ソース成分が無相関かつ直交(orthogonal)であることに依存する。PCA320では、相関のある観測変数を削減することが目標となり得る。一方、ICA330及びRICA340は、観測データが、確率的に独立したいくつかのプロセスの重ね合わせ(superimposition)であり得ることを想定している。ICA330は、ソース成分が最大限に独立でかつ非ガウス性であることに依存する。いくつかの非限定的な実施形態では、ソースデータの非ガウス性は、ICA330をPCA320よりも強力にし得る。RICA340は、再構成コストを標準ICAアプローチのコスト関数に追加することによって、ICA330をさらに一歩進める。
従前のアルゴリズム310~340とは対照的に、SF350は、データ分布のモデルに明示的に基づくことができない。SF350は、特徴分布のスパース性(sparsity)の最適化に基づくことができ、及び/又は複雑でないコードを実装することによって定式化することができる。いくつかの非限定的な実施形態では、SF350は、計算コストが高くなり得る。対照的に、NNMF360は、非負(値)行列を使用することに基づく線形ミキシングモデルとすることができる。換言すれば、NNMF360は、ソースデータが非負であり得ると仮定することができ、このことは、NNMF360を、すべての画素値がゼロ又は正のいずれかである光音響イメージングと互換性があるようにする。NNMF360と同様の正条件(positivity condition)を課すことにより、アンミキシング問題に使用される最適化アルゴリズムの収束性を高めることができる。追加的に又は代替的に、非負制約(nonnegativity constraints)を課すことによって、NNMF360は、データの部分ベースの表現を学習又は処理することができ、画像全体を加法成分の組合せとして形成することを可能にする。NNMF360を用いてマルチスペクトル光音響画像データを処理すると、ソース行列及びミキシング係数行列に因数分解することができる混合観測データの非負行列Xを得ることができる。
図3に示すように、NNMF360は、SVD310、PCA320、ICA330、RICA340、及び/又はSF350よりも優れた感度及び特異性を有することができる。また、NNMF360は、オキシ-デオキシヘモグロビンの理想的な吸収スペクトルに最も類似し得る。
さらに、以下の表Aは、理想的なオキシヘモグロビン(Oxy Hb)及びデオキシヘモグロビン(Deoxy Hb)のスペクトルと、異なる教師なしアンミキシングアルゴリズムを使用することによって見出された抽出された顕著なスペクトルと、の間で評価された相関値を示す。
表Aに示すように、NNMF360は、最も高い正の相関を有する。高い相関は、内因性(オキシヘモグロビン、デオキシヘモグロビン)特性スペクトル及び外因性(造影剤)特性スペクトルの両方を検出する教師なしスペクトルアンミキシングプロセス又はアルゴリズムであるNNMF360の能力を実証することができる。
NNMF360によって提供される利点にもかかわらず、特定の非限定的な実施形態では、任意の他の教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用することができる。例えば、特定の非限定的な実施形態は、非負制約を伴わない教師なしスペクトルアンミキシングプロセス又はアルゴリズムを選択することができる。非負制約を実装することは計算的に高価であり得、各成分は、複数のスケールファクタまでしか推定され得ない。コンピュータ又は処理リソースの数を減らすために、いくつかの非限定的な実施形態は、SVD310、PCA320、ICA330、RICA340、SF350、又は任意の他の既知の教師なしアルゴリズムを使用することができる。
図4は、開示される主題のいくつかの実施例による、教師なしアンミキシングシステム又は方法を示す図である。入力410のために、光音響イメージングシステム411を使用して、680nm~970nmの近赤外の波長範囲全体にわたる二次元領域を、5nmのステップサイズで撮像することができる。換言すれば、同一又は類似の関心領域の59個の二次元画像を撮像することができる。撮像された画像は、マルチスペクトル光音響画像データと呼ぶことができる。前処理420のために、マルチスペクトル光音響画像データは、データ補正及び/又はデータ削減を受けることができる。特定の非限定的な実施形態では、前処理420は、マルチスペクトル光音響画像データから、ノイズレベルを上回る複数の有意な成分を決定することを含むことができる。ノイズレベル及び複数の有意な成分は、1つ以上の固有値アルゴリズムを使用して決定することができる。図4に示す方法又はシステムは、教師なしスペクトルアンミキシングプロセス又はアルゴリズムを利用するが、前処理については、教師あり又は教師なしとすることができる。例えば、前処理が教師ありである場合、ユーザは、複数の有意な成分を変更又は調整することによって介入することができる。
次いで、NNMF430を使用して、マルチスペクトル光音響画像データから生体組織の光吸収体を検出することができる。検出は、前処理420の間に決定されたノイズフロアを上回る複数の有意な成分に基づくことができる。NNMF430は、以下の式を用いて表すことができる。
式中、Xは、混合マルチスペクトル観測値を含む行列、すなわちマルチスペクトル光音響画像データである。Xは、n×rの行列Wとr×mの行列Sとに因数分解することができ、ここで、Wは存在量分布成分値を表し、Sは主要スペクトル曲線を表す。顕著な成分ソースの数rは、ハイパーパラメータとすることができ、ハイパーパラメータは、n又はmよりも小さくすることができ、rは有意な成分の数と呼ぶこともできる。NNMF430を使用することにより、マルチスペクトル光音響画像データとも呼ばれる元の混合データを、エンドメンバと各画素毎のエンドメンバそれぞれの存在量とに次元削減(dimensional reduction)することができる。
上述したように、NNMF430は、最適化反復アプローチを使用してマルチスペクトル光音響画像データをアンミキシングする。教師なしスペクトルアンミキシングプロセス又はアルゴリズムの各反復は、以下のコスト関数を最小化することができる。
式中、Xは混合観測値を表し、Wは存在量マップを表し、Sはソーススペクトルを表す。WとSとは非負(値)行列に限定される。行列W及び行列Sは、上記のコスト関数を使用して、二乗平均平方根残差(root mean squared residual)を最小化するように反復して求められる。このように、コスト関数は、近似的な因数分解(factorization)の品質を評価することができる。上記式のどの要素も負ではないので、教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、顕著な成分の線形結合によって元のデータを生成するプロセス、すなわち、マルチスペクトル光音響画像データから複数の有意な成分に基づいて生体組織の光吸収体を検出するプロセスとすることができる。反復最小化の最後に、NNMF430は、Sにおける主要スペクトル曲線を提供することができる。
特定の非限定的な実施形態では、NNMF430などの教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、マルチスペクトル光音響画像データ中に存在する顕著な生体組織の光吸収体を決定するための、クラスタリング及びウィンドウ処理440を含むことができる。クラスタリングプロセスは、類似するスペクトルのグループ化と、NNMFアルゴリズムの最初の反復を適用した後に容易に区別可能なスペクトルの識別(differentiating)とを含む。類似するスペクトルはより高い相関を有し、区別可能なスペクトルはより低い相関値を有する。クラスタリング440を使用して、教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、所与の波長範囲又はステップサイズにおいて、低い相関値を有する1つ以上の有意な成分を見つけることができる。高度に相関しているスペクトルのグループをさらに調査し、これにより化合物を区別するために、ウィンドウ処理アプローチが実施される。このアプローチでは、スペクトルの複数のサブセットを元のデータセット(X)から作成することができる。ウィンドウ処理440を採用することにより、データを全体として検索するのではなく、個々のサブセットにおいて有意な成分450を検索することが可能になる。得られるスペクトルのサブセットは、波長及び観測の数を減少させることができる。各サブセットについて、ノイズフロアを超える有意な成分及びNNMFを推定することができる。各サブセットが検索された後、各サブセットから検出された生体組織の光吸収体と、クラスタリングから先に検出された生体組織の光吸収体とを結合(combine)することができる。検出された生体組織の光吸収体を結合することは、例えば、スペクトルの重ね合わせやオーバラップ、又は任意の他の結合方法を含むことができる。クラスタリング及びウィンドウ処理440は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムの感度を向上させるのに効果がある。
前処理420、NNMF430、及び/又はクラスタリング及びウィンドウ処理440を使用して、1つ以上の成分450の生体組織の光吸収体を検出することができる。成分450は、メラニン、水、コラーゲン、脂質、ヘモグロビン、オキシヘモグロビン、デオキシヘモグロビン、及びミオグロビンなどのバイオマーカであり得る。反復最小化の最後に、NNMF430などの教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、主要スペクトル曲線S及び/又は存在量分布成分値Wを、元の次元の画像マスクに再形成(reshaped)して提供することができる。マスクの各画素は、異なる顕著な成分の存在を定量化することができる。図4において、ソーススペクトル460は、出力された主要スペクトル曲線を示しており、存在量マップ470は3つの異なる存在量分布成分を示している。
図5は、開示される主題のいくつかの例による前処理を示す図である。特に、図5は、NNMF430などの教師なしスペクトルアンミキシングプロセス又はアルゴリズムによって処理される入力行列を示す。図5に示すように、元のデータセット2D+λを含むマルチスペクトル光音響画像500は、例えば、データ補正510及びデータ削減520を用いて前処理され得る。データ補正510は、5×5画素のカーネルを有するガウシアンフィルタを使用するノイズ除去又はノイズ低減ステップを含むことができる。データ削減520は、計算コストを制限するために、観測数の削減を含むことができる。関心領域(ROI)に入る画素を平均化するために4×4画素の四角いROIを使用することによって、画像当たりの画素数を減少させることができる。いくつかの非限定的な実施形態では、データ補正510は、所与の二次元画像内で行うことができ、一方、データ削減又は除去520は、2つ以上の二次元画像間で行うことができる。
いくつかの非限定的な実施形態では、混合スペクトルはn×mの行列530に構造化することができる。行列530のn行は、関心領域とも呼ばれる観測値又は画素の数を表すことができる。一方、行列530のm列は、オブジェクト毎の変数の数、すなわち様々な波長を表す。換言すれば、受信又は取得されたデータは、行列530に編成することができ、各列は、特定の波長で得られたベクトル化された光音響画像を表す。混合スペクトル540は、行列530の1つの行を示すことができ、混合データを評価するためにミキシングアルゴリズムを使用する必要性をさらに強調する。
図6は、開示される主題のいくつかの実施例による、教師あり及び教師なしアンミキシングアルゴリズムのための存在量マップを示す図である。特に、図6は、教師ありスペクトルアンミキシングアルゴリズム620及び教師なしスペクトルアンミキシングプロセス又はアルゴリズム610を用いた、オキシヘモグロビン630、デオキシヘモグロビン640、及びICG650の存在量マップを示している。存在量マップは、オキシヘモグロビン630、デオキシヘモグロビン640、及び/又はICG650について検出された生体組織の光吸収体を図示している。さらに、1つ以上の存在量マップは、オーバラップした又は重ね合わされた画像クラスタから構成することができる。図6に示すように、教師なしスペクトルアンミキシングプロセス又はアルゴリズム620によれば、教師ありスペクトルアンミキシングアルゴリズム610と比較して、より高感度で特異的な存在量マップを得ることができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズム620は、分子が異なる環境又は条件にあるときのスペクトル曲線の変動を考慮に入れることができる。例えば、ICGなどの多くの色素のスペクトル特性は、生体組織内で変化し得る。さらに、病理学的状態、疾患、又は健康状態について、生体組織の光吸収体の理論的吸収スペクトルもまた、特性を変化させる可能性がある。教師なしスペクトルアンミキシングプロセス又はアルゴリズム620は、この変化した吸収スペクトルを説明することができる。
図7は、開示される主題のいくつかの実施例による、成分スペクトルを示す図である。特に、図7は、マルチスペクトル光音響画像データからの決定された複数の有意な成分に関連する成分スペクトルを示す。いくつかの非限定的な実施形態では、複数の有意な成分(the significant number of components)710はユーザによって決定され得る。ユーザは、例えば、ユーザが定義したノイズフロアレベルなどの先験的情報に基づいて3つの成分を選択することができる。次いで、生体組織の光吸収体は、ユーザが選択した複数の有意な成分に基づいて検出することができる。いくつかの非限定的な実施形態では、有意な成分の数は、成分の閾値又は成分の顕著な数と呼ぶことができる。得られた成分スペクトル720は、3つの選択された成分のみを含む。理論スペクトル730と比較すると、成分スペクトル720は、潜在的に有意な成分の多くを図示していない。
したがって、いくつかの他の非限定的な実施形態では、複数の有意な成分は、機械学習を使用して決定され得る。例えば、複数の有意な成分は、マルチスペクトル光音響画像データのノイズフロアに基づいて決定することができる。特定の非限定的な実施形態では、ノイズフロア及び/又は複数の有意な成分は、固有値アルゴリズム又は方程式を使用して決定することができる。図7に示すように、固有値アルゴリズム又は方程式を使用すると、より多くの有意な成分711を決定することができ、得られた成分スペクトル721は、7つの異なる成分に関連する情報を示す。これにより、ユーザは、これまで知らなかった成分間の可能な相関関係を観察することができる。例えば、固有値アルゴリズム又は方程式は、より低い波長範囲は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムによって処理されるべきであると決定することができ、その結果、1つ以上の有意な成分を検出することができる。たとえユーザが、脂質などの波長範囲内に含まれる成分を有意な成分として含める必要があると以前は信じていなかったとしても、固有値アルゴリズム又は方程式を使用することにより、ユーザは、得られた脂質スペクトルを見ることができる。
図8は、開示される主題のいくつかの実施例による方法又はプロセスのフロー図である。特に、方法又はプロセスは、プロセッサ、メモリ、及び/又はグラフィカルユーザインタフェースを含む任意の装置によって実行され得る。装置は、プロセッサ、メモリ、及び/又はグラフィカルユーザインタフェースを含む、コンピュータ、クラウドコンピュータ、モバイルデバイス、サーバ、医療用イメージングデバイス、光音響イメージングデバイス、超音波イメージングデバイス、又は任意の他のデバイスとすることができる。いくつかの非限定的な実施形態では、光音響イメージング及び超音波イメージングが、単一のデバイスによって実行され得る。
ステップ810において、光音響イメージング方法は、光音響イメージングシステムからマルチスペクトル光音響画像データを受信することを含むことができる。ステップ820に示すように、マルチスペクトル光音響画像データを前処理することができる。ステップ830に示すように、前処理は、マルチスペクトル光音響画像データのノイズフロアを上回る複数の有意な成分を決定することを含むことができる。複数の有意な成分及び/又はノイズフロアのうちの少なくとも1つは、固有値アルゴリズムを使用して決定することができる。いくつかの非限定的な実施形態では、複数の有意な成分は、メラニン、オキシヘモグロビン、デオキシヘモグロビン、脂質、ミオグロビン、及び水を含む。また、マルチスペクトル光音響画像データの前処理は、データ補正又はデータ削減のうちの少なくとも一方を含むことができる。データ補正は、ガウシアンフィルタを含むことができ、データ削減は、四角形状の関心領域(squared region of interest)を使用することを含むことができる。
ステップ840において、本方法は、教師なしスペクトルアンミキシングプロセス又はアルゴリズムを使用して、マルチスペクトル光音響画像データから複数の有意な成分に基づいて生体組織の光吸収体を検出することを含むことができる。教師なしスペクトルアンミキシングプロセスは、マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含むことができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、例えば、非負値行列因子分解を含むことができる。非負値行列因子分解は、下記式によって表すことができる。
式中、Xは混合観測値を表し、Wは存在量マップを表し、Sは主要スペクトル曲線を表す。他の例では、教師なしスペクトルアンミキシングプロセス又はアルゴリズムは、主成分分析、独立成分分析、再構成独立成分分析、又はスパースフィルタリングを含むことができる。
ステップ850において、検出された生体組織の光吸収体を、存在量マップに表示することができる。ステップ860において、マルチスペクトル光音響画像データから、決定された複数の有意な成分を有する成分スペクトルを表示することができる。成分スペクトルは、マルチスペクトル光音響画像データから抽出された純粋な分子吸収スペクトルを表すことができる。マルチスペクトル光音響画像データは、例えば、680~970ナノメートルの間の波長で受信され得る。
図9は、開示される主題のいくつかの非限定的な実施形態による装置(apparatus)の一例である。特に、図9は、コンピュータ、モバイルデバイス、サーバ、医療用イメージングデバイス、光音響イメージングデバイス、超音波システム又はデバイス、或いは任意の他のデバイスなどの、プロセッサ911、メモリ912、及び/又はグラフィカルユーザインタフェース914を含む装置910を示す。一実施形態では、この装置は、超音波システム、例えば、携帯型ポイントオブケア超音波(portable point-of-care ultrasound)システムであり得、これは、ハンドヘルド、ポータブル、又はカート式であり得る。図1~図9の各特徴、及びそれらの任意の組合せは、開示される主題の様々な異なる実施形態に関連して、様々なハードウェア、ソフトウェア、ファームウェア、及び/又は1つ以上のプロセッサや回路を使用して、装置、又は超音波及び光音響システムによって実装され得ることを理解されたい。
一実施形態では、装置は、少なくとも1つのプロセッサ911又は制御ユニットを含むことができる。912として示されるように、少なくとも1つのメモリを各装置に設けることもできる。メモリ912は、その中に含まれるコンピュータプログラム命令又はコンピュータコードを含むことができ、これらの命令又はコードは、プロセッサによって実行され得る。また、システムは、ローカルネットワーク、広域ネットワーク、無線及び/又は有線を介して通信するか、或いは1つシステム構成要素から別のシステム構成要素へのデータ通信を可能にする任意の他の結合によって通信するネットワーク化された構成要素を含むことができる。
特定の非限定的な実施形態では、1つ以上の送受信器913を備えることができる。1つ以上の送受信器913は、トランスデューサとも呼ばれるトランスデューサプローブ916から信号を受信することができ、このトランスデューサプローブは、検査対象又は身体との間で音波を送信及び/又は受信する。トランスデューサプローブ916は、無線通信又は有線通信を介して装置910に信号を送信することができる。
トランスデューサプローブ916は、様々な周波数の音波を送信し、エコー信号を受信することが可能であり得る。音波は、例えば、3メガヘルツ(MHz)の低帯域幅周波数から71MHzの高周波数までとすることができる。他の非限定的な実施形態は、任意の他の音波の周波数を使用することができる。より高い周波数は、表面的な構造のイメージングを可能にし、より低い周波数は、より深い生体組織のイメージングを可能にすることができ、それぞれが典型的に異なる解像度を提供する。トランスデューサプローブ916は、いくつかの非限定的な実施形態では、ビームフォーマ(beamformer)を含むこともできる。
いくつかの非限定的な実施形態では、トランスデューサプローブ916は、それらを移動させてトランスデューサをビーム角の範囲にわたって掃引する、単一要素又は多要素トランスデューサとすることができる。トランスデューサプローブ916は、有線通信又は無線通信のいずれかを使用して、装置910に情報を送信及び/又は受信することができる。送信された情報は、メモリ912に、又は任意の他の外部メモリもしくはデータベースに保存され得る。
超音波システムはまた、例えば、低雑音増幅器(LNA)、電圧制御減衰器(VCAT)、アナログ-デジタル変換器、及び/又はビームフォーマレシーバを含むアナログフロントエンドなど、図10に示されていない任意の他の構成要素を含むことができる。アナログ音響信号がプローブによって受信されると、その信号は、超音波システムのフロントエンドで増幅され、任意の既知のアナログ-デジタル変換器を用いてデジタル形式に変換され得る。一旦、デジタル形式に変換された後で、その信号は装置910に送信され得る。装置910は、受信されたデジタル情報を表示することができるディスプレイ914を含むか、又はディスプレイ914に接続することができる。
特定の非限定的な実施形態では、ディスプレイ914は、装置又は超音波マシン910とは別の装置に配置することができる。さらに別の例では、ディスプレイの代わりに、装置は、画像を外部ディスプレイ又はスクリーンに投影することができるプロジェクタを含むことができ、或いは、表示されたデータを見るために超音波システムのオペレータが装着することができるアクティブな眼鏡又はヘッドセットを含むことができる。
いくつかの非限定的な実施形態では、装置910は、図1~図8に関連して上述した実施形態を実行するように構成された、超音波システムなどの医療用イメージングデバイスであり得る。特定の非限定的な実施形態では、コンピュータプログラムコードを含む少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されると、装置に本明細書で説明するプロセスのいずれか又はすべてを実行させるように構成され得る。プロセッサ911は、中央処理装置(CPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、入力/出力(I/O)回路、デジタル強化回路、又は同等のデバイス、あるいはそれらの任意の組合せなど、任意のコンピュータデバイス又はデータ処理デバイスによって具現化され得る。一例では、米国特許第8,213,467号に記載のASICを使用することができる。米国特許第8,213,467号は、その全体が参照により本明細書に組み込まれる。プロセッサは、単一のコントローラ、又は複数のコントローラもしくはプロセッサとして実装することができる。
超音波システムはまた、システム制御パネル915を含むことができる。システム制御パネル915は、例えば、使用される触覚利得制御(tactile gain control)のように、近接利得、中間利得、及び遠位中間利得の制御を調整するために使用されるユーザインタフェース、タッチパッド、又はタッチスクリーンを含むことができる。システム制御パネルは、代替的に又は追加的に、超音波システムの様々な設定を調整又は変更するための他の制御を含むことができる。
ファームウェア又はソフトウェアについては、実装は、モジュール又は少なくとも1つのチップセット(例えば、手順及び/又は機能を含む)のユニットを含むことができる。メモリ912は、それぞれ独立して、非一時的コンピュータ可読媒体、ハードディスクドライブ(HDD)、ランダムアクセスメモリ(RAM)、フラッシュメモリ、又は他の適切なメモリなど、任意の適切な記憶装置であり得る。メモリは、単一の集積回路上でプロセッサと組み合わせることができ、又はプロセッサから分離することができる。さらに、コンピュータプログラム命令は、メモリに格納され、プロセッサによって処理され得、任意の適切な形態のコンピュータプログラムコード、例えば、任意の適切なプログラミング言語で書かれたコンパイル又は解釈されたコンピュータプログラムであり得る。例えば、特定の非限定的な実施形態では、非一時的なコンピュータ可読媒体がハードウェアで実行されると、本明細書に記載されるプロセスのうちの1つなどのプロセスを実行することができる、コンピュータ命令、又は1つ以上のコンピュータプログラム(追加又は更新されたソフトウェアルーチン、アプレット、又はマクロなど)で符号化することができる。コンピュータプログラムは、オブジェクト指向-C、C+、C+、C#、Java(登録商標)などの高水準プログラミング言語、或いは機械語などの低水準プログラミング言語によってコード化することができる。あるいは、特定の非限定的な実施形態では、完全にハードウェアで実施することができる。
特定の非限定的な実施形態では、図9はレーザ917を含むことができる。レーザ917は、光音響イメージングシステム又は装置の一部として使用することができる。特に、レーザ917は、非イオン化(non-ionizing)パルスを生体組織に送達することができる。レーザ917は、生体組織によって吸収され得、トランスデューサ916によって検出される超音波の膨張及び放出を引き起こし得る。いくつかの非限定的な実施形態では、レーザは、680~2000ナノメートルの波長を放出することができるナノ秒パルスレーザであり得る。
上記の実施形態は、装置自体及び一般的な光音響イメージングに対して、顕著な技術的改良と利点とを提供する。光音響イメージングにおける教師なしスペクトルアンミキシングプロセス又はアルゴリズムの使用は、改良された生体組織の光吸収体の検出を提供することができる。教師なしスペクトルアンミキシングプロセス又はアルゴリズムの一部としてのクラスタリング及びウィンドウ処理の使用、ならびに有意な成分の決定は、さらに顕著な技術的改良を提供する。図6に示す存在量マップは、従来の教師ありスペクトルアンミキシングアルゴリズムとは対照的に、教師なしスペクトルアンミキシングプロセス又はアルゴリズムによって提供される光音響イメージングにおける技術的改良を示すものである。
光音響イメージングにおける上記の顕著な技術的改良に加えて、開示された実施形態は、装置自体にも利点を提供する。例えば、すべてのユーザとの対話を排除することにより、マルチスペクトル光音響画像データを処理するために必要とされるプロセッサ、メモリ、及び/又はネットワークリソースの数を低減することができる。また、改良された存在量マップ及び成分スペクトルを出力することは、疾患又は病状の正確な判定に役立ち、それによって、マルチスペクトル光音響画像データのさらなる処理の必要性を制限することができる。
本明細書を通して説明される特定の実施形態の特徴、構造、又は特性は、1つ以上の実施形態において任意の適切な方法で組み合わせることが可能である。例えば、本明細書全体を通して、「特定の実施形態」、「いくつかの実施形態」、「他の実施形態」、又は他の同様の言語の使用は、実施形態に関連して説明される特定の特徴、構造、又は特性が、開示される主題の少なくとも1つの実施形態に含まれ得るということを意味している。したがって、本明細書全体を通して、「特定の実施形態において」、「いくつかの実施形態において」、「他の実施形態において」、又は他の同様の言葉の出現は、必ずしも同じ実施形態のグループを意味するものではなく、説明される特徴、構造、又は特性は、1つ以上の実施形態において任意の適切な方法で組み合わせることが可能である。
当業者であれば、上述の開示された主題が、開示されたものとは異なる順序の手順で、及び/又は異なる構成のハードウェア要素を用いて実施され得ることを容易に理解するであろう。したがって、これらの実施形態に基づいて開示された主題を説明してきたが、開示された主題の趣旨及び範囲内に留まりながら、特定の修正、変形、及び代替構造が明らかであることが、当業者には明らかであろう。
Claims (26)
- 光音響イメージングシステムからマルチスペクトル光音響画像データを受信することと、
前記マルチスペクトル光音響画像データを前処理することであって、前記前処理は前記マルチスペクトル光音響画像データのノイズフロアを上回る複数の有意な成分を決定することを含む、前記マルチスペクトル光音響画像データを前処理することと、
教師なしスペクトルアンミキシングプロセスを用いて、前記マルチスペクトル光音響画像データから前記複数の有意な成分に基づいて生体組織の光吸収体を検出することであって、前記教師なしスペクトルアンミキシングプロセスが、前記マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含む、生体組織の光吸収体を検出することと、
検出された前記生体組織の光吸収体を存在量マップに表示することと、
を含む、光音響イメージング方法。 - 前記マルチスペクトル光音響画像データから、決定された前記複数の有意な成分を有する成分スペクトルを表示することをさらに含む、請求項1に記載の光音響イメージング方法。
- 前記存在量マップ及び前記成分スペクトルの少なくとも一方に基づいて、疾患又は病状を判定することをさらに含む、請求項2に記載の光音響イメージング方法。
- 前記成分スペクトルは、前記マルチスペクトル光音響画像データから抽出された純粋な分子吸収スペクトルを表す、請求項2又は請求項3に記載の光音響イメージング方法。
- 前記複数の有意な成分は、メラニン、オキシヘモグロビン、デオキシヘモグロビン、脂質、ミオグロビン、及び水を含む、請求項1から請求項4までのいずれか1項に記載の光音響イメージング方法。
- 前記教師なしスペクトルアンミキシングプロセスは、非負値行列因子分解を含む、請求項1から請求項5までのいずれか1項に記載の光音響イメージング方法。
- 前記教師なしスペクトルアンミキシングプロセスは、主成分分析、独立成分分析、再構成独立成分分析、又はスパースフィルタリングを含む、請求項1から請求項7までのいずれか1項に記載の光音響イメージング方法。
- 前記複数の有意な成分及びノイズフロアの少なくとも一方は、固有値アルゴリズムを使用して決定される、請求項1から請求項8までのいずれか1項に記載の光音響イメージング方法。
- 前記クラスタリング及びウィンドウ処理は、
前記マルチスペクトル光音響画像データを1つ以上のサブセットに分割することと、
前記1つ以上のサブセットにおける前記複数の有意な成分を探索することと、
を含む、請求項1から請求項9までのいずれか1項に記載の光音響イメージング方法。 - 前記マルチスペクトル光音響画像データの前記前処理は、データ補正及びデータ削減の少なくとも一方をさらに含み、前記データ補正がガウシアンフィルタを含み、前記データ削減が4×4画素の四角形状の関心領域を使用することを含む、請求項1から請求項10までのいずれか1項に記載の光音響イメージング方法。
- 前記マルチスペクトル光音響画像データは、680~970ナノメートルの間の波長で受信される、請求項1から請求項11までのいずれか1項に記載の光音響イメージング方法。
- 光音響イメージング装置であって、
コンピュータプログラムコードを含む少なくとも1つのメモリと、少なくとも1つのプロセッサと、を備え、
前記コンピュータプログラムコードを含む前記少なくとも1つのメモリは、前記少なくとも1つのプロセッサを用いて、前記光音響イメージング装置に、
少なくとも、
マルチスペクトル光音響画像データを受信することと、
前記マルチスペクトル光音響画像データを前処理することであって、前記前処理は前記マルチスペクトル光音響画像データのノイズフロアを上回る複数の有意な成分を決定することを含む、前記マルチスペクトル光音響画像データを前処理することと、
教師なしスペクトルアンミキシングプロセスを用いて、前記マルチスペクトル光音響画像データから前記複数の有意な成分に基づいて生体組織の光吸収体を検出することであって、前記教師なしスペクトルアンミキシングプロセスが、前記マルチスペクトル光音響画像データのクラスタリング及びウィンドウ処理を含む、生体組織の光吸収体を検出することと、
検出された前記生体組織の光吸収体を存在量マップに表示することと、
を行わせるように構成されている、
光音響イメージング装置。 - 前記コンピュータプログラムコードを含む前記少なくとも1つのメモリは、前記少なくとも1つのプロセッサを用いて、前記光音響イメージング装置に、
少なくとも、前記マルチスペクトル光音響画像データから、決定された前記複数の有意な成分を有する成分スペクトルを表示することを行わせるように構成されている、
請求項13に記載の光音響イメージング装置。 - 前記コンピュータプログラムコードを含む前記少なくとも1つのメモリは、前記少なくとも1つのプロセッサと共に、前記光音響イメージング装置に、
少なくとも、前記存在量マップ及び前記成分スペクトルの少なくとも一方に基づいて、疾患又は病状を判定することを行わせるように構成されている、
請求項14に記載の光音響イメージング装置。 - 前記成分スペクトルは、前記マルチスペクトル光音響画像データから抽出された純粋な分子吸収スペクトルを表す、請求項14に記載の光音響イメージング装置。
- 前記複数の有意な成分は、メラニン、オキシヘモグロビン、デオキシヘモグロビン、脂質、ミオグロビン、及び水を含む、請求項13から請求項16までのいずれか1項に記載の光音響イメージング装置。
- 前記教師なしスペクトルアンミキシングプロセスは、非負値行列因子分解を含む、請求項13から請求項17までのいずれか1項に記載の光音響イメージング装置。
- 前記教師なしスペクトルアンミキシングプロセスは、主成分分析、独立成分分析、再構成独立成分分析、又はスパースフィルタリングを含む、請求項13から請求項19までのいずれか1項に記載の光音響イメージング装置。
- 前記複数の有意な成分及びノイズフロアの少なくとも一方は、固有値アルゴリズムを使用して決定される、請求項13から請求項20までのいずれか1項に記載の光音響イメージング装置。
- 前記コンピュータプログラムコードを含む前記少なくとも1つのメモリは、前記少なくとも1つのプロセッサと共に、前記光音響イメージング装置に、
少なくとも、
前記マルチスペクトル光音響画像データを1つ以上のサブセットに分割することと、
前記1つ以上のサブセットにおける前記複数の有意な成分を探索することと、
を行わせるように構成されている、
請求項13から請求項21までのいずれか1項に記載の光音響イメージング装置。 - 前記マルチスペクトル光音響画像データの前記前処理が、データ補正及びデータ削減の少なくとも一方をさらに含み、前記データ補正がガウシアンフィルタを含み、前記データ削減が4×4画素の四角形状の関心領域を使用することを含む、請求項13から請求項22までのいずれか1項に記載の光音響イメージング装置。
- 前記マルチスペクトル光音響画像データは、680~970ナノメートルの間の波長で受信される、請求項13から請求項23までのいずれか1項に記載の光音響イメージング装置。
- ハードウェアで実行されると、請求項1から請求項12までのいずれか1項に記載の方法による処理を実行する命令をコード化する、非一時的コンピュータ可読媒体。
- 請求項1から請求項12までのいずれか1項に記載の方法による処理を実行するための命令をコード化する、コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063002714P | 2020-03-31 | 2020-03-31 | |
US63/002,714 | 2020-03-31 | ||
PCT/US2021/024761 WO2021202438A1 (en) | 2020-03-31 | 2021-03-30 | System, method, and apparatus for multi-spectral photoacoustic imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023520007A true JP2023520007A (ja) | 2023-05-15 |
Family
ID=75660308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022559768A Pending JP2023520007A (ja) | 2020-03-31 | 2021-03-30 | マルチスペクトル光音響イメージングのためのシステム、方法、及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230026419A1 (ja) |
EP (1) | EP4125558B1 (ja) |
JP (1) | JP2023520007A (ja) |
CN (1) | CN115209795A (ja) |
CA (1) | CA3167234A1 (ja) |
WO (1) | WO2021202438A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI833571B (zh) * | 2023-02-06 | 2024-02-21 | 國立臺灣大學 | 用於測量單個紅血球糖化血色素分數的倍頻顯微裝置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213467B2 (en) | 2004-04-08 | 2012-07-03 | Sonosite, Inc. | Systems and methods providing ASICs for use in multiple applications |
CA2925586A1 (en) * | 2013-10-11 | 2015-04-16 | Seno Medical Instruments, Inc. | Systems and methods for component separation in medical imaging |
-
2021
- 2021-03-30 WO PCT/US2021/024761 patent/WO2021202438A1/en unknown
- 2021-03-30 EP EP21721253.9A patent/EP4125558B1/en active Active
- 2021-03-30 JP JP2022559768A patent/JP2023520007A/ja active Pending
- 2021-03-30 CN CN202180017803.6A patent/CN115209795A/zh active Pending
- 2021-03-30 CA CA3167234A patent/CA3167234A1/en active Pending
-
2022
- 2022-09-30 US US17/957,400 patent/US20230026419A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4125558A1 (en) | 2023-02-08 |
CA3167234A1 (en) | 2021-10-07 |
US20230026419A1 (en) | 2023-01-26 |
EP4125558B1 (en) | 2024-01-31 |
WO2021202438A1 (en) | 2021-10-07 |
EP4125558C0 (en) | 2024-01-31 |
CN115209795A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6320594B2 (ja) | 被検体情報取得装置及び被検体情報取得方法 | |
Loizou et al. | Despeckle filtering for ultrasound imaging and video, volume I: Algorithms and software | |
US8224427B2 (en) | Method for real time tumour visualisation and demarcation by means of photodynamic diagnosis | |
JP2013526395A (ja) | 光コヒーレンストモグラフィー画像のスペクトル解析のための装置、システム、方法、及びコンピューターがアクセス可能な媒体 | |
JP6226523B2 (ja) | 被検体情報取得装置、表示方法、およびデータ処理装置 | |
US10420472B2 (en) | Apparatus and method | |
Dehner et al. | Deep-learning-based electrical noise removal enables high spectral optoacoustic contrast in deep tissue | |
Taruttis et al. | Multiscale multispectral optoacoustic tomography by a stationary wavelet transform prior to unmixing | |
Al-Kadi et al. | Heterogeneous tissue characterization using ultrasound: a comparison of fractal analysis backscatter models on liver tumors | |
Moustakidis et al. | Fully automated identification of skin morphology in raster‐scan optoacoustic mesoscopy using artificial intelligence | |
Kukačka et al. | Image processing improvements afford second-generation handheld optoacoustic imaging of breast cancer patients | |
US20230026419A1 (en) | System, method, and apparatus for multi-spectral photoacoustic imaging | |
Dhengre et al. | Computer aided detection of prostate cancer using multiwavelength photoacoustic data with convolutional neural network | |
Raj et al. | Ultrasound medical image denoising using hybrid bilateral filtering | |
Tzoumas et al. | Spatiospectral denoising framework for multispectral optoacoustic imaging based on sparse signal representation | |
Ozdemir et al. | OADAT: Experimental and synthetic clinical optoacoustic data for standardized image processing | |
CN114209278A (zh) | 一种基于光学相干层析成像的深度学习皮肤病诊断*** | |
Warbal et al. | In silico evaluation of the effect of sensor directivity on photoacoustic tomography imaging | |
US11666225B2 (en) | Method and system for fluence matching in photoacoustic imaging | |
Humeau-Heurtier et al. | Bidimensional unconstrained optimization approach to EMD: An algorithm revealing skin perfusion alterations in pseudoxanthoma elasticum patients | |
JP6521761B2 (ja) | 情報処理装置および表示制御方法 | |
JP6486056B2 (ja) | 光音響装置および光音響装置の処理方法 | |
US20220067933A1 (en) | Methods for Extracting and Quantifying Diagnostic Biomarkers From Ultrasound Microvessel Images | |
US20190099083A1 (en) | Information processing apparatus and information processing method | |
Zafar et al. | Importance of Signal and Image Processing in Photoacoustic Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231102 |