JP2023046545A - Image processing method, imaging method, computer program and recording medium - Google Patents
Image processing method, imaging method, computer program and recording medium Download PDFInfo
- Publication number
- JP2023046545A JP2023046545A JP2021155192A JP2021155192A JP2023046545A JP 2023046545 A JP2023046545 A JP 2023046545A JP 2021155192 A JP2021155192 A JP 2021155192A JP 2021155192 A JP2021155192 A JP 2021155192A JP 2023046545 A JP2023046545 A JP 2023046545A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- interface
- image
- image processing
- tomographic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 75
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000004590 computer program Methods 0.000 title claims description 6
- 238000012937 correction Methods 0.000 claims abstract description 52
- 238000009826 distribution Methods 0.000 claims abstract description 42
- 238000012014 optical coherence tomography Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 36
- 239000012472 biological sample Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 46
- 238000000034 method Methods 0.000 abstract description 21
- 238000003325 tomography Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 65
- 239000013307 optical fiber Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 16
- 239000001963 growth medium Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000007788 liquid Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000002609 medium Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 239000011247 coating layer Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
この発明は、光コヒーレンストモグラフィ撮像により得られる断層画像における輝度ムラを補正するための画像処理技術に関するものである。 The present invention relates to an image processing technique for correcting luminance unevenness in a tomographic image obtained by optical coherence tomography imaging.
医学や生化学の技術分野では、容器中で培養された細胞や微生物を観察することが行われる。観察対象となる細胞等に影響を与えることなく観察を行う方法として、顕微鏡等を用いて細胞等を撮像する技術が提案されている。このような技術の1つとして、光干渉断層撮像(光コヒーレンストモグラフィ、Optical Coherence Tomography;OCT)技術を利用したものがある。この技術は、光源から出射される低コヒーレンス光を観察光として被撮像物に入射させ、被撮像物からの反射光(信号光)と光路長が既知である参照光との干渉光を検出することで、被撮像物からの反射光の深さ方向における強度分布を求めて断層画像化するものである。この技術によれば、細胞等の試料の三次元像を非侵襲で撮像することが可能である。 Observation of cells and microorganisms cultured in containers is performed in the technical fields of medicine and biochemistry. Techniques for imaging cells using a microscope or the like have been proposed as methods for observing cells and the like to be observed without affecting them. As one of such techniques, there is a technique using optical coherence tomography (OCT). In this technology, low-coherence light emitted from a light source is made incident on an object to be imaged as observation light, and interference light between reflected light (signal light) from the object to be imaged and reference light with a known optical path length is detected. In this way, the intensity distribution in the depth direction of the reflected light from the object to be imaged is obtained and converted into a tomographic image. According to this technique, it is possible to noninvasively capture a three-dimensional image of a sample such as a cell.
このような撮像における被撮像物である細胞等の試料は、培養容器等の容器内に収容された状態、あるいは、スライドガラス等の担持体に担持された状態で撮像に供されることが多い。そのような撮像では、容器壁面や担持体を介して撮像が行われることがある。OCT撮像においては、被撮像物への観察光の照射、および、被撮像物からの反射光の検出は、容器壁面と培養液との界面、あるいは担持体と外気との界面等の界面を介して行われることになる。このような場合、界面での光反射に起因して画像に各種のノイズが現れることがある。 A sample such as a cell, which is an object to be imaged in such imaging, is often subjected to imaging while being accommodated in a container such as a culture vessel or being carried on a carrier such as a slide glass. . In such imaging, imaging may be performed through the wall surface of the container or the carrier. In OCT imaging, irradiation of an object to be imaged with observation light and detection of reflected light from the object to be imaged are performed via an interface such as the interface between the container wall surface and the culture medium, or the interface between the carrier and the outside air. will be done. In such a case, various noises may appear in the image due to light reflection at the interface.
このような界面での反射に起因するノイズを抑えることを目的として、本願出願人は先に特許文献1を開示した。この技術では、細胞等を培養液とともに担持する試料容器の底面を水と屈折率の近いフッ素樹脂により形成することで、容器底面と培養液との界面での反射を軽減し、ノイズを抑えている。
The applicant of the present application previously disclosed
しかしながら、培養や観察の目的によっては、試料を準備する段階で、このように撮像上の便宜を考慮した特殊な容器を利用することができない場合があり得る。このため、より一般的な材質、構造の培養容器や担持体を使用する場合であっても、ノイズを抑えた良好な画質での撮像を行うことのできる技術が望まれる。 However, depending on the purpose of culture or observation, it may not be possible to use such a special container for the convenience of imaging at the stage of sample preparation. For this reason, there is a demand for a technique that can perform imaging with good image quality with reduced noise even when culture vessels and supports of more general materials and structures are used.
界面での反射、屈折に起因する画像ノイズとしては種々のものがあるが、本願発明者はその一つである、断層画像中、本来は均一すなわち一定輝度であるべき領域に濃淡ムラが生じるタイプのノイズに着目した。この種のノイズは、界面と交わる断面での断層画像では次のようにして現れる。すなわち、界面と直交する方向においては周囲より高輝度の(または低輝度の)領域が縞状に現れ、界面に沿った方向においては濃淡の繰り返しパターンとなって現れる。詳しくは後述するが、このようなノイズは界面の状態が位置により異なることに起因するものとみられる。 There are various types of image noise caused by reflection and refraction at the interface, and the inventor of the present application is one of them. We focused on the noise of This type of noise appears in a tomographic image at a cross section that intersects the interface as follows. That is, in the direction orthogonal to the interface, regions with higher (or lower) brightness than the surroundings appear in a striped pattern, and in the direction along the interface, a pattern of repeated densities appears. Although details will be described later, such noise is considered to be caused by the fact that the state of the interface differs depending on the position.
この発明は上記課題に鑑みなされたものであり、OCT撮像により得られる断層画像に現れる、界面での反射に起因する縞状のノイズを補正により低減させることのできる画像処理技術を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and aims to provide an image processing technique capable of reducing, by correcting, striped noise caused by reflection at an interface appearing in a tomographic image obtained by OCT imaging. aim.
この発明の一の態様は、平坦な界面を介した光コヒーレンストモグラフィ(OCT)撮像により撮像された被撮像物の断層画像に対応する断層画像データを取得する工程と、前記断層画像データに基づき、前記断層画像中の前記界面と平行な座標軸上の位置に対する輝度値の変化量を示す輝度ムラ分布を求める工程と、前記輝度ムラ分布に基づき、前記座標軸上の位置ごとの補正特性を決定する工程と、前記断層画像の各画素について、前記座標軸上の位置に応じた前記補正特性を適用して輝度値を補正する工程とを備える、画像処理方法である。 According to one aspect of the present invention, a step of acquiring tomographic image data corresponding to a tomographic image of an object to be imaged by optical coherence tomography (OCT) imaging through a flat interface; determining a luminance unevenness distribution indicating a change in luminance value with respect to a position on a coordinate axis parallel to the interface in the tomographic image; and determining a correction characteristic for each position on the coordinate axis based on the luminance unevenness distribution. and applying the correction characteristic corresponding to the position on the coordinate axis to correct the luminance value of each pixel of the tomographic image.
本発明において補正の対象とする画像ノイズは、界面からの反射に起因して界面に直交する方向に縞状に延びるタイプのものである。このようなノイズは、界面の状態が位置により異なることによって生じていると考えられる。例えば被撮像物が容器または担持体に担持されこれらの表面が界面を構成している場合には、その平面度、具体的にはその曲率および表面粗さや、コーティング等の表面処理の状態のばらつきにより、界面での反射光も発生態様が各位置で異なり、そのような光が複雑に干渉することでノイズが生じる。 Image noise to be corrected in the present invention is of the type that extends in a stripe shape in a direction perpendicular to the interface due to reflection from the interface. Such noise is considered to be caused by the state of the interface differing depending on the position. For example, when an object to be imaged is carried on a container or a carrier and these surfaces constitute an interface, the flatness, specifically the curvature and surface roughness, and the variation in the state of surface treatment such as coating As a result, the reflected light at the interface is also generated differently at each position, and such light interferes in a complex manner, resulting in noise.
上記のように構成された本発明は、このノイズが界面と直交する方向に沿った縞状に現れ、かつ界面に沿った方向には濃淡が繰り返される輝度ムラとして現れることに着目し、その画像への影響を、撮像後の画像データに対する補正処理により軽減しようとするものである。 The present invention configured as described above focuses on the fact that this noise appears in stripes along the direction orthogonal to the interface, and appears as luminance unevenness in which light and shade are repeated in the direction along the interface. This is intended to reduce the influence of image pickup by correcting image data after imaging.
この目的のため、本発明では、断層画像中で界面に平行な方向に設定した座標軸に沿った輝度ムラ分布が求められる。これにより、界面に平行な方向における輝度ムラの発生状況が把握される。そして、求められた輝度ムラ分布に基づいて、この輝度ムラを補正するための補正特性が、座標軸上の位置ごとに求められる。このようして定められた補正特性を適用して画像データを補正する。具体的には、撮像により得られる断層画像の各画素について、その座標軸上の位置に応じた補正特性を適用して輝度値を補正することで、画像が補正される。その結果、補正後の画像においては、上記のような縞状のノイズが軽減されることになる。 For this purpose, in the present invention, the luminance unevenness distribution along the coordinate axis set in the direction parallel to the interface in the tomographic image is obtained. As a result, the occurrence of luminance unevenness in the direction parallel to the interface can be grasped. Then, based on the determined luminance unevenness distribution, a correction characteristic for correcting this luminance unevenness is obtained for each position on the coordinate axis. The image data is corrected by applying the correction characteristics thus determined. Specifically, for each pixel of a tomographic image obtained by imaging, the image is corrected by applying a correction characteristic corresponding to the position on the coordinate axis to correct the luminance value. As a result, the striped noise as described above is reduced in the corrected image.
また、この発明の他の一の態様は、平坦な界面を介して被撮像物に観察光を入射させ、前記界面を介して出射される前記被撮像物からの反射光を受光し、光コヒーレンストモグラフィ撮像により前記被撮像物の断層画像に対応する断層画像データを取得する工程と、上記した画像処理方法を実行して、前記断層画像における輝度ムラを補正する工程とを備える、撮像方法である。 In another aspect of the present invention, observation light is incident on an object to be imaged through a flat interface, reflected light from the object to be imaged emitted through the interface is received, and optical coherence is achieved. An imaging method comprising a step of acquiring tomographic image data corresponding to a tomographic image of the object to be imaged by tomography imaging, and a step of correcting luminance unevenness in the tomographic image by executing the image processing method described above. be.
このように構成された発明では、界面を介したOCT撮像において不可避的に発生する縞状のノイズを、画像処理により事後的に低減することができる。そのため、界面の影響の少ない画像品質の良好な断層画像を取得することが可能であり、またそれに基づく三次元画像の作成についても、良好な品質で行うことが可能である。 In the invention configured in this manner, striped noise that inevitably occurs in OCT imaging through the interface can be reduced afterward by image processing. Therefore, it is possible to obtain a tomographic image of good image quality with little influence of the interface, and it is also possible to create a three-dimensional image based on it with good quality.
上記のように、本発明によれば、界面を介したOCT撮像により得られた断層画像において界面と平行な方向に繰り返して現れる縞状のノイズを低減することができるので、画像品質の良好な断層画像を作成することが可能である。 As described above, according to the present invention, it is possible to reduce striped noise that repeatedly appears in the direction parallel to the interface in a tomographic image obtained by OCT imaging through the interface, so that the image quality is improved. It is possible to create a tomographic image.
図1は本発明に係る画像処理方法の実行主体として好適な画像処理装置の構成例を示す図である。この画像処理装置1は、液体中に担持された試料、例えば培養液中で培養された細胞やその集塊を断層撮像し、得られた断層画像を画像処理して、試料の一の断面の構造を示す断面画像を作成する。また、複数の断面画像から試料の立体像を作成する。以下の各図における方向を統一的に示すために、図1に示すようにXYZ直交座標軸を設定する。ここでXY平面が水平面を表す。また、Z軸が鉛直軸を表し、より詳しくは(-Z)方向が鉛直下向き方向を表している。
FIG. 1 is a diagram showing a configuration example of an image processing apparatus suitable for executing an image processing method according to the present invention. This
画像処理装置1は保持部10を備えている。保持部10は、被撮像物である試料Sを収容する試料容器11を水平姿勢に保持する。試料容器11は例えば上面が開口し液体を担持可能な窪部が形成された、ディッシュと称される平底で浅皿形状の容器である。試料容器11には培養液などの培地Mが注入されており、その内部に試料Sとしての受精卵が担持される。この例では試料容器11としてのディッシュに複数の試料Sが担持されているが、これに限定されない。
The
この例では単一の窪部を有する試料容器11に複数の試料Sが担持されているが、これに限定されない。例えば試料容器11は、ウェルと呼ばれる窪部が1つのプレート状部材に複数配置されたウェルプレートであってもよい。この場合、複数の試料Sを1つずつ、複数のウェルにそれぞれ担持させることができる。また例えば、それぞれが試料Sを担持する複数のディッシュが、水平方向に並んだ状態で保持部10に保持され、撮像に供される態様であってもよい。
In this example, a plurality of samples S are held in the
保持部10に保持された試料容器11の下方に、撮像ユニット20が配置される。撮像ユニット20には、被撮像物の断層画像を非接触、非破壊(非侵襲)で撮像することが可能なOCT(光コヒーレンストモグラフィ、または光干渉断層撮像)装置が用いられる。詳しくは後述するが、OCT装置である撮像ユニット20は、被撮像物への照明光を発生する光源21と、光ファイバカプラ22と、物体光学系23と、参照光学系24と、分光器25と、光検出器26とを備えている。
An
また、画像処理装置1はさらに、装置の動作を制御する制御ユニット30と、撮像ユニット20の可動部を駆動する駆動部40とを備えている。制御ユニット30は、CPU(Central Processing Unit)31、A/Dコンバータ32、信号処理部33、3D復元部34、インターフェース(IF)部35、画像メモリ36およびメモリ37を備えている。
The
CPU31は、所定の制御プログラムを実行することで装置全体の動作を司り、CPU31が実行する制御プログラムや処理中に生成したデータはメモリ37に保存される。A/Dコンバータ32は、撮像ユニット20の光検出器26から受光光量に応じて出力される信号をデジタルデータに変換する。信号処理部33は、A/Dコンバータ32から出力されるデジタルデータに基づき後述する信号処理を行って、被撮像物の断層画像を作成する。3D復元部34は、撮像された複数の断層画像の画像データに基づいて、撮像された細胞集塊の立体像(3D像)を作成する機能を有する。信号処理部33により作成された断層画像の画像データおよび3D復元部34により作成された立体像の画像データは、画像メモリ36により適宜記憶保存される。
The
インターフェース部35は画像処理装置1と外部との通信を担う。具体的には、インターフェース部35は、外部機器と通信を行うための通信機能と、ユーザーからの操作入力を受け付け、また各種の情報をユーザーに報知するためのユーザーインターフェース機能とを有する。この目的のために、インターフェース部35には、装置の機能選択や動作条件設定などに関する操作入力を受け付け可能な例えばキーボード、マウス、タッチパネルなどの入力デバイス351と、信号処理部33により作成された断層画像や3D復元部34により作成された立体像など各種の処理結果を表示する例えば液晶ディスプレイからなる表示部352とが接続されている。
The
撮像ユニット20では、例えば発光ダイオードまたはスーパールミネッセントダイオード(SLD)などの発光素子を有する光源21から、広帯域の波長成分を含む低コヒーレンス光ビームが出射される。細胞等の試料を撮像する目的においては、入射光を試料の内部まで到達させるために、例えば近赤外線が用いられることが好ましい。
In the
光源21は光ファイバカプラ22を構成する光ファイバの1つである光ファイバ221に接続されており、光源21から出射される低コヒーレンス光は、光ファイバカプラ22により2つの光ファイバ222,224への光に分岐される。光ファイバ222は物体系光路を構成する。より具体的には、光ファイバ222の端部から出射される光は物体光学系23に入射する。
The
物体光学系23は、コリメータレンズ231と対物レンズ232とを備えている。光ファイバ222の端部から出射される光はコリメータレンズ231を介して対物レンズ232に入射する。対物レンズ232は、光源21からの光(観察光)を光ビームとして試料に収束させる機能と、試料から出射される反射光を集光して光ファイバカプラ22に向かわせる機能とを有する。図では単一の対物レンズ232が記載されているが、複数の光学素子が組み合わされていてもよい。被撮像物からの反射光は対物レンズ232、コリメータレンズ231を介し信号光として光ファイバ222に入射する。対物レンズ232の光軸は試料容器11の底面111に直交しており、この例では光軸方向は鉛直軸方向と一致している。したがって、試料Sに対する観察光の入射方向はZ方向である。
The object
駆動部40はCPU31により制御される。すなわち、CPU31は駆動部40に制御指令を与え、これに応じて駆動部40は撮像ユニット20に所定方向への移動を行わせる。より具体的には、駆動部40は、撮像ユニット20を水平方向(XY方向)および鉛直方向(Z方向)に移動させる。撮像ユニット20の水平方向の移動により、撮像範囲が水平方向に変化する。また、撮像ユニット20の鉛直方向の移動により、対物レンズ232の光軸方向における焦点位置が、被撮像物である試料Sに対し変化する。
The
光源21から光ファイバカプラ22に入射した光の一部は光ファイバ224を介して参照光学系24に入射する。参照光学系24は、コリメータレンズ241および参照ミラー243を備えており、これらが光ファイバ224とともに参照系光路を構成する。具体的には、光ファイバ224の端部から出射される光がコリメータレンズ241を介して参照ミラー243に入射する。参照ミラー243により反射された光は参照光として光ファイバ224に入射する。
Part of the light that has entered the
試料の表面もしくは内部の反射面で反射された反射光(信号光)と、参照ミラー243で反射された参照光とは光ファイバカプラ22で混合され光ファイバ226を介して光検出器26に入射する。このとき、信号光と参照光との間で位相差に起因する干渉が生じるが、干渉光の分光スペクトルは反射面の深さにより異なる。つまり、干渉光の分光スペクトルは被撮像物の深さ方向の情報を有している。したがって、干渉光を波長ごとに分光して光量を検出し、検出された干渉信号をフーリエ変換することにより、被撮像物の深さ方向における反射光強度分布を求めることができる。このような原理に基づくOCT撮像技術は、フーリエドメイン(Fourier Domain)OCT(FD-OCT)と称される。
The reflected light (signal light) reflected by the surface or internal reflecting surface of the sample and the reference light reflected by the
この実施形態の撮像ユニット20は、光ファイバ226から光検出器26に至る干渉光の光路上に分光器25が設けられている。分光器25としては、例えばプリズムを利用したもの、回折格子を利用したもの等を用いることができる。干渉光は分光器25により波長成分ごとに分光されて光検出器26に受光される。
The
光検出器26が検出した干渉光に応じて光検出器26から出力される干渉信号をフーリエ変換することで、試料のうち、照明光の入射位置における深さ方向、つまりZ方向の反射光強度分布が求められる。試料容器11に入射する光ビームをX方向に走査することで、XZ平面と平行な平面における反射光強度分布が求められ、その結果から当該平面を断面とする試料Sの断層画像を作成することができる。その原理は周知であるため、詳細な説明は省略する。
By Fourier transforming the interference signal output from the
また、Y方向におけるビーム入射位置を多段階に変更しながら、その都度断層画像の撮像を行うことで、試料をXZ平面と平行な断面で断層撮像した多数の断層画像を得ることができる。Y方向の走査ピッチを小さくすれば、試料の立体構造を把握するのに十分な分解能の画像データを得ることができる。これらの断層画像データから、試料の立体像に対応する三次元画像データ(いわゆるボクセルデータ)を作成することができる。このように、画像処理装置1は、被撮像物である試料SのXZ平面と平行な任意の断面での断層画像を作成する機能と、互いに異なる複数の断層画像から試料Sの三次元像を作成する機能とを有する。
In addition, by changing the beam incident position in the Y direction in multiple stages and capturing a tomographic image each time, it is possible to obtain a large number of tomographic images obtained by capturing a tomographic image of the sample in a cross section parallel to the XZ plane. By reducing the scanning pitch in the Y direction, it is possible to obtain image data with sufficient resolution to grasp the three-dimensional structure of the sample. Three-dimensional image data (so-called voxel data) corresponding to a three-dimensional image of the sample can be created from these tomographic image data. As described above, the
図2はOCT撮像の結果から得られる三次元画像データの概念を示す図である。画像処理装置1では、被撮像物に対しZ方向に入射させた光(観察光)LoをX方向に走査しながら撮像を行うことで、XZ平面と平行な一の鉛直断面を表す画像Ivが取得される。図2(a)に示すように、このときの走査方向、すなわちX方向をここでは「主走査方向」と称し符号Dmを付すこととする。1つの断層画像Ivは、X方向およびZ方向に沿って二次元配列された複数の画素(ピクセル)Pにより構成される。1画素分に相当する実空間上のサイズ(以下、「画素サイズ」といい符号Spを付す)は、撮像光学系23の倍率および光検出器26の分解能に依存するが、例えばその最小値を1μmとすることができる。この場合、実効的な分解能としては3μm程度が得られる。
FIG. 2 is a diagram showing the concept of three-dimensional image data obtained from the results of OCT imaging. In the
断層画像Iv内の各画素Pの輝度値は、試料Sにおいて当該画素Pに対応する位置に反射率の高い反射面があれば高くなる一方、当該位置における反射率が低ければ低くなる。光を反射するような構造がなければ輝度値は最小となる。このようにして、試料Sの内部構造が断層画像Ivに表現される。 The brightness value of each pixel P in the tomographic image Iv increases if there is a reflective surface with high reflectance at the position corresponding to the pixel P in the sample S, and decreases if the reflectance at that position is low. If there is no structure that reflects light, the luminance value will be minimum. In this manner, the internal structure of the sample S is expressed in the tomographic image Iv.
観察光Loの入射位置を、主走査方向Dmに直交する副走査方向Ds(この例ではY方向)に所定の送りピッチPfで変化させながら、その都度断層撮像を行うことで、Y方向に互いに位置の異なる複数の断層画像Ivが得られる。ここで、送りピッチPfを画素サイズSpと同等としておけば、図2(b)に示すように、二次元画像である各断層画像Itの画素Pを、画素サイズが同等な三次元空間における画素(ボクセル)Vとみなすことができる。これにより、複数の断層画像Ivから三次元像を構成することが可能となる。このようにして、被撮像物の三次元構造を表した三次元(three-dimensional;3D)画像データが作成される。 While changing the incident position of the observation light Lo at a predetermined feed pitch Pf in the sub-scanning direction Ds (the Y direction in this example) orthogonal to the main scanning direction Dm, tomographic imaging is performed each time. A plurality of tomographic images Iv at different positions are obtained. Here, if the feed pitch Pf is set equal to the pixel size Sp, as shown in FIG. (voxel) can be regarded as V. This makes it possible to construct a three-dimensional image from a plurality of tomographic images Iv. In this way, three-dimensional (3D) image data representing the three-dimensional structure of the object to be imaged is created.
なお、上記方法に代えて、例えば副走査方向Dsにおける送りピッチPfを画素サイズSpよりも大きくして撮像し、そうして得られた複数の断層画像Ivの間をY方向に補間処理することによっても、三次元画像データを作成することが可能である。 Instead of the above method, for example, images may be captured with the feed pitch Pf in the sub-scanning direction Ds larger than the pixel size Sp, and interpolation processing may be performed in the Y direction between a plurality of tomographic images Iv thus obtained. It is also possible to create three-dimensional image data.
こうして得られた三次元画像データから、試料Sの水平断面、つまり、観察光の入射方向であるZ方向に直交するXY方向の断面画像を作成することが可能である。具体的には、図2(c)に示すように、Z方向における位置が同じであるボクセルを一の水平断面に属する画素とみなすことで、種々の深さにおける水平断面画像Ihを作成することができる。また、同一のYZ平面に含まれる、つまりX座標値が同一である画素(ボクセル)を一の平面に配置した画像は、YZ方向の断層画像となる。 From the three-dimensional image data obtained in this way, it is possible to create a horizontal section of the sample S, that is, a section image in the XY directions orthogonal to the Z direction, which is the incident direction of the observation light. Specifically, as shown in FIG. 2(c), horizontal cross-sectional images Ih at various depths are created by regarding voxels having the same position in the Z direction as pixels belonging to one horizontal cross-section. can be done. An image in which pixels (voxels) included in the same YZ plane, that is, having the same X-coordinate value are arranged on one plane becomes a tomographic image in the YZ direction.
このようにして、XZ平面またはYZ平面に平行な断層画像Ivと、XY平面に平行な水平断面画像Ihとを相互に変換可能である。また、各画素(ボクセル)については、X座標、Y座標およびZ座標で表される三次元座標空間内の座標位置(X,Y,Z)を指定することにより、一義的に特定することが可能である。 In this way, the tomographic image Iv parallel to the XZ plane or YZ plane and the horizontal cross-sectional image Ih parallel to the XY plane can be mutually converted. Further, each pixel (voxel) can be uniquely specified by specifying a coordinate position (X, Y, Z) in a three-dimensional coordinate space represented by X, Y, and Z coordinates. It is possible.
ここまでの説明では「水平面」および「水平方向」という語句を用いているが、技術的には、これらは「観察光Loの入射方向に直交する平面」および「当該平面に沿った方向」という概念で一般化することが可能である。本実施形態では試料Sに対する観察光Loの入射方向がZ方向、つまり鉛直方向であることから、これに直交する方向が水平方向となる。しかしながら、観察光の入射方向は鉛直方向とは限らない。その場合には、「水平」の語句は「入射方向に直交する」の意味に読み替えればよい。 Although the terms “horizontal plane” and “horizontal direction” have been used in the description so far, technically, these are called “a plane orthogonal to the incident direction of the observation light Lo” and “a direction along the plane”. It is possible to generalize with the concept. In this embodiment, the direction of incidence of the observation light Lo on the sample S is the Z direction, that is, the vertical direction, so the direction perpendicular to this direction is the horizontal direction. However, the incident direction of observation light is not limited to the vertical direction. In that case, the term "horizontal" should be read as "perpendicular to the direction of incidence".
次に、上記のように構成された画像処理装置1において実行される画像処理の一例について説明する。この画像処理は、次に説明するように、容器壁面のような界面を介してOCT撮像された断層画像に見られる縞状のノイズを低減させるための処理である。
Next, an example of image processing performed by the
図3は本実施形態の画像処理の補正対象であるノイズの例を示す図である。図3(a)に示すように、培養液および試料を担持しない状態の試料容器11の底面111(より詳しくは、培地に接触する内底面)に対し垂直に観察光Loを入射させて撮像を行うことで、容器底面111の断層画像が得られる。このとき容器底面111は水平面、すなわちXY平面に平行であり、観察光Loの入射方向はZ方向に平行である。
FIG. 3 is a diagram showing an example of noise to be corrected in the image processing of this embodiment. As shown in FIG. 3(a), the observation light Lo is vertically incident on the bottom surface 111 (more specifically, the inner bottom surface in contact with the culture medium) of the
このときの画像では、容器底面111よりも上方の領域は一様な輝度を有するはずであるが、一例を図3(b)に示すように、容器底面111からZ方向に延びる縞状の輝度ムラが生じることがある。容器底面111に平行な方向に見ると、この輝度ムラは、高輝度の領域と低輝度の領域とが交互に現れる濃淡の繰り返しパターンであるとも言える。三次元画像における水平断面を見たとき、輝度ムラは、水面に生じる波紋のようなパターンとなって現れる。
In the image at this time, the area above the
このような輝度ムラは、容器底面111の表面状態、具体的には表面の微小な凹凸やコーティング層の厚さのばらつき等に起因して生じているものと考えられる。この輝度ムラは試料Sの観察に支障を来すものであるから、撮像により得られる断層画像、あるいはそれを元に作成される三次元画像には現れないことが望ましい。そのための具体的な方法としては、撮像の段階で輝度ムラを抑える方法と、撮像により得られた画像データに画像処理を施すことで、事後的に輝度ムラが生じないようにする方法とが考えられる。
It is considered that such luminance unevenness is caused by the surface condition of the
この実施形態では後者の方法により輝度ムラの低減が図られている。図3(b)に示す画像に本実施形態の輝度ムラ補正処理を施すことで、図3(c)に示すように輝度ムラの低減された画像を取得することが可能である。以下、この実施形態における、撮像から輝度ムラ補正処理までの一連の処理の流れについて、図4および図5を参照して説明する。なお、この実施形態における輝度ムラ補正処理は、一の断層画像を対象として実行することも可能であり、また三次元画像を対象として実行することも可能である。 In this embodiment, the latter method is used to reduce uneven brightness. By subjecting the image shown in FIG. 3B to the luminance unevenness correction processing of the present embodiment, it is possible to obtain an image with reduced luminance unevenness as shown in FIG. 3C. The flow of a series of processes from imaging to luminance unevenness correction processing in this embodiment will be described below with reference to FIGS. 4 and 5. FIG. It should be noted that the brightness unevenness correction processing in this embodiment can be executed for one tomographic image, or can be executed for a three-dimensional image.
図4はこの実施形態における撮像処理を示すフローチャートである。また、図5はこの実施形態における画像補正処理を説明する図である。最初に、試料容器11に培地Mとともに担持された試料SがOCT撮像される(ステップS101)。
FIG. 4 is a flow chart showing imaging processing in this embodiment. FIG. 5 is a diagram for explaining image correction processing in this embodiment. First, an OCT image of the sample S carried in the
具体的には、試料容器11はその底面111が水平となるように保持され、観察光Loは容器底面111に対し垂直に入射する。観察光LoがX方向に走査されることで、XZ平面に平行な断面における試料Sの断層画像に対応する断層画像データが得られる。さらに観察光LoがY方向に走査されることで、YZ平面に平行な断面における試料Sの断層画像に対応する断層画像データが得られる。このようにして試料Sの三次元画像データが取得される。
Specifically, the
図5上段の図(a)はOCT撮像により得られる断層画像を模式化した図である。XZ平面またはYZ平面に平行な一の断面を表す断層画像Ivには、略一様な培地Mに対応する低輝度の領域と、試料S中の細胞C1,C2に対応する明るい領域と、容器底面111に対応する明るい領域とが現れ、さらに、本実施形態における補正対象である縞状の輝度ムラがこれらに重畳された状態となっている。
FIG. 5(a) in the upper part is a schematic view of a tomographic image obtained by OCT imaging. A tomographic image Iv representing a cross section parallel to the XZ plane or the YZ plane includes a low-brightness region corresponding to a substantially uniform medium M, a bright region corresponding to the cells C1 and C2 in the sample S, and a container A bright area corresponding to the
輝度ムラとして現れる濃淡の差は、容器底面111と培地Mとの界面Iにおいて最も大きく、容器底面111から上方へ離れるにつれて次第に弱まってゆくことがわかっている。また、容器底面111から十分に離れた位置における輝度値との対比から、界面Iに起因する輝度ムラは、一様かつ低輝度である領域に本来より高輝度の領域が生じることが原因と考えられる。つまり、周囲より高輝度の領域に、輝度ムラの影響が強く現れていると言える。
It is known that the difference in gradation appearing as luminance unevenness is greatest at the interface I between the
次に、撮像により得られた断層画像または三次元画像に対し、輝度ムラ分布を算出するための算出対象領域が設定される(ステップS102)。具体的には、Z軸における座標値の範囲を指定することで、Z方向における位置が当該範囲に含まれる画素の集合体として算出対象領域が設定される。例えば算出対象領域の下限位置および上限位置を示す2つのZ座標値Z1,Z2を指定することで、算出対象領域を設定することができる。 Next, a calculation target region for calculating the luminance unevenness distribution is set for the tomographic image or the three-dimensional image obtained by imaging (step S102). Specifically, by specifying a range of coordinate values on the Z-axis, a calculation target area is set as a collection of pixels whose positions in the Z direction are included in the range. For example, the calculation target area can be set by specifying two Z coordinate values Z1 and Z2 indicating the lower limit position and the upper limit position of the calculation target area.
後述するように、算出対象領域内の各画素の輝度値から、画像内で本来一様の輝度を有するべき背景領域に現れる輝度の変動、つまり輝度ムラの発生量が見積もられる。その結果から、各画素の輝度値から輝度ムラの影響を除くために必要な補正特性が算出される。こうして求められた補正特性に基づき各画素の輝度値が補正されることにより、画像に現れた輝度ムラが低減される。 As will be described later, from the luminance value of each pixel in the calculation target area, fluctuations in luminance appearing in the background area that should have uniform luminance in the image, that is, the amount of uneven luminance that occurs is estimated. Based on the result, a correction characteristic required to remove the influence of luminance unevenness from the luminance value of each pixel is calculated. By correcting the luminance value of each pixel based on the correction characteristics obtained in this manner, the uneven luminance appearing in the image is reduced.
図5(a)に示すように、断層画像Ivにおいて設定される算出対象領域Rは、容器底面111と培地Mとの界面Iに平行に延び、Z方向に所定の幅を有する帯状の領域である。なお、処理対象の画像が三次元画像であるとき、算出対象領域Rは、界面Iに平行でZ方向に所定の厚さを有する平板状の領域として定義される。算出対象領域Rの幅あるいは厚さについては、Z方向における1画素分のサイズ以上の任意の値とすることができる。算出対象領域Rに関しては、Z方向を「幅方向」と考えることができる。
As shown in FIG. 5A, the calculation target region R set in the tomographic image Iv is a strip-shaped region extending parallel to the interface I between the
試料Sの状態に影響されず輝度ムラ分布を精度よく抽出するという目的から、算出対象領域Rは、本来の被撮像物である試料S(細胞C1,C2等)の像を含まないように設定されることが望ましい。例えば細胞C1,C2等の高さ、つまりZ方向のサイズがある程度予測可能である場合には、そのサイズに応じて算出対象領域Rの範囲を設定することができる。 For the purpose of accurately extracting the luminance unevenness distribution without being affected by the state of the sample S, the calculation target area R is set so as not to include the image of the sample S (cells C1, C2, etc.), which is the original object to be imaged. It is desirable that For example, if the height of the cells C1, C2, etc., that is, the size in the Z direction can be predicted to some extent, the range of the calculation target region R can be set according to the size.
例えば、試料Sが細胞またはその集合体である細胞集塊である場合、そのZ方向における最大サイズは100μm程度であるから、そのサイズに対応するZ座標値Z1として例えば100μm、これより大きい適宜のZ座標値Z2として例えば150μmを指定することにより、Z座標値がZ1~Z2の範囲にある画素が、算出対象領域R内の画素とみなされる。 For example, when the sample S is a cell aggregate that is a cell or an aggregate thereof, the maximum size in the Z direction is about 100 μm, so the Z coordinate value Z1 corresponding to the size is, for example, 100 μm, or an appropriate larger size. By specifying, for example, 150 μm as the Z-coordinate value Z2, pixels having Z-coordinate values in the range from Z1 to Z2 are regarded as pixels within the region R to be calculated.
算出対象領域Rとする座標範囲については、例えば被撮像物のサイズが予めわかっている場合には、そのサイズに応じたデフォルト値として設定しておくことが可能である。また例えば、断層画像を表示部352に表示し、それを見たユーザーからの範囲設定入力を入力デバイス351により受け付けるようにしてもよい。ここではこの方法を採用するものとする。これ以外に、例えば画像処理によって三次元画像から試料Sに対応する領域を抽出し、この領域以外に算出対象領域を自動設定するようにしてもよい。
For example, if the size of the object to be imaged is known in advance, the coordinate range of the calculation target region R can be set as a default value according to the size. Further, for example, the tomographic image may be displayed on the
なお、算出対象領域Rの幅(また厚さ)については、予め定められた固定値としてもよい。この場合、単一のZ座標値を指定することにより、結果的に所定の幅または厚さを有する算出対象領域Rを設定することが可能である。 Note that the width (or thickness) of the calculation target region R may be a predetermined fixed value. In this case, by designating a single Z-coordinate value, it is possible to set a calculation target region R having a predetermined width or thickness as a result.
このようにして設定された算出対象領域Rについて、輝度ムラ分布が求められる(ステップS103)。座標(X,Y,Z)で表される画素(ボクセル)の輝度値を符号L(X,Y,Z)で表すこととする。XYZ座標空間内でZ座標値が同じである各位置の輝度値L(X,Y,Z)をX座標またはY座標方向の位置に対しプロットすると、明るい領域と暗い領域とが交互に現れるという輝度ムラの性質から、図5(b)に示すように、輝度値は波打つような変動を示す。輝度ムラが強く現れるZ=Z1のときには変動量が大きく、輝度ムラの影響がより小さいZ=Z2のときには変動量はより小さくなるが、いずれも同様の傾向が現れる。このような位置と輝度値との関係を「輝度ムラ分布」と称する。 A luminance unevenness distribution is obtained for the calculation target region R thus set (step S103). Let L(X, Y, Z) be the luminance value of a pixel (voxel) represented by coordinates (X, Y, Z). When the luminance value L (X, Y, Z) of each position with the same Z coordinate value in the XYZ coordinate space is plotted against the position in the X coordinate or Y coordinate direction, bright areas and dark areas appear alternately. Due to the nature of luminance unevenness, the luminance value shows a wavy fluctuation as shown in FIG. 5(b). The amount of variation is large when Z=Z1, where uneven brightness appears strongly, and the amount of variation is smaller when Z=Z2, where the influence of uneven brightness is smaller, but the same tendency appears in both cases. Such a relationship between positions and luminance values is referred to as "luminance non-uniformity distribution".
原理上は、深さ方向(Z方向)の位置が等しい一の水平線上(または水平面内)での輝度分布を以って輝度ムラ分布を表すことが可能である。この場合、算出対象領域Rとしては1画素分の幅(または厚さ)があればよいこととなる。しかしながら、画像データから求められる輝度値L(X,Y,Z)には、他の原因によるノイズが含まれる場合がある。また、細胞C1,C2等、背景領域以外のオブジェクトが算出対象領域Rに含まれることがあり得る。 In principle, it is possible to represent the luminance unevenness distribution by the luminance distribution on one horizontal line (or within the horizontal plane) having equal positions in the depth direction (Z direction). In this case, it suffices for the calculation target region R to have a width (or thickness) of one pixel. However, the luminance value L (X, Y, Z) obtained from the image data may contain noise due to other causes. Objects other than the background area, such as cells C1 and C2, may also be included in the calculation target area R. FIG.
これらの影響を低減させるため、輝度値は算出対象領域R内で深さ方向(Z方向)に平均化されることが望ましい。例えば次式:
前記したように輝度ムラの現れ方はZ方向位置により異なり、界面Iに近い位置ほど濃淡の差が大きい。したがって、厳密に言えば輝度ムラ分布は種々の深さで個別に求めることができる。試料Sの像に現れる輝度ムラの影響を補正により低減させるという目的においては、試料Sの像を含む深さでの輝度ムラを把握する必要がある。しかしながら、当該深さでの輝度分布において、試料Sに起因する輝度値と輝度ムラに起因する輝度値とを分離する必要があり、その方法は現時点で確立されていない。また本願発明者の知見では、この目的においてはZ方向位置における差異を無視しても実用上問題ないことがわかっている。これらのことから、輝度ムラ分布については、現実的にはZ方向位置に依存しない二次元の関数D(X,Y)として表すことが可能である。 As described above, the appearance of unevenness in brightness differs depending on the position in the Z direction, and the closer the position is to the interface I, the greater the difference in gradation. Therefore, strictly speaking, the luminance unevenness distribution can be obtained individually at various depths. For the purpose of reducing the influence of the uneven brightness appearing in the image of the sample S by correction, it is necessary to grasp the uneven brightness at a depth including the image of the sample S. However, it is necessary to separate the luminance value due to the sample S from the luminance value due to the uneven luminance in the luminance distribution at the depth, and a method for this has not been established at present. Further, according to the findings of the inventors of the present application, it has been found that there is no practical problem even if the difference in the Z-direction position is ignored for this purpose. From these facts, it is possible to practically represent the uneven brightness distribution as a two-dimensional function D(X, Y) that does not depend on the position in the Z direction.
こうして求められた輝度ムラ分布D(X,Y)に基づき補正特性が決定されるが、ノイズ等の極端な外れ値の影響を抑制し、また強い補正により補正後の画像が不自然になるのを防止するために、輝度ムラ分布における輝度変動量を所定の範囲内に収める正規化処理を行ってもよい。例えば次式:
次に、求められた輝度ムラ分布D(X,Y)またはDn(X,Y)に基づき補正特性が決定される(ステップS104)。補正特性は、画像内の各画素につき、当該画素に現れる輝度ムラの影響をキャンセルするため輝度値に対し作用させる補正量を表すものである。輝度ムラの現れ方は位置により異なるから、補正特性については、深さ(Z方向)によらないXY平面内での位置の関数C(X,Y)により表すことができる。 Next, a correction characteristic is determined based on the obtained luminance unevenness distribution D(X, Y) or Dn(X, Y) (step S104). The correction characteristic represents the amount of correction applied to the luminance value of each pixel in the image in order to cancel the influence of luminance unevenness appearing in the pixel. Since the appearance of luminance unevenness differs depending on the position, the correction characteristic can be represented by a function C(X, Y) of the position in the XY plane independent of the depth (Z direction).
輝度ムラ補正は、輝度ムラが強く現れている位置では輝度値に対する補正が大きくなる一方、輝度ムラの影響の小さい位置では補正量が小さくなるように定められる。この目的のための補正としては、例えば各画素の輝度値に対し位置に応じた定数を乗じるあるいは減算する方法が考えられる。ここでは、位置ごとに定められた補正係数を輝度値に乗じる方法を採用した場合を説明する。 The brightness unevenness correction is determined so that the correction of the brightness value is increased at positions where the brightness unevenness appears strongly, while the correction amount is decreased at positions where the brightness unevenness is less influential. As a correction for this purpose, for example, a method of multiplying or subtracting the luminance value of each pixel by a constant corresponding to the position can be considered. Here, a case of adopting a method of multiplying the luminance value by a correction coefficient determined for each position will be described.
各位置における補正係数C(X,Y)については、例えば次式:
そして、求められた補正係数C(X,Y)が画像内の各画素の輝度値に適用されることで、画像の補正が実施される(ステップS105)。補正後の各画素の輝度値Lc(X,Y、Z)については次式:
以上のように、この実施形態では、OCT撮像において、例えば試料容器11と培地Mとが接する面のような界面Iにおける光の複雑な反射・干渉に起因して生じる縞状のノイズを、界面に平行な方向に沿った輝度ムラ分布を画像から抽出し、それに基づき求められた補正特性を適用して各画素の輝度値を補正することにより低減させている。
As described above, in this embodiment, in OCT imaging, for example, the striped noise generated due to complex reflection and interference of light at the interface I, such as the surface where the
試料Sを含まない試料容器11を用いてOCT撮像を行って得られた画像は、図3(b)に示すように、本来一様な輝度であるべき背景領域に縞状の輝度ムラが現れたものとなっているが、これに本実施形態の補正処理を適用することにより、図3(c)に示すように、縞状の輝度ムラが低減される。
In the image obtained by performing OCT imaging using the
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の画像処理装置1は、試料SをOCT撮像する機能および撮像データに基づく画像処理を実行する機能を有するものである。しかしながら、本発明の画像処理方法は、自身は撮像機能を持たず、撮像機能を有する他の装置での撮像により得られた撮像データを取得したコンピューター装置によって実行することも可能である。例えば、過去に行われたOCT撮像により取得された画像データに対して本発明に係る画像処理を実行することが可能であり、新たに撮像が行われることを必ずしも要しない。
The present invention is not limited to the above-described embodiments, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the
これを可能とするために、図4の各処理ステップをコンピューター装置に実行させるためのソフトウェアプログラムとして、本発明が実施されてもよい。このようなプログラムの配布は、例えばインターネット等の電気通信回線を介してダウンロードする形式によって行うことが可能であり、また当該プログラムを非一時的に記録したコンピューター読み取り可能な記録媒体を配布することによっても可能である。また、既存のOCT撮像装置にインターフェースを介してこのプログラムを読み込ませることで、当該装置により本発明を実施することも可能となる。 To enable this, the present invention may be implemented as a software program for causing a computer device to execute each processing step of FIG. Such programs can be distributed, for example, in the form of downloading via telecommunication lines such as the Internet, and by distributing computer-readable recording media that record the programs non-temporarily. is also possible. In addition, by loading this program into an existing OCT imaging apparatus via an interface, the present invention can be implemented by the apparatus.
また、上記実施形態の輝度ムラ補正処理では、水平方向における輝度ムラが抽出され、その結果に基づき位置に応じて設定された補正係数C(X,Y)を各画素に乗じることで補正が行われる。しかしながら補正の態様はこれに限定されず、例えば補正特性として位置ごとにオフセット値が設定され、各画素の輝度値から当該位置に応じたオフセット値が差し引かれることにより補正が行われてもよい。 Further, in the luminance unevenness correction processing of the above embodiment, luminance unevenness in the horizontal direction is extracted, and correction is performed by multiplying each pixel by a correction coefficient C (X, Y) set according to the position based on the result. will be However, the mode of correction is not limited to this. For example, an offset value may be set for each position as a correction characteristic, and correction may be performed by subtracting the offset value according to the position from the luminance value of each pixel.
また、上記実施形態では、液体を担持可能な試料容器11内に培地Mとともに担持された細胞C1,C2等の試料Sが被撮像物とされ、容器底面111を介してOCT撮像が行われる。したがって、容器底面111と培地Mとが接する両者の界面Iが、本発明にいう「界面」に相当している。しかしながら、本発明の適用対象である「界面を介した撮像」はこのような態様の撮像に限定されない。
In the above-described embodiment, the sample S such as cells C1 and C2 held together with the culture medium M in the
例えば、細胞等の試料が平板またはシート状の担持体の表面上で培養されたものであり、この担持体を介して撮像が行われる場合には、担持体の表面が本発明にいう「界面」に相当することとなる。また、「界面」は上記のように固体と液体との間のものに限定されず、例えば固体と気体との間の界面であってもよい。例えばスライドガラスのような平板状の担持体に担持された試料を撮像する場合には、当該担持体の表面が「界面」に相当する。 For example, when a sample such as a cell is cultured on the surface of a flat plate or sheet-like carrier, and imaging is performed through this carrier, the surface of the carrier is the “interface” referred to in the present invention. ". Also, the "interface" is not limited to the interface between solid and liquid as described above, and may be, for example, the interface between solid and gas. For example, when imaging a sample held on a plate-shaped carrier such as a slide glass, the surface of the carrier corresponds to the "interface".
以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理方法においては、界面と座標軸とに垂直な幅方向に1画素以上の幅を有し座標軸に平行に延びる算出対象領域を設定し、輝度ムラ分布は、算出対象領域内の画素の輝度値に基づき算出されてもよい。このような構成によれば、算出対象領域内に現れた輝度ムラが実測されて補正に反映されるので、画像内の各位置の画素を精度よく補正することが可能になる。 As described above by exemplifying specific embodiments, in the image processing method according to the present invention, the width of one pixel or more in the width direction perpendicular to the interface and the coordinate axis extends parallel to the coordinate axis. A calculation target area may be set, and the uneven brightness distribution may be calculated based on the brightness values of pixels in the calculation target area. According to such a configuration, since the luminance unevenness appearing in the calculation target area is actually measured and reflected in the correction, it is possible to accurately correct the pixels at each position in the image.
ここで、算出対象領域は、界面に平行で互いに直交する2つの座標軸に沿った二次元領域として設定されてもよい。このような構成によれば、二次元方向における補正特性を求めることが可能となり、OCT撮像により得られた三次元画像を対象とした補正を行うことができる。 Here, the calculation target area may be set as a two-dimensional area along two coordinate axes that are parallel to the interface and orthogonal to each other. According to such a configuration, it is possible to obtain correction characteristics in two-dimensional directions, and to perform correction targeting a three-dimensional image obtained by OCT imaging.
また、輝度ムラ分布は、算出対象領域内で幅方向に並ぶ複数画素の輝度値の平均値または中央値に基づき算出されてもよい。このような構成によれば、別の理由で算出対象領域内に現れるノイズによる外れ値により補正特性が影響を受け、意図しない補正が行われてしまうことを回避することができる。 Further, the luminance unevenness distribution may be calculated based on the average value or the median value of the luminance values of a plurality of pixels arranged in the width direction within the calculation target area. According to such a configuration, it is possible to prevent unintended correction from being performed due to the influence of the correction characteristic due to the outlier due to the noise appearing in the calculation target area for some other reason.
また、算出対象領域は、断層画像のうち被撮像物の像を含まない領域に設定されることが好ましい。このような構成によれば、被撮像物の存在に起因する輝度変化が誤って輝度ムラとして扱われ補正特性が決定されることが回避されるので、輝度ムラの実態に応じた適切な補正が可能となる。 Moreover, it is preferable that the calculation target region is set to a region of the tomographic image that does not include the image of the object to be imaged. According to such a configuration, it is avoided that a luminance change caused by the presence of an object to be imaged is erroneously treated as luminance unevenness and a correction characteristic is determined. It becomes possible.
また例えば、輝度ムラ分布の算出に先立って、算出対象領域に関するユーザーからの設定入力を受け付ける工程がさらに設けられてもよい。このような構成によれば、ユーザーが画像の状態や目的に応じて自由に算出対象領域を設定することができる。したがって、この場合、算出対象領域を自動的に設定する機能は必ずしも必要ではない。 Further, for example, prior to the calculation of the luminance unevenness distribution, a step of receiving a setting input from the user regarding the calculation target area may be further provided. According to such a configuration, the user can freely set the calculation target area according to the state and purpose of the image. Therefore, in this case, the function of automatically setting the calculation target area is not necessarily required.
また例えば、補正特性は、輝度ムラ分布で表される輝度ムラの大きさの逆数に比例した係数により表されてもよく、こうすることで、各画素の輝度値にこの係数を乗じることで輝度値を補正することができる。この場合の係数は、輝度ムラ分布における輝度値が実質的に最小となる位置で値が1となるように設定されてもよい。このような構成によれば、輝度ムラの影響が十分に小さいとみなせる位置の画素については、補正前の輝度値をそのまま維持することができ、補正による画質の劣化を最小限に抑えることができる。 Further, for example, the correction characteristic may be represented by a coefficient proportional to the reciprocal of the magnitude of the luminance unevenness represented by the luminance unevenness distribution. values can be corrected. The coefficient in this case may be set to have a value of 1 at a position where the luminance value in the uneven luminance distribution is substantially minimum. According to such a configuration, the luminance value before correction can be maintained as it is for pixels at positions where the influence of luminance unevenness can be considered to be sufficiently small, and deterioration in image quality due to correction can be minimized. .
また、本発明に係る撮像方法においては、観察光を界面に対し直交する方向に入射させることが好ましい。本発明の画像処理は、界面での複雑な反射・屈折に起因する縞状のノイズを低減させるための処理である。ここで、観察光が例えば界面に対し斜め方向に入射する場合、反射・屈折の態様がさらに複雑なものとなり、ノイズの発生態様も複雑になって補正の効果が減殺されてしまうおそれがある。この問題を回避するために、観察光の入射方向を選択できる場合には、界面に対し垂直に入射させるのが好ましい。 Moreover, in the imaging method according to the present invention, it is preferable that the observation light is incident in a direction orthogonal to the interface. The image processing of the present invention is processing for reducing striped noise caused by complex reflection and refraction at interfaces. Here, if the observation light is incident obliquely on the interface, for example, the reflection/refraction pattern becomes more complicated, and the noise generation pattern becomes more complicated, which may reduce the effect of correction. In order to avoid this problem, if the incident direction of the observation light can be selected, it is preferable to make the observation light incident perpendicular to the interface.
また、本発明は、被撮像物が細胞を含む生試料であり、生試料を収容する容器の平坦な壁面または生試料を担持する平坦な担持体の表面を介して生試料が撮像される場合に適用されてもよい。このような撮像においては、容器壁面あるいは担持体表面が本発明にいう「界面」として作用し、画像に縞状のノイズが発生することがあり得る。このような場合に、本発明に係る画像処理を適用することで、ノイズを効果的に低減させることが可能となる。 Further, the present invention is applicable to the case where the object to be imaged is a biological sample containing cells, and the biological sample is imaged through the flat wall surface of a container containing the biological sample or the surface of a flat carrier that supports the biological sample. may be applied to In such imaging, the wall surface of the container or the surface of the carrier acts as the "interface" referred to in the present invention, and stripe noise may occur in the image. In such a case, by applying the image processing according to the present invention, it is possible to effectively reduce noise.
また、本発明に係る画像処理方法は、上記した画像処理方法の各工程を、コンピューターに実行させるためのコンピュータープログラムとして、あるいは当該コンピュータープログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体として実現することが可能である。本発明の機能を有していない既存の装置に、このようなコンピュータープログラムを実装することにより、当該装置を本発明の実行主体として機能させることが可能となる。 In addition, the image processing method according to the present invention is provided as a computer program for causing a computer to execute each step of the image processing method described above, or as a computer-readable recording medium in which the computer program is non-temporarily recorded. It is possible. By installing such a computer program in an existing device that does not have the functions of the present invention, the device can function as an execution subject of the present invention.
この発明は、容器中の細胞等、界面を介したOCT撮像により得られた断層画像あるいは三次元画像から、界面での反射・屈折に起因する縞状のノイズを除去する目的に利用することができる。例えば容器中で培養された細胞や生試料の観察に、好適に適用可能である。 INDUSTRIAL APPLICABILITY This invention can be used for the purpose of removing striped noise caused by reflection and refraction at an interface from a tomographic image or a three-dimensional image obtained by OCT imaging via an interface, such as cells in a container. can. For example, it can be suitably applied to observation of cells cultured in a container or a raw sample.
1 画像処理装置
10 保持部
11 試料容器
20 撮像ユニット
30 制御ユニット
31 CPU
33 信号処理部
111 容器底面
352 表示部
C1,C2 細胞(被撮像物)
I 界面
S 試料(被撮像物)
33
I interface S sample (object to be imaged)
Claims (13)
前記断層画像データに基づき、前記断層画像中の前記界面と平行な座標軸上の位置に対する輝度値の変化量を示す輝度ムラ分布を求める工程と、
前記輝度ムラ分布に基づき、前記座標軸上の位置ごとの補正特性を決定する工程と、
前記断層画像の各画素について、前記座標軸上の位置に応じた前記補正特性を適用して輝度値を補正する工程と
を備える、画像処理方法。 a step of acquiring tomographic image data corresponding to a tomographic image of an object captured by optical coherence tomography through a flat interface;
a step of obtaining a luminance unevenness distribution indicating the amount of change in luminance value with respect to a position on a coordinate axis parallel to the interface in the tomographic image, based on the tomographic image data;
determining a correction characteristic for each position on the coordinate axis based on the luminance unevenness distribution;
and applying the correction characteristic corresponding to the position on the coordinate axis to correct the luminance value of each pixel of the tomographic image.
前記輝度ムラ分布は、前記算出対象領域内の画素の輝度値に基づき算出される、請求項1に記載の画像処理方法。 setting a calculation target area having a width of 1 pixel or more in a width direction perpendicular to the interface and the coordinate axis and extending parallel to the coordinate axis;
2. The image processing method according to claim 1, wherein said luminance unevenness distribution is calculated based on luminance values of pixels within said calculation target area.
請求項1ないし8のいずれかに記載の画像処理方法を実行して、前記断層画像における輝度ムラを補正する工程と
を備える、撮像方法。 Observation light is incident on an object to be imaged through a flat interface, reflected light from the object to be imaged emitted through the interface is received, and a tomographic image of the object to be imaged is obtained by optical coherence tomography imaging. Acquiring corresponding tomographic image data;
9. An imaging method, comprising the step of executing the image processing method according to any one of claims 1 to 8 to correct luminance unevenness in the tomographic image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155192A JP2023046545A (en) | 2021-09-24 | 2021-09-24 | Image processing method, imaging method, computer program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155192A JP2023046545A (en) | 2021-09-24 | 2021-09-24 | Image processing method, imaging method, computer program and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023046545A true JP2023046545A (en) | 2023-04-05 |
Family
ID=85778096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021155192A Pending JP2023046545A (en) | 2021-09-24 | 2021-09-24 | Image processing method, imaging method, computer program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023046545A (en) |
-
2021
- 2021-09-24 JP JP2021155192A patent/JP2023046545A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8970850B2 (en) | Method and apparatus for surface profilometry | |
WO2019151302A1 (en) | Image processing method, program and recording medium | |
CN102822866B (en) | Optical fault picture pick-up device | |
JP6325858B2 (en) | Medicinal efficacy evaluation method and image processing apparatus | |
JP6762810B2 (en) | Image processing device and image processing method | |
JP6841863B2 (en) | OCT retinal image data rendering method, storage medium storing OCT retinal image data rendering program, OCT retinal image data rendering program and OCT retinal image data rendering device | |
JP6867629B2 (en) | Image processing methods, programs and recording media | |
JP6832355B2 (en) | A method for observing a sample by lensless image processing | |
US11525665B2 (en) | Optical coherence tomographic apparatus and optical coherence tomographic method performing spectrum conversion based on single gaussian distribution curve | |
JP2020535478A (en) | Double-pass macro image | |
EP4145388A1 (en) | Image processing method, computer program and recording medium | |
CN112912933A (en) | Dental 3D scanner with angle-based chroma matching | |
JP2022132488A (en) | Device, method and program | |
US11906301B2 (en) | Thickness evaluation method of cell sheet | |
Liu et al. | 3D surface reconstruction of small height object based on thin structured light scanning | |
JP6345001B2 (en) | Image processing method and image processing apparatus | |
JP7382289B2 (en) | Image processing method, program and recording medium | |
JP2023046545A (en) | Image processing method, imaging method, computer program and recording medium | |
JP2022143662A (en) | Determination method, program, recording medium, imaging method, and imaging apparatus for developmental stage of fertilized egg | |
CN109780993A (en) | Differential phase contrast's microscopic system and method | |
WO2017069035A1 (en) | Image-processing method and method for creating shading reference data | |
JP2023035517A (en) | Image processing method, fertilized egg evaluation method, computer program, and storing medium | |
JP2023066991A (en) | Image processing method, evaluation method of fertilized egg, computer program, and recording medium | |
WO2023176081A1 (en) | Image standardization method and observation device | |
JP2022143660A (en) | Image processing method, program, recording medium, and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240617 |