JPWO2011004568A1 - 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 - Google Patents
受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 Download PDFInfo
- Publication number
- JPWO2011004568A1 JPWO2011004568A1 JP2011521808A JP2011521808A JPWO2011004568A1 JP WO2011004568 A1 JPWO2011004568 A1 JP WO2011004568A1 JP 2011521808 A JP2011521808 A JP 2011521808A JP 2011521808 A JP2011521808 A JP 2011521808A JP WO2011004568 A1 JPWO2011004568 A1 JP WO2011004568A1
- Authority
- JP
- Japan
- Prior art keywords
- fertilized egg
- image
- observation
- image processing
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/94—Investigating contamination, e.g. dust
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Biochemistry (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Micro-Organisms Or Cultivation Processes Thereof (AREA)
Abstract
受精卵観察において観察対象の受精卵とそれ以外の異物とを判別し、受精卵を自動で認識する手段を提供する。撮像装置により視野内に位置する複数の物体を撮影した観察画像を取得するステップ(S1)と、観察画像に写し込まれた複数の物体を抽出するステップ(S2)と、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出するステップ(S11,S21,S31)と、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別するステップ(S8)と、物体に対する識別結果を出力するステップ(S9)とをコンピュータに実現させる。
Description
本発明は、受精卵観察において取得された観察画像から受精卵と異物とを自動判別する画像処理手段、及びこれを利用した受精卵の製造方法に関する。
近年、生殖補助医療技術(ART)の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる(例えば、特許文献1を参照)。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置(インベキュータ)と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
このような装置において、培養容器中の培地には観察対象の受精卵以外に、ゴミや気泡等の異物が混入している。それら異物は受精卵と似た外観を持つことがあるため、観察画像において受精卵と異物とを混同しやすく、単純な画像処理では受精卵の自動認識をすることは困難であった。
本発明は、上記のような課題に鑑みてなされたものであり、受精卵観察において観察対象の受精卵とそれ以外の異物とを判別し、受精卵を自動で認識する手段を提供することを目的とする。
本発明を例示する第1の態様に従えば、観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた複数の物体を抽出し、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法が提供される。
本発明を例示する第2の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、撮像装置により視野内に位置する複数の物体を撮影した観察画像を取得するステップと、観察画像に写し込まれた複数の物体を抽出するステップと、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出するステップと、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別するステップと、物体に対する識別結果を出力するステップとをコンピュータに実現させることを特徴とする受精卵観察の画像処理プログラムが提供される。
本発明を例示する第3の態様に従えば、複数の物体を撮影する撮像装置と、撮像装置により撮影された観察画像から複数の物体を抽出し、複数の物体の中から受精卵を識別する画像解析部と、画像解析部により判断された識別結果を外部に出力する出力部とを備え、画像解析部が、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された複数の特徴量に基づいて、複数の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置が提供される。
本発明を例示する第4の態様に従えば、所定の環境条件で受精卵を培養し、受精卵が存在する培養容器中から、上記構成の画像処理装置を用いて受精卵を識別することを特徴とする受精卵の製造方法が提供される。
本発明を例示する第5の態様に従えば、所定の環境条件で受精卵を培養し、受精卵が存在する培養容器中において、観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた複数の物体を抽出し、観察画像に含まれる物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された複数の特徴量に基づいて、培養容器中の複数の物体の中から受精卵を識別することを特徴とする受精卵の製造方法が提供される。
このような受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法によれば、受精卵の属性に応じた複数の特徴量に基づいて物体を判別する画像処理により、観察画像に含まれる複数の物体の中から受精卵を的確に識別することが可能になる。
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図2及び図3に示す。
培養観察システムBSは、大別的には、筐体1の上部に設けられた培養室2と、複数の培養容器10を収容保持する棚状のストッカー3と、培養容器10内の試料を観察する観察ユニット5と、培養容器10をストッカー3と観察ユニット5との間で搬送する搬送ユニット4と、システムの作動を統括的に制御する制御ユニット6と、画像表示装置を備えた操作盤7などから構成される。
培養室2は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室2に付随して、培養室2内の温度を昇温・降温させる温度調整装置21、湿度を調整する加湿器22、CO2ガスやN2ガス等のガスを供給するガス供給装置23、培養室2全体の環境を均一化させるための循環ファン24、培養室2の温度や湿度、二酸化炭素濃度等を検出する環境センサ25などが設けられている。各機器の作動は制御ユニット6により制御され、培養室2の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤7において設定された培養条件に合致した状態に維持される。
ストッカー3は、図2における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をA〜C列、上下方向を1〜7段とした場合に、A列5段の棚がA−5のように設定される。
培養容器10は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図4(A)に示すように、直径約35mmの5つのディッシュ10aと、ディッシュ10aを保持するホルダ10bとを備えた構成を例示しており、図4(B)に示すように、培養物たる受精卵aは、フェノールレッドなどのpH指示薬が入った培地ドロップDとともに各ディッシュ10aに注入される。ディッシュ10aの底面には、ピペット等により滴下された20μl程度の培地ドロップDが1〜複数個形成されており(図4(B)では1個のみを図示)、培地ドロップDはディッシュ10a内において無色透明のミネラルオイルOによって浸された状態となっている。それぞれの培地ドロップD内には、例えば対外受精のために同一母体から同時期に採卵された受精卵aが1個ずつ挿入されている。また、培養容器10にはコード番号が付与され、ストッカー3の指定番地に対応づけて収容される。
搬送ユニット4は、培養室2の内部に上下方向に移動可能に設けられてZ軸駆動機構により昇降されるZステージ41、Zステージ41に前後方向に移動可能に取り付けられてY軸駆動機構により前後移動されるYステージ42、Yステージ42に左右方向に移動可能に取り付けられてX軸駆動機構により左右移動されるXステージ43などからなり、Xステージ43の先端側に培養容器10を持ち上げ支持する支持アーム45が設けられている。搬送ユニット4は、支持アーム45がストッカー3の全棚と観察ユニット5との間を移動可能な移動範囲を有して構成される。X軸駆動機構、Y軸駆動機構、Z軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット6により制御される。
観察ユニット5は、試料台15の下側から試料を照明する第1照明部51、顕微観察系の光軸に沿って試料台15の上方から試料を照明する第2照明部52、下方から試料を照明する第3照明部53、試料のマクロ観察を行うマクロ観察系54、試料のミクロ観察を行う顕微観察系55、及び画像処理装置100(図10を参照)などから構成される。試料台15は、透光性を有する材質で構成されるとともに観察領域に透明な窓部16が設けられている。また、試料台15は、制御ユニット6からの作動制御によりXY方向(水平面内方向)およびZ方向(上下方向)に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器10をXY方向に移動させることにより、培養容器10をマクロ観察系54の光軸上へ挿入したり、顕微観察系55の光軸上へ挿入したりすることが可能になっている。
第1照明部51は、下部フレーム1b側に設けられた面発光の光源からなり、試料台15の下側から培養容器10全体をバックライト照明する。第2照明部52は、LED等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室2に設けられており、試料台15の上方から顕微観察系55の光軸に沿って培養容器10中の試料を照明する。第3照明部53は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のLEDや水銀等の光源と、各光源から射出された光を顕微観察系55の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室2の下側に位置する下部フレーム1b内に配設されており、試料台15の下方から顕微観察系55の光軸に沿って培養容器10中の試料を照明する。
マクロ観察系54は、観察光学系54aと、この観察光学系54aにより結像された試料の像を撮影するCCDカメラ等の撮像装置54cとを有し、第1照明部51の上方に位置して培養室2内に設けられている。マクロ観察系54は、第1照明部51によりバックライト照明された培養容器10の上方からの全体観察画像(マクロ画像)を撮影する。
顕微観察系55は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系55aと、観察光学系55aにより結像された試料の像を撮影する冷却CCDカメラ等の撮像装置55cとを有し、下部フレーム1bの内部に配設されている。上記の第2照明部52と顕微観察系55とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用(例えば2倍観察用)と高倍観察用(例えば10倍観察用)との2種類の倍率の間で変倍可能なように切り換えられる。顕微観察系55は、第2照明部52により照明された試料の透過光による位相差画像や、第3照明部53により照明されて試料が発する蛍光による蛍光画像など、培養容器10内の試料を顕微鏡観察した顕微観察画像(ミクロ画像)を撮影する。
画像処理装置100は、マクロ観察系54の撮像装置54c及び顕微観察系55の撮像装置55cから入力された信号をA/D変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置100は、これらの観察画像(全体観察画像及び顕微観察画像)の画像データに対して画像解析を施し、画像中に存在するオブジェクトの特徴量算出や、各々の特徴量に応じたスコア算出、総合スコアに基づく受精卵の決定等の画像処理を行う。画像処理装置100は、具体的には、次述する制御ユニット6のROMに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置100については、後に詳述する。
制御ユニット6は、処理を実行するCPU61、培養観察システムBSの制御プログラムや制御データ等が設定記憶されたROM62、観察条件や画像データ等を一時記憶するRAM63などを有し、培養観察システムBSの作動を制御する。そのため、図3に示すように、培養室2、搬送装置4、観察ユニット5、操作盤7の各構成機器が制御ユニット6に接続されている。RAM63には、観察プログラムに応じた培養室2の環境条件や、観察スケジュール、観察ユニット5における観察種別や観察位置、観察倍率等が設定され記憶される。また、RAM63には、観察ユニット5により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器10のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
操作盤7には、キーボードやスイッチ等の入出力機器が設けられた操作パネル71、操作画面や画像データ等を表示する表示パネル72が設けられ、操作パネル71において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部65は有線または無線の通信規格に準拠して構成されており、この通信部65に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
このように概要構成される培養観察システムBSでは、操作盤7において設定された観察プログラムの設定条件に従い、CPU61がROM62に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器10内の試料の撮影を自動的に実行する。すなわち、操作パネル71に対するパネル操作(または通信部65を介したリモート操作)によって観察プログラムがスタートされると、CPU61が、RAM63に記憶された環境条件の各条件値を読み込むとともに、環境センサ25から入力される培養室2の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置21、加湿器22、ガス供給装置23、循環ファン24等を作動させて、培養室2の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
また、CPU61は、RAM63に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット4のX,Y,Zステージ41,42,43を作動させてストッカー3から観察対象の培養容器10を観察ユニット5の試料台15に搬送して、観察ユニット5による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット4によりストッカー3から搬送してきた培養容器10をマクロ観察系54の光軸上に位置決めして試料台15に載置し、第1照明部51の光源を点灯させて、バックライト照明された培養容器10の上方から撮像装置54cにより全体観察像を撮影する。撮像装置54cから制御ユニット6に入力された信号は、画像処理装置100により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。
また、観察プログラムにおいて設定された観察が、培養容器10内の特定位置の試料のミクロ観察である場合には、搬送ユニット4により搬送してきた培養容器10内の特定位置を顕微観察系55の光軸上に位置決めして試料台15に載置し、第2照明部52または第3照明部53の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置55cに撮影させる。撮像装置55cにより撮影されて制御ユニット6に入力された信号は、画像処理装置100により処理されて顕微観察画像(位相差画像、蛍光画像等)が生成され、その画像データが撮影日時等のインデックス・データなどとともにRAM63の画像データ記憶領域に記憶される。
CPU61は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。RAM63に記憶された画像データは、操作パネル71から入力される画像表示指令に応じてRAM63から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル72に表示される。
以上のように構成される培養観察システムBSにおいて、画像処理装置100は、培養容器10内における受精卵の生育状態等の観察を実行するため、観察対象である受精卵と、それ以外のゴミや気泡等の異物(非対称物)とを判別する機能を備えている。すなわち、培養容器10内の培地ドロップDには、受精卵の他にもゴミや気泡等の他のオブジェクトが混入しており、それらは受精卵と似た外観を持つことがあり観察において混同しやすいため、画像処理装置100では、受精卵とそれ以外の異物とを判別して観察対象たる受精卵を自動で認識する機能を有している。
ここで、培地ドロップD内の混入物は、ゴミ(培地の残りかす)、オイル粒(ディッシュ10a内に充填されるミネラルオイルOが培地に入り込んだもの)、及び気泡(ガス)に大別される。このとき、図5にも示すように、受精卵、ゴミ、オイル粒、及び気泡の各々は次のような特徴を持っている。
(受精卵の特徴)
受精卵は、その輪郭部に膜(透明帯)が存在する、外形が球形状を有している、輪郭内部に卵細胞が存在している、という特徴を持つ。
受精卵は、その輪郭部に膜(透明帯)が存在する、外形が球形状を有している、輪郭内部に卵細胞が存在している、という特徴を持つ。
(ゴミの特徴)
ゴミは、その輪郭部に透明帯が存在しない、位相差画像では輪郭部にハロが現れる、輪郭内部の構造は不定である、という特徴を持つ。
ゴミは、その輪郭部に透明帯が存在しない、位相差画像では輪郭部にハロが現れる、輪郭内部の構造は不定である、という特徴を持つ。
(オイル粒、気泡の特徴)
オイル粒および気泡は、位相差画像では輪郭部が暗く内部は明るい、外形が球形状や楕円形状である、輪郭内部の構造が少ない、という特徴を持つ。
オイル粒および気泡は、位相差画像では輪郭部が暗く内部は明るい、外形が球形状や楕円形状である、輪郭内部の構造が少ない、という特徴を持つ。
これらの特徴を簡単にまとめると、受精卵と異物との属性の差異として、受精卵は異物よりも円形度が高い、受精卵は輪郭部に透明帯を持っている、受精卵には内部構造(卵細胞)が必ず存在する、という特徴がある。
そこで、取得した観察画像から観察対象である受精卵を認識するために、画像特徴量として、3つの特徴量(すなわち以下に詳述する、I.輪郭の円形度、II.輪郭の外側と内側の輝度差、III.輪郭内部のテクスチャ特徴量)を受精卵と異物との判別に利用する。
画像処理装置100による受精卵観察の画像処理方法は、観察ユニット5の観察視野内に位置する物体を撮像装置により撮影した画像を取得し、これらの画像に写し込まれた物体(オブジェクト)の像を抽出して上記3つの特徴量を算出し、この特徴量に基づき得点付け(スコア算出)を行った結果、これら3つの特徴量について最も高いスコアを示すものが受精卵であると決定するように構成される。それでは、以下にこの画像処理方法について基本的な概念から説明する。なお、以降の説明では、第2照明部52及び顕微観察系55等によって構成される位相差顕微鏡によって撮影される位相差画像(顕微観察画像)に基づいて受精卵の観察を行う場合を例示する。
(オブジェクトの抽出)
受精卵の識別処理に先立って、撮像装置55cにより撮影された観察画像(位相差画像)に対して、LevelSet法などの輪郭抽出手法を適用して画像内に含まれる物体(受精卵及びゴミ等の異物の領域、オブジェクトとも称する)の最外輪郭を抽出し、その輪郭に囲まれた閉じた領域をオブジェクトとして抽出する。図6は輪郭抽出処理の様子を示す図であり、撮像装置55cにより撮影され取得された観察画像(A)に対し、(B)に示す2値画像のように複数のオブジェクトを抽出する。
受精卵の識別処理に先立って、撮像装置55cにより撮影された観察画像(位相差画像)に対して、LevelSet法などの輪郭抽出手法を適用して画像内に含まれる物体(受精卵及びゴミ等の異物の領域、オブジェクトとも称する)の最外輪郭を抽出し、その輪郭に囲まれた閉じた領域をオブジェクトとして抽出する。図6は輪郭抽出処理の様子を示す図であり、撮像装置55cにより撮影され取得された観察画像(A)に対し、(B)に示す2値画像のように複数のオブジェクトを抽出する。
(オブジェクトのラベリング)
こうしてセグメント化された各オブジェクト(の2値画像)に対して、固有のラベルを付与するラベリングを施す。ラベリング処理では、ラベル付けとともにオブジェクト(抽出した輪郭に囲まれた領域)の面積が算出される。そこで、観察画像に写し込まれる受精卵(例えば、人間の受精卵の場合には直径約100μm)の像の大きさは画像取得条件(観察倍率等)によりほぼ決まっていることから、判別の対象となり得るオブジェクトの面積の上限値と下限値とを予め設定しておき、この設定範囲から外れるオブジェクトについてはラベル付けの対象(受精卵の判別候補)から除外する。
こうしてセグメント化された各オブジェクト(の2値画像)に対して、固有のラベルを付与するラベリングを施す。ラベリング処理では、ラベル付けとともにオブジェクト(抽出した輪郭に囲まれた領域)の面積が算出される。そこで、観察画像に写し込まれる受精卵(例えば、人間の受精卵の場合には直径約100μm)の像の大きさは画像取得条件(観察倍率等)によりほぼ決まっていることから、判別の対象となり得るオブジェクトの面積の上限値と下限値とを予め設定しておき、この設定範囲から外れるオブジェクトについてはラベル付けの対象(受精卵の判別候補)から除外する。
(オブジェクトの特徴量抽出)
ラベリングを施した各オブジェクトについて、以下に詳述する、I.輪郭の円形度、II.輪郭の外側と内側の輝度差、III.輪郭内部のテクスチャ特徴量、の3つの特徴量をそれぞれ算出する。
ラベリングを施した各オブジェクトについて、以下に詳述する、I.輪郭の円形度、II.輪郭の外側と内側の輝度差、III.輪郭内部のテクスチャ特徴量、の3つの特徴量をそれぞれ算出する。
1.輪郭の円形度(特徴量1)
観察対象の受精卵は球形状(断面が真円に近い)であることを利用して、各オブジェクトの円形度を特徴量1として用いる。オブジェクトの円形度とはオブジェクトの円形の度合いを判定するための尺度であり、例えば、画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を示すエッジを検出した後、オブジェクトごとに自身の重心から輪郭までの最短距離と最長距離とを算出し、次式(α)より求められる。
輪郭の円形度
=(重心から輪郭までの最短距離)/(重心から輪郭までの最長距離) …(α)
これにより求められる円形度は0〜1の範囲内の数値として算出され、重心から輪郭までの距離が均等な円形となるほど1に近い数値を示す。つまり、1に近い円形度を示すオブジェクトほど受精卵としてのスコアが高いことになる(受精卵である可能性が高い)。なお、輪郭の円形の度合いを示す別の指標としては、形状の複雑度(輪郭の周囲長2/面積)や、二次モーメントを利用した離心率などが例示される。
観察対象の受精卵は球形状(断面が真円に近い)であることを利用して、各オブジェクトの円形度を特徴量1として用いる。オブジェクトの円形度とはオブジェクトの円形の度合いを判定するための尺度であり、例えば、画像平面内における各々のオブジェクトの重心を決定するとともに各々のオブジェクトの輪郭を示すエッジを検出した後、オブジェクトごとに自身の重心から輪郭までの最短距離と最長距離とを算出し、次式(α)より求められる。
輪郭の円形度
=(重心から輪郭までの最短距離)/(重心から輪郭までの最長距離) …(α)
これにより求められる円形度は0〜1の範囲内の数値として算出され、重心から輪郭までの距離が均等な円形となるほど1に近い数値を示す。つまり、1に近い円形度を示すオブジェクトほど受精卵としてのスコアが高いことになる(受精卵である可能性が高い)。なお、輪郭の円形の度合いを示す別の指標としては、形状の複雑度(輪郭の周囲長2/面積)や、二次モーメントを利用した離心率などが例示される。
2.輪郭の外側と内側の輝度差(特徴量2)
観察対象の受精卵の輪郭部には透明帯と称される透明な薄膜が存在する。図7に示す顕微観察系55による観察画像では、この透明帯の画像は培地ドロップD等の背景に近い輝度値を持つため、輪郭の外側と内側との輝度値の差は小さい。それに対して、オイル粒と気泡の輪郭内側は外側の背景に対して暗く、位相差画像ではゴミの輪郭内側はハロによって明るくなる傾向があるため、輪郭の外側と内側との輝度値の差は大きい。そこで、透明帯の特徴を利用し、特徴量2として、オブジェクトにおける輪郭外側の輪帯部(外輪帯)と輪郭内側の輪帯部(内輪帯)との平均輝度値(例えば8ビット階調の場合に0〜255)の差を用いて、輝度差を次式(β)により求める。
輪郭の外側と内側の輝度差
=(255−|内輪帯平均輝度値−外輪帯平均輝度値|)/255 …(β)
観察対象の受精卵の輪郭部には透明帯と称される透明な薄膜が存在する。図7に示す顕微観察系55による観察画像では、この透明帯の画像は培地ドロップD等の背景に近い輝度値を持つため、輪郭の外側と内側との輝度値の差は小さい。それに対して、オイル粒と気泡の輪郭内側は外側の背景に対して暗く、位相差画像ではゴミの輪郭内側はハロによって明るくなる傾向があるため、輪郭の外側と内側との輝度値の差は大きい。そこで、透明帯の特徴を利用し、特徴量2として、オブジェクトにおける輪郭外側の輪帯部(外輪帯)と輪郭内側の輪帯部(内輪帯)との平均輝度値(例えば8ビット階調の場合に0〜255)の差を用いて、輝度差を次式(β)により求める。
輪郭の外側と内側の輝度差
=(255−|内輪帯平均輝度値−外輪帯平均輝度値|)/255 …(β)
図8は、外輪帯及び内輪帯の平均輝度値を算出するときのマスク生成処理の状況を例示した図であり、これらの輝度値算出の際には、上述の処理で得られた画像(ラベリングが施された2値画像)を利用する。まず、各オブジェクトの2値画像(ラベル画像)に対して膨張及び収縮処理を施して、この膨張及び収縮した領域を示す2種類のマスク画像(膨張マスクM1、収縮マスクM2)をオブジェクトごとに用意する。次いでオブジェクトごとに、その重心を一致させた状態で2つのマスク画像M1,M2と元となる原ラベル画像との領域の差分を演算し、これらの略リング状の差分画像を、オブジェクトの輪郭に対して外側及び内側の領域を示す外側差分マスクM3及び内側差分マスクM4として生成する。この2つの差分マスクM3,M4の領域に対応する観察画像(撮像装置55cにより撮像された位相差画像)の領域内の輝度値の平均をそれぞれ算出し、これを外輪帯平均輝度値及び内輪帯平均輝度値とする。これらを上記式(β)に代入することで、特徴量2として、輪郭の外側と内側の輝度差が求められる。内輪帯平均輝度値と外側帯平均輝度値との間の差が小さいオブジェクトほど1に近い数値が得られ、受精卵としてのスコアが高いといえる(受精卵である可能性が高い)。
3.輪郭内部のテクスチャ特徴量(特徴量3)
観察対象の受精卵の内部には卵細胞が収まっており、画像的にはテクスチャ(内部テクスチャ)が存在すると考えられる。これに対して、オイル粒、気泡には内部構造が存在しない。よって、各オブジェクトの内部構造を検出することにより、受精卵と、オイル粒及び気泡との差別化を図ることができる。内部構造を検出するためのオブジェクトの領域については、図9に示すように、上記処理で生成した収縮マスクM2を利用して、観察画像内における自身の収縮マスクM2に対応した画像領域(以下、「収縮マスク領域」とも称する)を対象として扱う。オブジェクト内部のテクスチャ特徴量としては、収縮マスク領域内の画像全体におけるエッジ強度(階調変化の強度)の平均値を用いる(次式(γ)を参照)。エッジ強度については、各オブジェクトの収縮マスク領域の画像に対して、例えば3×3マトリクスや5×5マトリクスなどで示されるラプラシアンフィルタ等の微分フィルタを適用した畳み込み演算により画素単位で求める。
輪郭内部のテクスチャ特徴量
=収縮マスク領域内のエッジ強度の総和/収縮マスク領域内の画素数 …(γ)
ここでエッジ強度としては、輝度の階調変化の方向を考慮して正値となるエッジ強度のみを利用し、負値となるエッジ強度については無効なエッジ(エッジ強度=0)として取り扱う。また、エッジ強度の平均を求めるために、収縮マスク領域内に含まれる画素数を用いる。そして、このようにオブジェクトごとに収縮マスク領域内のエッジ強度を画素単位で算出して得られた平均値を、収縮マスク領域内の画素数で特徴量3であるオブジェクト内部のテクスチャ特徴量が求まる。
観察対象の受精卵の内部には卵細胞が収まっており、画像的にはテクスチャ(内部テクスチャ)が存在すると考えられる。これに対して、オイル粒、気泡には内部構造が存在しない。よって、各オブジェクトの内部構造を検出することにより、受精卵と、オイル粒及び気泡との差別化を図ることができる。内部構造を検出するためのオブジェクトの領域については、図9に示すように、上記処理で生成した収縮マスクM2を利用して、観察画像内における自身の収縮マスクM2に対応した画像領域(以下、「収縮マスク領域」とも称する)を対象として扱う。オブジェクト内部のテクスチャ特徴量としては、収縮マスク領域内の画像全体におけるエッジ強度(階調変化の強度)の平均値を用いる(次式(γ)を参照)。エッジ強度については、各オブジェクトの収縮マスク領域の画像に対して、例えば3×3マトリクスや5×5マトリクスなどで示されるラプラシアンフィルタ等の微分フィルタを適用した畳み込み演算により画素単位で求める。
輪郭内部のテクスチャ特徴量
=収縮マスク領域内のエッジ強度の総和/収縮マスク領域内の画素数 …(γ)
ここでエッジ強度としては、輝度の階調変化の方向を考慮して正値となるエッジ強度のみを利用し、負値となるエッジ強度については無効なエッジ(エッジ強度=0)として取り扱う。また、エッジ強度の平均を求めるために、収縮マスク領域内に含まれる画素数を用いる。そして、このようにオブジェクトごとに収縮マスク領域内のエッジ強度を画素単位で算出して得られた平均値を、収縮マスク領域内の画素数で特徴量3であるオブジェクト内部のテクスチャ特徴量が求まる。
以上の3つの特徴量はラベリングされたオブジェクトごとに与えられており、これを基に受精卵を決定する
(受精卵の判別)
まず、(I)明らかに受精卵とは異なる特徴を持つオブジェクトをしきい値にてリジェクトする。次に、(II)各特徴量の単位やスケーリングが相違することを考慮して3つの特徴量を正規化し、正規化して得られた各スコア1,2,3の総和を総合スコアとして各オブジェクトについて得点付けを行う。1つの培地ドロップDに対して注入される受精卵は1つであることから、最も高い総合スコアを持つオブジェクトが受精卵であると決定する。この具体的な手法について以下に例示する。
まず、(I)明らかに受精卵とは異なる特徴を持つオブジェクトをしきい値にてリジェクトする。次に、(II)各特徴量の単位やスケーリングが相違することを考慮して3つの特徴量を正規化し、正規化して得られた各スコア1,2,3の総和を総合スコアとして各オブジェクトについて得点付けを行う。1つの培地ドロップDに対して注入される受精卵は1つであることから、最も高い総合スコアを持つオブジェクトが受精卵であると決定する。この具体的な手法について以下に例示する。
(I:しきい値によるリジェクト)
受精卵ではないオブジェクトが持つ特徴量には次のような傾向がある。オイル粒及び気泡については、特徴量2(内外輝度差)と特徴量3(内部テクスチャ)とが小さいという傾向。ゴミについては、特徴量1(円形度)と特徴量2(内外輝度差)とが小さいという傾向。そこで、予めしきい値を定めておき、明らかに外れた特徴量を持つオブジェクトについては、このしきい値によってリジェクトしておき、得点付け(スコア)による誤検出を防止する。このとき、特徴量3の輪郭内部のテクスチャ特徴量に関しては、その値(エッジ強度の平均値)そのものを用いるのではなく、ラベリングされた全オブジェクトにおけるエッジ強度平均値の最大値に対する割合(エッジ強度平均値/エッジ強度平均値の最大値)を利用する。これは、特徴量3については、画像のコントラストによってエッジ強度が極端に大きくなったり小さくなったりと変化するため、一定のしきい値を設けること自体に意味がなくなるからであり、コントラストの影響を取り除くため、全オブジェクトの画像間で正規化をする。また、内部テクスチャが存在しない場合(例えば、気泡のみが写し込まれた場合など)には、本来エッジ強度が全体的に小さく現れるところ、正規化を行うことにより全てのオブジェクトについて特徴量3が大きくなり過ぎる虞があるため、予め許容値を定めておき、エッジ強度平均値の最大値がこの許容値を下回ったときには、特徴量3については全てをリジェクトする。
受精卵ではないオブジェクトが持つ特徴量には次のような傾向がある。オイル粒及び気泡については、特徴量2(内外輝度差)と特徴量3(内部テクスチャ)とが小さいという傾向。ゴミについては、特徴量1(円形度)と特徴量2(内外輝度差)とが小さいという傾向。そこで、予めしきい値を定めておき、明らかに外れた特徴量を持つオブジェクトについては、このしきい値によってリジェクトしておき、得点付け(スコア)による誤検出を防止する。このとき、特徴量3の輪郭内部のテクスチャ特徴量に関しては、その値(エッジ強度の平均値)そのものを用いるのではなく、ラベリングされた全オブジェクトにおけるエッジ強度平均値の最大値に対する割合(エッジ強度平均値/エッジ強度平均値の最大値)を利用する。これは、特徴量3については、画像のコントラストによってエッジ強度が極端に大きくなったり小さくなったりと変化するため、一定のしきい値を設けること自体に意味がなくなるからであり、コントラストの影響を取り除くため、全オブジェクトの画像間で正規化をする。また、内部テクスチャが存在しない場合(例えば、気泡のみが写し込まれた場合など)には、本来エッジ強度が全体的に小さく現れるところ、正規化を行うことにより全てのオブジェクトについて特徴量3が大きくなり過ぎる虞があるため、予め許容値を定めておき、エッジ強度平均値の最大値がこの許容値を下回ったときには、特徴量3については全てをリジェクトする。
(II:特徴量のスケール正規化)
特徴量1〜3に対してスケールの正規化を行って、各特徴量を共通のスケール(例えば0〜1のスケール)に変換する。具体的には、各特徴量について以下のような上下限を設定し、
特徴量1(円形度) :下限=特徴量1のしきい値、上限=特徴量1の最大値
特徴量2(内外輝度差) :下限=特徴量2のしきい値、上限=特徴量2の最大値
特徴量3(内部テクスチャ):下限=0、上限=特徴量3の最大値
その上下限内の範囲をフルスケールとして各特徴量の正規化を行う。なお、特徴量3については、観察画像のコントラストに依存するという特質を有するのでしきい値を設けるのが難しいため、その下限値を0とするとともに、上限値については上記の許容値を下回る際には0として、特徴量3のスコア付けは行わない。
特徴量1〜3に対してスケールの正規化を行って、各特徴量を共通のスケール(例えば0〜1のスケール)に変換する。具体的には、各特徴量について以下のような上下限を設定し、
特徴量1(円形度) :下限=特徴量1のしきい値、上限=特徴量1の最大値
特徴量2(内外輝度差) :下限=特徴量2のしきい値、上限=特徴量2の最大値
特徴量3(内部テクスチャ):下限=0、上限=特徴量3の最大値
その上下限内の範囲をフルスケールとして各特徴量の正規化を行う。なお、特徴量3については、観察画像のコントラストに依存するという特質を有するのでしきい値を設けるのが難しいため、その下限値を0とするとともに、上限値については上記の許容値を下回る際には0として、特徴量3のスコア付けは行わない。
そして、正規化されて共通のスケールに変換された各特徴量をスコア1,2,3とし、それらの総和となる総合スコアを算出する。
総合スコア=スコア1+スコア2+スコア3
その結果、総合スコアが培地ドロップD内で最大となるオブジェクトを受精卵と決定する。
総合スコア=スコア1+スコア2+スコア3
その結果、総合スコアが培地ドロップD内で最大となるオブジェクトを受精卵と決定する。
以上説明したような受精卵の判別手法によれば、観察画像内に観察対象となる受精卵以外の他の複数のオブジェクトが存在する場合でも、受精卵と他のオブジェクトとを区別するための複数の特徴量を用いて、それを基に受精卵らしさの度合いを示すスコアを算出し、このスコアの高さにより受精卵と異物とを明確に分離して受精卵を認識することが可能になる。
なお、各スコアに基づく受精卵の決定手法については、各スコア1〜3の単なる総和としての総合スコアによる順位付けの他にも、例えば、各スコア1〜3に対する重み付けをそれぞれ変えた総合スコアを算出して受精卵を決定したり、各スコア1〜3ごとに順位付けをして順位の総和の最も小さいオブジェクトを受精卵であると判断したり、スコア1,2で上位となったオブジェクトのうちでスコア3の最も高いものを受精卵であると判断する、などの手法が例示される。また、総合スコアがしきい値を超えたものを受精卵として認識する構成であってもよい。
(アプリケーション)
次に、培養観察システムBSの画像処理装置100において実行される画像解析の具体的なアプリケーションについて図1及び図10を併せて参照しながら説明する。ここで、図1は受精卵判別の画像処理プログラムGPにおける処理の概要を示すフローチャート、図10は受精卵判別の画像処理を実行する画像処理装置100の概要構成を示すブロック図である。
次に、培養観察システムBSの画像処理装置100において実行される画像解析の具体的なアプリケーションについて図1及び図10を併せて参照しながら説明する。ここで、図1は受精卵判別の画像処理プログラムGPにおける処理の概要を示すフローチャート、図10は受精卵判別の画像処理を実行する画像処理装置100の概要構成を示すブロック図である。
画像処理装置100は、撮像装置55cにより観察対象の受精卵が撮影された観察画像を取得して記憶する画像記憶部110と、観察画像を解析して観察画像に写し込まれたオブジェクトが受精卵であるか否かを判断する画像解析部120と、画像解析部120によりオブジェクトごとに算出された3つの特徴量を各オブジェクトに付与されるラベルと対応付けて記憶する特徴量記憶部130と、画像解析部120により解析された判断結果を外部に出力する出力部140とを備え、画像解析部120により判断されたオブジェクトが受精卵であるか否かの識別結果を、例えば表示パネル72に出力して表示させるように構成される。画像処理装置100は、ROM62に予め設定記憶された画像処理プログラムGPがCPU61に読み込まれ、CPU61によって画像処理プログラムGPに基づく処理が順次実行されることによって構成される。
既述したように、培養観察システムBSでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器10内の受精卵観察が行われる。具体的には、CPU61は、搬送ユニット4の各ステージを作動させてストッカー3から観察対象の培養容器10を観察ユニット5に搬送(本実施形態では顕微観察系55の光軸上に配置)し、第2照明部52を用いた顕微観察系55による観察画像(位相差画像)を撮像装置55cにより撮影させる。
画像処理装置100は、始めに撮像装置55cにより撮影された観察画像(位相差画像)をステップS1において取得し、この取得した観察画像を、培養容器10のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部110に保存する。
ステップS2では、撮像装置55cから取得された観察画像(位相差画像)に対し、画像解析部120においてLevelSet法などの輪郭抽出処理が実行され、図6(B)に示したように、観察画像に含まれるオブジェクトが抽出される。
ステップS3では、輪郭が抽出された観察画像(2値画像)の各オブジェクトに対してラベリングが施される。ラベリング処理においては、受精卵の像の面積として適正な範囲(上下限値)が設定されており、輪郭が抽出されたオブジェクトの領域ごとに面積が算出され、この設定範囲を超える領域面積を持つオブジェクトについては受精卵の判別候補から除外し、この設定範囲内に収まる領域面積を持つオブジェクトのみについて受精卵の判別候補として固有のラベルをそれぞれ付与する。
次いで、画像解析部120により受精卵の画像特徴量として、各オブジェクトについて、輪郭の円形度、輪郭の外側と内側の輝度差、及び輪郭内部のテクスチャ特徴量を算出する(ステップS4)。画像解析部120は、オブジェクトごとに付与した固有のラベルと、以下において算出される3つの特徴量とを対応付けて特徴量記憶部130に記録する。
輪郭の円形度(特徴量1)を求める処理フローF10において、画像解析部120はラベル画像からオブジェクトの重心を算出し、この重心から輪郭(エッジ)までの距離において、重心から輪郭までの最長距離に対する最短距離の割合を輪郭の円形度として算出する(ステップS11)。
輪郭の外側と内側の輝度差(特徴量2)を求める処理フローF20において、画像解析部120は、ラベル画像からオブジェクトごとに膨張マスクM1と収縮マスクM2との2つのマスク画像をそれぞれ生成した上で、この2つのマスク画像M1,M2と元のラベル画像との差分から差分マスクM3,M4をそれぞれ生成する。そして、撮像装置55cによって撮像された観察画像において外側差分マスクM3の領域と内側差分マスクM4の領域とに対応する領域内の輝度値の平均をそれぞれ求め、上記式(β)を用いて、輪郭の外側と内側の輝度差を算出する(ステップS21)。
輪郭内部のテクスチャ特徴量(特徴量3)を求める処理フローF30において、ステップS21で生成した収縮マスクM2を用い、撮像装置55cによって撮像された観察画像について微分フィルタを適用させて、収縮マスクM2に対応した領域(収縮マスク領域)内のエッジ強度の平均を輪郭内部のテクスチャ特徴量として算出する(ステップS31)。
画像解析部120は、オブジェクトごとに算出して特徴量記憶部130に記録した各特徴量に対して、各特徴量と予め設定されたしきい値とを比較し、しきい値によるリジェクトをそれぞれ行う(ステップS12,S22,S32)。そして、しきい値を満足する3つの特徴量を持つオブジェクトのみを受精卵候補とみなす。なお、前述したように、コントラストの影響により特徴量が大きく変化しないように、輪郭内部のテクスチャ特徴量(特徴量3)については、全オブジェクト中における輝度平均の最大値に対する割合として扱う。
続いて、所定の上下限値の範囲をフルスケールとして各特徴量に対してスケールの正規化を行って(ステップS5)、共通のスケールに変換された各特徴量をスコア1,2,3として求める(ステップS6)。ステップS7では、オブジェクトごとにスコア1,2,3の総和からなる総合スコアを算出し、総合スコアをソートする(得点の大きい順に並べ替える)。この総合スコアが最大となるラベルのオブジェクトを観察対象の受精卵と認識し(ステップS8)、最終的には、このラベルを持つオブジェクトが受精卵であるとの判定結果が出力部140から出力される(ステップS9)。
出力部130から出力された判定結果は、操作盤7の表示パネル72に表示され、観察画像中で最も高い総合スコアを持つオブジェクトに受精卵を示す表示がされる。
具体的な表示方法として、例えば、受精卵であることを示す記号(例えば「J」)を付加して表示したり、受精卵とそれ以外の異物とを異なる色相や輝度で表示したり、異物を塗りつぶして表示したり、異物を除去した画像を表示する等により、受精卵とそれ以外の異物とを判別して表示する、などのインターフェースが例示される。なお、出力部140から出力される上記のような判別データを、通信部65を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、受精卵の生育状態を観察するための基礎データとして用いたりするように構成することができる。
これにより、観察者は、表示パネル72に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、観察中の(または既に観察画像の取得を終了した)各画像に含まれるオブジェクトが受精卵であるか否かを直ちに判断することができる。また、このようにして受精卵とそれ以外の異物とが判別されたデータを用いることにより、受精卵の生育状態を効率的に観察することが可能になる。
次に、受精卵の製造方法について図11を追加参照して概要説明する。まず、ステップS110において、受精卵を培地ドロップDと共に培養容器10(ディッシュ10a)内に注入し、この培養容器10を受精卵の培養に適した環境条件に維持された培養室2内に収納して、当該環境条件の下で受精卵を培養する。なお、この環境条件は、制御ユニット6において培養室2内の温度や湿度、二酸化炭素濃度等が受精卵の培養環境に合わせて調節される。
ステップS120では、培養容器10内の受精卵の観察として、前述した画像処理のステップS1〜S9(図1を参照)を実行して、観察画像に写し込まれる複数のオブジェクトの中から受精卵を識別する。このとき培養容器10(ディッシュ10a)内において、1個の培地ドロップDに対して受精卵が各1個ずつ識別される。
続いて、ステップS130では、培地ドロップDごとに識別された複数の受精卵を所定の選別基準に基づいて選別する。受精卵の選別基準としては、卵割のタイミングや卵割球の形態等に基づいて受精卵のグレードが判定されて、この選別基準を満足する良好なものが選別される。例えば、良好な生育状態を経たものとして、卵内全ての卵細胞において卵割の起きたタイミングが同時期であるか否かに基づいて行われる。すなわち、正常な受精卵の卵割については、同じ世代の各細胞はほぼ同時期のタイミングで***し、胚内には同じ世代の細胞のみが存在する。一方、異常な受精卵の卵割については、同じ世代の細胞であっても***するタイミングがずれて、胚内には異なる世代の細胞が混在してしまう。
ステップS140では、上記選別した受精卵(胚盤胞と称される状態にまで成長した良好な受精卵)を採取して、例えばマイナス196℃の液体窒素の中で凍結保存する。そして、この受精卵(胚盤胞)は所定の周期のときに母体へ戻される(胚移植される)。なお、培養される受精卵は、ヒト、ウシ、ウマ、ブタ、マウス等の受精卵であってもよい。また、受精卵の保存は胚盤胞の状態で保存してもよいし、分割期(4細胞期胚、8細胞期胚)の状態で保存してもよい。
以上説明したように、本実施形態の画像処理プログラムGP、この画像処理プログラムGPが実行されることにより構成される受精卵観察の画像処理方法及び画像処理装置100、並びに受精卵の製造方法によれば、撮像した観察画像内に写し込まれる複数のオブジェクトの中から観察対象である受精卵を的確に認識することが可能である。
なお、上述の実施形態では、輪郭の円形度、輪郭の外側と内側の輝度差、及び輪郭内部のテクチャ特徴量、の3つの特徴量に基づいて受精卵を認識する処理方法を例示したが、本発明はこの実施形態に限定されるものではなく、他の特徴量(形状特徴量やテクスチャ特徴量など)に基づいて受精卵を認識する方法や、更に別の特徴量を付加して4つ、5つ、…の特徴量に基づいて受精卵を認識する方法に適用しても、同様の効果を得ることができる。例えば、観察倍率の比較的低い画像に基づいてオブジェクトの輪郭部の輝度値や、オブジェクト内部の輝度の分散値などを新たな特徴量として、上記3つの特徴量のうちの1つと入れ替えて用いた構成や、上記3つの特徴量に付加して4つ、5つの特徴量として構成してもよい。
また、上述したように、本実施形態に例示する観察ユニット5の顕微観察系55においては、観察倍率が対物レンズ等のレンズ設定に応じて変倍可能に構成されており、観察画像から求められる特徴量には、低倍画像(低倍位相差画像)においてより顕著に現れる特徴量と、高倍画像(高倍位相差画像)においてより顕著に現れる特徴量とがある。本実施形態で例示した3つの特徴量については、数値化やテクスチャの検出が可能なように解像度の高い高倍画像に基づいて求められるのが望ましく、上記した新たな特徴量としての輪郭内部の輝度値については、輝度変化が顕著に現れる低倍画像に基づいて求められるのが望ましい。ここで、高倍画像とは例えば観察倍率10倍や20倍などの画像であり、低倍画像とは例えば観察倍率2倍程度の画像であり、観察対象の受精卵、卵細胞、胚などの大きさ等に応じて適宜な倍率を用いることができる。
さらに、上述の実施形態では、培地ドロップD内に注入される1個の受精卵aを識別処理する構成を例示したが、本発明はこの実施形態に限定されるものではなく、培地ドロップDに注入される複数の受精卵a全てを識別するように構成してもよい。例えば、総合スコアに対して、予め受精卵識別のしきい値を設定しておき、このしきい値を超えるオブジェクトを受精卵であると判別したり、培地ドロップDに注入される受精卵aの個数だけ予め設定しておき、その個数に応じた総合スコアの上位のオブジェクトを受精卵であると認識したりする構成としてもよい。
BS 培養観察システム GP 画像処理プログラム
a 受精卵 5 観察ユニット
6 制御ユニット 7 操作盤
54 マクロ観察系 54c 撮像装置
55 顕微観察系 55c 撮像装置
61 CPU 62 ROM
63 RAM 100 画像処理装置
120 画像解析部 140 出力部
a 受精卵 5 観察ユニット
6 制御ユニット 7 操作盤
54 マクロ観察系 54c 撮像装置
55 顕微観察系 55c 撮像装置
61 CPU 62 ROM
63 RAM 100 画像処理装置
120 画像解析部 140 出力部
Claims (18)
- 観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記複数の物体を抽出し、
前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、
算出された前記複数の特徴量に基づいて、前記複数の物体の中から受精卵を識別することを特徴とする受精卵観察の画像処理方法。 - 前記受精卵の属性が、前記受精卵における輪郭部及び輪郭領域内の構造に関するものであることを特徴とする請求項1に記載の受精卵観察の画像処理方法。
- 前記複数の特徴量が、前記物体における輪郭部の円形状の度合い示す画像特徴量を含むことを特徴とする請求項1または2に記載の受精卵観察の画像処理方法。
- 前記複数の特徴量が、前記物体における輪郭領域内の帯状部分の輝度に基づく画像特徴量を含むことを特徴とする請求項1または2に記載の受精卵観察の画像処理方法。
- 前記複数の特徴量が、前記物体における輪郭領域内のテクスチャ構造に基づく画像特徴量を含むことを特徴とする請求項1または2に記載の受精卵観察の画像処理方法。
- コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
前記撮像装置により視野内に位置する複数の物体を撮影した観察画像を取得するステップと、
前記観察画像に写し込まれた前記複数の物体を抽出するステップと、
前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出するステップと、
算出された前記複数の特徴量に基づいて、前記複数の物体の中から受精卵を識別するステップと、
前記物体に対する識別結果を出力するステップとを
前記コンピュータに実現させることを特徴とする受精卵観察の画像処理プログラム。 - 前記受精卵の属性が、前記受精卵における輪郭部及び輪郭領域内の構造に関するものであることを特徴とする請求項6に記載の受精卵観察の画像処理プログラム。
- 前記複数の特徴量が、前記物体における輪郭部の円形状の度合い示す画像特徴量を含むことを特徴とする請求項6または7に記載の受精卵観察の画像処理プログラム。
- 前記複数の特徴量が、前記物体における輪郭領域内の帯状部分の輝度に基づく画像特徴量を含むことを特徴とする請求項6または7に記載の受精卵観察の画像処理プログラム。
- 前記複数の特徴量が、前記物体における輪郭領域内のテクスチャ構造に基づく画像特徴量を含むことを特徴とする請求項6または7に記載の受精卵観察の画像処理プログラム。
- 複数の物体を撮影する撮像装置と、
前記撮像装置により撮影された観察画像から前記複数の物体を抽出し、前記複数の物体の中から受精卵を識別する画像解析部と、
前記画像解析部により判断された識別結果を外部に出力する出力部とを備え、
前記画像解析部が、前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、算出された前記複数の特徴量に基づいて、前記複数の物体の中から受精卵を識別するように構成したことを特徴とする受精卵観察の画像処理装置。 - 前記受精卵の属性が、前記受精卵における輪郭部及び輪郭領域内の構造に関するものであることを特徴とする請求項11に記載の受精卵観察の画像処理装置。
- 前記複数の特徴量が、前記物体における輪郭部の円形状の度合い示す画像特徴量を含むことを特徴とする請求項11または12に記載の受精卵観察の画像処理装置。
- 前記複数の特徴量が、前記物体における輪郭領域内の帯状部分の輝度に基づく画像特徴量を含むことを特徴とする請求項11または12に記載の受精卵観察の画像処理装置。
- 前記複数の特徴量が、前記物体における輪郭領域内のテクスチャ構造に基づく画像特徴量を含むことを特徴とする請求項11または12に記載の受精卵観察の画像処理装置。
- 所定の環境条件で受精卵を培養し、
受精卵が存在する培養容器中から、請求項11〜15のいずれかに記載の画像処理装置を用いて受精卵を識別することを特徴とする受精卵の製造方法。 - 所定の環境条件で受精卵を培養し、
受精卵が存在する培養容器中において、観察視野内に位置する複数の物体を撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記複数の物体を抽出し、
前記観察画像に含まれる前記物体ごとに、受精卵の属性に応じた画像の特徴量を複数算出し、
算出された前記複数の特徴量に基づいて、前記培養容器中の前記複数の物体の中から受精卵を識別することを特徴とする受精卵の製造方法。 - 識別された受精卵を所定の選別基準に基づいて選別し、
選別された受精卵を前記培養容器中から採取して保存することを特徴とする請求項16又は17に記載の受精卵の製造方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009162149 | 2009-07-08 | ||
JP2009162149 | 2009-07-08 | ||
PCT/JP2010/004328 WO2011004568A1 (ja) | 2009-07-08 | 2010-07-01 | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2011004568A1 true JPWO2011004568A1 (ja) | 2012-12-20 |
Family
ID=43428999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011521808A Withdrawn JPWO2011004568A1 (ja) | 2009-07-08 | 2010-07-01 | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JPWO2011004568A1 (ja) |
TW (1) | TW201102040A (ja) |
WO (1) | WO2011004568A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013137635A (ja) * | 2011-12-28 | 2013-07-11 | Dainippon Screen Mfg Co Ltd | 画像表示装置および画像表示方法 |
JP2015029461A (ja) * | 2013-08-02 | 2015-02-16 | 克昌 藤田 | 撮像装置 |
JP6343935B2 (ja) * | 2014-01-09 | 2018-06-20 | 大日本印刷株式会社 | 成育情報管理システム及び成育情報管理プログラム |
JP6343934B2 (ja) * | 2014-01-09 | 2018-06-20 | 大日本印刷株式会社 | 成育情報管理システム及び成育情報管理プログラム |
JP6166409B1 (ja) * | 2016-03-16 | 2017-07-19 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7036009B2 (ja) * | 2016-06-21 | 2022-03-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017191609A (ja) * | 2017-04-14 | 2017-10-19 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6862538B2 (ja) * | 2017-04-14 | 2021-04-21 | 株式会社日立ハイテク | 撮像装置および形態特徴データ表示方法 |
CN109444044B (zh) * | 2018-03-26 | 2023-07-18 | 广州市华粤行医疗科技有限公司 | 受精卵观察装置及其工作方法 |
WO2022157855A1 (ja) * | 2021-01-20 | 2022-07-28 | 医療法人浅田レディースクリニック | 胚培養装置および培養環境に保持された処置卵を表示する方法 |
JP7005087B1 (ja) * | 2021-01-20 | 2022-01-21 | 医療法人浅田レディースクリニック | 胚培養装置およびその撮像装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3079434B2 (ja) * | 1990-07-10 | 2000-08-21 | 株式会社日立製作所 | 細胞自動分類装置 |
JPH04318460A (ja) * | 1991-04-17 | 1992-11-10 | Omron Corp | 血液細胞分析装置 |
JPH06111021A (ja) * | 1992-09-30 | 1994-04-22 | Omron Corp | 画像判別装置 |
JPH09126987A (ja) * | 1995-10-27 | 1997-05-16 | Hitachi Ltd | 粒子画像解析装置 |
US6008010A (en) * | 1996-11-01 | 1999-12-28 | University Of Pittsburgh | Method and apparatus for holding cells |
WO2000013609A2 (en) * | 1998-09-02 | 2000-03-16 | Langerhans Aps | Apparatus for isolation of particles, preferably cell clusters |
JP4852890B2 (ja) * | 2005-05-31 | 2012-01-11 | 株式会社ニコン | 細胞の自動良否判定システム |
JP5132050B2 (ja) * | 2005-09-30 | 2013-01-30 | シスメックス株式会社 | 標本撮像装置及び標本撮像方法とその装置を制御するプログラム、並びに、標本分析装置 |
JP4921858B2 (ja) * | 2006-06-07 | 2012-04-25 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP2009152827A (ja) * | 2007-12-20 | 2009-07-09 | Nikon Corp | タイムラプス画像の画像処理方法、画像処理プログラム及び画像処理装置 |
-
2010
- 2010-07-01 JP JP2011521808A patent/JPWO2011004568A1/ja not_active Withdrawn
- 2010-07-01 WO PCT/JP2010/004328 patent/WO2011004568A1/ja active Application Filing
- 2010-07-06 TW TW099122128A patent/TW201102040A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2011004568A1 (ja) | 2011-01-13 |
TW201102040A (en) | 2011-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011004568A1 (ja) | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 | |
EP2234061B1 (en) | Image processing method for time lapse image, image processing program, and image processing device | |
JP5783043B2 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
JP4953092B2 (ja) | 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 | |
JP4968595B2 (ja) | 細胞の状態判別手法及び細胞観察の画像処理装置 | |
WO2010146802A1 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
WO2009119330A1 (ja) | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 | |
US20120134571A1 (en) | Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation | |
WO2012117647A1 (ja) | 観察プログラムおよび観察装置 | |
WO2009119329A1 (ja) | 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 | |
JP5516108B2 (ja) | 観察装置、観察方法、及びプログラム | |
JP2012039929A (ja) | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法 | |
JP2009229274A (ja) | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 | |
JP2011004638A (ja) | 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置 | |
JP2012039930A (ja) | 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法 | |
JP2009229276A (ja) | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 | |
JP2016165274A (ja) | 弁別的細胞イベントの定量的な識別を行う装置及び方法 | |
JP2011010621A (ja) | 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置 | |
JP2012042327A (ja) | 培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法 | |
JP2012039931A (ja) | 観察装置、観察方法、及び培養物の製造方法 | |
JP6567244B2 (ja) | 細胞の運動観察方法、画像処理プログラム及び画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130903 |