JP2024013078A - プログラム、表示方法及び表示システム - Google Patents

Abstract

【課題】撮影済み培養細菌コロニー画像と、シャーレを撮影して得ている培養細菌コロニーの現在画像とを比較可能に出力する処理を実行させるプログラム等を提供すること。【解決手段】プログラムは、シャーレ上の細菌コロニーを撮影済みの第１画像を取得し、前記シャーレ上の細菌コロニーを新たに撮影した第２画像を取得し、取得した前記第１画像及び前記第２画像を比較可能に表示部に出力する処理をコンピュータに実行させる。【選択図】図５

Description

本発明は、画像を出力する処理を、コンピュータに実行させるプログラム等に関する。

細菌の培養同定検査において、培養細菌コロニーの画像から菌種を自動判定する技術が提案されている。しかし、当該技術で菌種を１００％の正解率で識別することは現実的には困難である。正確な菌種判定には、臨床検査技師等の検査員による培養細菌コロニーの目視確認が必須である。また細菌培養後に単一菌種へと単離されたコロニーを構成する菌体をMALDI-TOF-MS（Matrix Assisted Laser Desorption / Ionization - Time of Flight - Mass Spectrometry）等の同定検査に使用することで、菌体の菌種名をより精度良く推定することが可能である。しかし、多数のコロニーすべてを同定検査することは、検査費用と検査時間が増大することから現実的ではない。そのため検査員による目視確認が必須となっている。なお感染症患者において特定の微生物による感染症の有無を確認する上で、特定種類の（特に重篤な感染症を引き起こす原因となる）微生物の存在（コロニー）をたとえば１種類のコロニーを見落とすと、重大な診断過誤につながる。そのため、一般的に臨床検査の現場では、例えば複数の検査員が重複確認することで、過誤を防止する工夫がなされている。

検査員による培養細菌コロニーの目視確認を行なうためには、画像判定結果をモニター画面に表示した上で、細菌を培養したシャーレの観察が必要となる。観察対象である培養細菌コロニーは、１つが直径数mmのサイズと小さい。またシャーレ上に培養細菌コロニーが複数存在するため、観察対象とする培養細菌コロニーの特定は容易でない。シャーレ上の培養細菌コロニーの菌種を特定（推定）後、後続の検査を行う場合、寒天培地から単一菌種へと単離された菌体を採取する釣菌作業が必要となる。シャーレから釣菌した培養細菌コロニーを懸濁した菌液はウェルプレートや試験管に準備された生理食塩水や培地に懸濁して、より取扱いが容易な菌液とし、後続の検査工程に用いる。上記の工程で、検査員がシャーレ上の培養細菌コロニーを再度釣菌する場合、その懸濁先として、９６ウェルプレート上の対応するウェルまたは複数の試験管が立てられた試験管立て上の対応する試験管を選択する必要があり、その場所の確認作業を複数回実施することは手間がかかり、間違えるリスクが高い。

そこで、作業や作業を行なうための装置の操作を支援する技術が求められている。特許文献１には、カメラによって撮像された画像情報からユーザの操作すべき操作手段の位置を検出し、検出された操作手段の位置に所与の情報（例えば、ライトスポット）をプロジェクタが投影する操作支援システムが開示されている。

特開２００５－３００９７１号公報

しかし、上記の従来技術は操作の支援とはなるが、培養細菌コロニー画像と、シャーレ上の実物の培養細菌コロニーとを対比する作業を支援することは困難である。本発明はこのような状況に鑑みてなされたものである。その目的は、撮影済み培養細菌コロニー画像と、シャーレを撮影して得ている培養細菌コロニーの現在画像とを比較可能に出力する処理を実行させるプログラム等の提供である。

本願の一態様に係るプログラムは、シャーレ上の細菌コロニーを撮影済みの第１画像を取得し、前記シャーレ上の細菌コロニーを新たに撮影した第２画像を取得し、取得した前記第１画像及び前記第２画像を比較可能に表示部に出力する処理をコンピュータに実行させる。

本願の一態様にあっては、第１画像と、第２画像とを比較可能に出力することが可能となる。なお、第１画像とは過去に撮影した培養細菌コロニーの撮影済み画像であり、第２画像とはシャーレを撮影して得ているコロニーの現在画像である。

支援システムの構成例を示す説明図である。 菌種判定の業務フローの例を示す説明図である。 情報処理装置のハードウェア構成例を示すブロック図である。 画像ＤＢの例を示す説明図である。 画像表示処理の手順例を示すフローチャートである。 表示画面の例を示す説明図である。 照明制御処理の手順例を示すフローチャートである。 点灯制御処理の手順例を示すフローチャートである。 細菌コロニーの選択に関する説明図である。 支援システムの他の構成例を示す説明図である。 照明制御処理の他の手順例を示すフローチャートである。 細菌コロニーを照明で照らしている様子を示す説明図である。 支援システムの他の構成例を示す説明図である。 タブレット端末のハードウェア構成例を示すブロック図である。 画像表示処理の他の手順例を示すフローチャートである。 表示画面の他の例を示す説明図である。

（実施の形態１）
以下実施の形態を、図面を参照して説明する。図１は支援システムの構成例を示す説明図である。支援システム１００は情報処理装置１、設置台２、カメラ３、照明装置４、コードリーダ５、及び画像ＤＢ６を含む。また、図１にはシャーレ７及びシャーレ７に形成された寒天培地８が示されている。

情報処理装置１は、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットコンピュータ等のコンピュータで構成する。情報処理装置１を、複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成してもよい。さらに、情報処理装置１の機能をクラウドサービスで実現してもよい。

設置台２は、検査員による培養細菌コロニー（以下、「細菌コロニー」という。）の目視確認を行なうために、シャーレ７を設置する台である。設置台２にはシャーレ７の設置位置の目安となる目安線ＣＬが設けられている。

カメラ３はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ又はＣＣＤ（Charge Coupled Device）センサ等の撮像素子を備える。カメラ３は設置台２の上方に設置され、設置台２に設置されたシャーレ７に形成された寒天培地８を撮影する。カメラ３は撮影して得た画像を、情報処理装置１へ送信する。

照明装置４は面発光可能な照明である。また、照明装置４は発光面の一部を光らせ、他の部分を暗く表示する機能を有する。照明装置４として、タブレットコンピュータが利用可能である。以下の説明では、照明装置４はタブレットコンピュータで構成されているとする。図１において、設置台２においてシャーレ７を置く部分は透明なガラスやアクリル板としてあり、照明装置４からの照明が透過し、当該照明がシャーレ７を照らすようになっている。照明装置４は発光デバイスの一例である。

コードリーダ５は、一次元コード若しくは二次元コード、又はＲＦＩＤ(radio-frequency identification device)コードを読み取る。コードリーダ５は、読み取ったコードを情報処理装置１へ送信する。コードリーダ５は読み取り機の一例である。

画像ＤＢ６は、カメラ３がシャーレ７に形成された寒天培地８を撮影した撮影済み画像を記憶する。画像ＤＢ６は画像と、シャーレ７を一意に特定可能なシャーレ番号とを記憶している。

シャーレ７にはバーコード７１が付されている。バーコード７１には、シャーレ７を個別に識別するためのシャーレ番号が含まれている。バーコード７１に替えて、２次元コード又はＲＦＩＤタグをシャーレ７に付してもよい。

寒天培地８には細菌を培養した結果として、細菌コロニーが形成されている。図１の例では、３種の細菌が計４つの細菌コロニーを形成している。細菌コロニー８１は同一の細菌の２つの細菌コロニーを示している。細菌コロニー８２、細菌コロニー８３はそれぞれ異なる２つの細菌の細菌コロニーを示している。

次に、細菌検査における目視による菌種判定の業務フローについて説明する。図２は、菌種判定の業務フローの例を示す説明図である。細菌コロニーが培養された寒天培地８をカメラ３にて撮影する。また、当該寒天培地８を収容しているシャーレ７に付されているバーコードをコードリーダ５で読み取らせる。画像ＤＢ６に撮影した画像をシャーレ番号と対応付けて記録する。撮影した画像より、ＡＩ（機械学習モデル）が細菌コロニーの位置を検出した上で、その細菌コロニーを形成している細菌の菌種推定を行なう。または、第１検査員が目視で細菌の菌種推定を行なう。菌種の推定結果を画像ＤＢ６に記憶する。この時に、コロニーの位置座標及び直径も、画像ＤＢ６に記憶する。ＡＩ（機械学習モデル）、または、第１検査員を行った推定結果を第２検査員が確認する。支援システム１００は第２検査員の確認作業を支援する。第２検査員の確認後、菌種に応じた後続検査が行われる。

図３は情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置１は制御部１１、主記憶部１２、補助記憶部１３、表示パネル１４、操作部１５、シリアル通信部１６、画像出力部１７、通信部１８及び読み取り部１９を含む。各構成はバスＢにより接続されている。

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有する。制御部１１は、補助記憶部１３に記憶された制御プログラム１Ｐ（プログラム、プログラム製品）を読み出して実行することにより、種々の情報処理、制御処理等を行い、符号取得部、第１画像取得部、第２画像取得部及び出力部等の機能部を実現する。

主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等である。主記憶部１２は主として制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。

補助記憶部１３はハードディスク又はＳＳＤ（Solid State Drive）等であり、制御部１１が処理を実行するために必要な制御プログラム１Ｐや各種ＤＢ（Database）を記憶する。補助記憶部１３に記憶する各種ＤＢ等を、情報処理装置１とは異なるデータベースサーバやクラウドストレージに記憶してもよい。画像ＤＢ６を補助記憶部１３に記憶してもよい。

表示パネル１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディスプレイ等で構成することができる。操作部１５は、例えば、表示パネル１４に組み込まれたタッチパネルで構成することができ、ユーザが表示パネル１４上で行う所定の操作を行うことができる。また、操作部１５は、表示パネル１４に表示したソフトウェアキ－ボード上の操作を行うことができる。なお、操作部１５は、ハードウェアキーボード、マウスなどでもよい。

シリアル通信部１６はカメラ３とシリアル通信を行い、カメラ３から撮影画像を受信する。また、シリアル通信部１６はコードリーダ５とシリアル通信を行い、バーコード若しくは２次元バーコード、又はＲＦＩＤタグから読み取られた符号を受信する。例えば、シリアル通信は、ＵＳＢ（universal Serial Bus）規格に準拠した通信である。

画像出力部１７は照明装置４に表示させる画像を出力する。通信部１８はネットワークを介して、画像ＤＢ６と通信を行なう。

読み取り部１９はＣＤ（Compact Disc）－ＲＯＭ及びＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読み取り部１９を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、補助記憶部１３に記憶してもよい。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、補助記憶部１３に記憶してもよい。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでもよい。

図４は画像ＤＢの例を示す説明図である。画像ＤＢ６はシャーレ番号列、画像列、位置座標列及び直径列、並びに菌種列を含む。本実施の形態において、必須なのはシャーレ番号列、画像列、位置座標列である。直径列はオプションである。菌種列は本実施の形態では不要である。シャーレ番号列はシャーレ番号を記憶する。画像列はカメラ３により撮影したシャーレ７の画像に紐づけられたファイルＩＤを記憶する。当該画像はシャーレ７に形成されている寒天培地８を撮影したものである。画像列は画像を記憶するのではなく、画像ファイルのファイル名を記憶してもよい。この場合、画像ファイルは別途、画像ＤＢ６に記憶する。位置座標列は細菌コロニーの中心位置の座標を記憶する。当該座標は画像座標系での座標値である。直径列は細菌コロニーの形態が真円に近いことからその円の直径を記憶する。当該直径は、画像上の長さから算出した実際の長さの推定値である。菌種列は細菌コロニーを構成している細菌の菌種を記憶する。画像ＤＢ６が記憶している複数の画像は、第１画像群の一例である。

図５は画像表示処理の手順例を示すフローチャートである。第２検査員は、菌種推定の結果を確認する対象のシャーレ７を、目安線ＣＬに従い、バーコード７１がコードリーダ５の読み取り部に対向するように、設置台２へ設置する。第２検査員は画像表示処理を起動する。情報処理装置１の制御部１１はコードリーダ５からシャーレ番号を取得する（ステップＳ１）。制御部１１はシャーレ番号に紐づけられた画像を画像ＤＢ６から取得する（ステップＳ２）。制御部１１は画像ＤＢ６から取得した第１画像に対する画像処理を行なう（ステップＳ３）。当該画像処理は、第１画像とカメラ３から取得した第２画像とを並べて表示した場合に、両画像に写っているコロニーの対応関係が目視にて確認できるように、第１画像に対して、拡大又は縮小若しくは回転等の処理を行なう。制御部１１は第１画像と第２画像を表示パネル１４に出力し（ステップＳ４）、処理を終了する。シャーレ７に、バーコード７１でなく、英数字又は記号からなる識別情報を付してもよい。検査員は識別情報を目視で読み取り、情報処理装置１へ入力する。

ステップＳ４の画像処理について、補足する。ステップＳ３の画像処理では、まず、特徴量マッチングを行なう。第１画像と第２画像とのそれぞれから抽出した特徴を対応付ける。特徴量マッチングは、ＡＫＡＺＥ（Accelerated KAZE）、ＳＵＲＦ（Speeded-Up Robust Features）又はＳＩＦＴ（Scale Invariant Feature Transform）、ｋＮＮ（k-Nearest Neighbor：ｋ近傍法）、若しくは、総当たりマッチング（Brute-Force Matcher）等の公知技術で実現可能である。

特徴量マッチングの結果に基づき、第２画像の位置合わせ等の処理を行なう。対応する２つの画像の座標変換方法は複数知られているが、ここでは線形変換（アフィン変換）が利用可能である。アフィン変換は、第１画像と第２画像とで、対応する４つの特徴点の座標値から算出可能である。アフィン変換において、変換前の座標（ｘ_ｎ,ｙ_ｎ）と変換後の座標（Ｘ_ｎ, Ｙ_ｎ）の関係は以下の式（１）で表すことが可能である。

λは拡大縮小率、θは回転角度、（T_x, T_y）は平行移動距離を示す。λ、θ、（Tx, Ty）はアフィン変換前後の４つの特徴点の座標により、決定することが可能である。以上により、第１画像と第２画像との位置、大きさ、向きを揃えて表示すること、すなわち第１画像と第２画像とを対比可能に表示パネル１４へ出力することが可能となる。

なお、画像処理の対象は第１画像としたが、第２画像を対象としてもよい。この場合、カメラ３から出力された動画像を構成する全フレームに対して、画像処理を行なうのではなく、所定フレーム毎に行ってもよい。または、カメラ３で静止画を撮影し、当該静止画に対して画像処理を行い表示してもよい。

図６は表示画面の例を示す説明図である。表示画面ｄ０１はカメラ画像域ｄ０１１、推定画像域ｄ０１２、属性表ｄ０１３、及び順番号ｄ０１４を含む。カメラ画像域ｄ０１１はシャーレ７に形成されている寒天培地８を、カメラ３で撮影し得ている画像を表示する。推定画像域ｄ０１２は過去に寒天培地８を、カメラ３で撮影して得た画像を表示する。属性表ｄ０１３は細菌コロニーの直径を表示する。順番号ｄ０１４は属性表と細菌コロニーとを対応付けられるように番号を表示する。

推定画像域ｄ０１２に表示する画像を用いて、ＡＩが菌種の推定又は第１検査員が菌種の推定を行っている。第２検査員は、当該推定又は判定結果と、カメラ画像域ｄ０１１に表示されている画像とを参照することにより、ＡＩの推定した又は第１検査員が判定した菌種が妥当であるか否かを判断することができる。

（照明装置の制御）
細菌コロニーの観察をより行ない易くする目的として照明装置４を制御する場合について説明する。例えば、表示画面ｄ０１において、細菌コロニーが選択された場合、選択された細菌コロニーにのみ照明を当てる。以下、説明を加える。

図７は照明制御処理の手順例を示すフローチャートである。第２検査員は、表示画面ｄ０１の推定画像域ｄ０１２において、操作部１５にて操作を行なう。情報処理装置１の制御部１１は選択を受け付ける（ステップＳ２１）。制御部１１は、受け付けた操作が細菌コロニーの選択操作であるか否かを判定する（ステップＳ２２）。選択操作は、例えばマウス等のポインティングデバイスにて、照明を当てたい細菌コロニーを指定することである。制御部１１は、受け付けた操作が細菌コロニーの選択操作であると判定した場合（ステップＳ２２でＹＥＳ）、点灯制御処理を行い（ステップＳ２３）、処理をステップＳ２１へ戻す。点灯制御処理については、図８を参照して後述する。制御部１１は、受け付けた操作が細菌コロニーの選択操作でないと判定した場合（ステップＳ２２でＮＯ）、消灯操作か否かを判定する（ステップＳ２４）。消灯操作は、例えば選択されている細菌コロニーの選択をすべて解除する操作である。制御部１１は、受け付けた操作が消灯操作であると判定した場合（ステップＳ２４でＹＥＳ）、消灯制御を行い（ステップＳ２５）、処理をステップＳ２１へ戻す。例えば、消灯制御は照明装置として使用するタブレットコンピュータに対して、全面が黒の画像を出力し、照明としている画面を暗い画面とすることである。制御部１１は、受け付けた操作が消灯操作でないと判定した場合（ステップＳ２４でＮＯ）、終了操作である否かを判定する（ステップＳ２６）。制御部１１は終了操作でないと判定した場合（ステップＳ２６でＮＯ）、処理をステップＳ２１へ戻す。制御部１１は終了操作であると判定した場合（ステップＳ２６でＹＥＳ）、処理を終了する。

図８は点灯制御処理の手順例を示すフローチャートである。制御部１１は選択された細菌コロニーの位置座標を取得する（ステップＳ４１）。位置座標は、表示画面ｄ０１での座標である。制御部１１は選択された細菌コロニーを特定する（ステップＳ４２）。制御部１１はステップＳ４１で取得した位置座標を、推定画像域ｄ０１２に表示している画像における座標に変換する。変換して得た座標と、画像ＤＢ６の位置列及び直径列の値とを参照して、選択された細菌コロニーを、制御部１１は特定することが可能である。制御部１１は照明用の画像を生成する（ステップＳ４３）。例えば制御部１１は、画像ＤＢ６の位置列及び直径列の値から特定される円の領域を白、それ以外の領域を黒とする画像を生成する。制御部１１は、照明装置として使用するタブレットコンピュータの画面の仕様に合わせて、生成した画像を拡大又は縮小してもよい。制御部１１は画像を出力し（ステップＳ４４）、処理を呼び出し元へ戻す。タブレットコンピュータを照明装置として機能させる上記画像は照射命令の一例である。

図９は細菌コロニーの選択に関する説明図である。図９Ａは表示画面の例を示す。図９Ａにおいて、図６と同様な表示要素については同一の符号を付している。図９Ａにおいては、番号４の細菌コロニーが選択されている。例えば、マウスポインタＭＰを選択したい細菌コロニーの表示領域に移動させ、マウスクリックをすると、当該細菌コロニーが選択される。マウスポインタＭＰを細菌コロニー以外の領域に移動させ、マウスクリックすると選択状態が解除される。マウスポインタＭＰを選択したい細菌コロニーの表示領域にマウスオーバーしたら選択状態としてもよい。図９Ａに示す属性表ｄ０１３のように、選択された細菌コロニーが対応するセルの背景にハッチングを施すなどして、選択状態を示してもよい。また、細菌コロニーの選択を、属性表ｄ０１３のセルを選択することによって可能としてもよい。一度に選択可能な細菌コロニーは一つだけではなく、複数の細菌コロニーを選択可能としてもよい。

図９Ｂは選択された細菌コロニーが照明で照らされている様子を例示した説明図である。番号４の細菌コロニー８３に照明装置４からの光が照射されている。

本実施の形態は、以下の効果を奏する。カメラ３で撮影し得ている第２画像を、ＡＩが菌種を推定する際に、又は第１検査員が菌種を判定する際に用いた第１画像と、大きさ及び向きが一致するように並べて表示するので、第１画像に写っている細菌コロニーと、第２画像に写っている細菌コロニーとの対応関係を、目視で容易に把握することが可能となる。また、細菌コロニーの選択操作を行った場合、選択した細菌コロニーが照明で照らされるので、良好な状況で、第２検査員は当該細菌コロニーを十分に観察可能となる。そのため第２検査員は当該細菌コロニーの菌種を効率的に目視確認できるだけでなく、後続の検査工程である、細菌コロニーの採取（釣菌）操作を、選択した細菌コロニーに対して効率的かつ容易に実施できる。シャーレ７に付されているバーコード７１をコードリーダ５と対向するように、シャーレ７を設置台２に置くので、第２画像の向きと、第１画像の向きとの差異が小さくなる。それにより、第１画像及び第２画像の向きを合わせる画像処理を軽減することが可能となる。なお、シャーレ７に、バーコード７１ではなくＲＦＩＤタグを付している場合、ＲＦＩＤタグをコードリーダ５と対向するようにシャーレ７を置かなくとも、コードリーダ５はＲＦＩＤタグからコードの読み取りは可能である。しかし、第２画像の向きと、第１画像の向きとの差異を小さくするために、位置合わせのための何らかのマークを、シャーレ７に付けておくことが望ましい。

（実施の形態２）
本実施の形態は、照明装置４をプロジェクタで構成する形態に関する。プロジェクタは光学的な投影装置であって、パソコンの操作画面などのビデオ画像をスクリーンに拡大して投影・表示する機器である。図１０は支援システムの他の構成例を示す説明図である。支援システム１００は情報処理装置１、設置台２、カメラ３、照明装置４、コードリーダ５、及び画像ＤＢ６を含む。情報処理装置１、設置台２、カメラ３、コードリーダ５、及び画像ＤＢ６は、実施の形態１と同様であるから、説明を省略する。

照明装置４はカメラ３と同様に設置台２の上方に設置する。照明装置４の投影範囲が、設置台２に置かれたシャーレ７と重なるように、照明装置４の設置位置の調整、表示倍率の調整を行なう。

表示画面において、細菌コロニーが選択された場合、当該細菌コロニーだけが白色光等に照らされるような画像を情報処理装置１の制御部１１は生成し、生成した画像を照明装置４へ出力する。図１０では、番号４の細菌コロニー８３が選択されている。そして、細菌コロニー８３に、照明装置４からの光４１が照射されている。

本実施の形態は、実施の形態１と同様な効果に加え、次の効果を奏する。照明装置４としてプロジェクタを採用したので、培地を含むシャーレの下側から照明する実施の形態１と比べて、培地による照明光の減弱効果がない分だけ、細菌コロニーに照射する光の光量を大きくすることが可能となる。

（実施の形態３）
本実施の形態は、照明装置４からの光を照射する細菌コロニーを菌種により選択する形態に関する。本実施の形態のハードウェア構成は、上述の実施の形態のハードウェア構成と同様であるから、説明を省略する。以下、説明では、主に上述の実施の形態と異なる内容について説明する。

本実施の形態では、画像ＤＢ６の菌種列は必須である。菌種列は各細菌コロニーの菌種名を記憶する。当該菌種はＡＩが推定した結果、又は第１検査員が判定した結果を記憶する。画像ＤＢ６において、菌種列に代えて菌群列を設け、各細菌コロニーに菌群名を記憶してもよい。この場合、以下の説明において、菌種名は菌群名に置き換わる。

本実施の形態において、画像表示処理は上述の実施の形態と同様であるが、細菌コロニーの選択操作が少し異なる。本実施の形態においては、菌種名を用いて細菌コロニーを選択する。照明制御処理について説明する。図１１は照明制御処理の他の手順例を示すフローチャートである。情報処理装置１の制御部１１は第２検査員が選択した菌種名を取得する（ステップＳ５１）。第２検査員が、表示画面にある菌種メニューから菌種名を選択した場合、制御部１１は選択された菌種名を取得する。制御部１１は、画像ＤＢ６を参照し、取得した菌種名と同じ菌種名の細菌コロニーを特定する（ステップＳ５２）。制御部１１は特定した細菌コロニーが白色光等に照らされるような画像を生成する（ステップＳ５３）。制御部１１は生成した画像を照明装置４（タブレットコンピュータ又はプロジェクタ）へ出力し（ステップＳ５４）、処理を呼び出し元へ戻す。

菌種の選択操作は、上述の実施の形態と同様に、細菌コロニーを選択することにより、行ってもよい。この場合、選択のモードを２つ設ける。一方は細菌コロニーを選択するモードである。このモードでは上述の実施の形態と同じ動作となる。他方は菌種を選択するモードある。この場合、制御部１１は選択された細菌コロニーの位置座標を取得する。制御部１１は取得した位置座標を画像における座標に変換する。制御部１１は、変換して得た座標と、画像ＤＢ６の位置列及び直径列の値とを参照して、選択された細菌コロニーを特定し、当該細菌コロニーの菌種名を画像ＤＢ６の菌種列から取得する。

図１２は細菌コロニーを照明で照らしている様子を示す説明図である。図１２において、情報処理装置１の画面には、菌種メニューｄ０１５が表示されている。菌種メニューｄ０１５には、大腸菌と緑膿菌とが選択肢として表示されている。ここでは、大腸菌が選択されている。大腸菌のコロニーは、符号８１が付された４つのコロニーが該当する。したがって、プロジェクタ４は４つの細菌コロニー８１を照らしている。

本実施の形態は、上述の実施の形態が奏する効果に加えて、以下の効果を奏する。細菌コロニーの中に、検知対象としていない新規の菌種が含まれている場合であっても、ＡＩが特定することは容易ではない。この場合、ＡＩは新規の菌種に対して、既知の菌種であると推定する。その結果、選択された菌種名の細菌コロニーの中で、細菌コロニーの形態的特徴が異なるものが含まれることになる。第２検査員は、形態的特徴の違いから目視によって、新規の菌種を特定することが可能となる。したがって、本方法によって第２検査員は、ＡＩの推定結果の間違いを効率的に修正することができる。

上述の実施の形態１と実施の形態２とを組み合わせて、照明装置４としてタブレットコンピュータとプロジェクタとを備える形態としてもよい。菌種や細菌コロニーの状態により、照明を上方から当てるか、下方から当てるかを切り替えることにより、的確な照明条件で細菌コロニーの観察が可能となる。さらに、照明を上方と下方の二方向から同時に当ててもよい。

（実施の形態４）
本実施の形態は必要とするハードウェアを絞り込んだ形態である。図１３は支援システムの他の構成例を示す説明図である。支援システム１００はタブレット端末２０、コードリーダ５及び画像ＤＢ６を含む。コードリーダ５及び画像ＤＢ６は上述の実施の形態と同様であるから、説明を省略する。

タブレット端末２０のタッチパネルディスプレイを２つの部分に分けて使用する。一方は画像ＤＢ６から読み出した画像を表示する表示部２４１として使用する。他方はシャーレ７を配置し、シャーレ７に形成された寒天培地８に光を照らす照明部として使用する。照明領部には、シャーレ７の設置位置の目安となる目安線が表示される。目安線が描かれた透明フィルムシートを貼り付けてもよい。また、シャーレ７の位置決めを行なうための、２本の棒状部材９を照明部に取り付けてもよい。２本の棒状部材９は同一の円周上に所定間隔をおいて設置する。当該所定間隔はシャーレ７に付されているバーコード７１の横の長さと合わせるようにする。それにより、２つの棒状部材９の間にバーコード７１が収まるようシャーレ７を設置することで、シャーレ７の向きを揃えて設置することが可能となる。棒状部材９は図１３に示すように円柱状でもよいが、シャーレ７の外周面と合うような水平断面を三日月状としてもよい。２つの棒状部材９に替えて、平面視円弧状の壁部材としてもよい。当該壁部材の横の長さはバーコード７１の横の長さと合わせるよう構成する。シャーレ７を設置する際、バーコードを当該壁部材と重なるように設置する。シャーレ７の向きを揃えて設置することが可能となる。また、当該壁部材の高さは、バーコード７１の一部が隠れないような高さとする。それによって、バーコード７１をコードリーダ５で読み取り可能となる。図１３に示したように、タブレット端末２０のタッチパネルディスプレイには、表示部２４１及び照明部を設けることから、タッチパネルディスプレイの表示面積は、少なくともシャーレ７の底面積の２倍以上であることが必要である。

図１４はタブレット端末のハードウェア構成例を示すブロック図である。タブレット端末２０はタブレットコンピュータ、又は、タブレットとして使用可能なノートＰＣで構成する。タブレット端末２０は制御部２１、主記憶部２２、補助記憶部２３、表示パネル２４、タッチパネル２５、シリアル通信部２６、及び通信部２７を含む。各構成はバスＢにより接続されている。

制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を有する。制御部２１は、補助記憶部２３に記憶された制御プログラム２０Ｐ（プログラム、プログラム製品）を読み出して実行することにより、種々の情報処理、制御処理等を行い、種々の機能部を実現する。

主記憶部２２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等である。主記憶部２２は主として制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。

補助記憶部２３はハードディスク又はＳＳＤ等であり、制御部２１が処理を実行するために必要な制御プログラム２０Ｐや各種ＤＢを記憶する。補助記憶部２３に記憶する各種ＤＢ等を、タブレット端末２０とは異なるデータベースサーバやクラウドストレージに記憶してもよい。

表示パネル２４は、液晶パネル又は有機ＥＬディスプレイ等で構成することができる。タッチパネル２５は、表示パネル２４に組み込まれている。表示パネル２４及びタッチパネル２５はタッチパネルディスプレイを構成している。なお、タブレット端末２０の操作を、ハードウェアキーボード、マウスなどを利用して行ってもよい。

上述したように、タッチパネルディスプレイの一部にシャーレ７を設置する。シャーレ７を設置した状態でも、タッチパネル２５が動作するように、タッチパネル２５は投影型静電容量方式であることが望ましい。投影型静電容量方式はマルチタッチに対応するので、シャーレ７の位置を検出したとしても、表示部２４１への操作も検知可能である。なお、シャーレ７を設置した状態でも、表示部２４１への操作が検知可能であれば、他の方式のタッチパネルを、タブレット端末２０のタッチパネル２５として採用してもよい。

シリアル通信部２６はコードリーダ５とシリアル通信を行い、バーコード又は２次元バーコードから読み取られた符号を受信する。例えば、シリアル通信部２６は、ＵＳＢ規格、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に準拠した通信を行なう。通信部２７はネットワークを介して、画像ＤＢ６と通信を行なう。

図１５は、画像表示処理の他の手順例を示すフローチャートである。第２検査員は、菌種推定の結果を確認する対象のシャーレ７を、目安線に従い、バーコード７１が２つの棒状部材９の間に収まるように、照明部に設置する。第２検査員はコードリーダ５にバーコード７１を読み取らせる。タブレット端末２０の制御部２１はコードリーダ５からシャーレ番号を取得する（ステップＳ７１）。制御部２１はシャーレ番号に紐づけられた画像を画像ＤＢ６から取得する（ステップＳ７２）。制御部２１は画像ＤＢ６から取得した第１画像を拡大又は縮小する（ステップＳ７３）。拡大又は縮小は、第１画像が表示パネル２４に表示された際に、第１画像内のシャーレ７のサイズと、上方からみた実物のシャーレ７のサイズとが同じように視認できるようにするためである。拡大又は縮小の倍率は、画像のサイズとタッチパネルディスプレイに設けた表示部２４１のサイズから決定することが可能である。制御部１１は第１画像と第２画像を表示パネル２４に出力し（ステップＳ７４）、処理を終了する。

照明制御処理、及び、点灯制御処理は上述の実施の形態と同様であるから、詳しい説明を省略する。本実施の形態において、照明制御処理で生成する画像の出力先は、タッチパネルディスプレイの照明部である。また、出力する画像は選択した細菌コロニーのみを照射するような画像ではなく、細菌コロニーの中心位置が交差点とする十字線状の照明となるような画像とする。シャーレ７を、図１３に示したように十字線状の光２４２で照らすことにより、第２検査員は選択した細菌コロニーのシャーレ７上での位置を容易に把握することが可能となる。

本実施の形態は、以下の効果を奏する。シャーレ７を観察する際に、ＡＩが菌種を推定する際に、又は第１検査員が菌種を判定する際に、用いた第１画像を、第２検査員が実際観察しているシャーレ７の見え方と同じとなるように、第１画像を表示部２４１に表示する。それによって、第１画像に写っている細菌コロニーと、実際に観察している細菌コロニーとの対応関係を、容易に把握することが可能となる。また、細菌コロニーの選択操作を行った場合、選択した細菌コロニーが十字線状の照明で照らされるので、良好な状況で、第２検査員は当該細菌コロニーを十分に観察可能となる。さらに、ハードウェア構成として、情報処理装置１、設置台２、カメラ３、及び、照明装置４としてのプロジェクタが不要となり、ハードウェア費用の低減、支援システム１００を組み上げる際の作業工数を低減することが可能となる。

なお、入力作業が煩雑となるが、バーコード７１に併記されているシャーレ番号を、第２検査員がタブレット端末２０に入力するのであれば、コードリーダ５も不要となる。また、作業が煩雑となるが、タブレット端末２０としてカメラ付きのものを採用し、当該カメラで、シャーレ７のバーコード７１を撮影したのちに、タブレット端末２０にシャーレ７を設置するようしても、コードリーダ５を不要することが可能である。

（変形例）
シャーレ７を照らす照明光は白色光であるとしたが、それに限らない。菌種によって照明光の色を切り替えるようにしてもよい。また、照明光の光量も菌種やＡＩによる菌種推定の信頼度（出力値）によって変更してもよい。光量、光色の変更は、手動で行えるようにしてもよい。

（菌種の修正、後続検査の指示）
第２検査員は、ＡＩ又は第１検査員が推定した菌種が適切でないと判断した場合、菌種を修正する。また、第２検査員は後続検査の指示を行う。後続検査の対象となる細菌コロニーについては、シャーレ７から釣菌を行う。釣菌された細菌は、９６ウェルプレート上の対応するウェルまたは試験管立て上の対応する試験管にて懸濁される。

図１６は表示画面の他の例を示す説明図である。表示画面ｄ０２はカメラ画像ｄ０２１、推定画像ｄ０２２、マーカｄ０２３、コロニー番号ｄ０２４、表示アイコンｄ０２５、非表示アイコンｄ０２６、及び、一覧表ｄ０２７を含む。

カメラ画像ｄ０２１はカメラ３で撮影しているシャーレ７の画像である。推定画像ｄ０２２は、菌種を推定するＡＩに入力された画像、又は、第１検査員が菌種の判定を行った際の画像である。マーカｄ０２３は細菌コロニーの外形線をオーバレイ表示したものである。コロニー番号ｄ０２４は細菌コロニーの順番号をオーバレイ表示したものである。順番号は、一覧表ｄ０２７に示されたレコードとの対応関係を取るために使用する。表示アイコンｄ０２５及び非表示アイコンｄ０２６は、推定画像ｄ０２２オーバレイ表示しているマーカｄ０２３、コロニー番号ｄ０２４の表示状態と非表示状態とを切り替えるアイコンである。表示アイコンｄ０２５は、マーカｄ０２３、コロニー番号ｄ０２４を表示していることを示している。非表示アイコンｄ０２６は、マーカｄ０２３、コロニー番号ｄ０２４を非表示していることを示している。表示アイコンｄ０２５に対してマウスクリック等の操作を行なうと、非表示アイコンｄ０２６に切り替わり、マーカｄ０２３、コロニー番号ｄ０２４は非表示となる。非表示アイコンｄ０２６に対してマウスクリック等の操作を行なうと、表示アイコンｄ０２５に切り替わり、マーカｄ０２３、コロニー番号ｄ０２４が表示される。一覧表ｄ０２７は菌種の推定結果等の細菌コロニー毎の情報を一覧表示する。

一覧表ｄ０２７は番号列、推定菌列、推定菌群列、MALDI列、感受性試験列、簡易同定列、菌量列及び備考列を含む。番号列はコロニーの順番号を表示する。推定菌列はＡＩが推定した菌種、又は、第１検査員が判定した菌種を表示する。推定菌群列は菌種に対応する菌群を表示する。MALDI列は後続の検査として、MALDI-TOF-MS検査、すなわち、マトリックス支援レーザー脱離イオン化法による質量分析検査を行なうべき否かを表示する。感受性試験列は後続の検査として、薬剤感受性試験を行なうべき否かを表示する。簡易同定列は後続の検査として、菌種の簡易同定検査を行なうべき否かを表示する。MALDI列、感受性試験列、簡易同定列におけるチェックマークは検査等を行なうべきこと示し、マイナス符号は検査等を行わなくともよいことを示す。菌量列は細菌コロニーにおける菌量を表示する。備考列は第１検査員が入力したコメント等を表示する。なお、図１６において、推定菌列に表示している百分率は、ＡＩが出力した推定結果に対する確信度を示す。一覧表ｄ０２７に表示されるデータは、画像ＤＢ６等に記憶している。

第２検査員は推定菌列に表示されている菌種が目視確認された菌種とは異なり、誤っていると判断した場合、菌種を変更することが可能である。また、MALDI列、感受性試験列、簡易同定列に対して、マウスクリック等の操作を行なうことにより、検査等を行なうべき否かの表示を切り替えることが可能である。第２検査員による操作結果は、画像ＤＢ６や検査結果を記憶するデータベース等に記憶される。

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

１００ ：支援システム
１ ：情報処理装置
１１ ：制御部
１２ ：主記憶部
１３ ：補助記憶部
１４ ：表示パネル
１５ ：操作部
１６ ：シリアル通信部
１７ ：画像出力部
１８ ：通信部
１９ ：読み取り部
１Ｐ ：制御プログラム
１ａ ：可搬型記憶媒体
１ｂ ：半導体メモリ
２ ：設置台
３ ：カメラ
４ ：照明装置
５ ：コードリーダ
６ ：画像ＤＢ
７ ：シャーレ
２０ ：タブレット端末
２１ ：制御部
２２ ：主記憶部
２３ ：補助記憶部
２４ ：表示パネル
２５ ：タッチパネル
２６ ：シリアル通信部
２７ ：通信部
２０Ｐ ：制御プログラム
Ｂ ：バス
Ｎ ：ネットワーク

Claims (11)

1. シャーレ上の細菌コロニーを撮影済みの第１画像を取得し、
   前記シャーレ上の細菌コロニーを新たに撮影した第２画像を取得し、
   取得した前記第１画像及び前記第２画像を比較可能に表示部に出力する
   処理をコンピュータに実行させるプログラム。
2. 前記シャーレに付された符号を読み取り、過去に撮影済みの第１画像群から、読み取った前記符号に対応する前記第１画像を取得する
   請求項１に記載のプログラム。
3. 読み取り機と前記符号とが対向するように配置された前記シャーレから、前記読み取り機を通じて前記符号を取得する
   請求項２に記載のプログラム。
4. 前記第１画像及び前記第２画像が比較可能となるように、前記第１画像又は前記第２画像の回転、拡大、縮小、又は、座標変換を行う
   請求項１から請求項３のいずれか一項に記載のプログラム。
5. 前記シャーレを照射する発光デバイスに対し、前記第１画像中で特定された位置に対応する前記シャーレ上の位置への照射命令を出力する
   請求項１から請求項３のいずれか一項に記載のプログラム。
6. 前記第１画像中の前記細菌コロニーの選択を受け付け、
   前記シャーレの下側に設けられた発光デバイスに対し、選択された前記細菌コロニーに対応する前記シャーレの位置への照射命令を出力する
   請求項１から請求項３のいずれか一項に記載のプログラム。
7. 前記第１画像中の前記細菌コロニーの選択を受け付け、
   前記シャーレの上側または下側に設けられたプロジェクタに対し、受け付けた位置に対応する前記シャーレの位置への照射命令を出力する
   請求項１から請求項３のいずれか一項に記載のプログラム。
8. 前記第１画像中の前記細菌コロニーは菌種に応じて複数種類に分類されており、
   前記菌種の選択を受け付け、
   受け付けた菌種に対応する細菌コロニーの位置を特定し、
   前記シャーレの下側に設けられた発光デバイスに対し、特定した位置に対応する前記シャーレ上の位置への照射命令を出力する
   請求項１から請求項３のいずれか一項に記載のプログラム。
9. 前記第１画像中の前記細菌コロニーは菌種に応じて複数種類に分類されており、
   前記菌種の選択を受け付け、
   受け付けた菌種に対応する細菌コロニーの位置を特定し、
   前記シャーレの上側または下側に設けられたプロジェクタに対し、特定した位置に対応する前記シャーレの位置への照射命令を出力する
   請求項１から請求項３のいずれか一項に記載のプログラム。
10. コンピュータが、
    シャーレ上の細菌コロニーを撮影済みの第１画像を取得し、
    前記シャーレ上の細菌コロニーを新たに撮影した第２画像を取得し、
    取得した第１画像及び第２画像を比較可能に表示部に出力する
    処理を実行する表示方法。
11. シャーレ上の細菌コロニーを撮影するカメラと、
    前記シャーレに付された符号を読み取る読み取り機と、
    読み取り機と前記符号とが対向するように配置された前記シャーレから、前記読み取り機を通じて前記符号を取得する符号取得部、
    前記カメラによって過去に撮影された第１画像群から、取得した符号に対応する第１画像を取得する第１画像取得部、
    前記カメラにより、新たに前記シャーレ上の細菌コロニーを撮影した第２画像を取得する第２画像取得部、及び、
    取得した第１画像及び第２画像を比較可能に表示部に出力する出力部
    を有する情報処理装置と
    を備える表示システム。

Images