JP7242530B2 - 観察システム及び情報管理方法 - Google Patents

Description

本発明は、観察システム及び情報管理方法に関する。

多くの生物関連実験において、細胞培養が行われている。細胞培養は、通常決められた手順（プロトコール）に基づいて実施されるが、培養過程で細胞に変化が生じることはしばしば起きる。そのため、細胞の状態を常に的確に把握することが細胞の品質を維持するためには重要である。そのため細胞培養を行っている作業者は、日々顕微鏡で培養している細胞を観察し、細胞の状態を確認している。このような細胞の状態を観察する作業は、ルーチン作業となっている。また、このような作業において、細胞の状態の把握を含む培養に関する各種判断等は、作業者の経験又はノウハウに基づくことが多い。細胞培養は常に行われているため、作業者が、細胞の状態を常に撮影し、画像データとして保存することはまれである。また、撮影を行ったとしても画像数が膨大となるため、それら画像を適切に整理して管理することは、作業者にとって負担が大きい。また、これら画像を印刷して実験ノートに貼付しつつ、当該実験ノートに作業者の意見等を記載することがあるが、このような記録の仕方は、作業者にとっての負担をさらに大きくする。このため、上述の培養に関する各種判断等が作業者の経験又はノウハウに基づくことにさらに拍車がかかる。

インキュベータ内で培養している細胞の状態を遠隔的に観察、記録することができる観察装置付き培養装置に係る技術が例えば日本国特開２００２－８５０５４号公報に開示されている。この装置では、培養装置内のスキャナを用いて培養装置内のシャーレの状態を記録することができる。この装置は、予め設定したスケジュールに従って連続的又は定期的に記録を行うことができる。この観察装置付き培養装置は、コロニーの数や状態等を記録することができる。

日本国特開２００２－８５０５４号公報に開示されている装置では、画像データやコロニーの数等のデータは取得可能である。一方で、作業者の判断や意見を記録することについては、考慮されていない。

本発明は、観察結果に係るユーザの見解を適切に記録できる観察システム及び情報管理方法を提供することを目的とする。

本発明の一態様によれば、観察システムは、培養中の生体試料について時系列に沿って取得された複数の画像を管理する画像管理部と、ユーザの指示に基づいて前記画像と関連付けてコメント及びＲＯＩを記録するコメント管理部と、前記培養中に行われた作業の記録を管理する情報管理部と、前記時系列を示すタイムバーと、前記時系列中の選択された時点を示す前記タイムバーの選択時間表示と、前記時系列中の選択された時点に対応する画像を表示させる前記タイムバーの選択時間表示と、前記タイムバーに前記作業が行われたタイミングを示す作業表示と前記コメントが付されている時点を示すコメント表示を表示装置に表示させる表示制御部と備え、前記コメント管理部は、ユーザの指示に基づいて前記コメントと関連付けてさらに異なるコメント及びＲＯＩを記録し、前記情報管理部は、前記作業の記録と前記画像を関連付け、前記作業表示に基づいて選択された時点に対応する画像が表示される。

本発明の一態様によれば、情報管理方法は、観察システムの画像管理部が、培養中の生体試料について時系列に沿って取得された複数の画像を管理することと、前記観察システムのコメント管理部が、ユーザの指示に基づいて前記画像と関連付けてコメント及びＲＯＩを記録することと、前記観察システムの情報管理部が、前記培養中に行われた作業の記録を管理することと、前記観察システムの表示制御部が、前記時系列を示すタイムバーと、前記時系列中の選択された時点を示す前記タイムバーの選択時間表示と、前記時系列中の選択された時点に対応する画像を表示させる前記タイムバーの選択時間表示と、前記タイムバーに前記作業が行われたタイミングを示す作業表示と前記コメントが付されている時点を示すコメント表示を表示装置に表示させることと、前記コメント管理部が、ユーザの指示に基づいて前記コメントと関連付けてさらに異なるコメント及びＲＯＩを記録することと、前記情報管理部が、前記作業の記録と前記画像を関連付けることとを含み、
前記作業表示に基づいて選択された時点に対応する画像が表示される。

本発明によれば、観察結果に係るユーザの見解を適切に記録できる観察システム及び情報管理方法を提供できる。

図１は、観察システムの構成例の概要を示す図である。 図２は、観察システムの構成例の概要を示すブロック図である。 図３は、観察システムで扱われる観察データの構成例の概要を示す図である。 図４は、観察装置で行われる記録処理の一例の概要を示すフローチャートである。 図５は、観察システムで行われる観察データ管理処理の一例の概要を示すフローチャートである。 図６は、表示装置に表示されるメイン画面の一例の概要を示す図である。 図７は、観察システムで行われる画像選択処理の一例の概要を示すフローチャートである。 図８は、観察システムで行われる画像コメント付与処理の一例の概要を示すフローチャートである。 図９は、表示装置に表示されるコメント画面の一例の概要を示す図である。 図１０は、表示装置に表示されるＲｏＩ設定画面の一例の概要を示す図である。 図１１は、観察システムで行われるグラフ時間選択処理の一例の概要を示すフローチャートである。 図１２は、観察システムで行われるグラフコメント付与処理の一例の概要を示すフローチャートである。 図１３は、表示装置に表示されるコメント画面の一例の概要を示す図である。 図１４は、観察システムで行われるコメント確認処理の一例の概要を示すフローチャートである。 図１５は、表示装置に表示されるコメント概要表示画面の一例の概要を示す図である。 図１６は、観察システムで行われる詳細確認処理の一例の概要を示すフローチャートである。 図１７は、表示装置に表示されるコメント詳細画面の一例の概要を示す図である。 図１８は、観察システムで行われる動画再生処理の一例の概要を示すフローチャートである。 図１９は、観察システムで行われる関連画像の選択の一例について説明するための図である。 図２０は、観察システムで行われる画面情報送信処理の一例の概要を示すフローチャートである。 図２１は、観察システムで行われるコメントリスト処理の一例の概要を示すフローチャートである。

本発明の一実施形態について図面を参照して説明する。本実施形態は、例えば細胞といった生体試料の培養中の様子の観察に用いられる観察システムに関する。この観察システムは、例えばインキュベータ内の生体試料を撮影することができる。観察対象の細胞等は、どのような生物に由来するものでも、どのような方法で培養するものでもよい。また、この観察システムでは、撮影により得られた画像は、サーバ上に保存され、複数の端末から閲覧され得る。また、この観察システムでは、画像にテキストやRegion of Interest（ＲｏＩ）等の画像に係るコメント等を付すことができる。複数の端末から、画像にコメント等を付したり、付されたコメント付きの画像を閲覧したりすることができるので、複数のユーザで画像についての情報を共有したり、意見交換を行ったりできる。

［撮影システムの構成］
本実施形態に係る観察システム１の構成例の概略を図１及び図２に示す。観察システム１は、観察装置１１０を備える。観察装置１１０は、図１に示すようにおおよそ直方体の外形を有する装置である。観察装置１１０の上面には、透明板１１１が設けられており、観察対象である生体試料１９０は、この透明板１１１の上に配置される。透明板の下には、撮影レンズ及び撮像素子等を有して透明板１１１側を撮影する撮像ユニット１１２と、撮像ユニット１１２を透明板１１１と平行な平面内で移動させる移動機構１１４とが配置されている。撮像ユニット１１２が１回の撮影で画像を取得できる範囲は狭い。移動機構１１４が撮像ユニット１１２を移動させながら撮像ユニット１１２が繰り返し撮影を行うことで、観察装置１１０は生体試料１９０の広い範囲の画像を取得することができる。

図２に示すように、観察装置１１０は、撮像ユニット１１２及び移動機構１１４を含む各部の動作を制御するための制御回路１１６を備える。制御回路１１６は、例えば１つ又は複数のCentral Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等を含む。また、観察装置１１０は、撮影により得られた画像等が記録される記憶装置１１８を備える。また、制御回路１１６で用いられるプログラム、各種パラメータ等は、記憶装置１１８又は制御回路１１６の記憶領域等に記憶されている。また、観察装置１１０には、ユーザが観察の開始又は終了等を入力するために用いる入力装置１２０が設けられている。

観察装置１１０は、例えばインキュベータ内に配置され、インキュベータ内で培養中の生体試料１９０の様子を、例えば予め設定した条件で、例えば定期的或いは不定期に撮影する。観察システム１は、観察装置１１０に接続され、観察装置１１０の各種動作の制御、観察装置１１０が取得した画像の管理、取得した画像に基づく各種解析等を行うコントローラ１３０を備える。コントローラ１３０は、インキュベータの外部に配置される。観察装置１１０とコントローラ１３０との接続は、有線であっても無線であってもよい。コントローラ１３０には、例えばパーソナルコンピュータ（ＰＣ）等が用いられ得る。

コントローラ１３０は、例えば一般的なＰＣであるので、図２に示すように、例えばＣＰＵといったプロセッサ１３２、例えばＤＲＡＭといったメモリ１３４、例えばハードディスク又はフラッシュメモリ等といった記憶装置１３６、例えば液晶ディスプレイといった表示装置１３８、及び例えばキーボード、マウス、タッチパネル等といった入力装置１４０等を備える。

コントローラ１３０は、ネットワーク１８０に接続されている。観察システム１は、ネットワーク１８０を介して互いに接続された、閲覧装置１６０と、サーバ２００とをさらに含む。図１に示すように、サーバ２００は、プロセッサ２０２、メモリ２０４、記憶装置２０６等を含む。サーバ２００には、観察装置１１０で取得された生体試料１９０の画像等が、コントローラ１３０を介してアップロードされ、記憶装置２０６に記録される。

図１には、閲覧装置１６０の一例としての第１のＰＣ１５２と第２のＰＣ１５４とが描かれている。閲覧装置１６０としての端末は、ＰＣに限らずタブレット型の情報端末等でもよい。また、閲覧装置１６０としての端末は、いくつであってもよい。閲覧装置１６０は、例えばＰＣであるので、図２に示すように、プロセッサ１６２、メモリ１６４、記憶装置１６６、表示装置１６８、入力装置１７０等を含む。閲覧装置１６０は、サーバ２００の記憶装置２０６に記録された生体試料１９０の画像等を閲覧するために用いられる。また、コントローラ１３０又は閲覧装置１６０等は、サーバ２００にアクセスして、記憶装置２０６に記録された画像等に関するコメントを登録することができる。登録されるコメントは、テキスト及び図形等、各種の形態を含み得る。

図２に示すように、サーバ２００は、プロセッサ２０２等によって実現される演算部２１０としての機能を有する。演算部２１０は、観察装置１１０によって取得された生体試料１９０の画像、コントローラ１３０又は閲覧装置１６０等によって登録されたコメント等の情報を統合的に管理する情報管理部２１２としての機能を有する。また、演算部２１０は、画像情報を管理する画像管理部２１４としての機能を有する。また、演算部２１０は、例えば画像に基づいて行われる各種解析の結果を管理する解析結果管理部２１５としての機能を有する。また、演算部２１０は、コメント等の情報を管理するコメント管理部２１６としての機能を有する。また、演算部２１０は、例えば画像に基づく各種解析を行うデータ解析部２１８としての機能を有する。また、演算部２１０は、サーバ２００にアクセスしたコントローラ１３０又は閲覧装置１６０等に表示させる画面を作成等する表示制御部２２０としての機能を有する。

サーバ２００の記憶装置２０６には、演算部２１０で行われ各種演算に係る制御プログラム２４２等が記録されている。また、サーバ２００の記憶装置２０６には、データベース２４４が記録されている。このデータベース２４４には、生体試料１９０に係る画像、コメント及び解析結果等を含む観察データ３００が含まれる。また、データベース２４４には、コントローラ１３０又は閲覧装置１６０等に表示される画面に係る情報である表示データ２５０が含まれる。

［観察データの構成］
観察データ３００は、例えば一連の観察毎に作成される。ここで、一連の観察には、観察装置１１０の透明板１１１上に配置された生体試料１９０について行われる複数の位置における撮影と、時間経過に伴って順次に行われる複数のタイミングで行われる撮影とが含まれる。観察データ３００の構成例を図３に示す。観察データ３００は、撮影情報３１０と、画像ファイル群３３０と、コメントファイル群３６０と、解析情報３９０とを含む。

撮影情報３１０は、観察装置１１０を用いて行われる複数回の撮影を含む一連の観察に関する情報を有する。撮影情報３１０は、容器情報３１１、撮影位置情報３１２、撮影時間情報３１３、コメント３１４、特定情報３１５、作業情報３１７等を含む。容器情報３１１は、観察対象である生体試料１９０の容器に係る情報を含む。容器は、例えば、シャーレ、各種サイズの培養フラスコ、各種ウェル数を有するマルチウェルディッシュ等であり得る。撮影位置情報３１２は、移動機構１１４によって移動させられる撮像ユニット１１２の撮影時の位置といった撮影位置に係る情報を含む。生体試料１９０の広い範囲の画像を取得するためには、複数の撮影位置で撮影が行われる。撮影時間情報３１３は、例えば定期的になど間隔をあけて繰り返される撮像ユニット１１２によって行われる撮影の開始時刻といった撮影時間に係る情報を含む。撮影のタイミングは、任意に設定され得る。コメント３１４は、例えばコントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る情報を含む。コメント３１４は、例えば、登録されたコメントのうち撮影情報３１０に関係するコメント内容、後述するコメントファイルのうち撮影情報３１０に関係するコメントファイルを特定する情報等を含み得る。特定情報３１５は、撮影位置（例えば図３のｐ１，ｐ２，…，ｐｎ）と撮影時間（例えば図３のｔ１，ｔ２，…，ｔｎ）との関係によって特定される１回の撮影を示す情報（例えば図３のＩ１１，Ｉ１２，…，Ｉｎｍ）を含む。作業情報３１７は、一連の観察中に行われる生体試料１９０に関する培地交換、継代作業、試薬を添加する作業等といった各種作業内容に関する情報を含む。作業情報３１７において、各作業に関する情報は、その作業が行われた時間と関連付けられている。

画像ファイル群３３０は、撮像ユニット１１２によって行われる撮影毎に作成される複数の画像ファイル３３１を含む。各々の画像ファイル３３１は、ＩＤ３４１、画像データ３４２、サムネイル画像データ３４３、特定情報３４４、撮影位置３４５、撮影時間３４６、撮影条件３４７、コメント３４８等を含む。ＩＤ３４１は、画像ファイル３３１毎に付されるＩＤ情報を含む。画像データ３４２は、撮像ユニット１１２によって取得された画像データを含む。サムネイル画像データ３４３は、画像データ３４２に基づいて作成された、サムネイル画像のデータを含む。サムネイル画像データ３４３は、例えばコントローラ１３０又は閲覧装置１６０等によって表示される表示画面に含まれる撮影画像の一覧表示等に用いられ得る。特定情報３４４は、撮影情報３１０に含まれる特定情報３１５によって管理されている、当該画像データ３４２が取得された際の撮影を示す情報（Ｉｎｍ等）を含む。この情報と、撮影情報３１０に含まれる特定情報３１５とを用いれば、当該画像データ３４２が取得された際の撮影位置と撮影時間とを特定できる。撮影位置３４５は、当該画像データ３４２が取得された際の撮影位置の情報を含む。撮影時間３４６は、当該画像データ３４２が取得された際の撮影時間の情報を含む。特定情報３４４と、撮影位置３４５及び撮影時間３４６とは、最終的に得られる情報が共通するので、一方のみが画像ファイル３３１に記録されても、両方が記録されてもよい。両方記録されていれば、用途に応じて便利な方を使用することができる。撮影条件３４７は、当該画像データ３４２が取得された際の撮像ユニット１１２の設定など撮影条件の情報を含む。撮影条件３４７は、例えば、撮影レンズの焦点距離、合焦位置、絞り、露光時間、照明条件、フィルタ条件等の情報を含む。コメント３４８は、例えばコントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る情報を含む。コメント３４８は、例えば、登録されたコメントのうち画像ファイル３３１に関係するコメント内容、後述するコメントファイルのうち画像ファイル３３１に関係するコメントファイルを特定する情報等を含み得る。

コメントファイル群３６０は、コントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る複数のコメントファイル３６１を含む。各々のコメントファイル３６１は、ＩＤ３７１、コメント種類３７２、コメントデータ３７３、ＲｏＩデータ３７４、コメントユーザ３７５、コメント時間３７６、特定情報３７７、撮影位置３７８、撮影時間３７９等を含む。ＩＤ３７１は、コメントファイル３６１毎に付されるＩＤ情報を含む。コメント種類３７２は、後述するように、画像について登録されたコメントであるか、解析結果を示すグラフについて登録されたコメントであるか、タイムバーについて登録されたコメントであるか、コメントに対するリプライとして登録されたコメントであるか等といった情報を含む。コメントデータ３７３は、コントローラ１３０又は閲覧装置１６０等によって登録されたコメントの例えばテキスト情報を含む。ＲｏＩデータ３７４は、コントローラ１３０又は閲覧装置１６０等によって登録された例えばＲｏＩ等といった図形、文字、それらの位置及び大きさ等に係る情報を含む。コメントユーザ３７５は、コメントを登録したユーザを特定する情報を含む。ユーザを特定する情報は、例えばコメントを登録するコントローラ１３０又は閲覧装置１６０等の操作時に認証されるログイン情報等に基づき得る。コメント時間３７６は、コントローラ１３０又は閲覧装置１６０等によってコメントが登録された日時情報等を含む。特定情報３７７は、撮影情報３１０に含まれる特定情報３１５によって管理されている、コメントが付された画像データ３４２が取得された際の撮影を示す情報（Ｉｎｍ等）を含み得る。この情報と、撮影情報３１０に含まれる特定情報３１５とを用いれば、当該画像データ３４２が取得された際の撮影位置と撮影時間とを特定できる。また、特定情報３７７は、撮影情報３１０に含まれる特定情報３１５によって管理されている、グラフやタイムバーにおいてコメントが付された撮影時間（ｔｍ等）を示す情報を含み得る。撮影位置３７８は、コメントが付された画像データ３４２が取得された際の撮影位置の情報を含む。撮影時間３７９は、コメントが付された撮影時間の情報を含む。

解析情報３９０は、画像データ３４２等に基づいて行われた解析結果に係る情報を含む。解析情報３９０は、細胞数・密度情報３９１と、コロニーサイズ・位置情報３９４と、コメント３９７とを含む。細胞数・密度情報３９１は、例えば生体試料１９０の容器のウェル毎に、また撮影時間毎に、画像データ３４２に基づいて求められた細胞数と密度との情報を含む。また、細胞数・密度情報３９１は、細胞数及び密度を求める際に使用された画像を示す特定情報を含む。また、コロニーサイズ・位置情報３９４は、撮影位置及び撮影時間毎に、すなわち画像データ３４２毎に求められる当該画像に含まれるコロニーのサイズ、コロニーの位置等の情報を含む。コメント３９７は、例えばコントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る情報を含む。

［観察装置の動作］
観察装置１１０の動作について説明する。観察装置１１０は、例えばコントローラ１３０を用いてユーザによって予め設定されたスケジュールに従って、繰り返し生体試料１９０の撮影を行う。繰り返し撮影が行われる期間は、例えば数日から数週間又は数か月であってもよい。各撮影タイミングにおいて、生体試料１９０のどの位置の撮影を行うかについても、例えばコントローラ１３０を用いてユーザによって予め設定される。また、長期にわたって生体試料１９０の撮影が行われるとき、生体試料１９０について、培地交換、継代作業等の作業が行われる。これらの作業が行われるとき、ユーザは、観察装置１１０の入力装置１２０、又は、コントローラ１３０を用いて、作業を行う旨の情報を入力する。

観察装置１１０で行われる記録処理に係る動作について、図４に示すフローチャートを参照して説明する。ステップＳ１０１において、観察装置１１０の制御回路１１６は、撮影を行うタイミングであるか否かを判定する。例えば予め定められたスケジュールに基づいて、撮影を行うタイミングであるか否かが判定される。また、観察装置１１０の入力装置１２０又はコントローラ１３０を介して入力され得るユーザの撮影指示に基づいて、撮影を行うタイミングであると判定されてもよい。撮影を行うタイミングであるとき、処理はステップＳ１０２に進む。このとき、撮像ユニット１１２を用いた生体試料１９０の撮影が行われる。すなわち、ステップＳ１０２において、制御回路１１６は、移動機構１１４に指令して、撮像ユニット１１２を撮影位置に移動させる。ステップＳ１０３において、制御回路１１６は、撮影位置に移動した撮像ユニット１１２に指令して、撮影動作を行わせる。制御回路１１６は、撮影により得られた画像に各種処理を施し、観察装置１１０の記憶装置１１８に記録させる。ステップＳ１０４において、制御回路１１６は、予め設定された撮影範囲内の撮影が全て完了したか否かを判定する。撮影が全て完了していないとき、処理はステップＳ１０２に戻る。すなわち、撮像ユニット１１２の移動、撮影動作、撮影結果の記録が、設定された撮影位置の全てで終わるまで繰り返し実行される。ステップＳ１０４において、撮影が全て完了したと判定されたとき、処理はステップＳ１０７に進む。

ステップＳ１０１で撮影を行うタイミングでないと判定されたとき、処理はステップＳ１０５に進む。ステップＳ１０５において、制御回路１１６は、作業履歴を記録するか否かを判定する。例えば、生体試料１９０の培地交換、継代作業等が行われ、観察装置１１０の入力装置１２０等が操作されたとき、作業履歴を記録すると判定される。作業履歴を記録するとき、処理はステップＳ１０６に進む。ステップＳ１０６において、制御回路１１６は、作業履歴を記憶装置１１８に記録させる。この作業履歴は、サーバ２００に記録される観察データ３００の、作業時間と作業内容とを含む作業情報３１７の元データとなる。その後、処理はステップＳ１０７に進む。ステップＳ１０５において、作業履歴を記録しないと判定されたとき、処理はステップＳ１０７に進む。

ステップＳ１０７において、制御回路１１６は、スケジュールされた一連の撮影が終了したか否かを判定する。一連の撮影が終了していないと判定されたとき、処理はステップＳ１０１に戻る。すなわち、スケジュールされた撮影が終わるまで、撮影タイミングになれば撮影とその結果の記録が行われ、作業履歴を記録する旨の指示が入力されたとき作業履歴が記憶装置１１８に記録される。撮影タイミングでも作業履歴を記録するときでもないとき、上述の処理が繰り返される。

ステップＳ１０７において、スケジュールされた一連の撮影が終了したと判定されたとき、当該処理は終了する。

観察装置１１０の記憶装置１１８に記録された撮影画像、作業履歴等に係るデータは、コントローラ１３０によって読み出され、必要な処理が行われた後、ネットワーク１８０を介して、サーバ２００の記憶装置２０６に観察データ３００として記録される。すなわち、画像データ３４２を含み必要な情報が付加された画像ファイル３３１が作成される。このような画像ファイルが複数集まることで画像ファイル群３３０が生成される。また、撮影のスケジュールの情報、作業履歴等に基づいて、撮影情報３１０が生成される。撮影情報３１０、画像ファイル群３３０等の作成は、コントローラ１３０で行われてもよいし、サーバ２００の演算部２１０で行われてもよい。

さらに、画像ファイル群３３０に含まれる画像データ３４２に基づいて、各種解析が行われる。その結果、細胞数・密度情報３９１と、コロニーサイズ・位置情報３９４とを含む解析情報３９０が作成される。これらの解析は、コントローラ１３０で行われてもよいし、サーバ２００の演算部２１０で行われてもよい。作成された解析情報３９０も、観察データ３００の一部として記録される。

［観察データの管理］
サーバ２００の記憶装置２０６にデータベース２４４として記録された観察データ３００の閲覧及びコメントの登録などの観察データ３００の管理について説明する。図５は、サーバ２００の演算部２１０によって行われる観察データ管理処理の概略を示すフローチャートである。これらの処理は、ユーザがコントローラ１３０又は閲覧装置１６０といった端末を用いてサーバ２００にアクセスし、当該端末からサーバ２００へと行われる指示に対して、サーバ２００が応答することで行われる。

ステップＳ２０１において、演算部２１０は、サーバ２００にアクセスしているコントローラ１３０又は閲覧装置１６０といった端末に対してメイン画面の情報を送信し、当該端末の表示装置にメイン画面を表示させる。メイン画面の情報を受信したコントローラ１３０又は閲覧装置１６０といった端末は、その表示装置にメイン画面を表示する。また、端末は、例えばマウスといった入力装置によって、当該メイン画面上において、ユーザが選択した点を受け付ける。端末は、ユーザが選択したメイン画面上の点に係る情報をサーバ２００に送信する。サーバ２００の演算部２１０は、端末から取得したユーザが選択した点に基づいて、各種処理を行う。

メイン画面５００の一例を図６に示す。メイン画面５００は、画像表示エリア５１０と、試料情報表示エリア５３０と、作業情報表示エリア５４０と、タイムバー５５０と、動画操作アイコン５６０と、解析結果表示エリア５７０とを含む。

画像表示エリア５１０には、例えば観察装置１１０で取得された画像のサムネイル画像５１１が一覧表示される。例えば、一覧表示される各サムネイル画像は、異なる撮影位置で得られた画像であり、各サムネイル画像は、同一とみなせる撮影時間に取得された画像のサムネイル画像であり得る。後述するタイムバー５５０を操作することなどによって、指定された撮影時間が変更されたとき、画像表示エリア５１０に表示される画像も変更され得る。また、特定の画像が選択されたとき、選択された画像が画像表示エリア５１０に大きく表示される。

また、複数あるサムネイル画像のうち何れかがユーザによって選択されたとき、選択された画像は、強調表示５２３が施される。強調表示５２３は、例えば、後述する試料情報表示エリア５３０に表示された撮影位置５３４が選択されることでも、該当する撮影位置に対応するサムネイル画像に対して付され得る。

また、画像表示エリア５１０に表示された複数のサムネイル画像が示す画像のうち、コメントが付与された画像が存在するとき、該当する画像のサムネイル画像５１１には、コメント有アイコン５２４が重畳表示される。また、画像表示エリア５１０には、新たなコメントを付与するときにユーザが選択するコメント付与アイコン５２５が配置されている。

試料情報表示エリア５３０には、生体試料１９０の容器の種類を示す容器表示５３１が含まれる。図６の例は、６ウェルディッシュにおいて観察が行われた場合を示している。この容器表示５３１は、観察データ３００の撮影情報３１０に含まれる容器情報３１１に基づく。容器がマルチウェルディッシュの場合等には、試料情報表示エリア５３０には、ウェル表示５３２が含まれ得る。図６に示す例では、６ウェルディッシュの模式図がウェル表示５３２として表示されることで、６ウェルディッシュが用いられたことが示されている。さらに、ウェル表示５３２は、現在選択されているウェルの表示を他のウェルの表示と異ならせることで、現在選択されているウェルを示す。図６に示す例では、ウェル表示５３２は、破線で表すことで、右下のウェルが選択されていることを示す。

試料情報表示エリア５３０は、容器マップ５３３を含む。容器マップ５３３は、現在選択されているウェル等における撮影位置５３４を示す。図６に示す例では、６ウェルディッシュの右下のウェルにおいて設定された複数の撮影位置５３４を示す。撮影位置５３４は、撮影情報３１０に含まれる撮影位置情報３１２に基づいて表示される。複数ある撮影位置５３４の何れかが選択されたとき、選択された撮影位置に該当する画像表示エリア５１０のサムネイル画像は、選択画像として強調表示５２３が施される。

また、容器マップ５３３には、画像に基づく解析結果として得られたコロニーの位置及びコロニーのサイズが、図として模式的に示される。このコロニーの位置及びコロニーのサイズの表示は、解析情報３９０に含まれるコロニーサイズ・位置情報３９４に基づく。

作業情報表示エリア５４０は、作業情報の一覧を表示する。この一覧は、撮影情報３１０に含まれる作業情報３１７に基づいて表示される。表示される作業情報には、培地交換情報５４１、継代作業情報５４２等が含まれる。各情報について、例えば作業が行われた日時の情報、当該作業に要した時間等が表示される。

タイムバー５５０は、一連の観察スケジュールをバー形式で表示する。タイムバー５５０は、左から右に向けて時系列を示す。タイムバー５５０には、現在選択されている時間を示す選択時間表示５５３が含まれる。現在選択されている時間は、画像表示エリア５１０に表示されているサムネイル画像５１１に対応する画像が撮影された撮影時間に対応する。例えばユーザは、タイムバー５５０上の点を選択することで、時間を選択することができる。ユーザによって時間が選択されたとき、選択された時間は選択時間表示５５３によって示される。また、選択された時間に該当する撮影時間に得られた画像に係るサムネイル画像が、画像表示エリア５１０に表示される。

タイムバー５５０には、作業情報が表示される。例えば、タイムバー５５０には、培地交換のタイミングを示す培地交換表示５５１、継代作業のタイミングを示す継代作業表示５５２が付される。試薬添加等のタイミングを示す試薬添加表示等が付されてもよい。培地交換表示５５１、継代作業表示５５２、試薬添加表示等は、撮影情報３１０の作業情報３１７に基づいて表示される。さらに、タイムバー５５０には、コメントが付されている時点を示すコメント表示５５４が付される。コメント表示５５４は、撮影情報３１０のコメント３１４に基づいて表示される。

動画操作アイコン５６０は、ユーザが画像表示エリア５１０に表示された画像を変更する際に用いられるアイコンを含む。動画操作アイコン５６０は、再生アイコン５６１、最古画像選択アイコン５６２、最新画像選択アイコン５６３、過去選択アイコン５６４、未来選択アイコン５６５等を含む。再生アイコン５６１が選択されたとき、画像表示エリア５１０に表示された画像は、現在選択されている時点から開始して時系列順に順次画像が表示されるタイムラプス動画の再生が行われる。最古画像選択アイコン５６２が選択されたとき、一連の画像のうち、最古に取得された画像が選択され、画像表示エリア５１０に表示される。最新画像選択アイコン５６３が選択されたとき、一連の画像のうち、最新に取得された画像が選択され、画像表示エリア５１０に表示される。過去選択アイコン５６４が選択されたとき、現在選択されている画像よりも過去の画像が順次選択され、画像表示エリア５１０に順次表示される。未来選択アイコン５６５が選択されたとき、現在選択されている画像よりも未来の画像が順次選択され、画像表示エリア５１０に順次表示される。その時々に選択されている時刻に応じて、タイムバー５５０の選択時間表示５５３は移動する。

解析結果表示エリア５７０は、解析情報３９０の細胞数・密度情報３９１に含まれる情報をグラフ形式で表示する。このグラフには、細胞密度５７１が示されている。また、グラフ中には、現在選択されている時間を示す選択時間表示５７３が含まれている。選択時間表示５７３が示す時間は、タイムバー５５０の選択時間表示５５３に対応する。また、解析結果表示エリア５７０には、グラフにコメントが付与されているとき、コメントが付与されている時間を示す位置にコメント有アイコン５７４が表示される。また、解析結果表示エリア５７０には、新たなコメントを付与するときにユーザが選択するコメント付与アイコン５７５が配置されている。なお、グラフには、細胞密度に代えて、又は、細胞密度と共に、細胞数が示されてもよい。

また、メイン画面５００は、後述するシェアアイコン５８２と、コメントリストアイコン５８４と、ログアウトアイコン５８６とを含む。

図５に戻って観察データ管理処理の説明を続ける。ステップＳ２０２において、演算部２１０は、ユーザによって画像が選択されたか否かを判定する。例えば、画像表示エリア５１０内のサムネイル画像の何れかがユーザによって選択されたとき、画像が選択されたと判定される。画像が選択されていないとき、処理はステップＳ２０４に進む。一方、画像が選択されたとき、処理はステップＳ２０３に進む。ステップＳ２０３において、演算部２１０は、画像選択処理を行う。

画像選択処理について、図７に示すフローチャートを参照して説明する。

ステップＳ３０１において、演算部２１０は、画像が選択された際のクリックの種類はシングルクリックであったかダブルクリックであったかを判定する。シングルクリックであったとき、処理はステップＳ３０２に進む。ステップＳ３０２において、演算部２１０は、例えば図６に示すように、選択された画像に強調表示５２３が施された画面を表示装置に表示させる。その後、処理はステップＳ３０４に進む。

ステップＳ３０１において、ダブルクリックがされたと判定されたとき、処理はステップＳ３０３に進む。ステップＳ３０３において、演算部２１０は、選択された画像の大画像を例えば画像表示エリア５１０いっぱいに表示させる。その後、処理はステップＳ３０４に進む。

ステップＳ３０４の処理を実行するときには、何れかの画像が選択されており、その画像が強調表示５２３又は大きく表示されている場合である。ステップＳ３０４において、演算部２１０は、画像表示エリア５１０のコメント付与アイコン５２５が選択されたか否かを判定する。コメント付与アイコン５２５が選択されていないとき、処理はステップＳ３０６に進む。コメント付与アイコン５２５が選択されたとき、処理はステップＳ３０５に進む。ステップＳ３０５において、演算部２１０は、画像にコメントを付与する画像コメント付与処理を行う。その後、処理はステップＳ３０６に進む。

ステップＳ３０６において、演算部２１０は、コメント付与アイコン５２５以外の位置がクリックされるなど、画像選択処理を終了して処理が観察データ管理処理に戻るべきか否かを判定する。観察データ管理処理に戻らないとき、処理はステップＳ３０４に戻り、コメント付与アイコン５２５の選択を待つ。一方、観察データ管理処理に戻るときには、画像選択処理を終了して、処理は観察データ管理処理に戻る。

コメント付与アイコン５２５が選択されたときにステップＳ３０５で行われる画像コメント付与処理について、図８に示すフローチャートを参照して説明する。

ステップＳ４０１において、演算部２１０は、表示装置に画像にコメントを付与するためのコメント画面を表示させる。コメント画面の一例を図９に示す。図９に示すように、コメント画面６１０は、コメント欄６１１と、ＯＫアイコン６１２と、ＲｏＩ設定アイコン６１３とを含む。また、コメント画面６１０には、現在操作を行っているユーザ、すなわち、画像コメントを登録しようとしているユーザの名前又はＩＤなどユーザを特定する情報がユーザ名表示欄６１８に表示される。ユーザの名前又はＩＤなどの情報は、サーバ２００にアクセスするときに行われるユーザ認証等によってサーバ２００が取得する。また、コメント画面６１０には、ユーザがコメントを付与しようとする日時、すなわち現在の日時が日時表示欄６１９に表示される。

ステップＳ４０２において、演算部２１０は、コメント欄６１１が選択されたか否かを判定する。コメント欄６１１が選択されていないとき、処理はステップＳ４０４に進む。一方、コメント欄６１１が選択されたとき、処理はステップＳ４０３に進む。ステップＳ４０３において、演算部２１０は、ユーザがコメント欄６１１に例えばテキスト情報のコメントを記載するコメント記入処理を実行する。その後、処理はステップＳ４０４に進む。ここで記入されるコメントは、ユーザが自由に入力してもよいし、定型文を選択するものであってもよいし、予め設定された記号・サイン等から選択するものであってもよい。

ステップＳ４０４において、演算部２１０は、ＲｏＩ設定アイコン６１３が選択されたか否かを判定する。ＲｏＩ設定アイコン６１３が選択されていないとき、処理はステップＳ４０７に進む。一方、ＲｏＩ設定アイコン６１３が選択されたとき、処理はステップＳ４０５に進む。ステップＳ４０５において、演算部２１０は、ＲｏＩ設定処理を行う。

ＲｏＩ設定処理では、図１０に示すようなＲｏＩ設定画面６２０が表示装置に表示される。ＲｏＩ設定画面６２０は、画像表示エリア６２１と、ＲｏＩツール６２２と、ＯＫアイコン６２３とを含む。画像表示エリア６２１には、現在選択されている画像が表示される。ＲｏＩツール６２２としては、例えば図１０に示すように、矢印６２２１、円６２２２、四角６２２３、テキスト６２２４が用意されている。ＲｏＩツール６２２の矢印６２２１が選択された状態で、画像表示エリア６２１内の点が選択されたとき、図１０の矢印表示６２６１のように、画像表示エリア６２１内に矢印が表示される。ユーザは、ドラッグ操作等することで、矢印表示６２６１の位置、向き等を変更することができる。また、ＲｏＩツール６２２のテキスト６２２４が選択された状態で、画像表示エリア６２１内の点が選択されたとき、図１０のテキスト表示６２６４のように、ユーザは画像表示エリア６２１内に任意のテキストを記入することができる。また、ＲｏＩツール６２２の円６２２２が選択された状態で、画像表示エリア６２１内の点が選択されたとき、図１０の円表示６２６２のように、画像表示エリア６２１内にＲｏＩを表す円が表示される。ユーザは、ドラッグ操作等することで、円表示６２６２の位置、大きさ等を変更することができる。同様に、ＲｏＩツール６２２の四角６２２３が選択された状態で、画像表示エリア６２１内の点が選択されたとき、画像表示エリア６２１内にＲｏＩを表す四角が表示される。
ユーザは、ＲｏＩツール６２２を選択しながら、画像に対してＲｏＩ等を設定することができる。

ステップＳ４０６において、演算部２１０は、ＲｏＩ設定画面６２０のＯＫアイコン６２３が選択されたか否かを判定する。ＯＫアイコン６２３が選択されていなければ、処理はステップＳ４０５に戻り、ＲｏＩ設定処理を継続する。ＯＫアイコン６２３が選択されたとき、ＲｏＩ設定画面６２０を閉じて、処理はステップＳ４０７に進む。

ステップＳ４０７において、表示装置にはコメント画面６１０が表示されている。ステップＳ４０７において、演算部２１０は、コメント画面６１０のＯＫアイコン６１２が選択されたか否かを判定する。ＯＫアイコン６１２が選択されていないとき、処理はステップＳ４０２に戻り、コメントの記入又はＲｏＩの設定が行われるのを待つ。一方、ＯＫアイコン６１２が選択されたとき、処理はステップＳ４０８に進む。

ステップＳ４０８において、演算部２１０は、上述のとおり記入・設定されたテキスト・図形等を含むコメント等に基づいてコメントファイル３６１を作成し、観察データ３００に記録する。また、ステップＳ４０９において、演算部２１０は、当該コメントに関する必要な情報を、該当する画像に係る画像ファイル３３１のコメント３４８に記録する。同様に、演算部２１０は、当該コメントに関する必要な情報を、解析結果表示エリア５７０に表示されるグラフの元データとなる解析情報３９０のコメント３９７に記録する。また、演算部２１０は、当該コメントに関する必要な情報を、タイムバー５５０のコメント表示５５４の元となる撮影情報３１０のコメント３１４に記録する。ここで記録されるコメントに関する必要な情報は、コメントの内容の全て等であってもよいし、コメントファイル３６１を特定するための情報などであってもよい。以上で画像コメント付与処理は終了し、処理は図７を参照して説明した画像選択処理に戻る。画像コメント付与処理が終了すると、図６に示すように、選択画像にコメント有アイコン５２４が表示されるようになる。

画像コメント付与処理によれば、ユーザが観察装置１１０を用いて得られた画像について、注目した箇所に目印をつけて記録することができるし、注目した箇所についてのユーザの意見をコメントとして付与して記録することができる。

図５に示す観察データ管理処理の説明に戻る。ステップＳ２０３の画像選択処理の後、処理はステップＳ２０４に進む。観察データ管理処理のステップＳ２０４において、演算部２１０は、ユーザによって解析結果表示エリア５７０のグラフ内の何れかの時点が選択されたか否かを判定する。グラフ内の時点が選択されていないとき、処理はステップＳ２０６に進む。一方、グラフ内の時点が選択されたとき、処理はステップＳ２０５に進む。ステップＳ２０５において、演算部２１０は、グラフ時間選択処理を行う。

グラフ時間選択処理について、図１１に示すフローチャートを参照して説明する。ステップＳ５０１において、演算部２１０は、メイン画面５００の解析結果表示エリア５７０のグラフに選択時間表示５７３を示す。

ステップＳ５０２において、演算部２１０は、解析結果表示エリア５７０のコメント付与アイコン５７５が選択されたか否かを判定する。コメント付与アイコン５７５が選択されていないとき、処理はステップＳ５０４に進む。一方、コメント付与アイコン５７５が選択されたとき、処理はステップＳ５０３に進む。ステップＳ５０３において、演算部２１０は、グラフにコメントを付与するグラフコメント付与処理を実行する。その後、処理はステップＳ５０４に進む。

ステップＳ５０４において、演算部２１０は、コメント付与アイコン５７５以外の位置がクリックされるなど、グラフ時間選択処理を終了して処理が観察データ管理処理に戻るべきか否かを判定する。観察データ管理処理に戻らないとき、処理はステップＳ５０２に戻り、コメント付与アイコン５７５の選択を待つ。一方、観察データ管理処理に戻るときには、グラフ時間選択処理を終了して、処理は観察データ管理処理に戻る。

コメント付与アイコン５７５が選択されたときにステップＳ５０３で行われるグラフコメント付与処理について、図１２に示すフローチャートを参照して説明する。

ステップＳ６０１において、演算部２１０は、表示装置にグラフにコメントを付与するためのコメント画面を表示させる。コメント画面の一例を図１３に示す。図１３に示すように、コメント画面６３０は、コメント欄６３１と、ＯＫアイコン６３２とを含む。また、コメント画面６３０には、現在操作を行っているユーザ、すなわち、グラフコメントを登録しようとしているユーザの名前又はＩＤなどユーザを特定する情報がユーザ名表示欄６３８に表示される。また、コメント画面６３０には、ユーザがコメントを付与しようとする現在の日時が日時表示欄６３９に表示される。

ステップＳ６０２において、演算部２１０は、コメント欄６３１が選択されたか否かを判定する。コメント欄６３１が選択されていないとき、処理はステップＳ６０４に進む。一方、コメント欄６３１が選択されたとき、処理はステップＳ６０３に進む。ステップＳ６０３において、演算部２１０は、ユーザがコメント欄６３１に例えばテキスト情報であるコメントを記載するコメント記入処理を実行する。その後、処理はステップＳ６０４に進む。

ステップＳ６０４において、演算部２１０は、コメント画面６３０のＯＫアイコン６３２が選択されたか否かを判定する。ＯＫアイコン６３２が選択されていないとき、処理はステップＳ６０２に戻り、コメントの記入が行われるのを待つ。一方、ＯＫアイコン６３２が選択されたとき、処理はステップＳ６０５に進む。

ステップＳ６０５において、演算部２１０は、上述のとおり記入・設定されたコメント等に基づいてコメントファイル３６１を作成し、観察データ３００に記録する。また、ステップＳ６０６において、演算部２１０は、当該コメントに関する必要な情報を、該当する画像に係る画像ファイル３３１のコメント３４８、解析情報３９０のコメント３９７、撮影情報３１０のコメント３１４に記録する。ここで記録されるコメントに関する必要な情報は、コメントの内容の全て等であってもよいし、コメントファイル３６１を特定するための情報などであってもよい。以上でグラフコメント付与処理は終了し、処理は図１１を参照して説明したグラフ時間選択処理に戻る。

グラフコメント付与処理によれば、ユーザが観察装置１１０を用いて得られた画像に基づく解析結果について、注目した時点に目印をつけて記録することができるし、注目した時点についてのユーザの意見をコメントとして付与して記録することができる。

上述の例では、グラフ中で選択された時点についてコメントが付与される例を示したが、ユーザが指定した幅を有する時間帯に対してコメントが付与されてもよい。この時間帯は、例えば作業情報３１７に基づいて、培地交換、継代作業等の作業と作業との間といった、作業に関連付けられた時間帯であってもよい。

図５に示す観察データ管理処理の説明に戻る。ステップＳ２０５のグラフ時間選択処理の後、処理はステップＳ２０６に進む。観察データ管理処理のステップＳ２０６において、演算部２１０は、ユーザによって、画像表示エリア５１０のコメント有アイコン５２４、タイムバー５５０のコメント表示５５４、又は解析結果表示エリアのコメント有アイコン５７４が選択されたか否かを判定する。コメントが選択されていないとき、処理はステップＳ２０８に進む。一方、コメントが選択されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、演算部２１０は、コメント確認処理を実行する。

コメント確認処理について図１４に示すフローチャートを参照して説明する。

ステップＳ７０１において、演算部２１０は、表示装置にコメントの概要をポップアップ表示させる。この表示の一例を図１５に示す。図１５は、画像表示エリア５１０のコメント有アイコン５２４が選択された場合の例を示すが、タイムバー５５０のコメント表示５５４又は解析結果表示エリア５７０のコメント有アイコン５７４が選択された場合も表示される位置が異なるが同様の表示がなされる。以降、画像表示エリアのコメント有アイコン５２４が選択された場合の例を説明する。図１５に示すように、コメント概要表示画面６４０は、コメント欄６４１と、ユーザ名表示欄６４８と、日時表示欄６４９と、リプライアイコン６４２と、シェアアイコン６４３と、詳細アイコン６４４とを含む。選択されたコメントを登録したユーザの情報がユーザ名表示欄６４８に表示され、当該コメントが登録された時間が日時表示欄６４９に表示される。当該コメントのテキスト情報がコメント欄６４１に表示される。これらの内容は、コメントファイル３６１等の内容に基づいて表示される。コメント概要表示画面６４０の文字等の色は、例えばコメントを登録したユーザによって異なるものとし、誰のコメントなのかが分かりやすいようにしてもよい。色に限らず、フォント等の違いによってユーザの差異が表現されてもよい。

ステップＳ７０２において、演算部２１０は、リプライアイコン６４２が選択されたか否かを判定する。リプライアイコン６４２が選択されていないとき、処理はステップＳ７０４に進む。一方、リプライアイコン６４２が選択されたとき、処理はステップＳ７０３に進む。ステップＳ７０３において、演算部２１０は、図８を参照して説明した画像コメント付与処理を実行する。すなわち、あるコメントと関連付けて、そのコメントを登録したユーザ又は異なるユーザがさらにコメントを登録することができる。追加されたコメント・ＲｏＩ等の表示においては、登録ごと或いは登録したユーザ毎に例えば色が異なるように表示されるなどしてもよい。画像コメント付与処理の後、処理はステップＳ７０４に進む。

ステップＳ７０４において、演算部２１０は、詳細アイコン６４４が選択されたか否かを判定する。詳細アイコン６４４が選択されていないとき、処理はステップＳ７０６に進む。一方、詳細アイコン６４４が選択されたとき、処理はステップＳ７０５に進む。

ステップＳ７０５において、演算部２１０は、詳細確認処理を実行する。詳細確認処理について、図１６に示すフローチャートを参照して説明する。

ステップＳ８０１において、演算部２１０は、表示装置にコメント詳細画面を表示させる。コメント詳細画面の一例を図１７に示す。コメント詳細画面６５０は、画像表示エリア６５１を含む。画像表示エリア６５１には、現在選択されている画像が表示される。また、画像には、当該画像に付与されたＲｏＩ等が表示される。すなわち、例えば、円表示６５１２、矢印表示６５１３、テキスト表示６５１４等が、画像に重畳表示される。また、コメント詳細画面６５０は、コメント欄６５２と、ユーザ名表示欄６５８と、日時表示欄６５９とを含む。コメント欄６５２には付与されたテキスト情報の全文が表示され、ユーザ名表示欄６４８にはコメント・ＲｏＩ等を登録したユーザの情報が表示され、日時表示欄６４９にはコメント・ＲｏＩ等が登録された日時が表示される。さらに、コメント詳細画面６５０は、コメントアイコン６５３と、ＲｏＩ設定アイコン６５４と、クローズアイコン６５５と、動画再生アイコン６５６とを含む。コメント詳細画面６５０の文字・図形等の色は、例えばコメントを登録したユーザによって異なるものとし、誰のコメント等なのかが分かりやすいようにしてもよい。色に限らず、フォント等の違いによってユーザの差異が表現されてもよい。

ステップＳ８０２において、演算部２１０は、コメントアイコン６５３が選択されたか否かを判定する。コメントアイコン６５３が選択されていないとき、処理はステップＳ８０４に進む。一方、コメントアイコン６５３が選択されたとき、処理はステップＳ８０３に進む。ステップＳ８０３において、演算部２１０は、ユーザが新たに表示されたコメント欄にコメントを記載するコメント記入処理を実行する。その後、処理はステップＳ８０４に進む。

ステップＳ８０４において、演算部２１０は、ＲｏＩ設定アイコン６５４が選択されたか否かを判定する。ＲｏＩ設定アイコン６５４が選択されていないとき、処理はステップＳ８０７に進む。一方、ＲｏＩ設定アイコン６５４が選択されたとき、処理はステップＳ８０５に進む。ステップＳ８０５において、演算部２１０は、図１０を参照して説明した処理と同様のＲｏＩ設定画面６２０を用いたＲｏＩ設定処理を行う。ステップＳ８０６において、演算部２１０は、ＲｏＩ設定画面６２０のＯＫアイコン６２３が選択されたか否かを判定する。ＯＫアイコン６２３が選択されていなければ、処理はステップＳ８０５に戻り、ＲｏＩ設定処理を継続する。ＯＫアイコン６２３が選択されたとき、ＲｏＩ設定画面６２０を閉じて、処理はステップＳ８０７に進む。

ステップＳ８０７において、演算部２１０は、動画再生アイコン６５６が選択されたか否かを判定する。動画再生アイコン６５６が選択されていないとき、処理はステップＳ８０９に進む。一方、動画再生アイコン６５６が選択されたとき、処理はステップＳ８０８に進む。ステップＳ８０８において、演算部２１０は、現在選択されているコメントが付された画像と関連する画像を撮影順に順次表示する動画再生処理を行う。

動画再生処理について図１８に示すフローチャートを参照して説明する。ステップＳ９０１において、演算部２１０は、現在選択されているコメントが付された画像と関連する画像を選択する。

図１９に時間経過に沿って撮影された複数の画像を模式的に示す。図１９において１つの四角は１枚の画像を示す。上述のとおり１つの撮影位置について、設定されたタイミングに応じて複数の画像が撮影によって得られるので、時系列に沿った画像群７００が存在する。一般に観察時間は長いので、画像群に含まれる画像は、多数になり得る。例えば、１時間毎に撮影が行われる場合、３０日間で７２０枚の画像が取得されることになる。本実施形態では、これらの大量の画像の中から現在選択されている画像と関連する一連の画像を選択する。例えば、現在選択されている画像を選択画像７０１とする。このとき、選択画像７０１より前の継代作業を行った直後の画像を開始画像７０２として選択する。また、選択画像７０１より後の継代作業を行った直前の画像を終了画像７０３として選択する。開始画像７０２から終了画像７０３までの一連の画像を選択画像７０４として選択する。開始画像７０２及び終了画像７０３は、継代作業に関連するものでなく、培地交換と関連するものでもよいし、試薬添加などその他の作業に関連するものでもよいし、その他観察と関連する何れかの基準で選択されるものでもよい。また、開始画像７０２は、一連の観察の最初に撮られた画像であってもよい。また、終了画像７０３は、一連の観察の最後に撮られた最新の画像であってもよい。開始画像７０２及び終了画像７０３は、目的に応じて適宜に選択され得る。

ステップＳ９０２において、演算部２１０は、表示装置に、ステップＳ９０１で選択された選択画像７０４を時間順に順次に表示させる動画再生を行わせる。すなわち、演算部２１０は、表示装置にタイムラプス動画を再生させる。以上で動画再生処理は終了し、処理は詳細確認処理に戻る。詳細確認処理において、ステップＳ８０８の動画再生処理の後、処理はステップＳ８０９に進む。

ステップＳ８０９において、演算部２１０は、コメント詳細画面６５０のクローズアイコン６５５が選択されたか否かを判定する。クローズアイコン６５５が選択されていないとき、処理はステップＳ８０２に戻って上述の処理を繰り返す。一方、クローズアイコン６５５が選択されたとき、処理はステップＳ８１０に進む。

ステップＳ８１０において、演算部２１０は、演算部２１０は、上述のとおり記入・設定されたコメント等に基づいてコメントファイル３６１を作成し、観察データ３００に記録する。このとき、コメントファイル３６１に記録されるコメント種類３７２には、コメントに対するリプライである旨、元のコメントを示す情報等も記録される。また、ステップＳ８１１において、演算部２１０は、当該コメントに関する必要な情報を、該当する画像に係る画像ファイル３３１のコメント３４８、解析情報３９０のコメント３９７、撮影情報３１０のコメント３１４等に記録する。

以上で詳細確認処理は終了し、処理は図１４を参照して説明しているコメント確認処理に戻る。コメント確認処理のステップＳ７０５の詳細確認処理の後、処理はステップＳ７０６に進む。

ステップＳ７０６において、演算部２１０は、シェアアイコン６４３が選択されたか否かを判定する。シェアアイコン６４３が選択されていないとき、処理はステップＳ７０８に進む。一方、シェアアイコン６４３が選択されたとき、処理はステップＳ７０７に進む。ステップＳ７０７において、演算部２１０は、画面情報送信処理を行う。画面情報送信処理は、現在表示されている画面と同じ画面を他のユーザに見てもらうため、他のユーザに当該画面に関する情報を送信する処理である。画面情報送信処理について、図２０に示すフローチャートを参照して説明する。

演算部２１０は、ＵＲＬによって表示画面を特定することができるように構成されている。ステップＳ１００１において、演算部２１０は、現在表示されている画面を特定するＵＲＬを作成する。ステップＳ１００２において、演算部２１０は、画面を共有すべき相手をユーザの指示に基づいて選択する。ステップＳ１００３において、演算部２１０は、ユーザが操作している端末に、電子メールソフトウェアを起動させ、電子メールの送信画面を立ち上げさせる。ステップＳ１００４において、演算部２１０は、送信メールの宛先にステップＳ１００２で選択した共有者の電子メールアドレスを貼付する。ステップＳ１００５において、演算部２１０は、送信メールの内容にステップＳ１００１で作成したＵＲＬを貼付する。

ユーザは、作成された電子メールに適宜に文章等を追加し、電子メールソフトウェアを用いて電子メールを共有者宛に送信する。この電子メールを受信した共有者は、電子メールに記載されたＵＲＬを選択することで、当該電子メールの送信者が閲覧を希望した画面を見ることができる。以上で画面情報送信処理は終了し、処理はコメント確認処理に戻る。

ここでは、電子メールを用いて閲覧画面の情報を共有する方法を一例として示したが、電子メールを用いなくてもよい。例えば、ウェブブラウザ、又は専用の情報共有アプリケーション等を用いて閲覧すべき画面を共有してもよい。

図１４に示すコメント確認処理について説明を続ける。ステップＳ７０７の画面情報送信処理の後、処理はステップＳ７０８に進む。

ステップＳ７０８において、演算部２１０は、例えばユーザがコメント概要表示画面６４０以外の領域をクリックする等によって行われる、コメント確認処理の完了を指示を行ったか否かを判定する。コメント確認処理の完了が指示されていないとき、処理はステップＳ７０２に戻り、上述の処理を繰り返す。一方、コメント確認処理の完了が指示されたとき、コメント確認処理は終了し、処理は図５を参照して説明している観察データ管理処理に戻る。

図５に戻って観察データ管理処理の説明を続ける。ステップＳ２０７のコメント確認処理の後、処理はステップＳ２０８に進む。ステップＳ２０８において、演算部２１０は、動画操作アイコン５６０の再生アイコン５６１が選択される等、動画再生が選択されたか否かを判定する。動画再生が選択されていないとき、処理はステップＳ２１０に進む。一方、動画再生が選択されたとき、処理はステップＳ２０９に進む。

ステップＳ２０９において、演算部２１０は、図１８を参照して説明した動画再生処理を行う。すなわち、現在選択されている時点と関連する画像が選択され、選択された画像がタイムラプス動画として再生される。例えば図６に示すように画像表示エリア５１０に複数のサムネイル画像が並べて表示されているとき、それぞれのサムネイル画像がタイムラプス動画として順次切り替わっていく表示がなされる。動画再生処理の後、処理はステップＳ２１０に進む。

ステップＳ２１０において、演算部２１０は、タイムバー５５０で時間が選択されたか否かを判定する。時間が選択されていないとき、処理はステップＳ２１２に進む。一方、時間が選択されたとき、処理はステップＳ２１１に進む。

ステップＳ２１１において、演算部２１０は、選択された時間に応じて画像表示エリア５１０に表示された画像を更新する。すなわち、選択された時間に取得された画像を画像表示エリア５１０に表示させる。その後、処理はステップＳ２１２に進む。

ステップＳ２１２において、演算部２１０は、メイン画面５００内のシェアアイコン５８２が選択されたか否かを判定する。シェアアイコン５８２が選択されていないとき、処理はステップＳ２１４に進む。一方、シェアアイコン５８２が選択されたとき、処理はステップＳ２１３に進む。

ステップＳ２１３において、演算部２１０は、図２０を参照して説明した画面情報送信処理を行う。すなわち、演算部２１０は、現在表示されている画面を表すＵＲＬを、ユーザが選択した共有者宛に例えば電子メール等で送信することに係る処理を行う。画面情報送信処理の後、処理はステップＳ２１４に進む。

ステップＳ２１４において、演算部２１０は、メイン画面５００のコメントリストアイコン５８４が選択されたか否かを判定する。コメントリストアイコン５８４が選択されていないとき、処理はステップＳ２１６に進む。一方、コメントリストアイコン５８４が選択されたとき、処理はステップＳ２１５に進む。ステップＳ２１５において、演算部２１０は、コメントリスト処理を行う。

コメントリスト処理について、図２１に示すフローチャートを参照して説明する。

ステップＳ１１０１において、演算部２１０は、表示装置にコメントリストを表示させる。コメントリストは、観察データ３００に含まれるコメントファイル３６１のコメントを一覧表示するものである。また、このコメントリストにおいて、閲覧しているユーザが既に確認しているコメントと未確認のコメントとが区別され得るように、例えば表示色又は文字色等が異なるように表示されてもよい。

ステップＳ１１０２において、演算部２１０は、コメントリストの中の何れかのコメントが選択されたか否かを判定する。コメントが選択されていないとき、処理はステップＳ１１０４に進む。一方、コメントが選択されたとき、処理はステップＳ１１０３に進む。ステップＳ１１０３において、演算部２１０は、図１６を参照して説明した詳細確認処理を行う。すなわち、選択されたコメントについて、例えば図１７に示したコメント詳細画面６５０が表示装置に表示され、コメントの詳細が閲覧されたり、コメントに関する各種処理が行われたりする。詳細確認処理の後、処理はステップＳ１１０４に進む。

ステップＳ１１０４において、演算部２１０は、コメント検索の指示がされたか否かを判定する。コメント検索の指示がされていないとき、処理はステップＳ１１０６に進む。一方、コメント検索の指示がされたとき、処理はステップＳ１１０５に進む。ステップＳ１１０５において、演算部２１０は、コメント検索処理を行う。すなわち、演算部２１０は、例えばユーザによって入力された、コメントに含まれるキーワード、コメントが付された画像の撮影時間、コメントを付したユーザの情報、コメントが登録された時間等に基づいて、コメントファイル群３６０に含まれるコメントファイル３６１から該当するコメントを選択する。演算部２１０は、該当するコメントを表示装置に一覧表示させ、ユーザによって選択されたら選択されたコメントについてコメント詳細画面６５０を表示させる。コメント検索処理の後、処理はステップＳ１１０６に進む。

ステップＳ１１０６において、演算部２１０は、コメントリスト処理を終了させて観察データ管理処理に戻るか否かを判定する。コメントリスト処理を終了しないとき、処理はステップＳ１１０２に戻り、上述の処理が繰り返される。一方、コメントリスト処理を終了する時には、処理は観察データ管理処理に戻る。

図５に示す観察データ管理処理のステップＳ２１５のコメントリスト処理の後、処理はステップＳ２１６に進む。ステップＳ２１６において、演算部２１０は、ログアウトアイコン５８６が選択されたか否かを判定する。ログアウトアイコン５８６が選択されていないとき、処理はステップＳ２０２に戻り、上述の処理が繰り返される。一方、ログアウトアイコン５８６が選択されたとき、観察データ管理処理は終了する。

［観察システムの特長］
本実施形態に係る観察システム１の特長の一部を説明する。本実施形態に係る観察システム１によれば、ユーザは、観察装置１１０で得られた画像、その画像に基づいて得られた解析結果等に、関心のある領域、時点、内容、判断、意見等に関するコメントを付与することができる。観察システム１によれば、これらのコメントが画像、解析結果等の事実と関連付けられて記録される。したがって、このようなコメントが適切に有意義に整理されながら記録される。また、この記録に係る手間は、ノートに記録するなどの従来の手法に比べて少ない。細胞培養は例えば数週間など長期にわたることがある。長期にわたって撮影を繰り返したり、コメントを記録したりすると、画像及びコメントは大量になる。本実施形態に係る観察システム１によれば、ユーザにとって記録する手間も、記録を整理する手間もわずかでよい。また、観察システム１によれば、画像及びコメントが整理されて表示されるので、ユーザにとって画像及びコメントの閲覧が容易である。

また、観察システム１によれば、これらのコメントを、コメントを付与したユーザ以外のユーザが閲覧することができる。このため、付与されたコメントは、多数のユーザによって容易に共有され得る。また、この際、時系列に沿って適切に整理された状態でコメントが記録されているので、培養作業を行っていないユーザにとっても、培養の過程を確認しながら、当該コメントを確認することができる。付与されたコメントが培養過程に基づいてなされたコメントであっても、コメントを付与したユーザの主観に基づくコメントであっても、他のユーザにとって内容を把握しやすい。

また、観察システム１では、ユーザは、他者が付与したコメントに関連付けてさらにコメントを付与することができるので、培養細胞に関する報告、相談、議論、指示等のコミュニケーションを円滑に行うことができる。このように、観察システム１によれば、従来口頭で交わされ記録に残りにくかったコメントが、適切に整理された形で容易に記録され得る。また、観察システム１によれば、これらのコミュニケーションは、場所・時間を同一にすることなく行われ得る。

また、観察システム１では、複数の画像が連続的に表示されるタイムラプス動画再生において、多くの蓄積された画像の中から例えばコメントなどに関連する画像のみが選択されて再生される。このため、ユーザは、培養細胞の状態をより的確に把握することができるし、不要な情報の閲覧の手間を省くことができる。

なお、上述の実施形態では、観察データ管理処理がサーバ２００で行われる例を示したが、これに限らない。例えばコントローラ１３０はネットワークに接続されておらず、上述の一連の観察データ管理処理がコントローラ１３０で行われてもよい。

上述の実施形態に示した複数のデータ、処理のうち一部が無くても、他のものが追加されてもよい。例えば、観察データ３００において、例えば撮影位置、撮影時間、特定情報及びコメント等は、重複して保持されている例を示したが、これらのうち一部は省略され得る。また、例えば図５に示した観察データ管理処理は、種々の処理を含む例を示したが、ここで示した処理のうち、一部の処理は削除され得るし、他の処理が追加されてもよいし、処理の順序は適宜に変更され得る。

また、上述の処理、各種判断等には、人工知能に係る技術が活用されてもよい。

Claims (16)

1. 培養中の生体試料について時系列に沿って取得された複数の画像を管理する画像管理部と、
   ユーザの指示に基づいて前記画像と関連付けてコメント及びＲＯＩを記録するコメント管理部と、
   前記培養中に行われた作業の記録を管理する情報管理部と、
   前記時系列を示すタイムバーと、
   前記時系列中の選択された時点を示す前記タイムバーの選択時間表示と、
   前記時系列中の選択された時点に対応する画像を表示させる前記タイムバーの選択時間表示と、
   前記タイムバーに前記作業が行われたタイミングを示す作業表示と前記コメントが付されている時点を示すコメント表示
   を表示装置に表示させる表示制御部と
   備え、
   前記コメント管理部は、ユーザの指示に基づいて前記コメントと関連付けてさらに異なるコメント及びＲＯＩを記録し、
   前記情報管理部は、前記作業の記録と前記画像を関連付け、
   前記作業表示に基づいて選択された時点に対応する画像が表示される
   観察システム。
2. 前記画像に基づいて得られた解析結果を管理する解析結果管理部をさらに備え、
   前記コメント管理部は、ユーザの指示に基づいて前記解析結果と関連付けてさらにコメントを記録する、
   請求項１に記載の観察システム。
3. 前記コメント管理部は、前記画像と関連付けて記録されたコメントと、前記解析結果と関連付けて記録されたコメントとを、互いに関連付ける、請求項２に記載の観察システム。
4. 前記コメント管理部は、前記コメントの記録を指示したユーザを特定する情報を前記コメントと関連付けて記録する、請求項１乃至３のうち何れか１項に記載の観察システム。
5. 前記表示制御部は、異なるユーザの指示に基づいて記録されたコメントは異なる色で前記表示装置に表示させる、
   請求項４に記載の観察システム。
6. 記録されたコメントのうちユーザによって選択されたコメントと前記作業の記録とに基づいて前記複数の画像のうちの一部である複数の画像を選択し、選択された前記複数の画像を順次連続的に表示装置に表示させる表示制御部をさらに備える、請求項１乃至５のうち何れか１項に記載の観察システム。
7. 前記画像管理部が管理する前記画像と、前記コメント管理部が管理する前記コメントとに、アクセス可能な複数の端末を備える、請求項１乃至６のうち何れか１項に記載の観察システム。
8. 前記複数の端末のうち一の端末である第１の端末の指示に基づいて、前記複数の端末のうち他の端末である第２の端末に、前記第１の端末が指定した前記画像及び前記コメントを特定する情報を送信する表示制御部をさらに備える、請求項７に記載の観察システム。
9. 前記時系列を示すタイムバーと、
   前記時系列中の選択された時点を示す前記タイムバー上の選択時間表示と、
   前記複数の画像の中から前記選択された時点に対応する画像と
   を表示装置に表示させる表示制御部をさらに備え、
   前記コメント管理部は、前記選択された時点に対応する画像と関連付けて前記コメントを記録する、
   請求項１乃至５のうち何れか１項に記載の観察システム。
10. 前記画像管理部は、前記生体試料の異なる位置で撮影された複数の前記画像を管理し、
    撮影が行われた前記生体試料の異なる位置を示す容器マップと、
    前記時系列の中で同一とみなせるタイミングで前記生体試料の異なる位置で撮影された前記複数の画像と、
    前記複数の画像の中から前記容器マップ中で選択された位置に対応する画像を示す強調表示と
    を表示装置に表示させる表示制御部をさらに備え、
    前記コメント管理部は、前記選択された位置に対応する画像と関連付けて前記コメントを記録する、
    請求項１乃至５のうち何れか１項に記載の観察システム。
11. 前記画像管理部は、前記生体試料の異なる位置で撮影された複数の前記画像を管理し、
    前記時系列を示すタイムバーと、
    前記時系列中の選択された時点を示す前記タイムバー上の選択時間表示と、
    前記複数の画像の中から選択された、前記選択された時点と同一とみなせるタイミングで前記生体試料の異なる位置で撮影された前記複数の画像と、
    前記画像と関連付けて記録された前記コメントがあるとき、当該画像と関連付けて表示されるコメント有アイコンと
    を表示装置に表示させる表示制御部をさらに備える、請求項１乃至５のうち何れか１項に記載の観察システム。
12. 前記時系列に沿った前記解析結果を示すグラフと、前記時系列中の選択された時点を示す選択時間表示とを表示装置に表示させる表示制御部をさらに備え、
    前記コメント管理部は、前記選択された時点に対応する前記解析結果と関連付けてコメントを記録する、
    請求項２又は３に記載の観察システム。
13. 前記時系列に沿った前記解析結果を示すグラフと、前記解析結果と関連付けて記録された前記コメントがあるとき、当該解析結果と関連付けて表示されるコメント有アイコンとを表示装置に表示させる表示制御部をさらに備える、請求項２又は３に記載の観察システム。
14. 前記表示制御部は、前記コメント有アイコンが選択されたとき、前記コメントの内容を前記表示装置に表示させる、請求項１１又は１３に記載の観察システム。
15. 前記作業は、培地交換、継代培養、試薬の添加を含む、請求項１乃至１４のうち何れか１項に記載の観察システム。
16. 観察システムの画像管理部が、培養中の生体試料について時系列に沿って取得された複数の画像を管理することと、
    前記観察システムのコメント管理部が、ユーザの指示に基づいて前記画像と関連付けてコメント及びＲＯＩを記録することと、
    前記観察システムの情報管理部が、前記培養中に行われた作業の記録を管理することと、
    前記観察システムの表示制御部が、
    前記時系列を示すタイムバーと、
    前記時系列中の選択された時点を示す前記タイムバーの選択時間表示と、
    前記時系列中の選択された時点に対応する画像を表示させる前記タイムバーの選択時間表示と、
    前記タイムバーに前記作業が行われたタイミングを示す作業表示と前記コメントが付されている時点を示すコメント表示
    を表示装置に表示させることと、
    前記コメント管理部が、ユーザの指示に基づいて前記コメントと関連付けてさらに異なるコメント及びＲＯＩを記録することと、
    前記情報管理部が、前記作業の記録と前記画像を関連付けることと
    を含み、
    前記作業表示に基づいて選択された時点に対応する画像が表示される
    情報管理方法。

Images