JP2018175007A - Information processing device, testing system, and information processing method - Google Patents
Information processing device, testing system, and information processing method Download PDFInfo
- Publication number
- JP2018175007A JP2018175007A JP2017074323A JP2017074323A JP2018175007A JP 2018175007 A JP2018175007 A JP 2018175007A JP 2017074323 A JP2017074323 A JP 2017074323A JP 2017074323 A JP2017074323 A JP 2017074323A JP 2018175007 A JP2018175007 A JP 2018175007A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- examination
- inspection
- information processing
- appearance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、情報処理装置、検査システム及び情報処理方法に関する。 The present invention relates to an information processing apparatus, an inspection system, and an information processing method.
医療の分野において、医師は、様々なモダリティ(検査システム)によって撮影された医用画像を用いて診断を行っている。モダリティとしては、超音波診断装置、光音響撮影装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)が挙げられる。また、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、コンピュータ断層撮影装置(以下、X線CT(Computed Tomography)装置と呼ぶ)等が挙げられる。 In the medical field, physicians diagnose using medical images taken by various modalities (examination systems). Examples of the modality include an ultrasonic diagnostic apparatus and a photoacoustic imaging apparatus (hereinafter, referred to as a PAT (PhotoAcoustic Tomography) apparatus). In addition, magnetic resonance imaging devices (hereinafter referred to as MRI (Magnetic Resonance Imaging) devices), computed tomography devices (hereinafter referred to as X-ray CT (Computed Tomography) devices), etc. may be mentioned.
これらの診断に用いられる医用画像が被検体の何れの部位を撮影したものであるかを、検査システムと被検体との位置関係に基づいて判別(特定)するシステムが知られている。特許文献1には、検査システムの床上にセンサを設置して、被検体である被験者が床上に立つ位置によって検査中の部位(***の左右)を判別(特定)する技術が開示されている。また、特許文献2には、検査システムに接触した被験者(被検体)の顔の向きを検出して、検査中の部位(***の左右)を判別(特定)する技術が開示されている。 There is known a system which determines (specifies) which part of a subject a medical image used for these diagnoses is taken based on the positional relationship between an examination system and the subject. Patent Document 1 discloses a technique of installing a sensor on the floor of an examination system to discriminate (specify) a part under examination (left and right of breast) according to a position where a subject who is a subject stands on the floor. Further, Patent Document 2 discloses a technique of detecting the direction of the face of a subject (subject) in contact with an inspection system to discriminate (specify) a part under examination (left and right of a breast).
しかしながら、従来技術においては、部位の判別(特定)を誤る可能性があるという問題があった。本発明はこのような問題点に鑑みなされたもので、精度よく検査部位を特定することを目的とする。 However, in the prior art, there is a problem that there is a possibility that the identification (identification) of the part may be erroneous. The present invention has been made in view of such problems, and it is an object of the present invention to identify an examination site with high accuracy.
そこで、本発明は、情報処理装置であって、撮影手段によって撮影された、検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を取得する取得手段と、前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段とを有することを特徴とする。 Therefore, the present invention is an information processing apparatus, and acquires an appearance image showing a state at the time of examination of at least a part of an examination device and at least a part of an object taken by an imaging unit. Identifying an examination region of the subject based on the positional relationship, and a position specifying means that identifies a positional relationship between at least a part of the subject and the examination device based on the acquisition unit, and the appearance image. And a site specifying means.
本発明によれば、精度よく検査部位を特定することができる。 According to the present invention, an examination site can be specified with high accuracy.
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る検査システム100の全体図である。図1(a)は、検査システム100を側面から見た図であり、図1(b)は、検査システム100を上部から見た図である。本実施形態に係る検査システム100は、PAT装置であり、人体を被検体とし、***の検査を行う。このとき、検査システム100はさらに、***の左右を自動で判別する。
Hereinafter, embodiments of the present invention will be described based on the drawings.
First Embodiment
FIG. 1 is an overall view of an
検査システム100は、検査台110と、検査部112と、撮影装置120と、情報処理装置130と、を有している。検査台110は、被検体(人体)を載せる台である。被検体が検査台110の上に腹臥位の状態で横たわり検査が行われる。さらに、検査台110には、被検体の検査部位である***を挿入するための円形のくぼみ111が設けられている。くぼみ111は、検査台110に埋め込まれる形で設置され、設置位置は固定されている。くぼみ111は、検査台110の長さ方向Aにおいて、検査時に被検体の胸部が位置する位置であり、かつ検査台110を長さ方向Aに沿って二等分する中心線170上の位置に設けられている。
The
検査部112は、くぼみ111の下部に配置されており、パルスレーザ光を照射する素子と超音波を検出する素子を備える。さらに、検査部112は、検出された超音波をデジタル信号に変換するAD変換器を備える。検査部112は、短時間発光するパルスレーザ光(レーザパルス)を人体に照射し、血管中のヘモグロビン等が光を吸収して熱膨張を起こす際に発生する微弱な超音波(光音響波)を検出する。検出された超音波のアナログ信号は、デジタル信号(光音響信号)に変換されて情報処理装置130へ送られる。情報処理装置130は、検査部112により得られたデジタル信号に基づいて光音響画像を生成する。
The
撮影装置120は、検査台110の上部に設置され、検査台110と被検体を含む画像を撮影する。本実施形態においては、撮影装置120は、中心線170の真上の位置に配置されているものとする。本実施形態においては、撮影装置120として可視光を撮影する監視カメラを用いるものとする。なお、撮影装置120は、可視光を撮影するカメラに限定されるものではない。他の例としては、撮影装置120は、赤外光を撮影するカメラやサーモカメラであってもよい。情報処理装置130は、撮影装置120により撮影された画像に基づいて、検査部112により得られた光音響画像に対応した検査部位を判別する。以下、説明の便宜上、撮影装置120により撮影された画像を外観画像、検査部112により検出された超音波に基づいて生成された光音響画像を検査画像と称することとする。
The
図2は、検査時の様子を示す図である。検査台110に被検体Pが腹臥位の状態で横たわっている。被検体Pの***は検査台110のくぼみ111に挿入されている。くぼみ111は被検体Pの下部にあるため図2には明示されていない。撮影装置120は、この状態で被検体Pの少なくとも一部と、検査台110の少なくとも一部を含む外観画像を撮影する。なお、本実施形態においては、撮影装置120により撮影される外観画像の撮影範囲には、被検体Pについては、被検体Pの少なくとも一部、より詳しくは少なくとも上半身が含まれているものとする。また、撮影範囲には、検査台110については、その全体が含まれているものとする。情報処理装置130は、撮影装置120で撮影された検査台110と被検体Pの外観画像に解析処理を施し、当該画像から検査台110を認識して、中心線170を算出する。
FIG. 2 is a diagram showing the state at the time of inspection. The subject P is lying in a prone position on the examination table 110. The breast of the subject P is inserted into the
図3は、第1の実施形態にかかる情報処理装置130のハードウェア構成を示す図である。情報処理装置130は、CPU301と、ROM302と、RAM303と、HDD304と、表示部305と、入力部306と、通信部307とを有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置130の機能や処理は、CPU301がROM302又はHDD304に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
FIG. 3 is a diagram showing a hardware configuration of the
表示部305は、各種情報を表示する。表示部305には、例えば、検査画像や外観画像等が表示される。入力部306は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部307は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。
The
図4は、情報処理装置130による検査制御処理を示すフローチャートである。S401において、CPU301は、ユーザ操作に応じて検査開始指示を受け付けると、検査部112に対し、検査を開始するよう制御する。検査部112は、被検体Pに対する光音響信号の計測を開始する。次に、S402において、CPU301は、検査部112から光音響信号を受信する。そして、CPU301は、光音響信号に画像再構成処理を施すことで、検査画像を生成する。CPU301は、得られた検査画像をHDD304等の記憶部に保存する。
FIG. 4 is a flowchart showing inspection control processing by the
次に、S403において、CPU301は、撮影装置120に対し撮影を指示する。撮影装置120は、指示に従い外観画像を撮影し、外観画像を情報処理装置130に送信する。CPU301は、外観画像を取得し、外観画像を記憶部に保存する。なお、CPU301は、外観画像のファイルパス等により外観画像を識別するものとする。
Next, in step S403, the
次に、S404において、CPU301は、S403において得られた外観画像に基づいて、検査台110の中心線170と、被検体Pの上半身の位置とに基づいて、検査部位が左***であるか右***であるかを判別する。具体的には、CPU301は、検査台110の画像テンプレート及び人間の上半身の画像テンプレートを予め学習しておき、検査台110の画像テンプレートとのマッチングにより、検査台110の領域を認識する。そして、CPU301は、認識された領域の上辺の中点と下辺の中点を結ぶ線を検査台110の中心線170として算出する。さらに、CPU301は、人間の上半身の画像テンプレートとのマッチングにより、被検体Pの上半身の領域を認識する。
Next, in S404, based on the
そして、CPU301は、中心線170を境界とし被検体Pの左側に相当する領域171(図2)に位置する上半身の面積と、中心線170を境界とする被検体Pの右側に相当する領域172(図2)に位置する上半身の面積と、を比較する。そして、CPU301は、右側に相当する領域171の面積が左側に相当する領域172の面積に比べて大きい場合には(S404でYes)、処理をS405へ進める。一方、CPU301は、左側に相当する領域172の面積が右側に相当する領域171の面積以下の場合には(S404でNo)、処理をS406へ進める。なお、検査台における検査デバイス(検査部112)の位置は固定であり、すなわち、S404の処理は、被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定処理の一例である。
Then, the
S405において、CPU301は、S402において生成された検査画像の検査部位は左***であると判別し、その後処理をS407へ進める。一方で、S406において、CPU301は、S402において生成された検査画像の検査部位は右***であると判別し、その後処理をS407へ進める。S405及びS406の処理は、検査部位を特定する部位特定処理の一例である。S407において、CPU301は、S405又はS406において判別した検査部位を検査画像に対応付けて記憶部に保存する。ここで、検査画像は検査結果の一例であり、S407の処理は、検査部位を検査結果に対応付けて保存する保存処理の一例である。
In S405, the
次に、S408において、CPU301は、外観画像を視認不可な状態になるよう加工する。具体的には、CPU301は、外観画像を暗号化する。また、他の例としては、CPU301は、外観画像を個人が特定できないよう匿名化してもよい。また、他の例としては、CPU301は、加工に替えて、外観画像を記憶部から削除してもよい。
Next, in step S <b> 408, the
次に、S409において、CPU301は、ユーザ操作に応じて、終了指示を受け付けたか否かを確認する。CPU301は、終了指示を受け付けた場合には(S409でYes)、検査制御処理を終了する。一方、CPU301は、終了指示を受け付けなかった場合には(S409でNo)、処理をS401へ進め、処理を継続する。
Next, in step S <b> 409, the
なお、図4を参照しつつ説明した情報処理装置130の処理は、複数のCPUやROM、RAM等を協働させて実現されるものでもよく、また、異なるハードウェア回路により実現されるものでもよい。さらにまた他の例としては、情報処理装置130の処理は、複数の装置によって実現されてもよい。
The processing of the
以上のように、本実施形態の検査システム100においては、情報処理装置130は、検査画像に対応した外観画像に基づいて、検査部位を判別する。これにより、精度よく検査部位を特定することができる。情報処理装置130は、特に***検査において、左***と右***を判別することができる。
As described above, in the
なお、第1の実施形態の第1の変形例としては、情報処理装置130は、検査画像及び外観画像の撮影に係る処理において、検査画像及び外観画像を記憶部に記憶しておき、その後、別のタイミングで検査部位の判別を行ってよい。この場合、CPU301は、検査画像及び外観画像をそれぞれ撮影時刻(取得時刻)に対応付けて記憶部に記憶しておく。そして、CPU301は、検査画像に対応した検査部位の判別を行う際には、処理対象の検査画像の撮影時刻に最も近い撮影時刻の外観画像を特定し、特定した外観画像に基づいて、検査部位の判別を行えばよい。また、外観画像の撮影タイミングは、検査画像の撮影前後であればよい。
As a first modification of the first embodiment, the
また、第2の変形例としては、CPU301は、検査制御処理において、検査画像及び外観画像を適宜表示部305に表示するよう制御してもよい。例えば、CPU301は、S402及びS407において検査画像を表示するよう制御してもよい。また、例えば、CPU301は、S404において、外観画像を表示するよう制御してもよい。
Further, as a second modification, the
また、第3の変形例としては、情報処理装置130が検査台110の中心線170の位置を求めるための処理は実施形態に限定されるものではない。他の例としては、画像マーカを利用してもよい。例えば、検査台110の四隅に長方形の頂点を形成する位置に画像マーカを設置しておく。そして、CPU301は、画像マーカのテンプレートとのマッチングにより、検査台110に設置された画像マーカを認識する。CPU301は、画像マーカの位置によって構成される長方形の上辺の中点と下辺の中点を結ぶ線として、検査台110の中心線170の位置を算出する。
Further, as the third modified example, the process for the
また、他の例としては、検査台110の中心線170の位置に画像マーカを複数配置しておいてもよい。この場合、CPU301は、少なくとも2つの画像マーカを認識し、その位置を結ぶ線として検査台110の中心線170を算出すればよい。また、画像マーカを使用する方法においては、撮影装置120によって撮影された外観画像は、検査台110の全体を含まなくてもよく、画像マーカ及び被検体Pの一部を含んでいればよい。
As another example, a plurality of image markers may be arranged at the position of the
第4の変形例としては、検査システム100は、PAT装置に限定されるものではない。他の例としては、超音波エコーを画像化する超音波診断装置であってもよい。この場合、検査部112は、超音波検査を行う機能を持ち、検査画像として超音波検査画像が生成される。
As a fourth modification, the
第5の変形例としては、検査システム100は、左側の臓器と右側の臓器を検査する際に、検査システムに対する被検体の位置や姿勢が変化して、それをカメラ等で撮影できる場合に適用することができる。そのような検査の一例として、***に対するX線マンモグラフィ検査が挙げられる。X線マンモグラフィ検査においては、検査システム100は***を固定する構成部分を含むものとする。左***を検査する場合と右***を検査する場合で、被検体の位置や姿勢が変化する。そこで、検査システム100は、被検体を背後や横方向からカメラ等で撮影することで、検査部位が左***及び右***のいずれかを判別することができる。
As a fifth modification, the
第6の変形例としては、情報処理装置130は、外観画像に基づいて、検査部位を特定すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、情報処理装置130は、被検体がいない状態の検査台110の外観画像からくぼみ111を検出し、くぼみ111の重心位置を予め記憶しておく。そして、情報処理装置130は、被検体Pが横たわった状態の検査台110の外観像において、くぼみ111の重心位置上に被検体の上半身の左側及び右側のいずれが位置しているかに基づいて、検査部位を判別してもよい。また、上述のように、検査台110の四隅に画像マーカを配置する場合には、4つの画像マーカの位置の重心位置を用いてもよい。
As a sixth modification, the
第7の変形例としては、検査システム100は複数台の撮影装置120を備え、情報処理装置130は、複数台の撮影装置120により撮影された外観画像からデプスマップを作成し、デプスマップを解析してもよい。この場合、情報処理装置130は、例えば撮影装置120から検査台110までの距離を予め計測しておき、この距離よりも短い領域を被検体の領域とすればよい。また、他の例としては、検査システム100は、複数台の撮影装置120に替えて、デプスマップ(距離画像)を直接取得できるレンジセンサ等を備えてもよい。
As a seventh modification, the
第8の変形例としては、情報処理装置130による被検体の上半身の認識のための処理は実施形態に限定されるものではない。情報処理装置130は例えば、検査台110と被検体Pの色の違いを利用して、クロマキーの技術を用いて被検体の上半身を認識してもよい。また他の例としては、情報処理装置130は、被検体Pがいない状態の検査台110の外観画像との差分に基づいて、被検体の上半身を認識してもよい。
As an eighth modification, the process for recognizing the upper half body of the subject by the
第9の変形例としては、情報処理装置130は、撮影装置120と検査台110との位置関係を示す情報を予め記憶しているものとしてもよい。この場合には、情報処理装置130は、被検体のみの外観画像と、位置関係を示す情報と、に基づいて、検査部位を判別してもよい。
As a ninth modification, the
(第2の実施形態)
次に、第2の実施形態に係る検査システムについて説明する。第2の実施形態に係る検査システムにおいては、検査台に検査部が設けられているのではなく、検査者が検査デバイスを手に持って検査を行う。以下、第2の実施形態に係る検査システムについて、第1の実施形態に係る検査システムと異なる点について説明する。
Second Embodiment
Next, an inspection system according to the second embodiment will be described. In the inspection system according to the second embodiment, the inspector does not have the inspection unit on the inspection table, but the inspector holds the inspection device and performs the inspection. The inspection system according to the second embodiment will be described below in terms of differences from the inspection system according to the first embodiment.
図5は、第2の実施形態に係る検査システム500の全体図である。図5(a)は、検査システム500を側面から見た図であり、図5(b)は、検査システム500を上部から見た図である。本実施形態に係る検査システム500は、超音波診断装置であり、人体を被検体とし、***の検査を行う。このとき、検査システム500はさらに、***の左右を自動で判別する。本実施形態に係る検査システム500においては、プローブ540により検査が行われるため、検査台510には、検査部は設けられていない。被検体が検査台510の上に仰臥位の状態で横たわり検査が行われる。
FIG. 5 is an overall view of an
プローブ540は、検査デバイスの一例であり、検査画像を取得する。プローブ540は、検査者が手に持って操作できるようになっている。プローブ540には、超音波を発生する素子と受信する素子があり、接触した検査対象から反射される超音波を受信して画像として処理する。検査システム500は、超音波の画像を検査画像として得ることができる。また、プローブ540には、不図示のフリーズボタンが設けられており、フリーズボタンが押下された時点における超音波検査の静止画像を検査画像として取得する指示を入力することができる。撮影装置520は、検査台510の上部から、被検体とプローブ540の外観画像を撮影する。なお、情報処理装置530のハードウェア構成は、第1の実施形態において図3を参照しつつ説明した情報処理装置130のハードウェア構成と同様である。
The
図6は、検査時の様子を示す図である。検査台510に被検体Pが仰臥位の状態で横たわっている。操作者Qは、プローブ540を手に持ち、検査部位に接触させる。
FIG. 6 is a diagram showing the state at the time of inspection. The subject P lies on the examination table 510 in a supine position. The operator Q holds the
図7は、情報処理装置130による検査制御処理を示すフローチャートである。S701において、CPU301は、ユーザ操作に応じて検査開始の指示を受け付けると、プローブ540に検査開始を指示し、プローブ540から超音波エコーの動画像を受信し、動画像を記憶部に保存する。次に、S702において、CPU301は、プローブ540から超音波エコーの静止画像を検査画像として取得する。なお、プローブ540は、ユーザによるプローブ540のフリーズボタンの押下に応じて静止画像の取得指示を受け付けると、取得指示を受け付けたタイミングに対応した超音波エコーの静止画像を取得し、情報処理装置530に送信する。
FIG. 7 is a flowchart showing inspection control processing by the
次に、S703において、CPU301は、撮影装置520に対し撮影を指示する。撮影装置520は、指示に従い、被検体Pとプローブ540の外観画像を撮影し、外観画像を情報処理装置530に送信する。CPU301は、外観画像を取得し、外観画像を記憶部に保存する。なお、CPU301は、外観画像のファイルパス等により外観画像を識別するものとする。
Next, in step S703, the
次に、S704において、CPU301は、S703において取得した外観画像に対し、被検体Pにおいてプローブ540が接触している接触部位を画像認識により特定する。接触部位の例としては、頭部、頸部、胸部、***、腹部、上肢、下肢等が挙げられる。CPU301は、例えば、テンプレートマッチングによる画像認識により接触部位を特定する。CPU301は、人体の画像テンプレート及びプローブ540の画像テンプレートを予め学習しておく。さらにCPU301は、人体の部位、例えば頭部、頸部、胸部、***、腹部、上肢、下肢などの人体における位置関係を学習しておく。そして、CPU301は、人体の画像テンプレートとのマッチングにより、被検体601の人体の領域を認識する。CPU301はまた、プローブ540の画像テンプレートとのマッチングにより、プローブ540の位置を取得する。さらに、CPU301は、被検体601の人体の領域とプローブ540の位置を、人体の部位の人体における位置関係とマッチングすることにより、接触部位を算出する。
Next, in step S704, the
次に、S705において、CPU301は、プローブ540の種類を特定する。プローブ540の種類の一例として、リニア型、コンベックス型、セクタ型が挙げられる。次に、S706において、CPU301は、S704において特定した接触部位と、特定したプローブの種類と、に基づいて検査部位を特定する。CPU301は、例えば、プローブ540の種類がリニア型又はコンベックス型である場合は、体表近くの検査を行っているので、接触部位を検査部位として判別する。CPU301はまた、接触部位が胸部で、プローブ540の種類がセクタ型である場合は、深部の検査を行っているとして、心臓を検査部位として判別する。
Next, in step S705, the
次に、S707において、CPU301は、S706において判別した検査部位を検査画像に対応付けて記憶部に保存する。続く、S708及びS709の処理は、それぞれ第1の実施形態において図4を参照しつつ説明したS408及びS409の処理と同様である。なお、第2の実施形態に係る検査システム500のこれ以外の構成及び処理は、第1の実施形態に係る検査システム100の構成及び処理と同様である。
Next, in S707, the
以上のように、本実施形態の検査システム500においては、情報処理装置530は検査画像に対応した外観画像に基づいて、検査部位を精度よく判別することができる。情報処理装置130は、特に***検査において、左***と右***を判別することができる。
As described above, in the
第2の実施形態の第1の変形例としては、検査開始及び検査終了の指示を入力するためのユーザインタフェースとしてのボタンがプローブ540に設けられていてもよい。この場合、CPU301は、プローブ540から検査開始及び検査終了の指示を受け付ける。
As a first modified example of the second embodiment, a button may be provided on the
第2の変形例としては、検査システム500は超音波診断装置に替えて、PAT装置を利用したものでもよい。この場合、プローブ540は、PATの検査情報を取得する。すなわち、プローブ540は、パルスレーザ光を照射する素子と超音波を検出する素子を備える。さらに、プローブ540は、検出された超音波をデジタル信号に変換するAD変換器を備える。また、光超音波イメージングの検査情報を取得する指示を出す機能構成部分として、フリーズボタンや入力部等のユーザインタフェースを使用することができる。
In a second modification, the
第3の変形例としては、例えば、検査時の検査台510における被検体の位置姿勢が決まっている場合には、撮影装置520に対する被検体の位置が予め分かっている。この場合には、情報処理装置530は、被検体と撮影装置520との位置関係を示す情報を予め記憶しておく。そして、情報処理装置530は、プローブ540のみの外観画像と、位置関係を示す情報と、に基づいて、接触部位を特定してもよい。情報処理装置530は、検査デバイスの少なくとも一部分の外観画像に基づいて接触部位を特定すればよく、プローブ540全体が外観画像に含まれている必要はない。さらに、このように被検体が写らない場合には、外観画像の匿名化や暗号化、削除は行わなくともよい。
As a third modification, for example, when the position and orientation of the subject on the inspection table 510 at the time of examination are decided, the position of the subject relative to the
(第3の実施形態)
次に、第3の実施形態に係る検査システム500について説明する。第3の実施形態に係る検査システム500の構成は、第2の実施形態に係る検査システム500と同様である。以下、第3の実施形態に係る検査システム500について、第2の実施形態に係る検査システム500と異なる点について説明する。図8は、第3の実施形態に係る検査部位の判別処理を示すフローチャートである。CPU301は、第2の実施形態において図7を参照しつつ説明したS704の処理の後、図8に示す判別処理を行う。
Third Embodiment
Next, an
S801において、CPU301は、外観画像から接触部位が胸部であるか否かを確認する。CPU301は、胸部の場合には(S801でYes)、処理をS802へ進める。一方、CPU301は、胸部でない場合には(S801でNo)、処理をS811へ進める。S802において、CPU301は、接触部位が***であるか否かを確認する。CPU301は、***の場合には(S802でYes)、処理をS803へ進める。一方、CPU301は、接触部位が***でない場合には(S802でNo)、処理をS808へ進める。
In S801, the
S803において、CPU301は、外観画像に基づいて、プローブ540が被検体の上半身の右側と左側のいずれの位置にあるかを特定する。具体的には、CPU301は、まず人体の上半身及び頭部の画像テンプレートに基づいて、外観画像において被検体Pの上半身及び頭部を認識する。さらに、CPU301は、頭部を画像の上側と判別し、プローブ540の画像テンプレートに基づいて、プローブ540を認識する。CPU301はさらに、頭部の一番上側の点である頭頂点と、プローブ540の中心点を算出する。CPU301は、例えばプローブ540を含む最小の円の中心をプローブ540の中心点として算出する。そして、CPU301は、頭頂点とプローブ540の中心点を結ぶ直線を、判別線として算出する。
In step S803, the
図9は、判別線900を示す図である。S803において、CPU301は、判別線900を境界として被写体Pの右側に相当する領域901に位置する被検体Pの上半身の面積と、判別線900を境界として被写体Pの左側に相当する領域902に位置する被検体Pの上半身の面積とを比較する。CPU301は、領域901に位置する被検体Pの上半身の面積が、領域902に位置する被検体Pの上半身の面積よりも大きい場合には、プローブ540が上半身の左側に位置すると判断する。一方、CPU301は、領域902に位置する上半身の面積が領域901に位置する上半身の面積以下の場合には、プローブ540が上半身の右側に位置すると判断する。
FIG. 9 is a diagram showing a
図8に戻り、S803の処理の後、S804において、CPU301は、プローブ540の種類を特定する。本処理は、図7に示すS705の処理と同様である。CPU301は、プローブ540の種類がリニア型の場合には(S804でYes)、処理をS805へ進める。一方、CPU301は、リニア型でない場合には(S804でNo)、処理をS808へ進める。S805において、CPU301は、S803においてプローブ540が上半身の左側に位置すると判断した場合には(S805でYes)、処理をS806へ進める。一方、CPU301は、S803においてプローブ540が上半身の右側に位置すると判断した場合には(S805でNo)、処理をS807へ進める。S806において、CPU301は、左***を検査部位として判別し、その後処理を図7に示すS707へ進める。S807において、CPU301は、右***を検査部位として判別し、その後処理をS707へ進める。
Referring back to FIG. 8, after the process of S803, the
また、S808においては、CPU301は、プローブ540の種類を特定する。CPU301は、プローブ540の種類がセクタ型の場合には(S808でYes)、処理をS809へ進める。一方、CPU301は、セクタ型でない場合には(S808でNo)、処理をS810へ進める。S809において、CPU301は、心臓を検査部位として判別し、その後処理をS707へ進める。一方で、S810において、CPU301は、胸部を検査部位として判別し、その後処理をS707へ進める。
In addition, in S808, the
また、S811において、CPU301は、S704において特定された接触部位を検査部位として判別し、その後処理をS707へ進める。なお、第3の実施形態に係る検査システム500のこれ以外の構成及び処理は、他の実施形態に係る検査システムの構成及び処理と同様である。
Also, in step S811, the
以上のように、第3の実施形態に係る検査システム500においては、情報処理装置530は、検査デバイスと被検体との位置関係に基づいて、検査部位を判別する。これにより、情報処理装置530は、精度よく検査部位を判別することができる。情報処理装置530は、特に、胸部にプローブ(検査デバイス)がある場合に、左***、右***、心臓を検査部位として判別することができる。
As described above, in the
第3の実施形態の変形例としては、プローブの位置を特定する処理(S803)は、実施形態に限定されるものではない。他の例としては、情報処理装置530は、図10に示すように、CPU301は、被検体Pの上半身を認識し、上半身の左右がほぼ対象となる中心位置と頭頂部を結ぶ直線を、中心線1000として特定する。この場合、CPU301は、プローブ540が中心線1000を境界とし被写体Pの右側に相当する領域1001にある場合には、プローブ540は、上半身の右側に位置すると判断する。一方、CPU301は、プローブ540が中心線1000を境界とし被写体Pの左側に相当する領域1002にある場合には、プローブ540は、上半身の左側に位置すると判断する。
As a modification of the third embodiment, the process of specifying the position of the probe (S803) is not limited to the embodiment. As another example, as shown in FIG. 10, the
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various embodiments within the scope of the present invention are also included in the present invention. included. Some of the embodiments described above may be combined as appropriate.
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(または記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other Embodiments>
Although the embodiment has been described in detail, the present invention can be embodied as, for example, a system, an apparatus, a method, a program, or a storage medium (or recording medium). Specifically, the present invention may be applied to a system configured of a plurality of devices (for example, host computer, interface device, imaging device, web application, etc.), or may be applied to a device including a single device. good.
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記憶した記憶媒体を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 Further, it goes without saying that the object of the present invention can be achieved by the following. That is, a storage medium storing a program code (computer program) of software for realizing the functions of the embodiments described above is supplied to a system or an apparatus. Such storage media are, of course, computer readable storage media. Then, the computer (or CPU or MPU) of the system or apparatus reads out and executes the program code stored in the storage medium. In this case, the program code itself read out from the storage medium implements the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
100 検査システム
110 検査台
120 撮影装置
130 情報処理装置
100
Claims (13)
前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、
前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段と
を有することを特徴とする情報処理装置。 Acquisition means for acquiring an appearance image showing a state at the time of examination of at least a part of the examination device and / or at least a part of the subject taken by the imaging means;
Position specifying means for specifying a positional relationship between at least a part of the subject and the inspection device based on the appearance image;
An information processing apparatus comprising: a portion specifying means for specifying a test portion of the subject based on the positional relationship.
前記部位特定手段は、前記検査部位が左***及び右***の何れであるかを特定することを特徴とする請求項1に記載の情報処理装置。 The acquisition means acquires an appearance image showing a state at the time of examination of the upper body of the subject,
The information processing apparatus according to claim 1, wherein the part specifying unit specifies which one of a left breast and a right breast is the examination part.
前記位置特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査台との位置関係に基づいて、前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 The acquisition means acquires the appearance image in which an image marker disposed at a position of a center line of an examination table on which the examination device is installed and the subject is placed and at least a part of the subject is captured. And
The position specifying means specifies the positional relationship between at least a part of the subject and the inspection device based on the positional relationship between at least a part of the subject shown in the appearance image and the examination table. The information processing apparatus according to any one of claims 1 to 4, wherein
前記位置特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査台との位置関係に基づいて、前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 The acquisition means acquires the appearance image in which the entire examination table on which the examination device is installed and the subject is placed and at least a part of the subject are photographed;
The position specifying means specifies the positional relationship between at least a part of the subject and the inspection device based on the positional relationship between at least a part of the subject shown in the appearance image and the examination table. The information processing apparatus according to any one of claims 1 to 4, wherein
前記位置特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 The acquisition means acquires the appearance image in which the inspection device and at least a part of the subject are photographed.
The information processing according to any one of claims 1 to 4, wherein the position specifying means specifies a positional relationship between at least a part of the subject shown in the appearance image and the inspection device. apparatus.
検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を撮影する撮影手段と、
前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、
前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段と
を有することを特徴とする検査システム。 Testing means for testing the subject;
An imaging unit configured to capture an appearance image indicating a state at the time of examination of at least one part of the examination device and / or at least one part of the subject;
Position specifying means for specifying a positional relationship between at least a part of the subject and the inspection device based on the appearance image;
And a site specifying means for specifying a test site of the subject based on the positional relationship.
撮影手段によって撮影された、検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を取得する取得ステップと、
前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定ステップと、
前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定ステップと
を含むことを特徴とする情報処理方法。 An information processing method executed by the information processing apparatus;
Obtaining an appearance image showing a state at the time of examination of at least one part of at least a part of the examination device and at least a part of the subject taken by the imaging means;
A position specifying step of specifying a positional relationship between at least a part of the subject and an inspection device based on the appearance image;
And D. a portion specifying step of specifying a test portion of the subject based on the positional relationship.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017074323A JP6921589B2 (en) | 2017-04-04 | 2017-04-04 | Information processing equipment, inspection system and information processing method |
JP2021124297A JP7247280B2 (en) | 2017-04-04 | 2021-07-29 | Information processing device, inspection system and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017074323A JP6921589B2 (en) | 2017-04-04 | 2017-04-04 | Information processing equipment, inspection system and information processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124297A Division JP7247280B2 (en) | 2017-04-04 | 2021-07-29 | Information processing device, inspection system and information processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018175007A true JP2018175007A (en) | 2018-11-15 |
JP2018175007A5 JP2018175007A5 (en) | 2020-05-14 |
JP6921589B2 JP6921589B2 (en) | 2021-08-18 |
Family
ID=64279838
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017074323A Active JP6921589B2 (en) | 2017-04-04 | 2017-04-04 | Information processing equipment, inspection system and information processing method |
JP2021124297A Active JP7247280B2 (en) | 2017-04-04 | 2021-07-29 | Information processing device, inspection system and information processing method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124297A Active JP7247280B2 (en) | 2017-04-04 | 2021-07-29 | Information processing device, inspection system and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6921589B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020146440A (en) * | 2018-12-20 | 2020-09-17 | ゼネラル・エレクトリック・カンパニイ | System and method for acquiring x-ray image |
JP2021029675A (en) * | 2019-08-26 | 2021-03-01 | キヤノン株式会社 | Information processor, inspection system, and information processing method |
EP3786886A1 (en) | 2019-08-26 | 2021-03-03 | Canon Kabushiki Kaisha | Information processing apparatus, inspection system, information processing method, program, and storage medium |
WO2023171272A1 (en) * | 2022-03-09 | 2023-09-14 | 富士フイルム株式会社 | Ultrasonic diagnostic device, control method for ultrasonic diagnostic device, and distance measurement device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001112752A (en) * | 1999-10-15 | 2001-04-24 | Toshiba Medical System Co Ltd | Ultrasonograph |
JP2008104774A (en) * | 2006-10-27 | 2008-05-08 | Toshiba Corp | Ultrasonic diagnostic apparatus and diagnostic program |
JP2012010772A (en) * | 2010-06-29 | 2012-01-19 | Fujifilm Corp | Radiographic imaging apparatus |
JP2012217631A (en) * | 2011-04-08 | 2012-11-12 | Hitachi Medical Corp | Medical image processing apparatus and medical image diagnostic apparatus |
US20140171799A1 (en) * | 2012-12-13 | 2014-06-19 | General Electric Company | Systems and methods for providing ultrasound probe location and image information |
US20150055746A1 (en) * | 2013-08-21 | 2015-02-26 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and control method thereof |
US20150164479A1 (en) * | 2013-12-12 | 2015-06-18 | Konica Minolta, Inc. | Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6345471B2 (en) * | 2014-04-15 | 2018-06-20 | キヤノンメディカルシステムズ株式会社 | X-ray diagnostic imaging equipment |
-
2017
- 2017-04-04 JP JP2017074323A patent/JP6921589B2/en active Active
-
2021
- 2021-07-29 JP JP2021124297A patent/JP7247280B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001112752A (en) * | 1999-10-15 | 2001-04-24 | Toshiba Medical System Co Ltd | Ultrasonograph |
JP2008104774A (en) * | 2006-10-27 | 2008-05-08 | Toshiba Corp | Ultrasonic diagnostic apparatus and diagnostic program |
JP2012010772A (en) * | 2010-06-29 | 2012-01-19 | Fujifilm Corp | Radiographic imaging apparatus |
JP2012217631A (en) * | 2011-04-08 | 2012-11-12 | Hitachi Medical Corp | Medical image processing apparatus and medical image diagnostic apparatus |
US20140171799A1 (en) * | 2012-12-13 | 2014-06-19 | General Electric Company | Systems and methods for providing ultrasound probe location and image information |
US20150055746A1 (en) * | 2013-08-21 | 2015-02-26 | Samsung Electronics Co., Ltd. | X-ray imaging apparatus and control method thereof |
US20150164479A1 (en) * | 2013-12-12 | 2015-06-18 | Konica Minolta, Inc. | Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium |
JP2015131099A (en) * | 2013-12-12 | 2015-07-23 | コニカミノルタ株式会社 | Ultrasonic diagnostic apparatus, ultrasonic image processing method and computer-readable non-temporary recording medium |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020146440A (en) * | 2018-12-20 | 2020-09-17 | ゼネラル・エレクトリック・カンパニイ | System and method for acquiring x-ray image |
JP7395337B2 (en) | 2018-12-20 | 2023-12-11 | ゼネラル・エレクトリック・カンパニイ | System and method for acquiring X-ray images |
JP2021029675A (en) * | 2019-08-26 | 2021-03-01 | キヤノン株式会社 | Information processor, inspection system, and information processing method |
CN112435740A (en) * | 2019-08-26 | 2021-03-02 | 佳能株式会社 | Information processing apparatus, inspection system, information processing method, and storage medium |
EP3786886A1 (en) | 2019-08-26 | 2021-03-03 | Canon Kabushiki Kaisha | Information processing apparatus, inspection system, information processing method, program, and storage medium |
EP3786840A1 (en) | 2019-08-26 | 2021-03-03 | Canon Kabushiki Kaisha | Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image |
US20210065370A1 (en) * | 2019-08-26 | 2021-03-04 | Canon Kabushiki Kaisha | Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image |
CN112508840A (en) * | 2019-08-26 | 2021-03-16 | 佳能株式会社 | Information processing apparatus, inspection system, information processing method, and storage medium |
US11461894B2 (en) | 2019-08-26 | 2022-10-04 | Canon Kabushiki Kaisha | Information processing apparatus, inspection system, information processing method, and storage medium |
JP7362354B2 (en) | 2019-08-26 | 2023-10-17 | キヤノン株式会社 | Information processing device, inspection system and information processing method |
CN112435740B (en) * | 2019-08-26 | 2024-06-25 | 佳能株式会社 | Information processing apparatus, inspection system, information processing method, and storage medium |
WO2023171272A1 (en) * | 2022-03-09 | 2023-09-14 | 富士フイルム株式会社 | Ultrasonic diagnostic device, control method for ultrasonic diagnostic device, and distance measurement device |
Also Published As
Publication number | Publication date |
---|---|
JP7247280B2 (en) | 2023-03-28 |
JP6921589B2 (en) | 2021-08-18 |
JP2021168984A (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7247280B2 (en) | Information processing device, inspection system and information processing method | |
KR101922180B1 (en) | Ultrasonic image processing apparatus and method for processing of ultrasonic image | |
KR102307356B1 (en) | Apparatus and method for computer aided diagnosis | |
JP5685133B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
US9339254B2 (en) | Object information acquiring apparatus | |
EP3013244B1 (en) | System and method for mapping ultrasound shear wave elastography measurements | |
US9123096B2 (en) | Information processing apparatus and control method thereof | |
JP5027922B2 (en) | Ultrasonic diagnostic equipment | |
JP6327900B2 (en) | Subject information acquisition apparatus, breast examination apparatus and apparatus | |
JP6238550B2 (en) | SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE | |
JP2016503706A (en) | Ultrasonic probe and ultrasonic imaging system | |
JP7362354B2 (en) | Information processing device, inspection system and information processing method | |
JP2016506809A (en) | Ultrasound imaging system and method | |
BR112015032724B1 (en) | ULTRASONIC ELASTOGRAPHY SYSTEM AND ULTRASONIC ELASTOGRAPHY METHOD TO INSPECT AN ANATOMICAL SITE | |
KR102273020B1 (en) | Method and appartus for registering medical images | |
KR20170007209A (en) | Medical image apparatus and operating method for the same | |
WO2021033491A1 (en) | Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus | |
KR20150024167A (en) | Method for generating body markers and ultrasound diagnosis apparatus thereto | |
KR20180070878A (en) | Method of providing annotation information of ultrasound probe and ultrasound system | |
JP2021029676A (en) | Information processor, inspection system, and information processing method | |
KR20150129506A (en) | Method and Appartus for registering medical images | |
JP2006246974A (en) | Ultrasonic diagnostic equipment with reference image display function | |
JP2018183448A (en) | Information processing device, information processing method, and program | |
JP5907667B2 (en) | Three-dimensional ultrasonic diagnostic apparatus and operation method thereof | |
JP6258026B2 (en) | Ultrasonic diagnostic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210728 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6921589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |