JP2018175007A - Information processing device, testing system, and information processing method - Google Patents

Information processing device, testing system, and information processing method Download PDF

Info

Publication number
JP2018175007A
JP2018175007A JP2017074323A JP2017074323A JP2018175007A JP 2018175007 A JP2018175007 A JP 2018175007A JP 2017074323 A JP2017074323 A JP 2017074323A JP 2017074323 A JP2017074323 A JP 2017074323A JP 2018175007 A JP2018175007 A JP 2018175007A
Authority
JP
Japan
Prior art keywords
subject
examination
inspection
information processing
appearance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017074323A
Other languages
Japanese (ja)
Other versions
JP2018175007A5 (en
JP6921589B2 (en
Inventor
大塚 充
Mitsuru Otsuka
充 大塚
和大 宮狭
Kazuhiro Miyasa
和大 宮狭
佐藤 清秀
Kiyohide Sato
清秀 佐藤
格 音丸
Itaru Otomaru
格 音丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017074323A priority Critical patent/JP6921589B2/en
Publication of JP2018175007A publication Critical patent/JP2018175007A/en
Publication of JP2018175007A5 publication Critical patent/JP2018175007A5/ja
Priority to JP2021124297A priority patent/JP7247280B2/en
Application granted granted Critical
Publication of JP6921589B2 publication Critical patent/JP6921589B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately specify a test site.SOLUTION: An information processing device includes: acquisition means for acquiring an appearance image captured by imaging means indicating a state in testing of one or both of at least a part of a test device and at least a part of a subject; position specifying means for specifying positional relationships between at least a part of the subject and the test device based on the appearance image; and site specifying means for specifying a test site of the subject based on the positional relationships.SELECTED DRAWING: Figure 4

Description

本発明は、情報処理装置、検査システム及び情報処理方法に関する。   The present invention relates to an information processing apparatus, an inspection system, and an information processing method.

医療の分野において、医師は、様々なモダリティ(検査システム)によって撮影された医用画像を用いて診断を行っている。モダリティとしては、超音波診断装置、光音響撮影装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)が挙げられる。また、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、コンピュータ断層撮影装置(以下、X線CT(Computed Tomography)装置と呼ぶ)等が挙げられる。   In the medical field, physicians diagnose using medical images taken by various modalities (examination systems). Examples of the modality include an ultrasonic diagnostic apparatus and a photoacoustic imaging apparatus (hereinafter, referred to as a PAT (PhotoAcoustic Tomography) apparatus). In addition, magnetic resonance imaging devices (hereinafter referred to as MRI (Magnetic Resonance Imaging) devices), computed tomography devices (hereinafter referred to as X-ray CT (Computed Tomography) devices), etc. may be mentioned.

これらの診断に用いられる医用画像が被検体の何れの部位を撮影したものであるかを、検査システムと被検体との位置関係に基づいて判別(特定)するシステムが知られている。特許文献1には、検査システムの床上にセンサを設置して、被検体である被験者が床上に立つ位置によって検査中の部位(***の左右)を判別(特定)する技術が開示されている。また、特許文献2には、検査システムに接触した被験者(被検体)の顔の向きを検出して、検査中の部位(***の左右)を判別(特定)する技術が開示されている。   There is known a system which determines (specifies) which part of a subject a medical image used for these diagnoses is taken based on the positional relationship between an examination system and the subject. Patent Document 1 discloses a technique of installing a sensor on the floor of an examination system to discriminate (specify) a part under examination (left and right of breast) according to a position where a subject who is a subject stands on the floor. Further, Patent Document 2 discloses a technique of detecting the direction of the face of a subject (subject) in contact with an inspection system to discriminate (specify) a part under examination (left and right of a breast).

特許第5025156号公報Patent No. 5025156 gazette 特開2012−10772号公報JP, 2012-10772, A

しかしながら、従来技術においては、部位の判別(特定)を誤る可能性があるという問題があった。本発明はこのような問題点に鑑みなされたもので、精度よく検査部位を特定することを目的とする。   However, in the prior art, there is a problem that there is a possibility that the identification (identification) of the part may be erroneous. The present invention has been made in view of such problems, and it is an object of the present invention to identify an examination site with high accuracy.

そこで、本発明は、情報処理装置であって、撮影手段によって撮影された、検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を取得する取得手段と、前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段とを有することを特徴とする。   Therefore, the present invention is an information processing apparatus, and acquires an appearance image showing a state at the time of examination of at least a part of an examination device and at least a part of an object taken by an imaging unit. Identifying an examination region of the subject based on the positional relationship, and a position specifying means that identifies a positional relationship between at least a part of the subject and the examination device based on the acquisition unit, and the appearance image. And a site specifying means.

本発明によれば、精度よく検査部位を特定することができる。   According to the present invention, an examination site can be specified with high accuracy.

第1の実施形態に係る検査システムの全体図である。1 is an overall view of an inspection system according to a first embodiment. 検査時の様子を示す図である。It is a figure which shows the mode at the time of a test | inspection. 情報処理装置のハードウェア構成を示す図である。It is a figure showing the hardware constitutions of an information processor. 検査制御処理を示すフローチャートである。It is a flow chart which shows inspection control processing. 第2の実施形態に係る検査システムの全体図である。It is a general view of the inspection system concerning a 2nd embodiment. 検査時の様子を示す図である。It is a figure which shows the mode at the time of a test | inspection. 検査制御処理を示すフローチャートである。It is a flow chart which shows inspection control processing. 第3の実施形態に係る検査部位の判別処理を示すフローチャートである。It is a flowchart which shows the discrimination | determination process of the test | inspection site | part which concerns on 3rd Embodiment. 判別線を示す図である。It is a figure which shows a discrimination line. 中心線を示す図である。It is a figure which shows a center line.

以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る検査システム100の全体図である。図1(a)は、検査システム100を側面から見た図であり、図1(b)は、検査システム100を上部から見た図である。本実施形態に係る検査システム100は、PAT装置であり、人体を被検体とし、***の検査を行う。このとき、検査システム100はさらに、***の左右を自動で判別する。
Hereinafter, embodiments of the present invention will be described based on the drawings.
First Embodiment
FIG. 1 is an overall view of an inspection system 100 according to the first embodiment. FIG. 1A is a side view of the inspection system 100, and FIG. 1B is a top view of the inspection system 100. The inspection system 100 according to the present embodiment is a PAT apparatus, and the human body is a subject to inspect a breast. At this time, the inspection system 100 further determines the left and right of the breast automatically.

検査システム100は、検査台110と、検査部112と、撮影装置120と、情報処理装置130と、を有している。検査台110は、被検体(人体)を載せる台である。被検体が検査台110の上に腹臥位の状態で横たわり検査が行われる。さらに、検査台110には、被検体の検査部位である***を挿入するための円形のくぼみ111が設けられている。くぼみ111は、検査台110に埋め込まれる形で設置され、設置位置は固定されている。くぼみ111は、検査台110の長さ方向Aにおいて、検査時に被検体の胸部が位置する位置であり、かつ検査台110を長さ方向Aに沿って二等分する中心線170上の位置に設けられている。   The inspection system 100 includes an inspection stand 110, an inspection unit 112, an imaging device 120, and an information processing device 130. The examination table 110 is a table on which the subject (human body) is placed. The subject is laid down on the examination table 110 in a prone position and the examination is performed. Further, the examination table 110 is provided with a circular recess 111 for inserting a breast which is an examination site of the subject. The recess 111 is installed to be embedded in the inspection table 110, and the installation position is fixed. The recess 111 is a position at which the chest of the subject is located at the time of examination in the length direction A of the examination table 110 and is a position on the center line 170 which bisects the examination table 110 along the length direction A. It is provided.

検査部112は、くぼみ111の下部に配置されており、パルスレーザ光を照射する素子と超音波を検出する素子を備える。さらに、検査部112は、検出された超音波をデジタル信号に変換するAD変換器を備える。検査部112は、短時間発光するパルスレーザ光(レーザパルス)を人体に照射し、血管中のヘモグロビン等が光を吸収して熱膨張を起こす際に発生する微弱な超音波(光音響波)を検出する。検出された超音波のアナログ信号は、デジタル信号(光音響信号)に変換されて情報処理装置130へ送られる。情報処理装置130は、検査部112により得られたデジタル信号に基づいて光音響画像を生成する。   The inspection unit 112 is disposed below the recess 111, and includes an element that emits pulsed laser light and an element that detects ultrasonic waves. Furthermore, the inspection unit 112 includes an AD converter that converts the detected ultrasonic waves into digital signals. The inspection unit 112 irradiates the human body with pulsed laser light (laser pulse) that emits light for a short time, and weak ultrasonic waves (photoacoustic waves) are generated when hemoglobin etc. in blood vessels absorb light and cause thermal expansion. To detect The detected analog signal of ultrasonic waves is converted into a digital signal (photoacoustic signal) and sent to the information processing device 130. The information processing device 130 generates a photoacoustic image based on the digital signal obtained by the inspection unit 112.

撮影装置120は、検査台110の上部に設置され、検査台110と被検体を含む画像を撮影する。本実施形態においては、撮影装置120は、中心線170の真上の位置に配置されているものとする。本実施形態においては、撮影装置120として可視光を撮影する監視カメラを用いるものとする。なお、撮影装置120は、可視光を撮影するカメラに限定されるものではない。他の例としては、撮影装置120は、赤外光を撮影するカメラやサーモカメラであってもよい。情報処理装置130は、撮影装置120により撮影された画像に基づいて、検査部112により得られた光音響画像に対応した検査部位を判別する。以下、説明の便宜上、撮影装置120により撮影された画像を外観画像、検査部112により検出された超音波に基づいて生成された光音響画像を検査画像と称することとする。   The imaging device 120 is installed on the top of the examination table 110, and captures an image including the examination table 110 and the subject. In the present embodiment, it is assumed that the imaging device 120 is disposed at a position directly above the center line 170. In the present embodiment, it is assumed that a monitoring camera that captures visible light is used as the imaging device 120. Note that the imaging device 120 is not limited to a camera that captures visible light. As another example, the imaging device 120 may be a camera or a thermo camera that captures infrared light. The information processing device 130 determines an examination region corresponding to the photoacoustic image obtained by the inspection unit 112 based on the image captured by the imaging device 120. Hereinafter, for convenience of description, an image captured by the imaging device 120 will be referred to as an appearance image, and a photoacoustic image generated based on an ultrasonic wave detected by the inspection unit 112 will be referred to as an inspection image.

図2は、検査時の様子を示す図である。検査台110に被検体Pが腹臥位の状態で横たわっている。被検体Pの***は検査台110のくぼみ111に挿入されている。くぼみ111は被検体Pの下部にあるため図2には明示されていない。撮影装置120は、この状態で被検体Pの少なくとも一部と、検査台110の少なくとも一部を含む外観画像を撮影する。なお、本実施形態においては、撮影装置120により撮影される外観画像の撮影範囲には、被検体Pについては、被検体Pの少なくとも一部、より詳しくは少なくとも上半身が含まれているものとする。また、撮影範囲には、検査台110については、その全体が含まれているものとする。情報処理装置130は、撮影装置120で撮影された検査台110と被検体Pの外観画像に解析処理を施し、当該画像から検査台110を認識して、中心線170を算出する。   FIG. 2 is a diagram showing the state at the time of inspection. The subject P is lying in a prone position on the examination table 110. The breast of the subject P is inserted into the recess 111 of the examination table 110. The recess 111 is not shown in FIG. 2 because it is at the bottom of the subject P. The imaging device 120 captures an appearance image including at least a part of the subject P and at least a part of the examination table 110 in this state. In the present embodiment, it is assumed that the imaging range of the appearance image captured by the imaging device 120 includes, for the subject P, at least a part of the subject P, more specifically, at least the upper body. . In addition, it is assumed that the whole of the examination table 110 is included in the imaging range. The information processing apparatus 130 performs analysis processing on the inspection table 110 and the appearance image of the subject P captured by the imaging apparatus 120, recognizes the inspection table 110 from the image, and calculates the center line 170.

図3は、第1の実施形態にかかる情報処理装置130のハードウェア構成を示す図である。情報処理装置130は、CPU301と、ROM302と、RAM303と、HDD304と、表示部305と、入力部306と、通信部307とを有している。CPU301は、ROM302に記憶された制御プログラムを読み出して各種処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置130の機能や処理は、CPU301がROM302又はHDD304に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。   FIG. 3 is a diagram showing a hardware configuration of the information processing apparatus 130 according to the first embodiment. The information processing apparatus 130 includes a CPU 301, a ROM 302, a RAM 303, an HDD 304, a display unit 305, an input unit 306, and a communication unit 307. The CPU 301 reads the control program stored in the ROM 302 and executes various processes. A RAM 303 is used as a main memory of the CPU 301, a temporary storage area such as a work area. The HDD 304 stores various data, various programs, and the like. The functions and processing of the information processing apparatus 130 described later are realized by the CPU 301 reading a program stored in the ROM 302 or the HDD 304 and executing this program.

表示部305は、各種情報を表示する。表示部305には、例えば、検査画像や外観画像等が表示される。入力部306は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部307は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。   The display unit 305 displays various information. The display unit 305 displays, for example, an inspection image, an appearance image, and the like. The input unit 306 has a keyboard and a mouse, and receives various operations by the user. A communication unit 307 performs communication processing with an external apparatus such as an image forming apparatus via a network.

図4は、情報処理装置130による検査制御処理を示すフローチャートである。S401において、CPU301は、ユーザ操作に応じて検査開始指示を受け付けると、検査部112に対し、検査を開始するよう制御する。検査部112は、被検体Pに対する光音響信号の計測を開始する。次に、S402において、CPU301は、検査部112から光音響信号を受信する。そして、CPU301は、光音響信号に画像再構成処理を施すことで、検査画像を生成する。CPU301は、得られた検査画像をHDD304等の記憶部に保存する。   FIG. 4 is a flowchart showing inspection control processing by the information processing apparatus 130. In step S <b> 401, when the CPU 301 receives an examination start instruction in response to a user operation, the CPU 301 controls the examination unit 112 to start an examination. The inspection unit 112 starts measurement of the photoacoustic signal with respect to the subject P. Next, in S402, the CPU 301 receives the photoacoustic signal from the inspection unit 112. Then, the CPU 301 generates an inspection image by performing an image reconstruction process on the photoacoustic signal. The CPU 301 stores the obtained inspection image in a storage unit such as the HDD 304.

次に、S403において、CPU301は、撮影装置120に対し撮影を指示する。撮影装置120は、指示に従い外観画像を撮影し、外観画像を情報処理装置130に送信する。CPU301は、外観画像を取得し、外観画像を記憶部に保存する。なお、CPU301は、外観画像のファイルパス等により外観画像を識別するものとする。   Next, in step S403, the CPU 301 instructs the imaging device 120 to perform imaging. The imaging device 120 captures an appearance image according to the instruction, and transmits the appearance image to the information processing device 130. The CPU 301 acquires an appearance image and stores the appearance image in the storage unit. Note that the CPU 301 identifies the appearance image by the file path of the appearance image or the like.

次に、S404において、CPU301は、S403において得られた外観画像に基づいて、検査台110の中心線170と、被検体Pの上半身の位置とに基づいて、検査部位が左***であるか右***であるかを判別する。具体的には、CPU301は、検査台110の画像テンプレート及び人間の上半身の画像テンプレートを予め学習しておき、検査台110の画像テンプレートとのマッチングにより、検査台110の領域を認識する。そして、CPU301は、認識された領域の上辺の中点と下辺の中点を結ぶ線を検査台110の中心線170として算出する。さらに、CPU301は、人間の上半身の画像テンプレートとのマッチングにより、被検体Pの上半身の領域を認識する。   Next, in S404, based on the center line 170 of the examination table 110 and the position of the upper body of the subject P, the CPU 301 determines whether the examination site is the left breast or the right based on the appearance image obtained in S403. Determine if it is a breast. Specifically, the CPU 301 learns in advance the image template of the inspection table 110 and the image template of the upper body of a human, and recognizes the area of the inspection table 110 by matching with the image template of the inspection table 110. Then, the CPU 301 calculates a line connecting the middle point of the upper side and the middle point of the lower side of the recognized area as the center line 170 of the inspection table 110. Furthermore, the CPU 301 recognizes the region of the upper body of the subject P by matching with the image template of the upper body of the human.

そして、CPU301は、中心線170を境界とし被検体Pの左側に相当する領域171(図2)に位置する上半身の面積と、中心線170を境界とする被検体Pの右側に相当する領域172(図2)に位置する上半身の面積と、を比較する。そして、CPU301は、右側に相当する領域171の面積が左側に相当する領域172の面積に比べて大きい場合には(S404でYes)、処理をS405へ進める。一方、CPU301は、左側に相当する領域172の面積が右側に相当する領域171の面積以下の場合には(S404でNo)、処理をS406へ進める。なお、検査台における検査デバイス(検査部112)の位置は固定であり、すなわち、S404の処理は、被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定処理の一例である。   Then, the CPU 301 sets the area of the upper body located in the area 171 (FIG. 2) corresponding to the left side of the subject P with the center line 170 as the boundary and the area 172 corresponding to the right side of the subject P with the center line 170 as the boundary. Compare with the area of the upper body located in (Figure 2). Then, when the area of the area 171 corresponding to the right side is larger than the area of the area 172 corresponding to the left side (Yes in S404), the CPU 301 advances the process to S405. On the other hand, when the area of the area 172 corresponding to the left side is equal to or less than the area of the area 171 corresponding to the right side (No in S404), the CPU 301 advances the process to S406. The position of the examination device (examination unit 112) on the examination table is fixed, that is, the process of S404 is an example of the position identification process for identifying the positional relationship between at least a part of the object and the examination device.

S405において、CPU301は、S402において生成された検査画像の検査部位は左***であると判別し、その後処理をS407へ進める。一方で、S406において、CPU301は、S402において生成された検査画像の検査部位は右***であると判別し、その後処理をS407へ進める。S405及びS406の処理は、検査部位を特定する部位特定処理の一例である。S407において、CPU301は、S405又はS406において判別した検査部位を検査画像に対応付けて記憶部に保存する。ここで、検査画像は検査結果の一例であり、S407の処理は、検査部位を検査結果に対応付けて保存する保存処理の一例である。   In S405, the CPU 301 determines that the examination region of the examination image generated in S402 is the left breast, and then advances the process to S407. On the other hand, in S406, the CPU 301 determines that the examination region of the examination image generated in S402 is the right breast, and then advances the process to S407. The processes of S405 and S406 are an example of a part specifying process for specifying a test part. In step S <b> 407, the CPU 301 stores the inspection site determined in step S <b> 405 or S <b> 406 in the storage unit in association with the inspection image. Here, the inspection image is an example of the inspection result, and the process of S407 is an example of storage processing for storing the inspection site in association with the inspection result.

次に、S408において、CPU301は、外観画像を視認不可な状態になるよう加工する。具体的には、CPU301は、外観画像を暗号化する。また、他の例としては、CPU301は、外観画像を個人が特定できないよう匿名化してもよい。また、他の例としては、CPU301は、加工に替えて、外観画像を記憶部から削除してもよい。   Next, in step S <b> 408, the CPU 301 processes the appearance image into a state in which it can not be visually recognized. Specifically, the CPU 301 encrypts the appearance image. As another example, the CPU 301 may anonymize the appearance image so that an individual can not specify it. Also, as another example, the CPU 301 may delete the appearance image from the storage unit instead of the processing.

次に、S409において、CPU301は、ユーザ操作に応じて、終了指示を受け付けたか否かを確認する。CPU301は、終了指示を受け付けた場合には(S409でYes)、検査制御処理を終了する。一方、CPU301は、終了指示を受け付けなかった場合には(S409でNo)、処理をS401へ進め、処理を継続する。   Next, in step S <b> 409, the CPU 301 confirms whether an end instruction has been received according to the user operation. When the CPU 301 receives the end instruction (Yes in S409), the inspection control process ends. On the other hand, when the CPU 301 does not receive the end instruction (No in S409), the CPU 301 advances the process to S401 and continues the process.

なお、図4を参照しつつ説明した情報処理装置130の処理は、複数のCPUやROM、RAM等を協働させて実現されるものでもよく、また、異なるハードウェア回路により実現されるものでもよい。さらにまた他の例としては、情報処理装置130の処理は、複数の装置によって実現されてもよい。   The processing of the information processing apparatus 130 described with reference to FIG. 4 may be realized by cooperating a plurality of CPUs, ROMs, RAMs, etc., or may be realized by different hardware circuits. Good. Furthermore, as another example, the processing of the information processing device 130 may be realized by a plurality of devices.

以上のように、本実施形態の検査システム100においては、情報処理装置130は、検査画像に対応した外観画像に基づいて、検査部位を判別する。これにより、精度よく検査部位を特定することができる。情報処理装置130は、特に***検査において、左***と右***を判別することができる。   As described above, in the inspection system 100 of the present embodiment, the information processing device 130 determines the inspection site based on the appearance image corresponding to the inspection image. Thereby, an examination part can be specified with sufficient accuracy. The information processing apparatus 130 can distinguish the left breast and the right breast, particularly in breast examination.

なお、第1の実施形態の第1の変形例としては、情報処理装置130は、検査画像及び外観画像の撮影に係る処理において、検査画像及び外観画像を記憶部に記憶しておき、その後、別のタイミングで検査部位の判別を行ってよい。この場合、CPU301は、検査画像及び外観画像をそれぞれ撮影時刻(取得時刻)に対応付けて記憶部に記憶しておく。そして、CPU301は、検査画像に対応した検査部位の判別を行う際には、処理対象の検査画像の撮影時刻に最も近い撮影時刻の外観画像を特定し、特定した外観画像に基づいて、検査部位の判別を行えばよい。また、外観画像の撮影タイミングは、検査画像の撮影前後であればよい。   As a first modification of the first embodiment, the information processing apparatus 130 stores the inspection image and the appearance image in the storage unit in the process related to capturing the inspection image and the appearance image, and then, Determination of the examination site may be performed at another timing. In this case, the CPU 301 stores the inspection image and the appearance image in the storage unit in association with the imaging time (acquisition time). Then, when determining the examination site corresponding to the examination image, the CPU 301 identifies the appearance image at the imaging time closest to the imaging time of the examination image to be processed, and based on the identified appearance image, the examination site The determination of Moreover, the imaging | photography timing of an external appearance image should just be before and behind imaging | photography of an inspection image.

また、第2の変形例としては、CPU301は、検査制御処理において、検査画像及び外観画像を適宜表示部305に表示するよう制御してもよい。例えば、CPU301は、S402及びS407において検査画像を表示するよう制御してもよい。また、例えば、CPU301は、S404において、外観画像を表示するよう制御してもよい。   Further, as a second modification, the CPU 301 may control to appropriately display an inspection image and an appearance image on the display unit 305 in inspection control processing. For example, the CPU 301 may control to display the inspection image in S402 and S407. Also, for example, the CPU 301 may control to display an appearance image in S404.

また、第3の変形例としては、情報処理装置130が検査台110の中心線170の位置を求めるための処理は実施形態に限定されるものではない。他の例としては、画像マーカを利用してもよい。例えば、検査台110の四隅に長方形の頂点を形成する位置に画像マーカを設置しておく。そして、CPU301は、画像マーカのテンプレートとのマッチングにより、検査台110に設置された画像マーカを認識する。CPU301は、画像マーカの位置によって構成される長方形の上辺の中点と下辺の中点を結ぶ線として、検査台110の中心線170の位置を算出する。   Further, as the third modified example, the process for the information processing device 130 to obtain the position of the center line 170 of the inspection table 110 is not limited to the embodiment. As another example, an image marker may be used. For example, image markers are placed at positions forming rectangular vertices at the four corners of the inspection table 110. And CPU301 recognizes the image marker installed in the inspection stand 110 by matching with the template of an image marker. The CPU 301 calculates the position of the center line 170 of the inspection table 110 as a line connecting the middle point of the upper side and the middle point of the lower side of the rectangle formed by the position of the image marker.

また、他の例としては、検査台110の中心線170の位置に画像マーカを複数配置しておいてもよい。この場合、CPU301は、少なくとも2つの画像マーカを認識し、その位置を結ぶ線として検査台110の中心線170を算出すればよい。また、画像マーカを使用する方法においては、撮影装置120によって撮影された外観画像は、検査台110の全体を含まなくてもよく、画像マーカ及び被検体Pの一部を含んでいればよい。   As another example, a plurality of image markers may be arranged at the position of the center line 170 of the inspection table 110. In this case, the CPU 301 may recognize at least two image markers and calculate the center line 170 of the inspection table 110 as a line connecting the positions. Further, in the method of using an image marker, the appearance image captured by the imaging device 120 may not include the entire examination table 110, and may include the image marker and a part of the subject P.

第4の変形例としては、検査システム100は、PAT装置に限定されるものではない。他の例としては、超音波エコーを画像化する超音波診断装置であってもよい。この場合、検査部112は、超音波検査を行う機能を持ち、検査画像として超音波検査画像が生成される。   As a fourth modification, the inspection system 100 is not limited to the PAT apparatus. Another example may be an ultrasound diagnostic apparatus that images ultrasound echoes. In this case, the inspection unit 112 has a function of performing an ultrasonic inspection, and an ultrasonic inspection image is generated as an inspection image.

第5の変形例としては、検査システム100は、左側の臓器と右側の臓器を検査する際に、検査システムに対する被検体の位置や姿勢が変化して、それをカメラ等で撮影できる場合に適用することができる。そのような検査の一例として、***に対するX線マンモグラフィ検査が挙げられる。X線マンモグラフィ検査においては、検査システム100は***を固定する構成部分を含むものとする。左***を検査する場合と右***を検査する場合で、被検体の位置や姿勢が変化する。そこで、検査システム100は、被検体を背後や横方向からカメラ等で撮影することで、検査部位が左***及び右***のいずれかを判別することができる。   As a fifth modification, the inspection system 100 is applied to the case where the position and the posture of the subject with respect to the inspection system change when the left organ and the right organ are inspected, and it can be photographed by a camera or the like. can do. An example of such an examination is an X-ray mammography examination on the breast. In an X-ray mammography examination, examination system 100 shall include a component which fixes a breast. The position and posture of the subject change in the case of examining the left breast and in the case of examining the right breast. Therefore, the examination system 100 can determine whether the examination site is the left breast or the right breast by photographing the subject with a camera or the like from behind or in the lateral direction.

第6の変形例としては、情報処理装置130は、外観画像に基づいて、検査部位を特定すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、情報処理装置130は、被検体がいない状態の検査台110の外観画像からくぼみ111を検出し、くぼみ111の重心位置を予め記憶しておく。そして、情報処理装置130は、被検体Pが横たわった状態の検査台110の外観像において、くぼみ111の重心位置上に被検体の上半身の左側及び右側のいずれが位置しているかに基づいて、検査部位を判別してもよい。また、上述のように、検査台110の四隅に画像マーカを配置する場合には、4つの画像マーカの位置の重心位置を用いてもよい。   As a sixth modification, the information processing apparatus 130 may identify the examination site based on the appearance image, and the specific process therefor is not limited to the embodiment. For example, the information processing apparatus 130 detects the recess 111 from the external appearance image of the inspection stand 110 in a state in which there is no subject, and stores in advance the barycentric position of the recess 111. Then, the information processing apparatus 130 determines whether the left side or the right side of the upper body of the subject is positioned on the center of gravity of the recess 111 in the external appearance image of the examination table 110 with the subject P lying down. The examination site may be determined. Further, as described above, when the image markers are disposed at the four corners of the inspection table 110, the barycentric positions of the positions of the four image markers may be used.

第7の変形例としては、検査システム100は複数台の撮影装置120を備え、情報処理装置130は、複数台の撮影装置120により撮影された外観画像からデプスマップを作成し、デプスマップを解析してもよい。この場合、情報処理装置130は、例えば撮影装置120から検査台110までの距離を予め計測しておき、この距離よりも短い領域を被検体の領域とすればよい。また、他の例としては、検査システム100は、複数台の撮影装置120に替えて、デプスマップ(距離画像)を直接取得できるレンジセンサ等を備えてもよい。   As a seventh modification, the inspection system 100 includes a plurality of imaging devices 120, and the information processing device 130 creates a depth map from appearance images captured by the plurality of imaging devices 120 and analyzes the depth map You may In this case, the information processing apparatus 130 may measure, for example, the distance from the imaging apparatus 120 to the inspection table 110 in advance, and set an area shorter than this distance as the area of the subject. In addition, as another example, the inspection system 100 may include a range sensor or the like that can directly acquire a depth map (distance image) instead of the plurality of imaging devices 120.

第8の変形例としては、情報処理装置130による被検体の上半身の認識のための処理は実施形態に限定されるものではない。情報処理装置130は例えば、検査台110と被検体Pの色の違いを利用して、クロマキーの技術を用いて被検体の上半身を認識してもよい。また他の例としては、情報処理装置130は、被検体Pがいない状態の検査台110の外観画像との差分に基づいて、被検体の上半身を認識してもよい。   As an eighth modification, the process for recognizing the upper half body of the subject by the information processing apparatus 130 is not limited to the embodiment. For example, the information processing apparatus 130 may recognize the upper half of the subject using chroma key technology by using the difference in color between the examination stand 110 and the subject P. Further, as another example, the information processing apparatus 130 may recognize the upper half of the subject based on the difference with the appearance image of the examination table 110 in a state in which the subject P is not present.

第9の変形例としては、情報処理装置130は、撮影装置120と検査台110との位置関係を示す情報を予め記憶しているものとしてもよい。この場合には、情報処理装置130は、被検体のみの外観画像と、位置関係を示す情報と、に基づいて、検査部位を判別してもよい。   As a ninth modification, the information processing apparatus 130 may store information indicating the positional relationship between the imaging apparatus 120 and the inspection table 110 in advance. In this case, the information processing apparatus 130 may determine the inspection site based on the appearance image of only the subject and the information indicating the positional relationship.

(第2の実施形態)
次に、第2の実施形態に係る検査システムについて説明する。第2の実施形態に係る検査システムにおいては、検査台に検査部が設けられているのではなく、検査者が検査デバイスを手に持って検査を行う。以下、第2の実施形態に係る検査システムについて、第1の実施形態に係る検査システムと異なる点について説明する。
Second Embodiment
Next, an inspection system according to the second embodiment will be described. In the inspection system according to the second embodiment, the inspector does not have the inspection unit on the inspection table, but the inspector holds the inspection device and performs the inspection. The inspection system according to the second embodiment will be described below in terms of differences from the inspection system according to the first embodiment.

図5は、第2の実施形態に係る検査システム500の全体図である。図5(a)は、検査システム500を側面から見た図であり、図5(b)は、検査システム500を上部から見た図である。本実施形態に係る検査システム500は、超音波診断装置であり、人体を被検体とし、***の検査を行う。このとき、検査システム500はさらに、***の左右を自動で判別する。本実施形態に係る検査システム500においては、プローブ540により検査が行われるため、検査台510には、検査部は設けられていない。被検体が検査台510の上に仰臥位の状態で横たわり検査が行われる。   FIG. 5 is an overall view of an inspection system 500 according to the second embodiment. 5 (a) is a side view of the inspection system 500, and FIG. 5 (b) is a top view of the inspection system 500. As shown in FIG. The inspection system 500 according to the present embodiment is an ultrasonic diagnostic apparatus, which examines a breast with a human body as a subject. At this time, the inspection system 500 further determines the left and right of the breast automatically. In the inspection system 500 according to the present embodiment, since the inspection is performed by the probe 540, the inspection table 510 is not provided with the inspection unit. An examination is performed with the subject lying supine on the examination table 510.

プローブ540は、検査デバイスの一例であり、検査画像を取得する。プローブ540は、検査者が手に持って操作できるようになっている。プローブ540には、超音波を発生する素子と受信する素子があり、接触した検査対象から反射される超音波を受信して画像として処理する。検査システム500は、超音波の画像を検査画像として得ることができる。また、プローブ540には、不図示のフリーズボタンが設けられており、フリーズボタンが押下された時点における超音波検査の静止画像を検査画像として取得する指示を入力することができる。撮影装置520は、検査台510の上部から、被検体とプローブ540の外観画像を撮影する。なお、情報処理装置530のハードウェア構成は、第1の実施形態において図3を参照しつつ説明した情報処理装置130のハードウェア構成と同様である。   The probe 540 is an example of an inspection device, and acquires an inspection image. The probe 540 is designed to be held and operated by the examiner. The probe 540 includes an element for generating an ultrasonic wave and an element for receiving the ultrasonic wave, and receives the ultrasonic wave reflected from the inspection object which has been in contact and processes it as an image. The inspection system 500 can obtain an ultrasonic image as an inspection image. Further, the probe 540 is provided with a freeze button (not shown), and can input an instruction to acquire a still image of an ultrasonic examination at the time of pressing the freeze button as an examination image. The imaging device 520 captures an appearance image of the subject and the probe 540 from the top of the examination table 510. The hardware configuration of the information processing apparatus 530 is the same as the hardware configuration of the information processing apparatus 130 described with reference to FIG. 3 in the first embodiment.

図6は、検査時の様子を示す図である。検査台510に被検体Pが仰臥位の状態で横たわっている。操作者Qは、プローブ540を手に持ち、検査部位に接触させる。   FIG. 6 is a diagram showing the state at the time of inspection. The subject P lies on the examination table 510 in a supine position. The operator Q holds the probe 540 in hand and brings it into contact with the examination site.

図7は、情報処理装置130による検査制御処理を示すフローチャートである。S701において、CPU301は、ユーザ操作に応じて検査開始の指示を受け付けると、プローブ540に検査開始を指示し、プローブ540から超音波エコーの動画像を受信し、動画像を記憶部に保存する。次に、S702において、CPU301は、プローブ540から超音波エコーの静止画像を検査画像として取得する。なお、プローブ540は、ユーザによるプローブ540のフリーズボタンの押下に応じて静止画像の取得指示を受け付けると、取得指示を受け付けたタイミングに対応した超音波エコーの静止画像を取得し、情報処理装置530に送信する。   FIG. 7 is a flowchart showing inspection control processing by the information processing apparatus 130. In step S701, when the CPU 301 receives an instruction to start an examination according to a user operation, the CPU 301 instructs the probe 540 to start an examination, receives a moving image of ultrasonic echo from the probe 540, and stores the moving image in the storage unit. Next, in S702, the CPU 301 acquires a still image of ultrasonic echoes as an inspection image from the probe 540. When the probe 540 receives a still image acquisition instruction in response to the user pressing the freeze button on the probe 540, the probe 540 acquires a still image of ultrasonic echo corresponding to the timing at which the acquisition instruction is received, and the information processing apparatus 530 Send to

次に、S703において、CPU301は、撮影装置520に対し撮影を指示する。撮影装置520は、指示に従い、被検体Pとプローブ540の外観画像を撮影し、外観画像を情報処理装置530に送信する。CPU301は、外観画像を取得し、外観画像を記憶部に保存する。なお、CPU301は、外観画像のファイルパス等により外観画像を識別するものとする。   Next, in step S703, the CPU 301 instructs the imaging device 520 to perform imaging. The imaging device 520 captures the appearance image of the subject P and the probe 540 according to the instruction, and transmits the appearance image to the information processing device 530. The CPU 301 acquires an appearance image and stores the appearance image in the storage unit. Note that the CPU 301 identifies the appearance image by the file path of the appearance image or the like.

次に、S704において、CPU301は、S703において取得した外観画像に対し、被検体Pにおいてプローブ540が接触している接触部位を画像認識により特定する。接触部位の例としては、頭部、頸部、胸部、***、腹部、上肢、下肢等が挙げられる。CPU301は、例えば、テンプレートマッチングによる画像認識により接触部位を特定する。CPU301は、人体の画像テンプレート及びプローブ540の画像テンプレートを予め学習しておく。さらにCPU301は、人体の部位、例えば頭部、頸部、胸部、***、腹部、上肢、下肢などの人体における位置関係を学習しておく。そして、CPU301は、人体の画像テンプレートとのマッチングにより、被検体601の人体の領域を認識する。CPU301はまた、プローブ540の画像テンプレートとのマッチングにより、プローブ540の位置を取得する。さらに、CPU301は、被検体601の人体の領域とプローブ540の位置を、人体の部位の人体における位置関係とマッチングすることにより、接触部位を算出する。   Next, in step S704, the CPU 301 identifies the contact portion of the subject P in contact with the probe 540 by image recognition with respect to the appearance image acquired in step S703. Examples of the contact site include the head, neck, chest, breast, abdomen, upper and lower limbs, and the like. The CPU 301 identifies the contact portion by image recognition by template matching, for example. The CPU 301 learns in advance an image template of a human body and an image template of the probe 540. Further, the CPU 301 learns the positional relationship in the human body such as the head, neck, chest, breast, abdomen, upper limbs, lower limbs and the like. Then, the CPU 301 recognizes the region of the human body of the subject 601 by matching with the image template of the human body. The CPU 301 also obtains the position of the probe 540 by matching with the image template of the probe 540. Furthermore, the CPU 301 calculates the contact portion by matching the region of the human body of the subject 601 and the position of the probe 540 with the positional relationship in the human body of the portion of the human body.

次に、S705において、CPU301は、プローブ540の種類を特定する。プローブ540の種類の一例として、リニア型、コンベックス型、セクタ型が挙げられる。次に、S706において、CPU301は、S704において特定した接触部位と、特定したプローブの種類と、に基づいて検査部位を特定する。CPU301は、例えば、プローブ540の種類がリニア型又はコンベックス型である場合は、体表近くの検査を行っているので、接触部位を検査部位として判別する。CPU301はまた、接触部位が胸部で、プローブ540の種類がセクタ型である場合は、深部の検査を行っているとして、心臓を検査部位として判別する。   Next, in step S705, the CPU 301 identifies the type of the probe 540. Examples of the type of probe 540 include a linear type, a convex type, and a sector type. Next, in S706, the CPU 301 identifies an examination site based on the contact site identified in S704 and the type of the identified probe. For example, when the type of the probe 540 is a linear type or a convex type, the CPU 301 determines an area close to the body surface, and thus determines the contact area as an inspection area. Further, when the contact site is the chest and the type of the probe 540 is the sector type, the CPU 301 determines the heart as an examination site on the assumption that the deep area is being examined.

次に、S707において、CPU301は、S706において判別した検査部位を検査画像に対応付けて記憶部に保存する。続く、S708及びS709の処理は、それぞれ第1の実施形態において図4を参照しつつ説明したS408及びS409の処理と同様である。なお、第2の実施形態に係る検査システム500のこれ以外の構成及び処理は、第1の実施形態に係る検査システム100の構成及び処理と同様である。   Next, in S707, the CPU 301 stores the inspection site determined in S706 in the storage unit in association with the inspection image. The subsequent processes of S708 and S709 are the same as the processes of S408 and S409 described with reference to FIG. 4 in the first embodiment. The remaining configuration and processing of the inspection system 500 according to the second embodiment are similar to the configuration and processing of the inspection system 100 according to the first embodiment.

以上のように、本実施形態の検査システム500においては、情報処理装置530は検査画像に対応した外観画像に基づいて、検査部位を精度よく判別することができる。情報処理装置130は、特に***検査において、左***と右***を判別することができる。   As described above, in the inspection system 500 of the present embodiment, the information processing apparatus 530 can accurately determine the inspection site based on the appearance image corresponding to the inspection image. The information processing apparatus 130 can distinguish the left breast and the right breast, particularly in breast examination.

第2の実施形態の第1の変形例としては、検査開始及び検査終了の指示を入力するためのユーザインタフェースとしてのボタンがプローブ540に設けられていてもよい。この場合、CPU301は、プローブ540から検査開始及び検査終了の指示を受け付ける。   As a first modified example of the second embodiment, a button may be provided on the probe 540 as a user interface for inputting an instruction to start an inspection and an instruction to end the inspection. In this case, the CPU 301 receives an instruction to start and end the inspection from the probe 540.

第2の変形例としては、検査システム500は超音波診断装置に替えて、PAT装置を利用したものでもよい。この場合、プローブ540は、PATの検査情報を取得する。すなわち、プローブ540は、パルスレーザ光を照射する素子と超音波を検出する素子を備える。さらに、プローブ540は、検出された超音波をデジタル信号に変換するAD変換器を備える。また、光超音波イメージングの検査情報を取得する指示を出す機能構成部分として、フリーズボタンや入力部等のユーザインタフェースを使用することができる。   In a second modification, the inspection system 500 may use a PAT apparatus instead of the ultrasonic diagnostic apparatus. In this case, the probe 540 acquires examination information of PAT. That is, the probe 540 includes an element that emits pulsed laser light and an element that detects ultrasonic waves. Furthermore, the probe 540 includes an AD converter that converts the detected ultrasound into a digital signal. Further, a user interface such as a freeze button or an input unit can be used as a functional component that issues an instruction to acquire examination information of optical ultrasound imaging.

第3の変形例としては、例えば、検査時の検査台510における被検体の位置姿勢が決まっている場合には、撮影装置520に対する被検体の位置が予め分かっている。この場合には、情報処理装置530は、被検体と撮影装置520との位置関係を示す情報を予め記憶しておく。そして、情報処理装置530は、プローブ540のみの外観画像と、位置関係を示す情報と、に基づいて、接触部位を特定してもよい。情報処理装置530は、検査デバイスの少なくとも一部分の外観画像に基づいて接触部位を特定すればよく、プローブ540全体が外観画像に含まれている必要はない。さらに、このように被検体が写らない場合には、外観画像の匿名化や暗号化、削除は行わなくともよい。   As a third modification, for example, when the position and orientation of the subject on the inspection table 510 at the time of examination are decided, the position of the subject relative to the imaging device 520 is known in advance. In this case, the information processing device 530 stores in advance information indicating the positional relationship between the subject and the imaging device 520. Then, the information processing device 530 may specify the contact portion based on the appearance image of only the probe 540 and the information indicating the positional relationship. The information processing device 530 may identify the contact site based on the appearance image of at least a part of the inspection device, and the entire probe 540 does not have to be included in the appearance image. Furthermore, when the subject does not appear in this way, the appearance image may not be anonymized, encrypted, or deleted.

(第3の実施形態)
次に、第3の実施形態に係る検査システム500について説明する。第3の実施形態に係る検査システム500の構成は、第2の実施形態に係る検査システム500と同様である。以下、第3の実施形態に係る検査システム500について、第2の実施形態に係る検査システム500と異なる点について説明する。図8は、第3の実施形態に係る検査部位の判別処理を示すフローチャートである。CPU301は、第2の実施形態において図7を参照しつつ説明したS704の処理の後、図8に示す判別処理を行う。
Third Embodiment
Next, an inspection system 500 according to the third embodiment will be described. The configuration of the inspection system 500 according to the third embodiment is the same as that of the inspection system 500 according to the second embodiment. The inspection system 500 according to the third embodiment will be described below with respect to differences from the inspection system 500 according to the second embodiment. FIG. 8 is a flowchart showing discrimination processing of an examination part according to the third embodiment. The CPU 301 performs the determination process shown in FIG. 8 after the process of S704 described with reference to FIG. 7 in the second embodiment.

S801において、CPU301は、外観画像から接触部位が胸部であるか否かを確認する。CPU301は、胸部の場合には(S801でYes)、処理をS802へ進める。一方、CPU301は、胸部でない場合には(S801でNo)、処理をS811へ進める。S802において、CPU301は、接触部位が***であるか否かを確認する。CPU301は、***の場合には(S802でYes)、処理をS803へ進める。一方、CPU301は、接触部位が***でない場合には(S802でNo)、処理をS808へ進める。   In S801, the CPU 301 confirms from the appearance image whether or not the contact site is a chest. In the case of the chest (Yes in S801), the CPU 301 advances the process to S802. On the other hand, when the CPU 301 is not a chest (No in S801), the CPU 301 advances the process to S811. In step S802, the CPU 301 confirms whether the contact site is a breast. In the case of a breast (Yes in S802), the CPU 301 advances the process to S803. On the other hand, when the contact site is not a breast (No in S802), the CPU 301 advances the process to S808.

S803において、CPU301は、外観画像に基づいて、プローブ540が被検体の上半身の右側と左側のいずれの位置にあるかを特定する。具体的には、CPU301は、まず人体の上半身及び頭部の画像テンプレートに基づいて、外観画像において被検体Pの上半身及び頭部を認識する。さらに、CPU301は、頭部を画像の上側と判別し、プローブ540の画像テンプレートに基づいて、プローブ540を認識する。CPU301はさらに、頭部の一番上側の点である頭頂点と、プローブ540の中心点を算出する。CPU301は、例えばプローブ540を含む最小の円の中心をプローブ540の中心点として算出する。そして、CPU301は、頭頂点とプローブ540の中心点を結ぶ直線を、判別線として算出する。   In step S803, the CPU 301 identifies, based on the appearance image, whether the probe 540 is located on the right or left side of the upper body of the subject. Specifically, the CPU 301 first recognizes the upper body and the head of the subject P in the appearance image based on the image templates of the upper body and the head of the human body. Furthermore, the CPU 301 determines the head as the upper side of the image, and recognizes the probe 540 based on the image template of the probe 540. The CPU 301 further calculates the top of the head, which is the top point of the head, and the central point of the probe 540. The CPU 301 calculates, for example, the center of the smallest circle including the probe 540 as the center point of the probe 540. Then, the CPU 301 calculates a straight line connecting the head apex and the center point of the probe 540 as a discrimination line.

図9は、判別線900を示す図である。S803において、CPU301は、判別線900を境界として被写体Pの右側に相当する領域901に位置する被検体Pの上半身の面積と、判別線900を境界として被写体Pの左側に相当する領域902に位置する被検体Pの上半身の面積とを比較する。CPU301は、領域901に位置する被検体Pの上半身の面積が、領域902に位置する被検体Pの上半身の面積よりも大きい場合には、プローブ540が上半身の左側に位置すると判断する。一方、CPU301は、領域902に位置する上半身の面積が領域901に位置する上半身の面積以下の場合には、プローブ540が上半身の右側に位置すると判断する。   FIG. 9 is a diagram showing a discrimination line 900. As shown in FIG. In step S 803, the CPU 301 positions the area of the upper body of the subject P located in the area 901 corresponding to the right side of the subject P bordering the discrimination line 900 and the area 902 corresponding to the left side of the subject P bordering the discrimination line 900. The area of the upper body of the subject P is compared. When the area of the upper body of the subject P located in the area 901 is larger than the area of the upper body of the subject P located in the area 902, the CPU 301 determines that the probe 540 is located on the left side of the upper body. On the other hand, when the area of the upper body located in the area 902 is equal to or less than the area of the upper body located in the area 901, the CPU 301 determines that the probe 540 is located on the right side of the upper body.

図8に戻り、S803の処理の後、S804において、CPU301は、プローブ540の種類を特定する。本処理は、図7に示すS705の処理と同様である。CPU301は、プローブ540の種類がリニア型の場合には(S804でYes)、処理をS805へ進める。一方、CPU301は、リニア型でない場合には(S804でNo)、処理をS808へ進める。S805において、CPU301は、S803においてプローブ540が上半身の左側に位置すると判断した場合には(S805でYes)、処理をS806へ進める。一方、CPU301は、S803においてプローブ540が上半身の右側に位置すると判断した場合には(S805でNo)、処理をS807へ進める。S806において、CPU301は、左***を検査部位として判別し、その後処理を図7に示すS707へ進める。S807において、CPU301は、右***を検査部位として判別し、その後処理をS707へ進める。   Referring back to FIG. 8, after the process of S803, the CPU 301 identifies the type of the probe 540 in S804. This process is the same as the process of S705 shown in FIG. If the type of the probe 540 is a linear type (Yes in S804), the CPU 301 advances the process to S805. On the other hand, when the CPU 301 is not the linear type (S804: No), the CPU 301 advances the process to S808. In S805, when the CPU 301 determines that the probe 540 is positioned on the left side of the upper body in S803 (Yes in S805), the CPU 301 advances the process to S806. On the other hand, when the CPU 301 determines that the probe 540 is positioned on the right side of the upper body in S803 (No in S805), the CPU 301 advances the process to S807. In S806, the CPU 301 determines the left breast as an examination site, and thereafter advances the process to S707 shown in FIG. In S807, the CPU 301 determines the right breast as an examination site, and then advances the process to S707.

また、S808においては、CPU301は、プローブ540の種類を特定する。CPU301は、プローブ540の種類がセクタ型の場合には(S808でYes)、処理をS809へ進める。一方、CPU301は、セクタ型でない場合には(S808でNo)、処理をS810へ進める。S809において、CPU301は、心臓を検査部位として判別し、その後処理をS707へ進める。一方で、S810において、CPU301は、胸部を検査部位として判別し、その後処理をS707へ進める。   In addition, in S808, the CPU 301 identifies the type of the probe 540. If the type of the probe 540 is a sector type (Yes in S808), the CPU 301 advances the process to S809. On the other hand, when the CPU 301 is not of the sector type (S808: No), the process proceeds to S810. In S809, the CPU 301 determines the heart as an examination site, and then advances the process to S707. On the other hand, in S810, the CPU 301 determines the chest as the examination site, and then advances the process to S707.

また、S811において、CPU301は、S704において特定された接触部位を検査部位として判別し、その後処理をS707へ進める。なお、第3の実施形態に係る検査システム500のこれ以外の構成及び処理は、他の実施形態に係る検査システムの構成及び処理と同様である。   Also, in step S811, the CPU 301 determines the contact site identified in step S704 as an examination site, and then advances the process to step S707. The remaining configuration and processing of the inspection system 500 according to the third embodiment are similar to the configuration and processing of the inspection system according to the other embodiments.

以上のように、第3の実施形態に係る検査システム500においては、情報処理装置530は、検査デバイスと被検体との位置関係に基づいて、検査部位を判別する。これにより、情報処理装置530は、精度よく検査部位を判別することができる。情報処理装置530は、特に、胸部にプローブ(検査デバイス)がある場合に、左***、右***、心臓を検査部位として判別することができる。   As described above, in the inspection system 500 according to the third embodiment, the information processing device 530 determines the inspection site based on the positional relationship between the inspection device and the subject. Thus, the information processing device 530 can accurately determine the inspection site. In particular, when there is a probe (examination device) in the chest, the information processing device 530 can discriminate the left breast, the right breast, and the heart as the examination site.

第3の実施形態の変形例としては、プローブの位置を特定する処理(S803)は、実施形態に限定されるものではない。他の例としては、情報処理装置530は、図10に示すように、CPU301は、被検体Pの上半身を認識し、上半身の左右がほぼ対象となる中心位置と頭頂部を結ぶ直線を、中心線1000として特定する。この場合、CPU301は、プローブ540が中心線1000を境界とし被写体Pの右側に相当する領域1001にある場合には、プローブ540は、上半身の右側に位置すると判断する。一方、CPU301は、プローブ540が中心線1000を境界とし被写体Pの左側に相当する領域1002にある場合には、プローブ540は、上半身の左側に位置すると判断する。   As a modification of the third embodiment, the process of specifying the position of the probe (S803) is not limited to the embodiment. As another example, as shown in FIG. 10, the information processing apparatus 530 recognizes the upper body of the subject P, and the straight line connecting the central position to the left and right of the upper and lower portions of the upper body is the center Identify as line 1000. In this case, when the probe 540 is in the area 1001 corresponding to the right side of the subject P with the center line 1000 as the boundary, the CPU 301 determines that the probe 540 is positioned on the right side of the upper body. On the other hand, when the probe 540 is in the area 1002 corresponding to the left side of the subject P with the center line 1000 as the boundary, the CPU 301 determines that the probe 540 is located on the left side of the upper body.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。   Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various embodiments within the scope of the present invention are also included in the present invention. included. Some of the embodiments described above may be combined as appropriate.

<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(または記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
<Other Embodiments>
Although the embodiment has been described in detail, the present invention can be embodied as, for example, a system, an apparatus, a method, a program, or a storage medium (or recording medium). Specifically, the present invention may be applied to a system configured of a plurality of devices (for example, host computer, interface device, imaging device, web application, etc.), or may be applied to a device including a single device. good.

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記憶した記憶媒体を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   Further, it goes without saying that the object of the present invention can be achieved by the following. That is, a storage medium storing a program code (computer program) of software for realizing the functions of the embodiments described above is supplied to a system or an apparatus. Such storage media are, of course, computer readable storage media. Then, the computer (or CPU or MPU) of the system or apparatus reads out and executes the program code stored in the storage medium. In this case, the program code itself read out from the storage medium implements the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.

100 検査システム
110 検査台
120 撮影装置
130 情報処理装置
100 inspection system 110 inspection stand 120 imaging device 130 information processing device

Claims (13)

撮影手段によって撮影された、検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を取得する取得手段と、
前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、
前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段と
を有することを特徴とする情報処理装置。
Acquisition means for acquiring an appearance image showing a state at the time of examination of at least a part of the examination device and / or at least a part of the subject taken by the imaging means;
Position specifying means for specifying a positional relationship between at least a part of the subject and the inspection device based on the appearance image;
An information processing apparatus comprising: a portion specifying means for specifying a test portion of the subject based on the positional relationship.
前記取得手段は、前記被検体の上半身の検査時の状態を示す外観画像を取得し、
前記部位特定手段は、前記検査部位が左***及び右***の何れであるかを特定することを特徴とする請求項1に記載の情報処理装置。
The acquisition means acquires an appearance image showing a state at the time of examination of the upper body of the subject,
The information processing apparatus according to claim 1, wherein the part specifying unit specifies which one of a left breast and a right breast is the examination part.
前記部位特定手段により特定された前記検査部位を前記被検体の検査結果に対応付けて記憶手段に保存する保存手段をさらに有することを特徴とする請求項1又は2に記載の情報処理装置。   3. The information processing apparatus according to claim 1, further comprising storage means for storing the inspection site specified by the site specifying means in the storage means in association with the test result of the subject. 前記被検体の検査結果と前記外観画像とを、それぞれの取得時刻に基づいて対応付けて記憶手段に保存する保存手段をさらに有することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。   The storage device according to any one of claims 1 to 3, further comprising storage means for storing the inspection result of the subject and the appearance image in a storage means in association with each other based on the respective acquisition times. Information processing equipment. 前記取得手段は、前記検査デバイスが設置され被検体が載せられた検査台の中心線の位置に配置された画像マーカと、前記被検体の少なくとも一部と、が撮影された前記外観画像を取得し、
前記位置特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査台との位置関係に基づいて、前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
The acquisition means acquires the appearance image in which an image marker disposed at a position of a center line of an examination table on which the examination device is installed and the subject is placed and at least a part of the subject is captured. And
The position specifying means specifies the positional relationship between at least a part of the subject and the inspection device based on the positional relationship between at least a part of the subject shown in the appearance image and the examination table. The information processing apparatus according to any one of claims 1 to 4, wherein
前記取得手段は、前記検査デバイスが設置され被検体が載せられた検査台の全体と、前記被検体の少なくとも一部と、が撮影された前記外観画像を取得し、
前記位置特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査台との位置関係に基づいて、前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
The acquisition means acquires the appearance image in which the entire examination table on which the examination device is installed and the subject is placed and at least a part of the subject are photographed;
The position specifying means specifies the positional relationship between at least a part of the subject and the inspection device based on the positional relationship between at least a part of the subject shown in the appearance image and the examination table. The information processing apparatus according to any one of claims 1 to 4, wherein
前記位置特定手段は、前記検査デバイス又は前記検査デバイスが設置された検査台と前記撮影手段との位置関係を示す情報と、前記外観画像と、に基づいて、前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。   The position specifying means is based on the information indicating the positional relationship between the examination device or the examination table on which the examination device is installed and the imaging means, and the appearance image, and at least a part of the object and the examination image. The information processing apparatus according to any one of claims 1 to 4, wherein the positional relationship with the inspection device is specified. 前記取得手段は、前記検査デバイスと前記被検体の少なくとも一部とが撮影された前記外観画像を取得し、
前記位置特定手段は、前記外観画像に示される前記被検体の少なくとも一部と前記検査デバイスとの位置関係を特定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
The acquisition means acquires the appearance image in which the inspection device and at least a part of the subject are photographed.
The information processing according to any one of claims 1 to 4, wherein the position specifying means specifies a positional relationship between at least a part of the subject shown in the appearance image and the inspection device. apparatus.
前記部位特定手段は、さらに前記検査デバイスの種類に基づいて、前記検査部位を特定することを特徴とする請求項8に記載の情報処理装置。   9. The information processing apparatus according to claim 8, wherein the part specifying unit specifies the inspection part based on a type of the inspection device. 前記部位特定手段による前記検査部位を特定した後、前記外観画像を削除する削除手段をさらに有することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。   The information processing apparatus according to any one of claims 1 to 9, further comprising: a deletion unit configured to delete the appearance image after the inspection region is specified by the region specifying unit. 前記部位特定手段による前記検査部位を特定した後、前記外観画像を視認不可に加工する加工手段をさらに有することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。   The information processing apparatus according to any one of claims 1 to 9, further comprising processing means for processing the appearance image so as not to be visible after the inspection site is identified by the site identification means. 被検体の検査を行う検査手段と、
検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を撮影する撮影手段と、
前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定手段と、
前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定手段と
を有することを特徴とする検査システム。
Testing means for testing the subject;
An imaging unit configured to capture an appearance image indicating a state at the time of examination of at least one part of the examination device and / or at least one part of the subject;
Position specifying means for specifying a positional relationship between at least a part of the subject and the inspection device based on the appearance image;
And a site specifying means for specifying a test site of the subject based on the positional relationship.
情報処理装置が実行する情報処理方法であって、
撮影手段によって撮影された、検査デバイスの少なくとも一部分及び被検体の少なくとも一部のうちいずれか一方又は双方の検査時の状態を示す外観画像を取得する取得ステップと、
前記外観画像に基づいて、前記被検体の少なくとも一部と検査デバイスとの位置関係を特定する位置特定ステップと、
前記位置関係に基づいて、前記被検体の検査部位を特定する部位特定ステップと
を含むことを特徴とする情報処理方法。
An information processing method executed by the information processing apparatus;
Obtaining an appearance image showing a state at the time of examination of at least one part of at least a part of the examination device and at least a part of the subject taken by the imaging means;
A position specifying step of specifying a positional relationship between at least a part of the subject and an inspection device based on the appearance image;
And D. a portion specifying step of specifying a test portion of the subject based on the positional relationship.
JP2017074323A 2017-04-04 2017-04-04 Information processing equipment, inspection system and information processing method Active JP6921589B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017074323A JP6921589B2 (en) 2017-04-04 2017-04-04 Information processing equipment, inspection system and information processing method
JP2021124297A JP7247280B2 (en) 2017-04-04 2021-07-29 Information processing device, inspection system and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017074323A JP6921589B2 (en) 2017-04-04 2017-04-04 Information processing equipment, inspection system and information processing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021124297A Division JP7247280B2 (en) 2017-04-04 2021-07-29 Information processing device, inspection system and information processing method

Publications (3)

Publication Number Publication Date
JP2018175007A true JP2018175007A (en) 2018-11-15
JP2018175007A5 JP2018175007A5 (en) 2020-05-14
JP6921589B2 JP6921589B2 (en) 2021-08-18

Family

ID=64279838

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017074323A Active JP6921589B2 (en) 2017-04-04 2017-04-04 Information processing equipment, inspection system and information processing method
JP2021124297A Active JP7247280B2 (en) 2017-04-04 2021-07-29 Information processing device, inspection system and information processing method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021124297A Active JP7247280B2 (en) 2017-04-04 2021-07-29 Information processing device, inspection system and information processing method

Country Status (1)

Country Link
JP (2) JP6921589B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146440A (en) * 2018-12-20 2020-09-17 ゼネラル・エレクトリック・カンパニイ System and method for acquiring x-ray image
JP2021029675A (en) * 2019-08-26 2021-03-01 キヤノン株式会社 Information processor, inspection system, and information processing method
EP3786886A1 (en) 2019-08-26 2021-03-03 Canon Kabushiki Kaisha Information processing apparatus, inspection system, information processing method, program, and storage medium
WO2023171272A1 (en) * 2022-03-09 2023-09-14 富士フイルム株式会社 Ultrasonic diagnostic device, control method for ultrasonic diagnostic device, and distance measurement device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112752A (en) * 1999-10-15 2001-04-24 Toshiba Medical System Co Ltd Ultrasonograph
JP2008104774A (en) * 2006-10-27 2008-05-08 Toshiba Corp Ultrasonic diagnostic apparatus and diagnostic program
JP2012010772A (en) * 2010-06-29 2012-01-19 Fujifilm Corp Radiographic imaging apparatus
JP2012217631A (en) * 2011-04-08 2012-11-12 Hitachi Medical Corp Medical image processing apparatus and medical image diagnostic apparatus
US20140171799A1 (en) * 2012-12-13 2014-06-19 General Electric Company Systems and methods for providing ultrasound probe location and image information
US20150055746A1 (en) * 2013-08-21 2015-02-26 Samsung Electronics Co., Ltd. X-ray imaging apparatus and control method thereof
US20150164479A1 (en) * 2013-12-12 2015-06-18 Konica Minolta, Inc. Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6345471B2 (en) * 2014-04-15 2018-06-20 キヤノンメディカルシステムズ株式会社 X-ray diagnostic imaging equipment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001112752A (en) * 1999-10-15 2001-04-24 Toshiba Medical System Co Ltd Ultrasonograph
JP2008104774A (en) * 2006-10-27 2008-05-08 Toshiba Corp Ultrasonic diagnostic apparatus and diagnostic program
JP2012010772A (en) * 2010-06-29 2012-01-19 Fujifilm Corp Radiographic imaging apparatus
JP2012217631A (en) * 2011-04-08 2012-11-12 Hitachi Medical Corp Medical image processing apparatus and medical image diagnostic apparatus
US20140171799A1 (en) * 2012-12-13 2014-06-19 General Electric Company Systems and methods for providing ultrasound probe location and image information
US20150055746A1 (en) * 2013-08-21 2015-02-26 Samsung Electronics Co., Ltd. X-ray imaging apparatus and control method thereof
US20150164479A1 (en) * 2013-12-12 2015-06-18 Konica Minolta, Inc. Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium
JP2015131099A (en) * 2013-12-12 2015-07-23 コニカミノルタ株式会社 Ultrasonic diagnostic apparatus, ultrasonic image processing method and computer-readable non-temporary recording medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146440A (en) * 2018-12-20 2020-09-17 ゼネラル・エレクトリック・カンパニイ System and method for acquiring x-ray image
JP7395337B2 (en) 2018-12-20 2023-12-11 ゼネラル・エレクトリック・カンパニイ System and method for acquiring X-ray images
JP2021029675A (en) * 2019-08-26 2021-03-01 キヤノン株式会社 Information processor, inspection system, and information processing method
CN112435740A (en) * 2019-08-26 2021-03-02 佳能株式会社 Information processing apparatus, inspection system, information processing method, and storage medium
EP3786886A1 (en) 2019-08-26 2021-03-03 Canon Kabushiki Kaisha Information processing apparatus, inspection system, information processing method, program, and storage medium
EP3786840A1 (en) 2019-08-26 2021-03-03 Canon Kabushiki Kaisha Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image
US20210065370A1 (en) * 2019-08-26 2021-03-04 Canon Kabushiki Kaisha Information processing apparatus, inspection system, information processing method, and storage medium that are used in a diagnosis based on a medical image
CN112508840A (en) * 2019-08-26 2021-03-16 佳能株式会社 Information processing apparatus, inspection system, information processing method, and storage medium
US11461894B2 (en) 2019-08-26 2022-10-04 Canon Kabushiki Kaisha Information processing apparatus, inspection system, information processing method, and storage medium
JP7362354B2 (en) 2019-08-26 2023-10-17 キヤノン株式会社 Information processing device, inspection system and information processing method
CN112435740B (en) * 2019-08-26 2024-06-25 佳能株式会社 Information processing apparatus, inspection system, information processing method, and storage medium
WO2023171272A1 (en) * 2022-03-09 2023-09-14 富士フイルム株式会社 Ultrasonic diagnostic device, control method for ultrasonic diagnostic device, and distance measurement device

Also Published As

Publication number Publication date
JP7247280B2 (en) 2023-03-28
JP6921589B2 (en) 2021-08-18
JP2021168984A (en) 2021-10-28

Similar Documents

Publication Publication Date Title
JP7247280B2 (en) Information processing device, inspection system and information processing method
KR101922180B1 (en) Ultrasonic image processing apparatus and method for processing of ultrasonic image
KR102307356B1 (en) Apparatus and method for computer aided diagnosis
JP5685133B2 (en) Image processing apparatus, image processing apparatus control method, and program
US9339254B2 (en) Object information acquiring apparatus
EP3013244B1 (en) System and method for mapping ultrasound shear wave elastography measurements
US9123096B2 (en) Information processing apparatus and control method thereof
JP5027922B2 (en) Ultrasonic diagnostic equipment
JP6327900B2 (en) Subject information acquisition apparatus, breast examination apparatus and apparatus
JP6238550B2 (en) SUBJECT INFORMATION ACQUISITION DEVICE AND METHOD FOR CONTROLLING SUBJECT INFORMATION ACQUISITION DEVICE
JP2016503706A (en) Ultrasonic probe and ultrasonic imaging system
JP7362354B2 (en) Information processing device, inspection system and information processing method
JP2016506809A (en) Ultrasound imaging system and method
BR112015032724B1 (en) ULTRASONIC ELASTOGRAPHY SYSTEM AND ULTRASONIC ELASTOGRAPHY METHOD TO INSPECT AN ANATOMICAL SITE
KR102273020B1 (en) Method and appartus for registering medical images
KR20170007209A (en) Medical image apparatus and operating method for the same
WO2021033491A1 (en) Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus
KR20150024167A (en) Method for generating body markers and ultrasound diagnosis apparatus thereto
KR20180070878A (en) Method of providing annotation information of ultrasound probe and ultrasound system
JP2021029676A (en) Information processor, inspection system, and information processing method
KR20150129506A (en) Method and Appartus for registering medical images
JP2006246974A (en) Ultrasonic diagnostic equipment with reference image display function
JP2018183448A (en) Information processing device, information processing method, and program
JP5907667B2 (en) Three-dimensional ultrasonic diagnostic apparatus and operation method thereof
JP6258026B2 (en) Ultrasonic diagnostic equipment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210728

R151 Written notification of patent or utility model registration

Ref document number: 6921589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151