JP4736040B2 - Human body internal information projection system - Google Patents
Human body internal information projection system Download PDFInfo
- Publication number
- JP4736040B2 JP4736040B2 JP2005348455A JP2005348455A JP4736040B2 JP 4736040 B2 JP4736040 B2 JP 4736040B2 JP 2005348455 A JP2005348455 A JP 2005348455A JP 2005348455 A JP2005348455 A JP 2005348455A JP 4736040 B2 JP4736040 B2 JP 4736040B2
- Authority
- JP
- Japan
- Prior art keywords
- human body
- thermal
- information
- patient
- internal information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
この発明は人体内部情報投影システムに関し、特にたとえば、臓器、筋肉、骨、関節、血管等の人体の内部情報を投影する、人体内部情報投影システムに関する。 The present invention relates to a human body internal information projection system, and more particularly to a human body internal information projection system that projects internal information of a human body such as organs, muscles, bones, joints, and blood vessels.
たとえば非特許文献1には、再帰性反射材を塗布または貼付したデバイスに、胸部骨格画像を投影する技術が記載されている。この技術では、再帰性反射光を観察するので、観察者の視点と光学的に共役な位置にプロジェクタが配置されて、当該位置からハーフミラーを介してスクリーンに対して投影が行われる。
For example, Non-Patent
また、拡張現実感(Augmented Reality)システムにおいて現実世界と仮想世界の位置合わせのために画像処理によって基準となるマーカの位置姿勢を計測する手段として、加藤らによって開発されたARToolKitと呼ばれるソフトフェアライブラリが知られている(非特許文献2参照)。この技術では、HMD(Head Mounted Display)に取り付けられたカラーカメラで撮影された画像に基づいて、マーカに対する当該カメラの位置姿勢がリアルタイムに計測される。そして、たとえば3次元仮想キャラクタがカード(マーカ)上に出現する画像がHMDに表示される。
非特許文献1の技術では、再帰性反射材をスクリーンとしており、たとえば患者の手やシャツなどには映像を投影することができなかった。また、観察者はスクリーンからの再帰性反射光を観察可能な位置に存在しなければならなかった。しかし、患者は再帰性反射スクリーンを手に持って身体の前に構えるので、患者自身が投影画像を見ることは困難であった。このように、医療従事者と患者とが投影された情報を共有することが困難であったので、両者間で円滑なコミュニケーションが成立し得なかった。また、患者の動きを検出することができなかったので、スクリーンを手にした患者はその場に静止している必要があった。このように、患者の動きや移動に対応することができなかった。たとえば、リハビリテーションのような運動を伴う場面では、スクリーンを患者に所持させるのが困難であるばかりでなく、患者に画像を投影することが困難であった。
In the technique of Non-Patent
また、非特許文献2の技術では、マーカを追跡してその位置および姿勢を検出することが可能であるが、カラーのビデオカメラを使用している。したがって、プロジェクタを使用して仮想オブジェクトを現実世界に投影することを想定した場合、マーカと投影画像が重なるので、マーカの検出が困難になってしまう。なお、キャリブレーション誤差を低減するにはマーカは投影領域に配置されるのが望ましい。このように、マーカの位置および姿勢を追跡することができなくなるので、プロジェクタに基づく拡張現実感システムには適用することが不可能であり、つまり、マーカの位置および姿勢に対応した仮想オブジェクトを実世界に投影することは困難であった。なお、実世界に仮想オブジェクトを重畳した画像をHMDもしくは携帯型ディスプレイなどに表示したとしても、医療従事者と患者との円滑なコミュニケーションは望むべくもないし、リハビリテーションのような運動を伴う状況では患者に更なる負担を強いることとなる。したがって、HMDの装着やディスプレイ所持等は現実的ではない。また、カラーのビデオカメラによってマーカを検出するようにしているので、患者の身体や顔などのプライバシに関わる情報がカラー映像として撮影されてしまう。したがって、非特許文献2の技術を医療に使用する場合には、患者のプライバシを保護することができないという重大な問題があった。 In the technique of Non-Patent Document 2, a marker can be tracked and its position and posture can be detected, but a color video camera is used. Therefore, when it is assumed that a virtual object is projected onto the real world using a projector, the marker and the projection image overlap each other, which makes it difficult to detect the marker. In order to reduce the calibration error, it is desirable to place the marker in the projection area. As described above, since the position and orientation of the marker cannot be tracked, it cannot be applied to an augmented reality system based on a projector, that is, a virtual object corresponding to the position and orientation of the marker is implemented. Projecting to the world was difficult. Even if an image in which a virtual object is superimposed on the real world is displayed on an HMD or a portable display, smooth communication between the medical staff and the patient is not desired, and in a situation involving rehabilitation, the patient Will be forced to bear further burdens. Therefore, wearing an HMD, possessing a display, etc. are not realistic. Further, since the marker is detected by a color video camera, information relating to privacy such as the body and face of the patient is captured as a color image. Therefore, when the technique of Non-Patent Document 2 is used for medical treatment, there is a serious problem that the privacy of the patient cannot be protected.
それゆえに、この発明の主たる目的は、患者と医療従事者間の円滑なコミュニケーションを実現できる、人体内部情報投影システムを提供することである。 Therefore, a main object of the present invention is to provide a human body internal information projection system capable of realizing smooth communication between a patient and a medical staff.
この発明の他の目的は、患者の動きに追随して体内情報を患者の体表に投影することができ、しかも患者のプライバシを保護することができる、人体内部情報投影システムを提供することである。 Another object of the present invention is to provide a human body internal information projection system capable of projecting in-vivo information onto the patient's body surface following the movement of the patient and protecting the privacy of the patient. is there.
請求項1の発明は、人体内部情報を人に投影するためのシステムであって、人の所定位置に装着されるサーマルマーカ、人およびサーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、人体内部情報を記憶する記憶手段、サーマルカメラによって取得された遠赤外線画像に基づいてサーマルマーカの位置を検出する第1検出手段、第1検出手段によって検出されたサーマルマーカの位置に基づいて人体内部情報を投影する位置を算定する位置算定手段、および位置算定手段によって算定された位置に基づいて人体内部情報を人の体表上に投影する投影手段を備える、人体内部情報投影システムである。
The invention of
請求項1の発明では、たとえば臓器、骨格、筋肉または血管といった人体内部情報をたとえば患者のような人に投影するためのシステムである。人体内部情報は、たとえば当該器官の3DCGモデルであり、記憶手段に予め記憶されている。人にはサーマルマーカが所定の位置に装着される。第1検出手段は、このような遠赤外線画像に基づいてサーマルマーカの位置を検出する。位置算定手段は、検出されたサーマルマーカの位置に基づいて人体内部情報を投影する位置を算定する。そして、投影手段によって、人体内部情報は、人の体表上であり、かつ、当該人体内部情報が存在する位置に対応する位置に投影される。
The invention according to
このようにして、請求項1の発明によれば、サーマルカメラによって撮影された遠赤外線画像に基づいてサーマルマーカの位置を検出するようにしたので、当該サーマルマーカの装着された人の位置を追跡することができる。そして、当該サーマルマーカの検出位置に基づいて決められた位置に人体内部情報が投影される。患者体表上に人体内部情報が投影されても、サーマルカメラで遠赤外線画像を撮影するようにしているので、サーマルマーカすなわち患者を検出することができる。したがって、患者の動きに追随して当該患者の体表上に人体内部情報を投影することができる。このように、医療従事者と患者との間で人体内部情報を共有することができるので、両者の間の円滑なコミュニケーションを実現することができる。また、患者の熱という不可視情報を利用するサーマルマーカとサーマルカメラによって患者の位置を検出するようにしたので、患者に負担をかけることがないし、患者のプライバシを保護することができる。
Thus, according to the invention of
請求項2の発明は、人体内部情報を人に投影するためのシステムであって、遠赤外線を遮断する素材から形成され、人の所定位置に装着されるサーマルマーカ、人およびサーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、人体内部情報を記憶する記憶手段、サーマルカメラによって取得された遠赤外線画像に基づいてサーマルマーカの位置を検出する第1検出手段、第1検出手段によって検出されたサーマルマーカの位置に基づいて人体内部情報を投影する位置を算定する位置算定手段、および位置算定手段によって算定された位置に基づいて人体内部情報を人の体表上に投影する投影手段を備える、人体内部情報投影システムである。The invention of claim 2 is a system for projecting internal information of a human body onto a person, and is formed of a material that blocks far-infrared rays, and includes a thermal marker that is attached to a predetermined position of the person, the person, and a far marker. Detected by a thermal camera for acquiring an infrared image, storage means for storing internal information of the human body, first detection means for detecting the position of the thermal marker based on a far infrared image acquired by the thermal camera, and first detection means Position calculating means for calculating a position for projecting the internal information of the human body based on the position of the thermal marker, and projecting means for projecting the internal information of the human body on the human body surface based on the position calculated by the position calculating means. It is a human body internal information projection system.
請求項2の発明では、サーマルマーカが遠赤外線を遮断する材料で形成されているので、人の体表上に人体内部情報を投影した状態でも、そのサーマルマーカを確実に検出することができる。In the invention of claim 2, since the thermal marker is formed of a material that blocks far-infrared rays, the thermal marker can be reliably detected even in a state in which human body internal information is projected on the human body surface.
請求項3の発明は、請求項1または2の発明に従属し、サーマルマーカには人の識別情報に対応付けられたパターンが形成され、第1検出手段はサーマルマーカのパターンをさらに検出し、投影手段は、第1検出手段によって検出されたパターンに対応する人体内部情報を投影する、人体内部情報投影システムである。The invention of
請求項3の発明では、サーマルマーカには装着される人の識別情報に対応付けられたパターンが形成される。第1検出手段はサーマルマーカのパターンをさらに検出し、したがって、検出パターンによって当該サーマルマーカを装着している人を特定できる。投影手段は、検出パターンに対応する人体内部情報を投影する。つまり、サーマルマーカを装着している人に対応する人体内部情報、たとえば当該患者自身の人体内部情報や当該患者の患部に対応する人体内部情報を投影できる。In the invention of
請求項4の発明は、人体内部情報を人に投影するためのシステムであって、人の識別情報に対応付けられたパターンを有するように形成され、人の所定位置に装着されるサーマルマーカ、人およびサーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、人体内部情報を記憶する記憶手段、サーマルカメラによって取得された遠赤外線画像に基づいてサーマルマーカの位置およびパターンを検出する第1検出手段、第1検出手段によって検出されたサーマルマーカの位置に基づいて人体内部情報を投影する投影位置を算定する位置算定手段、および位置算定手段によって算定された位置に基づいて第1検出手段によって検出されたパターンに対応する人体内部情報を人の体表上に投影する投影手段を備える、人体内部情報投影システムである。The invention of claim 4 is a system for projecting human body internal information onto a person, and is formed so as to have a pattern associated with human identification information, and is attached to a predetermined position of the person, Thermal camera for acquiring a far-infrared image including a person and a thermal marker, storage means for storing human body internal information, and first detection for detecting the position and pattern of the thermal marker based on the far-infrared image acquired by the thermal camera Means for calculating a projection position for projecting the internal information of the human body based on the position of the thermal marker detected by the first detection means, and detected by the first detection means based on the position calculated by the position calculation means A human body internal information projection system comprising projection means for projecting the human body internal information corresponding to the recorded pattern onto the human body surface. Is Temu.
請求項4の発明でも、請求項2の発明と同様の効果が期待できる。In the invention of claim 4, the same effect as that of the invention of claim 2 can be expected.
請求項5の発明は、請求項1ないし4のいずれかの発明に従属し、第1検出手段はサーマルマーカの姿勢をさらに検出し、第1検出手段によって検出されたサーマルマーカの位置および姿勢に基づいて人体内部情報の姿勢を変形する姿勢変形手段をさらに備える。投影手段は、人体内部情報を姿勢変形手段によって変形された姿勢で投影する。The invention of
請求項5の発明では、第1検出手段は、遠赤外線画像に基づいてサーマルマーカの姿勢をさらに検出する。姿勢変形手段は、検出されたサーマルマーカの位置および姿勢に基づいて人体内部情報の姿勢を変形する。サーマルマーカは患者の所定位置に装着されるので、サーマルマーカの位置および姿勢を検出することによって当該患者の位置および姿勢を把握することができる。したがって、当該患者の姿勢に合わせて変形された姿勢の体内情報を患者の体表に投影することができる。In the invention of
請求項6の発明は、人体内部情報を人に投影するための方法であって、(a)サーマルマーカを人の所定位置に装着するステップ、(b) サーマルカメラによって人およびサーマルマーカを含む遠赤外線画像を取得するステップ、(c) 遠赤外線画像に基づいてサーマルマーカの位置を検出するステップ、(d) サーマルマーカの位置に基づいて人体内部情報を投影する投影位置を算定するステップ、および(e) 投影位置に基づいて人体内部情報を人の体表上に投影するステップを含む、人体内部情報投影方法である。The invention of claim 6 is a method for projecting internal information of a human body onto a person, wherein (a) a thermal marker is mounted on a predetermined position of the person, and (b) a far camera including the person and the thermal marker by a thermal camera. Acquiring an infrared image, (c) detecting a position of the thermal marker based on the far infrared image, (d) calculating a projection position for projecting human internal information based on the position of the thermal marker, and ( e) A human body internal information projection method including a step of projecting human body internal information onto a human body surface based on a projection position.
請求項6の発明でも、請求項1の発明と同様の効果が期待できる。In the invention of claim 6, the same effect as that of the invention of
この発明によれば、サーマルマーカの位置を検出し当該検出位置に基づいて人体内部情報の投影位置を算出するので、サーマルマーカの装着された患者の動きに追随して、人体内部情報を当該患者の体表上に投影することができる。したがって、患者に人体内部を分かり易く提示することができるとともに、患者と医療スタッフとが人体内部情報を共有することができる。このように、視覚的な支援によって患者と医療スタッフ間で円滑なコミュニケーションが可能になり、たとえば効果的にリハビリテーションを行うことが可能になる。しかも、サーマルマーカを装着した患者をサーマルカメラで撮影するようにしているので、たとえばカラーカメラで患者の顔や身体のようなプライバシに関わる情報を撮影する事態を回避でき、患者のプライバシを守ることができる。 According to this invention, since the position of the thermal marker is detected and the projection position of the human body internal information is calculated based on the detected position, the human body internal information is transferred to the patient following the movement of the patient wearing the thermal marker. Can be projected onto the body surface. Therefore, the inside of the human body can be presented to the patient in an easy-to-understand manner, and the internal information of the human body can be shared between the patient and the medical staff. As described above, the visual support enables smooth communication between the patient and the medical staff, and for example, effective rehabilitation can be performed. Moreover, since the patient wearing the thermal marker is photographed with a thermal camera, it is possible to avoid the situation of photographing information related to privacy such as the patient's face and body with a color camera, and to protect the privacy of the patient. Can do.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例の人体内部情報投影システム(以下単に「システム」とも言う。)10は、人体内部情報を人の体表に投影するためのものであり、たとえば問診やリハビリテーションなどの医療コンサルテーションにおいて適用され得る。システム10はコンピュータ12、サーマルカメラ14およびプロジェクタ16を含む。投影対象である人すなわち患者にはサーマルマーカ18が取り付けられる。
Referring to FIG. 1, a human body internal information projection system (hereinafter also simply referred to as “system”) 10 of this embodiment is for projecting human body internal information onto a human body surface. For example, an inquiry or rehabilitation is performed. It can be applied in medical consultation such as. The
コンピュータ12は、CPU、RAM、HDD、入力装置、表示装置等を備える。HDDには、このシステム10の全体的な動作を制御するためのプログラムおよび必要なデータが記憶される。CPUはプログラムをRAMにロードして当該プログラムに従ってRAMに一時的なデータを生成しまたは取得しつつ処理を実行する。また、コンピュータ12はビデオキャプチャカードおよびグラフィックボードをさらに備えており、ビデオキャプチャカードにサーマルカメラ14が接続され、グラフィックボードにプロジェクタ16が接続される。
The
サーマルカメラ14は、遠赤外線(熱線)を検出または観測するイメージセンサである。サーマルカメラ14は、人すなわち患者を撮影可能なように、診察やリハビリテーションなどの医療が行われる部屋の所定の位置に所定の方向へ向けて設置される。人体の温度は環境温度よりも高いので、体温を源に放射されている遠赤外線は環境から区別して検出可能である。このサーマルカメラ14によって取得される遠赤外線画像に基づいて、サーマルマーカ18の装着された患者の身体の動きを獲得する。たとえば、サーマルカメラ14は撮影した赤外線の映像信号をコンピュータ12に出力し、コンピュータ12のビデオキャプチャカードは当該映像信号を所定のフレームレートでディジタルデータに変換し、CPUは当該赤外線画像データをRAMに取得する。
The
サーマルカメラ14は可視光波長に敏感ではないので、その撮影画像で個人の顔を認識することは不可能であり、また患者の皮膚自体を撮影することも不可能である。したがって、患者のプライバシが保護される。なお、医学分野ではサーモグラフィが既に広く使用されており、サーマルカメラ14を医療現場に設置することに抵抗はないと考えられる。
Since the
プロジェクタ16は、画像を患者の体表へ投影する。プロジェクタ16は、患者の体表に投影可能なように、医療が行われる部屋の所定の位置に所定の方向へ向けて設置される。たとえばLCDプロジェクタが使用されてよい。画像を投影する際には、CPUは、たとえば、グラフィックボードを用いて3DCGオブジェクトデータに基づいて当該3DCGオブジェクトが所望の姿勢で所望の位置に配置される2次元画像を表示するための画像データを生成し、当該画像データをプロジェクタ16に与えて、当該画像をプロジェクタ16から投影させる。
The
サーマルマーカ18は、サーマルカメラ14で撮影される赤外線画像に基づいて被写体である患者を検出するための目印であり、たとえば、患者の体表に貼り付けられる。患者の体温を源とする熱線を利用して、当該サーマルマーカ18の装着箇所に熱線の強度分布を形成することによって、目印として機能する。患者はたとえば綿のTシャツなど遠赤外線を透過する素材の服を着ることが可能である。つまり、体内情報の投影される患者の体表は、皮膚だけでなく、衣類を含む。患者が衣類を着用する場合、衣類は白色など投影される体内情報の視認性に悪影響を及ぼさない色であることが必要とされる。サーマルマーカ18の裏面には人間の皮膚または服に貼り付けることができるように粘着物質が設けられる。サーマルマーカ18は所定の形状およびサイズ(たとえば30mm×30mmの正方形)を有し、身体の所定の位置(たとえば胸骨)に貼り付けられる。視認性を考慮して、複数のサーマルマーカ18が体表に分散配置されてよい。リハビリテーションの場面では、患者の姿勢や身体動作を精度よく検出することができるように、複数のサーマルマーカ18が身体の複数の適宜な位置に装着される。サーマルマーカ18のサイズ、形状および装着部位等は、実験によって、患者の動作をより精度良く検出可能であるように、適切に決定される。
The
サーマルマーカ18には、熱線に対する透過性、遮断性または熱線放射性などの物理的特性の分布すなわちパターンが、各特性を有する素材または素材の有無によって形成されている。たとえば、サーマルマーカ18では、遠赤外線を放射する素材、遠赤外線を遮断する素材、および遠赤外線を透過する素材のうちのいずれかを組み合わせることによってパターンが形成されてよい。あるいは、遠赤外線を遮断する素材から所定のパターンを切り抜くことによってサーマルマーカ18が形成されてよい。なお、サーマルマーカ18は、上記各素材を組み合わせることによって患者の着用する衣類に埋め込まれてもよい。
In the
形成されるパターンは、英字、数字、記号、図形など、認識可能であればどのような形状であってもよい。ただし、サーマルマーカ18の姿勢(方向)を検出可能なパターンでなければならない。図2に示すように、パターンは、逆三角形(A)、2つの異なる矩形を組み合わせた形状(B)、郵便記号に似た形状(C)等であってよい。この実施例では、ウレタンフォームで覆われたアルミ箔が使用され、切り抜くことによってパターンが形成される。つまり、切り抜かれた部分では熱線が透過し、素材の部分では熱線が遮断される。
The pattern to be formed may have any shape such as an alphabetic character, a number, a symbol, or a graphic as long as it can be recognized. However, the pattern must be capable of detecting the posture (direction) of the
サーマルマーカ18の取り付けられた箇所では、体温を源とする熱線が、パターンの形状に対応して透過され、遮断され、または放射されたりすることによって、温度差が形成される。したがって、サーマルカメラ14で撮影された赤外線画像中におけるサーマルマーカ18の存在箇所では、当該サーマルマーカ18のパターンに対応する遠赤外線の強度分布が生じる。たとえば、図2(A)のサーマルマーカ18が使用される場合には、赤外線画像では、図3に示すように、中央の逆三角形の部分は熱線透過によって白く表示され、周囲の部分は熱線遮断によって黒く表示される。したがって、サーマルマーカ18を通して患者の熱線を観測することによって、当該サーマルマーカ18のパターンを検出することができる。
At the location where the
サーマルマーカ18のパターンは、この実施例では、装着される患者ごとに異なるパターンである。つまり、サーマルマーカ18のパターンは、患者の識別情報に対応付けられる。したがって、この実施例では、サーマルマーカ18の識別情報すなわちパターンを検出することで、患者を特定することができる。
In this embodiment, the pattern of the
なお、サーマルマーカ18やそれを用いた個人識別などの技術の一例が、本件出願人が2004年7月13日に出願した特願2004−205809号に記載されるので参照されたい。
An example of a technique such as the
また、サーマルカメラ14で撮影した赤外線画像からパターンを抽出して、当該サーマルマーカ18の位置および方向(姿勢)を検出することができる。このサーマルマーカ18のパターンの抽出および位置姿勢検出のために、背景技術の欄で記載したARToolKit(http://www.hitl.washington.edu/artoolkit/)を使用することができる。
Further, the position and direction (posture) of the
ARToolKitは、現実世界と仮想世界の位置合わせのために画像処理によってマーカの位置姿勢を計測するソフトフェアライブラリである。ARToolKitは、入力画像から2次元マーカの位置(3次元座標)、および姿勢ないし方向(パン、チルト、ロール)を検出するための機能を提供する。また、当該マーカの識別情報すなわちパターンを自動的に抽出することもできる。 ARToolKit is a software library that measures the position and orientation of a marker by image processing for alignment between the real world and the virtual world. ARTToolKit provides a function for detecting the position (three-dimensional coordinates) and posture or direction (pan, tilt, roll) of a two-dimensional marker from an input image. Further, the identification information of the marker, that is, the pattern can be automatically extracted.
コンピュータ12のHDDなどの記憶装置には、このARToolKitの機能を含むプログラムが記憶されている。コンピュータ12は、ARToolKitの機能を使用して、サーマルカメラ14の取得した赤外線画像に基づいて、サーマルマーカ18のパターンとともにその位置および姿勢を検出する。
A program including the function of ARTToolKit is stored in a storage device such as an HDD of the
サーマルマーカ18は上述のように患者の身体の所定位置に装着されるので、検出されたサーマルマーカ18の位置および姿勢に基づいて、患者の位置および姿勢を推定することができる。たとえば、コンピュータ12のHDDまたはRAMなどの記憶装置には、たとえば自然体または所定の姿勢のときのサーマルマーカ18の装着位置や方向などを示す初期データが記憶されている。したがって、コンピュータ12は、サーマルマーカ18の検出された位置および方向と、記憶された初期位置および方向とに基づいて、患者の位置および姿勢などの身体動作をリアルタイムで検出することができる。なお、実験等によって、標準的な初期データを取得して、予めコンピュータ12の記憶装置に記憶しておいてよい。あるいは、当該患者自身にサーマルマーカ18を装着して、自然体または所定の姿勢にさせることによって、初期データを予めまたは診察およびリハビリテーションの前に取得するようにしてもよい。
Since the
このように、人体の熱という不可視情報を情報源として用いるので、患者の見た目には何ら変化を生じさせず、不必要に管理情報を第3者に知られることがない。したがって、サーマルマーカ18およびサーマルカメラ14の使用によって、患者に新たな負荷を加えることなく、かつ、そのプライバシ情報を侵害することなく、患者の身体の位置および姿勢を検出することができる。
Thus, since invisible information such as the heat of the human body is used as an information source, no change occurs in the appearance of the patient, and management information is not unnecessarily known to a third party. Therefore, by using the
サーマルマーカ18の検出位置に患者が存在するので、コンピュータ12は、プロジェクタ16を用いて当該患者の体表上に映像を重畳することができる。プロジェクタ16によって投影される画像は、人体内部情報であり、具体的には、骨格、筋肉、血管、内臓など、皮膚以外の身体の器官ないし構成部分である。
Since the patient is present at the detection position of the
コンピュータ12は、図1に示すように、体内情報データベース(DB)20および患者情報DB22を内部または外部に備える。体内情報DB20には、患者に投影される人体内部情報(体内情報)が登録されている。人体内部情報は3次元CGモデルであり、当該患者自身を撮影することによって得られたものであってもよいし、標準モデルであってもよい。
As shown in FIG. 1, the
具体的には、体内情報DB20には、図4に示すように、複数の3次元CGオブジェクトデータが体内情報IDに対応付けて記憶されている。3次元オブジェクトデータのファイルフォーマットは、たとえばVRML(Virtual Reality Modeling Language)2.0であってよい。たとえば、肺の見本、心臓の見本、消化器系の見本、胴体骨格の見本などの標準モデルとともに、AAさんの股関節のように患者個人の3DCGモデルが記憶される。患者個人の3DCGモデルが登録されていない場合等には、標準モデルが投影される。患者個人の3次元CGオブジェクトデータは、当該患者の医療用画像(X線CT、MRI、超音波など)から作成した3次元モデルデータである。標準モデルは、CGソフトウェアで人の手によって作成されたものであってもよいし、不特定の人の医療用画像から作成されたものであってもよい。また、標準モデルとしては、体格(外見上の大きさや性別など)ごとに異なるデータを準備してもよい。
Specifically, as shown in FIG. 4, the in-
患者情報DB22には、図5に示すように、患者に関する情報が記憶されている。たとえば電子カルテが記憶されてよい。具体的には、患者IDに対応付けられて、マーカID、患者自身の体内情報、患部情報、体格情報等に関する情報が記憶されている。マーカIDは、当該患者に装着されたサーマルマーカ18の識別情報である。たとえば、サーマルマーカ18に形成されたパターンのIDが記憶されてよい。
The
患者自身の体内情報には、当該患者自身の3DCGモデルが体内情報DB20に登録されている場合には当該体内情報のIDが記憶され、患者自身の3DCGモデルが体内情報DB20に登録されていない場合にはたとえば無しを示すデータが記憶される。図4および図5の例では、体内情報DB20に「AAさんの股関節」が記憶されているので、患者DB22におけるAAさんの患者自身の体内情報としては、当該体内情報IDである「100005」が記憶されている。
When the patient's own 3DCG model is registered in the in-
患部情報には、当該患者の患部を示す情報が記憶されている。たとえば、患者自身の体内情報が登録されていない場合には、この患部情報に対応する標準モデルの体内情報が投影されてよい。また、当該患者の体格に合わせた標準モデルが選択されてよい。 In the affected area information, information indicating the affected area of the patient is stored. For example, when the patient's own in-vivo information is not registered, the in-vivo information of the standard model corresponding to the affected part information may be projected. In addition, a standard model that matches the physique of the patient may be selected.
体格情報は、当該患者の体格を示す情報が記憶される。たとえば、大人男性、大人女性、子供男性および子供女性のような外見上の大きさと性別で区別した情報が記憶される。あるいは、体格情報は、身長、体重および性別等で区別した情報であってもよい。この実施例では、この体格情報に基づいて各3DCGモデルの投影位置が調整される。各体内情報すなわち各器官の配置は人の体格に応じて異なるためである。患者の体格を考慮して体内情報を投影する位置を算定することによって、より正確な位置に体内情報を投影することができる。 In the physique information, information indicating the physique of the patient is stored. For example, information distinguished by appearance size and gender such as an adult male, an adult female, a child male, and a female child is stored. Alternatively, the physique information may be information distinguished by height, weight, sex, and the like. In this embodiment, the projection position of each 3DCG model is adjusted based on this physique information. This is because each in-vivo information, that is, the arrangement of each organ differs depending on the physique. By calculating the position where the in-vivo information is projected in consideration of the patient's physique, the in-vivo information can be projected at a more accurate position.
体内情報の投影位置は、検出されたサーマルマーカ18の位置を基準として算定される。たとえば、コンピュータ12の記憶装置には、サーマルマーカ18の装着位置を基準とした各体内情報の位置を示す体内情報配置データが記憶されていて、当該体内情報配置データと検出されたサーマルマーカ18の位置に基づいて、各体内情報の投影位置が決められる。したがって、各体内情報は、患者の体表上において、当該体内情報の存在する位置に対応する位置で投影される。なお、この実施例のように体格を考慮する場合、体格ごとの体内情報配置データが記憶され、患者の体格情報に対応する体内情報配置データが使用されてよい。
The projection position of the in-vivo information is calculated based on the detected position of the
また、投影される体内情報すなわち3DCGモデルの姿勢は、患者の姿勢に応じて変形される。患者の姿勢は、上述のように、検出されたサーマルマーカ18の位置および姿勢に基づいて推定可能である。したがって、投影される3DCGモデルの姿勢を患者の姿勢に合わせて変化させることができる。
Further, the in-vivo information to be projected, that is, the posture of the 3DCG model is deformed according to the posture of the patient. As described above, the posture of the patient can be estimated based on the detected position and posture of the
なお、ARToolKitの通常の使用では、撮影装置(たとえばカラーカメラ)による撮影処理と表示装置(たとえばLCDモニタ)による表示処理とでは、同一の座標系を共有するので、キャリブレーションの必要がない。しかし、このシステム10で、サーマルカメラ14とプロジェクタ16とを単に配置しただけでは、両者の座標系は同一ではないので、患者の体表の指定した場所に正確に仮想世界を投影することができない。そのため、サーマルカメラ14およびプロジェクタ16の座標系を共通の座標系に統一するキャリブレーションが必要である。発明者らは、事前処理としてサーマルカメラ14とプロジェクタ16の位置合わせの実験を行い、投影位置を補正するための情報を予め準備し、当該投影位置補正情報をコンピュータ12のHDDなどの記憶装置に記憶している。体内情報の投影前には、当該投影位置補正情報に基づいて当該体内情報の投影位置が補正される。
It should be noted that in normal use of ARTToolKit, the photographing process by the photographing device (for example, a color camera) and the display processing by the display device (for example, an LCD monitor) share the same coordinate system, so that calibration is not necessary. However, if the
このようにして、サーマルマーカ18の検出によって獲得した患者の位置および姿勢を用いて、たとえばリハビリテーション中の患者と体内情報との間に幾何学的および時間的整合性が保たれるように、実時間で体内情報を変形することができ、当該変形した体内情報を動いている領域である患者の体表に重畳することができる。
In this way, using the position and posture of the patient acquired by detection of the
たとえば、図6に示すように、患者Pが投影範囲内で比較的長い距離を移動した場合であっても、当該患者Pの動きに追随して体内情報Qの投影位置を変化させることによって、当該体内情報Qを当該患者Pの体表において当該体内情報Qの存在位置に対応する位置に投影することができる。また、図7に示すように、リハビリテーションのような患者Pの動きを伴う医療場面でも、当該患者Pの動きに合わせて、リアルタイムに体内情報Q(図7では股関節を含む下肢の骨格)の位置および姿勢を変化させて当該患者Pの体表に投影することができる。したがって、体内情報Qを、患者Pと医者や看護師等の医療従事者Mとの間で共有することができる。 For example, as shown in FIG. 6, even when the patient P moves a relatively long distance within the projection range, by changing the projection position of the in-vivo information Q following the movement of the patient P, The in-vivo information Q can be projected onto a position corresponding to the position where the in-vivo information Q exists on the body surface of the patient P. Further, as shown in FIG. 7, even in a medical scene involving the movement of the patient P such as rehabilitation, the position of the in-vivo information Q (the skeleton of the lower limb including the hip joint in FIG. 7) in real time according to the movement of the patient P. And the posture can be changed and projected onto the body surface of the patient P. Therefore, the in-vivo information Q can be shared between the patient P and a medical worker M such as a doctor or a nurse.
なお、顔や背中など患者の視点から直接見ることができない部位に投影される体内情報については、鏡を利用することによって患者に無理なく観察させることができる。 It should be noted that in-vivo information projected onto a part that cannot be seen directly from the patient's viewpoint, such as the face or back, can be forced to observe by the patient by using a mirror.
さらに、患者Pの体表上にプロジェクタ16によって体内情報Qが投影されても、サーマルカメラ14で遠赤外放射を観測することによってサーマルマーカ18を検出できるので、サーマルマーカ18を見失うようなことなく常に追跡することができ、常に患者Pの位置および姿勢を把握できる。しかも、取得される患者の画像は不可視であり、患者に装着されるサーマルマーカ18は衣類内に隠したり埋め込んだりすることが可能であり、また、そのパターンは外見上は個人情報を特定不可能であるので、患者のプライバシを保護することができる。
Furthermore, even if the in-vivo information Q is projected on the body surface of the patient P by the
したがって、現場での経験に委ねられていた患者の精神面でのケアや医療スタッフと患者とのコミュニケーション等の作業を視覚的に支援できる。患者の体表に投影された体内情報を患者と医療スタッフとが共有することができるので、患者と医療スタッフとの間で円滑なコミュニケーションが可能になり、たとえば効果的なリハビリテーションを行うことが可能になる。具体的には、患者が自分の体表上に投影された体内情報によって自分の目でリハビリテーションの効果を確かめながら治療を受けることができるので、患者の積極的な取り組みを導き出すことができる。また、患者が自身の体内の様子を確認しながらリハビリテーションを進めることができるので、無理なリハビリテーションによる事故を回避することもできる。たとえば、股関節など人工関節置換手術後のリハビリテーションにおいて、患者が自身の関節の可動範囲を思い違ったまま無理に動かしてしまうことによって脱臼事故を引き起こしていたような事態を防止することが可能になる。 Therefore, it is possible to visually support tasks such as patient care and communication between the medical staff and the patient, which have been left to the field experience. In-vivo information projected on the patient's body surface can be shared between the patient and medical staff, enabling smooth communication between the patient and medical staff, for example, effective rehabilitation become. Specifically, since the patient can receive treatment while confirming the effect of rehabilitation with his / her eyes based on the in-vivo information projected on the body surface, the patient's active approach can be derived. In addition, since the patient can proceed with rehabilitation while checking the state of his / her body, accidents due to unreasonable rehabilitation can be avoided. For example, in rehabilitation after hip joint replacement surgery, such as a hip joint, it is possible to prevent a situation where a patient has caused a dislocation accident by forcibly moving the range of movement of his or her own joint while thinking about it. .
図8には、コンピュータ12のCPUによる投影処理の動作の一例が示される。この投影処理は一定時間ごと、たとえば1フレームまたは所定数フレームごとに、繰り返し実行される。投影処理が開始されると、まず、ステップS1で、サーマルカメラ14で撮影された遠赤外線画像が取得される。上述のように、コンピュータ12はサーマルカメラ14で撮影された映像から所定のサンプリングレートで画像データを取得する。
FIG. 8 shows an example of the projection processing operation performed by the CPU of the
次に、ステップS3で、画像処理が実行される。具体的には、サーマルマーカ18を認識するための前処理が実行される。上述のARToolKitでは、可視光画像が入力情報に想定されており、赤外線は可視光よりも非常に弱い。そのため、サーマルマーカ18の部分と体表の部分とのコントラスト比を増大させるために、取得した赤外線画像に前処理を施す。
Next, in step S3, image processing is executed. Specifically, preprocessing for recognizing the
続いて、ステップS5で、ARToolKitの機能を用いてサーマルマーカ18の認識が行われる。たとえば、前処理された画像からパターン認識によってサーマルマーカ18が抽出される。サーマルマーカ18のマーカIDに対応付けられたパターン、大きさおよび外形等の情報を含むマーカに関するデータは予め記憶装置に記憶されている。そして、サーマルマーカ18のパターンを特定するとともに、当該サーマルマーカ18の位置および方向(姿勢)を検出する。
Subsequently, in step S5, the
そして、ステップS7で、体内情報読出処理が実行される。これによって、必要に応じて体内情報が読み出される。体内情報読出処理の動作の一例は図9に示される。 In step S7, the in-vivo information reading process is executed. Thereby, the in-vivo information is read as necessary. An example of the operation of the in-vivo information reading process is shown in FIG.
図9の最初のステップS31では、認識されたサーマルマーカ18のパターンから当該マーカIDを特定して患者情報DB22を検索し、当該サーマルマーカ18に対応する患者IDを特定する。
In the first step S31 of FIG. 9, the marker ID is identified from the recognized pattern of the
次に、ステップS33で、当該患者IDが初めて認識されたか否かを判断する。つまり、当該患者には未だ体内情報が投影されていないか否かを判定している。ステップS33で“YES”であれば、ステップS35で、当該患者IDに対応する体内情報IDが特定される。たとえば、患者情報DB22において患者自身の体内情報として体内情報IDが登録されている場合には、当該患者自身の体内情報IDが患者情報DB22からRAMに読み出される。一方、患者自身の体内情報が登録されていない場合には、患者情報DB22から当該患者の患部情報を読み出して、当該患部に対応する体内情報IDを特定する。なお、患部情報としては当該患部に対応する体内情報IDが記憶されていてもよい。また、患者に複数の体内情報または患部情報が登録されている場合には、当該複数の体内情報IDの全てを投影情報として特定してもよいし、あるいは、当該複数の体内情報IDのうち入力装置の入力に応じて選択された1つまたは幾つかを投影情報として特定するようにしてもよい。ステップS35を終了すると処理はステップS41へ進む。
Next, in step S33, it is determined whether or not the patient ID is recognized for the first time. That is, it is determined whether in-vivo information has not yet been projected on the patient. If “YES” in the step S33, an in-vivo information ID corresponding to the patient ID is specified in a step S35. For example, when the in-vivo information ID is registered as the in-vivo information of the patient in the
一方、ステップS33で“NO”であれば、つまり、既に何らかの体内情報が患者に投影されている場合には、ステップS37で、表示すべき体内情報の選択があったか否かを入力装置からの入力データに基づいて判断する。たとえば、コンピュータ12の表示装置には、投影する体内情報を選択可能な入力画面が表示されており、医療スタッフは入力装置の操作によって投影する体内情報を選択可能になっているので、体内情報がリストから選択されて決定ボタンがクリックされたか否かが判定される。
On the other hand, if “NO” in the step S33, that is, if some in-vivo information has already been projected on the patient, whether or not the in-vivo information to be displayed has been selected is input from the input device in the step S37. Judgment based on data. For example, the display device of the
ステップS37で“YES”であれば、つまり、体内情報の選択が行われた場合には、ステップS39で、選択された体内情報に対応する体内情報IDを特定する。ステップS39を終了すると処理はステップS41へ進む。 If “YES” in the step S37, that is, if the in-vivo information is selected, the in-vivo information ID corresponding to the selected in-vivo information is specified in the step S39. When step S39 ends, the process proceeds to step S41.
また、ステップS37で“NO”であれば、つまり、既に体内情報が患者に重畳されており、かつ、体内情報の選択が行われなかったときには、そのままこの体内情報読出処理を終了する。したがって、現在の体内情報の投影が継続される。 If “NO” in the step S37, that is, if the in-vivo information has already been superimposed on the patient and the in-vivo information has not been selected, the in-vivo information reading process is ended as it is. Therefore, the projection of the current in-vivo information is continued.
ステップS41では、特定された体内情報IDに基づいて体内情報DB20が検索されて、該当する3DCGオブジェクトデータがRAMに読み出される。ステップS41を終了するとこの体内情報読出処理を終了して、処理は図8のステップS9へ戻る。このようにして、サーマルマーカ18に対応する体内情報または医療スタッフによって選択された体内情報が必要なタイミングで読み出される。
In step S41, the in-
図8のステップS9では、体内情報すなわち3DCGモデルの投影位置が算出される。上述のように、たとえば、検出されたサーマルマーカ18の位置と、記憶装置に記憶されている当該サーマルマーカ18の装着位置、当該患者の体格情報およびサーマルマーカ18の装着位置を基準とした体内情報の配置情報とに基づいて、当該体内情報の投影位置が決められる。これによって、当該3DCGモデルは、投影面上において算出された投影位置に存在するように仮想3次元世界で対応する位置に配置される。
In step S9 of FIG. 8, the in-vivo information, that is, the projection position of the 3DCG model is calculated. As described above, for example, the detected position of the
続いて、ステップS11で、サーマルマーカ18の位置および方向から患者の姿勢を推定する。上述のようにサーマルマーカ18の装着情報(初期の位置および方向)が記憶されているので、検出された位置および方向に基づいて、現在の患者の姿勢を推定することができる。
Subsequently, in step S11, the posture of the patient is estimated from the position and direction of the
そして、ステップS13で、体内情報すなわち3DCGモデルの姿勢を患者の姿勢に応じて変換する。たとえば、患者の姿勢に合わせて当該3DCGモデルが仮想3次元世界でとるべき姿勢が算出される。この姿勢情報に基づいて3DCGモデルは仮想3次元世界で回転される。 In step S13, the in-vivo information, that is, the posture of the 3DCG model is converted according to the posture of the patient. For example, the posture that the 3DCG model should take in the virtual three-dimensional world is calculated according to the posture of the patient. Based on this attitude information, the 3DCG model is rotated in a virtual three-dimensional world.
さらに、ステップS15で、投影位置の補正を実行する。たとえば、記憶装置に記憶されている投影位置補正情報に基づいて当該3DCGモデルの投影位置の座標を変換する。これによって、当該3DCGモデルは、投影面上で補正位置に存在するように仮想3次元世界で移動される。 In step S15, the projection position is corrected. For example, the coordinates of the projection position of the 3DCG model are converted based on the projection position correction information stored in the storage device. Accordingly, the 3DCG model is moved in the virtual three-dimensional world so as to exist at the correction position on the projection plane.
そして、ステップS17で、プロジェクタ16によって、体内情報すなわち3DCGモデルを患者体表に投影する。たとえば、当該体内情報すなわち3DCGオブジェクトデータ、姿勢情報および補正された位置情報等とともに描画コマンドがグラフィックボードに与えられて、当該3DCGモデルを所望の位置および姿勢で投影するための画像データが生成される。そして、グラフィックボードから当該画像データないし画像信号がプロジェクタ16に与えられて、プロジェクタ16は当該画像を投影する。したがって、患者の姿勢に合わせた姿勢に変形された器官が、患者の体表上において当該器官が実際に存在する位置に対応する位置に重畳される。ステップS17を終了すると処理はステップS1に戻る。このようにして、患者の動きを追跡することができ、患者の姿勢に合った体内情報を、当該体内情報の存在位置に対応する位置で当該患者の体表に投影することができる。
In step S17, the
なお、上述の実施例では、サーマルマーカ18で患者の位置および姿勢を検出するだけでなく、当該患者の個人認識も行えるようにした。しかし、他の実施例では、サーマルマーカ18には患者の識別情報を対応付けないようにしてもよい。この場合、投影対象である患者の識別情報は、コンピュータ12の入力装置を用いて医療従事者によって入力されるようにしてもよい。
In the above-described embodiment, not only the position and posture of the patient are detected by the
また、上述の各実施例では、患者の位置に応じて体内情報の投影位置を変化させた画像を生成してプロジェクタ16から投影させるようにしていた。しかし、他の実施例では、投影方向をパンおよび/またはチルト可能な変位機構を有するプロジェクタ16によって、患者の位置に応じて投影位置を変化させて体内情報を患者体表上に投影するようにしてもよい。
In each of the above-described embodiments, an image in which the projection position of the in-vivo information is changed according to the position of the patient is generated and projected from the
また、上述の各実施例では、1つのサーマルカメラ14を設けるようにした。しかし、他の実施例では、複数のサーマルカメラ14のそれぞれを部屋の各所定位置に設けることによって、サーマルマーカ18の視認性とともに患者の位置および姿勢の検出精度を向上させるようにしてもよい。
Further, in each of the above-described embodiments, one
10 …人体内部情報投影システム
12 …コンピュータ
14 …サーマルカメラ
16 …プロジェクタ
18 …サーマルマーカ
20 …体内情報DB
22 …患者情報DB
DESCRIPTION OF
22 ... Patient information DB
Claims (6)
前記人の所定位置に装着されるサーマルマーカ、
前記人および前記サーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、
前記人体内部情報を記憶する記憶手段、
前記サーマルカメラによって取得された前記遠赤外線画像に基づいて前記サーマルマーカの位置を検出する第1検出手段、
前記第1検出手段によって検出された前記サーマルマーカの前記位置に基づいて前記人体内部情報を投影する位置を算定する位置算定手段、および
前記位置算定手段によって算定された前記位置に基づいて前記人体内部情報を前記人の体表上に投影する投影手段を備える、人体内部情報投影システム。 A system for projecting human body internal information to a person,
A thermal marker to be worn at a predetermined position of the person,
A thermal camera for acquiring a far-infrared image including the person and the thermal marker ;
Storage means for storing the internal information of the human body;
First detection means for detecting the position of the thermal marker based on the far-infrared image acquired by the thermal camera;
Position calculating means for calculating a position for projecting the internal information of the human body based on the position of the thermal marker detected by the first detecting means; and the internal part of the human body based on the position calculated by the position calculating means. A human body internal information projection system comprising projection means for projecting information onto the human body surface.
遠赤外線を遮断する素材から形成され、前記人の所定位置に装着されるサーマルマーカ、A thermal marker that is formed from a material that blocks far-infrared rays and is attached to a predetermined position of the person,
前記人および前記サーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、A thermal camera for acquiring a far-infrared image including the person and the thermal marker;
前記人体内部情報を記憶する記憶手段、Storage means for storing the internal information of the human body;
前記サーマルカメラによって取得された前記遠赤外線画像に基づいて前記サーマルマーカの位置を検出する第1検出手段、First detection means for detecting the position of the thermal marker based on the far-infrared image acquired by the thermal camera;
前記第1検出手段によって検出された前記サーマルマーカの前記位置に基づいて前記人体内部情報を投影する位置を算定する位置算定手段、およびPosition calculating means for calculating a position for projecting the human body internal information based on the position of the thermal marker detected by the first detecting means; and
前記位置算定手段によって算定された前記位置に基づいて前記人体内部情報を前記人の体表上に投影する投影手段を備える、人体内部情報投影システム。A human body internal information projection system comprising projecting means for projecting the human body internal information onto the human body surface based on the position calculated by the position calculating means.
前記第1検出手段は前記サーマルマーカの前記パターンをさらに検出し、
前記投影手段は、前記第1検出手段によって検出された前記パターンに対応する前記人体内部情報を投影する、請求項1または2記載の人体内部情報投影システム。 The thermal marker is formed with a pattern associated with the identification information of the person,
The first detecting means further detects the pattern of the thermal marker;
The human body internal information projection system according to claim 1, wherein the projection unit projects the internal body information corresponding to the pattern detected by the first detection unit.
前記人の識別情報に対応付けられたパターンを有するように形成され、前記人の所定位置に装着されるサーマルマーカ、
前記人および前記サーマルマーカを含む遠赤外線画像を取得するためのサーマルカメラ、
前記人体内部情報を記憶する記憶手段、
前記サーマルカメラによって取得された前記遠赤外線画像に基づいて前記サーマルマーカの位置およびパターンを検出する第1検出手段、
前記第1検出手段によって検出された前記サーマルマーカの前記位置に基づいて前記人体内部情報を投影する投影位置を算定する位置算定手段、および
前記位置算定手段によって算定された前記位置に基づいて前記第1検出手段によって検出された前記パターンに対応する人体内部情報を前記人の体表上に投影する投影手段を備える、人体内部情報投影システム。 A system for projecting human body internal information to a person,
A thermal marker that is formed to have a pattern associated with the identification information of the person and is attached to a predetermined position of the person;
A thermal camera for acquiring a far-infrared image including the person and the thermal marker;
Storage means for storing the internal information of the human body;
First detection means for detecting a position and a pattern of the thermal marker based on the far-infrared image acquired by the thermal camera;
Wherein based on the position calculating means calculates a projection position for projecting the human body information, and is calculated by the previous SL position calculating means the said position on the basis of the position of the thermal marker detected by said first detection means A human body internal information projection system comprising projecting means for projecting human body internal information corresponding to the pattern detected by the first detection means onto the human body surface.
前記第1検出手段によって検出された前記サーマルマーカの位置および姿勢に基づいて前記人体内部情報の姿勢を変形する姿勢変形手段をさらに備え、
前記投影手段は、前記人体内部情報を前記姿勢変形手段によって変形された姿勢で投影する、請求項1ないし4のいずれかに記載の人体内部情報投影システム。 The first detection means further detects the attitude of the thermal marker;
Posture changing means for changing the posture of the human body internal information based on the position and posture of the thermal marker detected by the first detection means;
The human body internal information projection system according to claim 1, wherein the projecting unit projects the human body internal information in a posture deformed by the posture deforming unit.
(a) サーマルマーカを前記人の所定位置に装着するステップ、(a) attaching a thermal marker to the predetermined position of the person;
(b) サーマルカメラによって前記人および前記サーマルマーカを含む遠赤外線画像を取得するステップ、(b) acquiring a far infrared image including the person and the thermal marker by a thermal camera;
(c) 前記遠赤外線画像に基づいて前記サーマルマーカの位置を検出するステップ、(c) detecting the position of the thermal marker based on the far-infrared image;
(d) 前記サーマルマーカの位置に基づいて前記人体内部情報を投影する投影位置を算定するステップ、および(d) calculating a projection position for projecting the human body internal information based on the position of the thermal marker; and
(e) 前記投影位置に基づいて人体内部情報を前記人の体表上に投影するステップを含む、人体内部情報投影方法。(e) A human body internal information projection method including the step of projecting human body internal information onto the human body surface based on the projection position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005348455A JP4736040B2 (en) | 2005-12-01 | 2005-12-01 | Human body internal information projection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005348455A JP4736040B2 (en) | 2005-12-01 | 2005-12-01 | Human body internal information projection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007151686A JP2007151686A (en) | 2007-06-21 |
JP4736040B2 true JP4736040B2 (en) | 2011-07-27 |
Family
ID=38236799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005348455A Expired - Fee Related JP4736040B2 (en) | 2005-12-01 | 2005-12-01 | Human body internal information projection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4736040B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010014744B4 (en) * | 2010-04-13 | 2013-07-11 | Siemens Aktiengesellschaft | Apparatus and method for projecting information onto an object in thermographic surveys |
US9047514B2 (en) * | 2013-07-10 | 2015-06-02 | Christie Digital Systems Usa, Inc. | Apparatus, system and method for projecting images onto predefined portions of objects |
JP6413026B2 (en) | 2015-09-28 | 2018-10-24 | 富士フイルム株式会社 | Projection mapping device |
DE102017010801A1 (en) * | 2017-11-22 | 2019-05-23 | Drägerwerk AG & Co. KGaA | A method for non-contact skin temperature determination and apparatus for carrying out the method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002102251A (en) * | 2000-07-12 | 2002-04-09 | Siemens Ag | Visualization device and method for visualizing data on medical invasion into patient |
JP2005256232A (en) * | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for displaying 3d data |
JP2006102360A (en) * | 2004-10-08 | 2006-04-20 | Matsushita Electric Ind Co Ltd | Living body information presentation device |
-
2005
- 2005-12-01 JP JP2005348455A patent/JP4736040B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002102251A (en) * | 2000-07-12 | 2002-04-09 | Siemens Ag | Visualization device and method for visualizing data on medical invasion into patient |
JP2005256232A (en) * | 2004-03-12 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus and program for displaying 3d data |
JP2006102360A (en) * | 2004-10-08 | 2006-04-20 | Matsushita Electric Ind Co Ltd | Living body information presentation device |
Also Published As
Publication number | Publication date |
---|---|
JP2007151686A (en) | 2007-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11275249B2 (en) | Augmented visualization during surgery | |
KR102562252B1 (en) | How to align the patient's image data with the patient's actual field of view using an optical cord attached to the patient | |
JP7068348B2 (en) | Augmented reality display and tagging for medical procedures | |
JP7455847B2 (en) | Aligning the reference frame | |
US20240008935A1 (en) | Tracking methods for image-guided surgery | |
TWI678181B (en) | Surgical guidance system | |
CN107735016B (en) | System and method for scanning an anatomical structure and for displaying the results of the scanning | |
KR101647467B1 (en) | 3d surgical glasses system using augmented reality | |
Gsaxner et al. | Markerless image-to-face registration for untethered augmented reality in head and neck surgery | |
WO2018162079A1 (en) | Augmented reality pre-registration | |
CN107374729A (en) | Operation guiding system and method based on AR technologies | |
JP6930995B2 (en) | Stereoscopic image generation system, stereoscopic image generation method and stereoscopic image generation program | |
KR102582154B1 (en) | User terminal for providing augmented reality medical image using depth camera and method for providing augmented reality medical image | |
TWI697317B (en) | Digital image reality alignment kit and method applied to mixed reality system for surgical navigation | |
JP6162517B2 (en) | Position determination support apparatus and medical image diagnostic apparatus | |
JP2008216089A (en) | Instrument for measuring three-dimensional position and direction of specimen | |
CN111297501A (en) | Augmented reality navigation method and system for oral implantation operation | |
JP4736040B2 (en) | Human body internal information projection system | |
KR20230037007A (en) | Surgical navigation system and its application | |
KR20160057024A (en) | Markerless 3D Object Tracking Apparatus and Method therefor | |
JP6795744B2 (en) | Medical support method and medical support device | |
US20240144610A1 (en) | System and method for overlaying a hologram onto an object | |
JP2022149435A (en) | Information processing method, information processing device and program | |
JP2018088172A (en) | Information processing terminal, information processing system, image creating device, and program | |
Basiratzadeh | Augmented Reality Approach for Marker-based Human Posture Measurement on Smartphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110414 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |