JP2014130519A - 医用情報処理システム、医用情報処理装置及び医用画像診断装置 - Google Patents
医用情報処理システム、医用情報処理装置及び医用画像診断装置 Download PDFInfo
- Publication number
- JP2014130519A JP2014130519A JP2012288512A JP2012288512A JP2014130519A JP 2014130519 A JP2014130519 A JP 2014130519A JP 2012288512 A JP2012288512 A JP 2012288512A JP 2012288512 A JP2012288512 A JP 2012288512A JP 2014130519 A JP2014130519 A JP 2014130519A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- joint
- medical
- affected part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Public Health (AREA)
- Economics (AREA)
- Medical Informatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】電子カルテの情報入力を容易にすることを可能にする医用情報処理システム、医用情報処理装置及び医用画像診断装置を提供すること。
【解決手段】実施の形態の医用情報処理システムは、取得部と、抽出部と、選択部と、表示制御部とを備える。取得部が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部が、取得部によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部が、抽出部によって抽出された患部に関連するシェーマを選択する。そして、表示制御部が、選択部によって選択されたシェーマを出力部にて表示させるように制御する。
【選択図】図6
【解決手段】実施の形態の医用情報処理システムは、取得部と、抽出部と、選択部と、表示制御部とを備える。取得部が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部が、取得部によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部が、抽出部によって抽出された患部に関連するシェーマを選択する。そして、表示制御部が、選択部によって選択されたシェーマを出力部にて表示させるように制御する。
【選択図】図6
Description
本発明の実施の形態は、医用情報処理システム、医用情報処理装置及び医用画像診断装置に関する。
従来、医療機関においては、来院患者の診療情報の管理に電子カルテシステムが用いられるようになってきている。かかる電子カルテシステムは、診療室ごとに備えられた医師端末にて各患者のカルテ(電子カルテ)を呼出し、呼出した患者の電子カルテに種々の情報入力が行われる。例えば、電子カルテにおける情報入力は、医師が医師端末を用いて、患者の電子カルテに、その病状に従って主訴・所見等の内容・シェーマ図・オーダ内容等の情報入力を、予め用意された診療情報定義内容から個々に検索/選択して、これを用い入力することにより行われる。また、当該患者が再来患者である場合には、該患者の過去のカルテ情報を呼び出し、これをそのままコピーして今回の電子カルテに入力することもある。
一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ(motion capture)技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサーを利用して、センサーから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサーとしては、例えば、Kinect(登録商標)が知られている。
本発明が解決しようとする課題は、電子カルテの情報入力を容易にすることを可能にする医用情報処理システム、医用情報処理装置及び医用画像診断装置を提供することである。
実施の形態の医用情報処理システムは、取得手段と、抽出手段と、選択手段と、表示制御手段とを備える。取得手段は、動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する。抽出手段は、前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する。選択手段は、前記抽出手段によって抽出された患部に関連する関連情報を選択する。表示制御手段は、前記選択手段によって選択された関連情報を表示部にて表示させるように制御する。
以下、図面を参照して、実施形態に係る医用情報処理システム、医用情報処理装置及び医用画像診断装置を説明する。なお、以下、医用情報処理装置としての医師端末を含む医用情報処理システムを例に挙げて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る医用情報処理システム1の構成の一例を示す図である。図1に示すように、第1の実施形態に係る医用情報処理システム1は、医師端末100と、受付端末200と、サーバ装置300とを備える。医師端末100と、受付端末200と、サーバ装置300とは、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能な状態となっている。このような医用情報処理システム1は、例えば、PACS(Picture Archiving and Communication System)やHIS(Hospital Information System)、RIS(Radiology Information System)などが適用される。また、医用情報処理システム1は、例えば、電子カルテシステム、レセプト電算処理システム、オーダリングシステム、受付(個人、資格認証)システム、診療支援システムとしての機能なども備える。
図1は、第1の実施形態に係る医用情報処理システム1の構成の一例を示す図である。図1に示すように、第1の実施形態に係る医用情報処理システム1は、医師端末100と、受付端末200と、サーバ装置300とを備える。医師端末100と、受付端末200と、サーバ装置300とは、例えば、病院内に設置された院内LAN(Local Area Network)により、直接的、又は間接的に相互に通信可能な状態となっている。このような医用情報処理システム1は、例えば、PACS(Picture Archiving and Communication System)やHIS(Hospital Information System)、RIS(Radiology Information System)などが適用される。また、医用情報処理システム1は、例えば、電子カルテシステム、レセプト電算処理システム、オーダリングシステム、受付(個人、資格認証)システム、診療支援システムとしての機能なども備える。
受付端末200は、患者が来院した際の受付登録や、患者の電子カルテの作成又はサーバ装置300によって管理された電子カルテから当該患者の電子カルテの呼出しを実行する。そして、受付端末200は、受付時刻又は予約時刻に応じて、患者ごとの受付情報及び電子カルテの情報の待ち行列を作成して、サーバ装置300に送信する。
サーバ装置300は、登録患者の電子カルテを管理する。また、サーバ装置300は、受付端末200から受信した受付情報及び電子カルテの情報の待ち行列を管理する。例えば、サーバ装置300は、受信した受付情報及び電子カルテの情報の待ち行列を、診療科ごとに管理する。
医師端末100は、例えば、診察室ごとに設置された端末であり、医師によって電子カルテのカルテ情報が入力される。ここで、カルテ情報としては、例えば、症状や医師の所見などが挙げられる。医師は、医師端末100を操作して、サーバ装置300から待ち行列順に受付情報及び電子カルテの情報を読み出す。そして、医師は、該当する患者の診察を行い、読み出した電子カルテにカルテ情報の入力を行う。
図2Aは、第1の実施形態に係る電子カルテの表示画面の一例を説明するための図である。例えば、医師端末100は、図2Aに示すように、患者のカルテ情報が入力される領域であるカルテ領域R1と、カルテ領域R1にカルテ情報を入力するための操作ボタンなどが配置された操作領域R2とを有する電子カルテの表示画面を表示する。ここで、カルテ領域R1は、図2Aに示すように、例えば、氏名や生年月日、性別などの患者データが表示される領域R3、今回のカルテ情報が入力される領域R4、前回のカルテ情報が表示される領域R5などから構成される。また、操作領域R2は、カルテ情報にシェーマを利用する場合に、利用されるシェーマの選択を行う領域である領域R6や、各種機能が割り当てられた操作ボタンが配置された領域R7などから構成される。
例えば、医師は、領域R6や、領域R7などに配置されたボタンを操作して、電子カルテにカルテ情報の入力を行う。図2Bは、第1の実施形態に係るカルテ情報の入力の一例を説明するための図である。図2Bにおいては、カルテ情報としてシェーマを利用する際に、図2Aに示す領域R6に配置されたボタンを操作して表示されたシェーマの選択ウィンドウについて示す。
例えば、医師は、頭部のシェーマをカルテ情報として入力する場合に、図2Aに示す領域R6に配置されたボタンを操作することで、図2Bの右側の領域に示すように、複数の頭部のシェーマが表示された選択ウィンドウを表示させる。そして、医師は、表示された複数の頭部のシェーマの中から所望のシェーマを選択することで、図2Bに示すように、ウィンドウの左側の領域に選択したシェーマを表示させる。さらに、医師は、図2Bの左側の領域に配置されたボタンを操作することで、図2Bに示すように、シェーマの患部に相当する位置にマークを付与する。
そして、医師は、マークを付与したシェーマをカルテ情報として電子カルテに入力する。例えば、医師は、図2Aの領域R4にマークを付与したシェーマを入力する。診察が終了すると、医師端末100は、医師の操作に基づいて、カルテ情報が入力された電子カルテをサーバ装置300に送信する。サーバ装置300は、受信した電子カルテを患者ごとに管理する。
このように、電子カルテは、医師端末100において種々のカルテ情報の入力が行われる。ここで、従来技術においては、電子カルテの情報入力が煩雑となり、手間がかかる場合がある。例えば、図2Bに示すように、シェーマの入力に際しては、まず、患者から口頭や手で指し示すなどの動作によって患部の情報を得ることで、体のどの部位のシェーマを用いるのか、そして、部位ごとに複数あるシェーマのうち、どのシェーマを用いるのかを選択する。さらに、医師は、患部の範囲に応じて、シェーマ上にマークを付与する。従って、電子カルテにカルテ情報を入力する際に、選択操作を繰り返す場合があり、情報入力が煩雑となり手間がかかる場合があった。
そこで、第1の実施形態に係る医用情報処理システム1は、以下、詳細に説明する医師端末100の処理によって、電子カルテの情報入力を容易にすることを可能にする。図3は、第1の実施形態に係る医師端末100の構成の一例を示す図である。図1に示すように、第1の実施形態において、医師端末100は、動作情報収集部10に接続される。
動作情報収集部10は、診察が行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部14の処理を説明する際に詳述する。また、動作情報収集部10としては、例えば、Kinect(登録商標)が用いられる。
図3に示すように、動作情報収集部10は、例えば、カラー画像収集部11と、距離画像収集部12と、音声認識部13と、動作情報生成部14とを有する。なお、図3に示す動作情報収集部10の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
カラー画像収集部11は、診察が行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部11は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部11は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する1フレームのカラー画像情報を生成する。この1フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この1フレームに含まれる各画素にRGB(Red Green Blue)値が対応付けられた情報とが含まれる。カラー画像収集部11は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部11によって生成されるカラー画像情報は、各画素のRGB値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部11は、受光素子として、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)を有する。
距離画像収集部12は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部12は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部12は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部12との距離を求め、撮影範囲に対応する1フレームの距離画像情報を生成する。この1フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部12との距離が対応付けられた情報とが含まれる。距離画像収集部12は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部12によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部12は、受光素子として、例えば、CMOSやCCDを有する。この受光素子は、カラー画像収集部11で用いられる受光素子と共用されても良い。また、距離画像収集部12によって算出される距離の単位は、例えば、メートル[m]である。
音声認識部13は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部13は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部13は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部13は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部13は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
動作情報生成部14は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作(ジェスチャー)を複数の姿勢(ポーズ)の連続として捉えることにより生成される。概要を説明すると、動作情報生成部14は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部12によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部14は、次に、距離画像座標系における各関節の座標を、診察が行われる3次元空間の座標系(以下、「世界座標系」と呼ぶ)で表される値に変換する。この世界座標系で表される各関節の座標が、1フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第1の実施形態に係る動作情報生成部14の処理を具体的に説明する。
図4Aから図4Cは、第1の実施形態に係る動作情報生成部14の処理を説明するための図である。図4Aには、距離画像収集部12によって生成される距離画像の一例を示す。なお、図4Aにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置X」と、距離画像の上下方向における「画素位置Y」と、当該画素に対応する被写体と距離画像収集部12との「距離Z」とを対応付けた3次元の値を有する。以下では、距離画像座標系の座標の値を、この3次元の値(X,Y,Z)で表記する。
第1の実施形態において、動作情報生成部14は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部14は、距離画像収集部12によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部14は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
ここで、人体パターンについて説明する。図4Bには、人体パターンの一例を示す。第1の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報(以下、「人体表面」と呼ぶ)を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図4Bに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
図4Bに示す例では、人体パターンは、関節2aから関節2tまでの20点の関節の情報を有する。このうち、関節2aは、頭部に対応し、関節2bは、両肩の中央部に対応し、関節2cは、腰に対応し、関節2dは、臀部の中央部に対応する。また、関節2eは、右肩に対応し、関節2fは、右肘に対応し、関節2gは、右手首に対応し、関節2hは、右手に対応する。また、関節2iは、左肩に対応し、関節2jは、左肘に対応し、関節2kは、左手首に対応し、関節2lは、左手に対応する。また、関節2mは、右臀部に対応し、関節2nは、右膝に対応し、関節2oは、右足首に対応し、関節2pは、右足の足根に対応する。また、関節2qは、左臀部に対応し、関節2rは、左膝に対応し、関節2sは、左足首に対応し、関節2tは、左足の足根に対応する。
なお、図4Bでは、人体パターンが20点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節2aから関節2dまでのうち、関節2b及び関節2cの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節2iのみならず、右手の指の関節を新たに設定して良い。なお、図4Bの関節2a、関節2h、関節2l、関節2p、関節2tは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
動作情報生成部14は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部14は、図4Bに示す人体パターンの人体表面と、図4Aに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部14は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部14は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図4Cに示すように、動作情報生成部14は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
なお、動作情報生成部14は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係(例えば、「関節2aと関節2bとが連結」等)や、各関節の可動域が含まれる。関節は、2つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部14は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
続いて、動作情報生成部14は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる3次元空間の座標系であり、例えば、動作情報収集部10の位置を原点とし、水平方向をx軸、鉛直方向をy軸、xy平面に直交する方向をz軸とする座標系である。なお、このz軸方向の座標の値を「深度」と呼ぶことがある。
ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第1の実施形態において、動作情報生成部14は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部14は、ある関節の座標(X1,Y1,Z1)、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標(X1,Y1,Z1)を世界座標系の座標(x1,y1,z1)に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部14は、座標(X1,Y1,Z1)に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部14が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
そして、動作情報生成部14は、この世界座標系で表される各関節の座標から骨格情報を生成する。図5は、動作情報生成部14によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部14は、図5に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図5において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「2a」は、頭部に対応し、関節識別情報「2b」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
図5の1行目には、関節識別情報「2a」と、座標情報「(x1,y1,z1)」とが対応付けられている。つまり、図5の骨格情報は、あるフレームにおいて頭部が座標(x1,y1,z1)の位置に存在することを表す。また、図5の2行目には、関節識別情報「2b」と、座標情報「(x2,y2,z2)」とが対応付けられている。つまり、図5の骨格情報は、あるフレームにおいて両肩の中央部が座標(x2,y2,z2)の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
このように、動作情報生成部14は、距離画像収集部12から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部14は、生成した各フレームの骨格情報を、医師端末100へ出力し、後述の動作情報記憶部131へ格納する。
なお、動作情報生成部14の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部14が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
また、例えば、上述では、動作情報生成部14が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部14が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部14は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Z」の情報は含まれない。そこで、動作情報生成部14は、例えば、この「距離Z」の情報については距離画像情報から得て、これら2つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
また、動作情報生成部14は、カラー画像収集部11によって生成されたカラー画像情報、距離画像収集部12によって生成された距離画像情報及び音声認識部13によって出力された音声認識結果を、必要に応じて医師端末100へ適宜出力し、後述の動作情報記憶部131へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部11及び距離画像収集部12の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部14によって算出される世界座標系とも対応付けが可能である。さらに、この対応付けと距離画像収集部12によって算出される距離[m]を用いることで、身長や体の各部の長さ(例えば、腕の長さや腹部の長さなど)、及び、カラー画像上で指定された2点間(2ピクセル間)の距離を算出することも可能である。
また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部14は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節2aがあれば、その関節2aを含む人物が発した単語として出力可能である。更に、動作情報生成部14は、各関節の位置関係を表す情報についても、必要に応じて医師端末100へ適宜出力し、後述の動作情報記憶部131へ格納する。
なお、ここでは、動作情報収集部10によって一人の対象者の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部10の検知範囲に含まれていれば、動作情報収集部10は、複数人の対象者の動作を検知しても良い。かかる場合には、動作情報生成部14は、同一フレームの距離画像情報から複数人の人物の骨格情報をそれぞれ生成し、生成した各骨格情報を対応付けた情報を動作情報として医師端末100へ出力する。
また、動作情報収集部10の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部10は、必ずしも距離画像収集部12を有していなくても良い。かかる場合、動作情報収集部10は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサーとを有する。そして、動作情報収集部10は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部10は、カラー画像収集部11によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて医師端末100へ適宜出力する。また、例えば、動作情報収集部10は、音声認識結果を医師端末100へ出力しない場合には、音声認識部13を有していなくても良い。
更に、上述した実施形態において、動作情報収集部10は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部10は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、医師端末100側で行ってもよい。
図5の説明に戻る。医師端末100は、動作情報収集部10から出力される動作情報を用いて、電子カルテの情報(カルテ情報)入力を補助するための処理を行う。医師端末100は、例えば、コンピュータ、ワークステーション等の情報処理装置であり、図3に示すように、出力部110と、入力部120と、記憶部130と、制御部140とを有する。なお、医師端末100は、図示しない通信部を備え、受付端末200や、サーバ装置300などとの通信を行う。
出力部110は、電子カルテを作成するための各種情報を出力する。例えば、出力部110は、医師端末100を操作する操作者(医師)が入力部120を用いて各種要求を入力して電子カルテを作成するためのGUI(Graphical User Interface)を表示したり、医師端末100において生成された出力画像等を表示したりする。例えば、出力部110は、モニタ、スピーカー等である。
入力部120は、電子カルテを作成するための各種情報の入力を受け付ける。例えば、入力部120は、医師端末100の操作者(医師)から各種要求(例えば、サーバ装置300からの電子カルテの読み出し要求や、電子カルテへのカルテ情報の入力要求など)の入力を受け付け、受け付けた各種要求を医師端末100に転送する。ここで、入力部120は、電子カルテの読み出し要求として、患者の患者ID(氏名番号)などの情報を受付ける。入力部120は、例えば、マウス、キーボード、タッチコマンドスクリーン、トラックボール等である。
記憶部130は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部140は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路、或いはCPU(Central Processing Unit)が所定のプログラムを実行することで実現することができる。
以上、第1の実施形態に係る医師端末100の構成について説明した。かかる構成のもと、第1の実施形態に係る医師端末100は、動作情報収集部10によって収集された患者(動作取得の対象者)の動作情報を解析することで患部を抽出し、抽出した患部に関連する関連情報を選択することで、電子カルテの情報入力を容易にすることを可能にする。ここで、第1の実施形態においては、患部に関連する関連情報の一例として、シェーマを選択する場合について説明する。なお、シェーマとは、人体構造と患部との位置関係を示す模式図である。
図6は、第1の実施形態に係る医師端末100の詳細な構成の一例を示す図である。図6に示すように、医師端末100においては、例えば、記憶部130が動作情報記憶部131と、抽出条件記憶部132と、カルテ情報記憶部133とを備える。
動作情報記憶部131は、動作情報収集部10によって収集された各種情報を記憶する。具体的には、動作情報記憶部131は、動作情報生成部14によって生成された動作情報を記憶する。より具体的には、動作情報記憶部131は、動作情報生成部14によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部131は、動作情報生成部14によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。
抽出条件記憶部132は、動作情報から患者における患部を抽出するための抽出条件を記憶する。具体的には、抽出条件記憶部132は、動作条件における手の関節の情報に基づいて、患部を抽出するための抽出条件を記憶する。例えば、抽出条件記憶部132は、対象者の動作情報における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる2つの関節をつないだ線分までの距離が所定の閾値以下であり、かつ、最短となる線分上の位置に相当する部位を患部とする抽出条件を記憶する。ここで、抽出条件記憶部132は、所定のタイミングとして、所定の音声情報を取得したタイミングや、手の関節の動作が一定時間停止した場合などである。なお、上述した抽出条件の詳細な例は後述する。
また、例えば、抽出条件記憶部132は、対象者の動作情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を患部とする抽出条件を記憶する。言い換えると、抽出条件記憶部132は、手の関節が所定の領域内を動いていた場合に、当該領域に相当する部位を患部とする抽出条件を記憶する。例を挙げて説明すると、抽出条件記憶部132は、手の関節が一定の領域を往復して移動している場合や、ある関節の領域で一定時間停止している場合などに、それらの領域に相当する部位を患部とする抽出条件を記憶する。
カルテ情報記憶部133は、図示しない通信部を介してサーバ装置300から取得した電子カルテのカルテ情報を記憶する。具体的には、カルテ情報記憶部133は、入力部120を介して操作者(医師)から受付けた電子カルテの読み出し要求に応じて、通信部がサーバ装置300から取得した患者のカルテ情報を記憶する。例えば、カルテ情報記憶部133は、読み出し要求に対応する患者の過去のカルテ情報や、後述する制御部140の制御によって格納されたカルテ情報を記憶する。言い換えると、カルテ情報記憶部133は、医師端末100がサーバ装置300から読み出した電子カルテを診断中に記憶させておく記憶部である。すなわち、カルテ情報記憶部133によって記憶されたカルテ情報は、診断が終了した後、通信部を介してサーバ装置300に格納されることとなる。なお、カルテ情報記憶部133によって記憶されるカルテ情報の詳細な例については、後述する。
図6の説明に戻って、医師端末100においては、例えば、制御部140が取得部141と、抽出部142と、選択部143と、マーク付与部144と、表示制御部145と、カルテ情報格納部146とを備え、記憶部130に記憶された各種情報を用いて、カルテ情報の入力補助を実行して、電子カルテの情報入力を容易にすることを可能にする。
取得部141は、動作取得の対象となる対象者(患者)の動作情報を取得する。具体的には、取得部141は、動作情報収集部10によって収集され、動作情報記憶部131によって記憶された患者の動作情報を取得する。より具体的には、取得部141は、動作情報記憶部131によってフレームごとに記憶された患者の骨格情報を取得する。
例えば、取得部141は、来院した患者が診察の際に症状、患部などの主訴を行った時点に対応する動作の骨格情報を取得する。一例を挙げると、取得部141は、医師による問診が開始された時点のフレームから診察が終了した時点のフレームまでの患者の骨格情報を取得する。なお、取得部141による骨格情報の取得は、患者の診察が開始されるごとにそれぞれ実行される。
抽出部142は、取得部141によって取得された対象者(患者)の動作情報における関節の位置情報に基づいて、患部を抽出する。具体的には、抽出部142は、抽出条件記憶部132によって記憶された抽出条件を参照して、取得部141が取得した患者の骨格情報から患部を抽出する。図7は、第1の実施形態に係る抽出部142による処理の例を説明するための図である。図7においては、図7の(A)に動作情報収集部10によって収集された患者のカラー画像情報と関節の位置情報とを示す。また、図7の(B)においては、図7の(A)に示す情報から患部を抽出する第1の例を示す。また、図7の(C)においては、図7の(A)に示す情報から患部を抽出する第2の例を示す。
まず、第1の例について説明する。第1の例は、患者の動作情報(骨格情報)における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる2つの関節をつないだ線分までの距離が所定の閾値以下であり、かつ、最短となる線分上の位置に相当する部位を患部とする場合について説明する。
例えば、抽出部142は、取得部141によって診察が開始された時点のフレームから時系列順にリアルタイムで取得される患者の骨格情報を監視して、所定のタイミングにおける手の関節の位置から患部を抽出する。ここで、抽出部142は、所定のタイミングとして、例えば、「右腕が痛い」などの人体の部位を示す単語や、「ここが痛い」などの指示代名詞の単語などが患者から発せられた時点を用いることが可能である。すなわち、抽出部142は、音声認識部13によって生成された音声認識結果において、該当する単語が認識された時刻を所定のタイミングとして用いる。
また、抽出部142は、所定のタイミングとして、例えば、手の関節が骨から所定の距離以下の位置で一定時間停止した時点を用いることも可能である。すなわち、抽出部142は、体の表面上のある場所を一定時間触れている、或いは、押さえているような状態の場合に、その時点を所定のタイミングとして用いる。なお、手の関節が骨から所定の距離以下の位置で一定時間停止したか否かの判定は、取得部141によって取得される骨格情報において、手の関節の位置の座標の変化を解析することで行うことができる。ここで、手の関節が停止していると判定する際の座標変化の許容量及び、判定に用いる停止時間は、任意に設定することができる。例えば、患者の年齢などにより座標変化の許容量及び停止時間を変化させるように設定する場合であってもよい。
なお、上述した所定のタイミングは、あくまでも一例であり、これらのタイミング以外にも任意に適用することができる。例えば、音声認識の場合、患者から発生られた単語以外にも、医師が患部を触るように促す単語を発した時点であってもよい。
抽出部142は、上述したタイミングにおける手の関節の位置情報を用いて、患部を抽出する。例えば、抽出部142は、図7の(B)に示すように、左手に対応する関節識別情報「2l」の位置情報と、周囲の骨の情報とを用いて、患部を抽出する。すなわち、抽出部142は、まず、左手の関節識別情報「2l」に対応する座標情報を取得する。
そして、抽出部142は、同一フレームの他の関節に対応する関節識別情報の座標情報から骨に相当する部分の座標情報を算出する。例えば、抽出部142は、図7の(B)に示す「2h」〜「2g」間の骨の座標情報、「2g」〜「2f」間の骨の座標情報、「2f」〜「2e」間の骨の座標情報、「2e」〜「2b」間の骨の座標情報、「2b」〜「2i」間の骨の座標情報、「2i」〜「2j」間の骨の座標情報、「2j」〜「2k」間の骨の座標情報などを算出する。
ここで、抽出部142は、左手に対応する関節識別情報「2l」と繋がっていない骨の座標情報を算出する。すなわち、抽出部142は、手で容易に触れることができる部分の骨の座標情報を算出する。そして、抽出部142は、左手の座標情報と算出した各骨の座標情報とを用いて、左手から各骨までの距離を算出する。例えば、抽出部142は、左手「2l」から、「2h」〜「2g」間の骨、「2g」〜「2f」間の骨、「2f」〜「2e」間の骨、「2e」〜「2b」間の骨、「2b」〜「2i」間の骨、「2i」〜「2j」間の骨、「2j」〜「2k」間の骨までの距離をそれぞれ算出する。
そして、抽出部142は、算出した距離が所定の閾値以下であり、かつ、距離が最短となる骨を抽出する。例えば、抽出部142は、「2l」からの距離が所定の閾値以下であり、かつ、最小となる「2g」〜「2f」間の骨を抽出する。そして、抽出部142は、抽出した骨に対して手の先端を射影して、骨における位置を算出する。例えば、抽出部142は、図7の(B)に示すように、「2g」〜「2f」間の骨に対して、「2l」から射影し(点線)、射影した位置(「2g」〜「2f」間の骨と点線との交点)の位置を算出する。そののち、抽出部142は、例えば、「2g」〜「2f」間の骨と点線との交点の各関節からの距離を算出することで、骨の上の距離の割合を算出する。
すなわち、抽出部142は、図7の(B)に示す「2g」〜「2f」間の骨と点線との交点と、「2g」及び「2f」との距離をそれぞれ算出して、「2g」〜「2f」の距離に対する「2g」〜交点までの距離と、交点〜「2f」までの距離との割合をそれぞれ算出する。そして、抽出部142は、「2g」〜「2f」の骨における算出した割合の位置を患部として抽出する。
次に、第2の例について説明する。第2の例は、対象者(患者)の動作情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を患部とする場合について説明する。例えば、抽出部142は、手の関節の移動範囲から患部を抽出する。一例を挙げると、抽出部142は、図7の(C)に示すように、左肘に対応する関節識別情報「2j」を起点として、左手「2l」が、往復で移動している場合に、左手「2l」の停止位置の座標情報を往復移動している両端で算出する。そして、抽出部142は、算出した両端の座標情報を患部の領域の両端として、その間の領域を患部として抽出する。
すなわち、抽出部142は、図7の(C)の両端矢印に示す範囲を患部として抽出する。なお、抽出部142は、第1の例と同様に、所定のタイミングにおける手の関節と骨との距離算出を開始するように設定することができる。かかる場合には、抽出部142は、上述した所定のタイミング(音声認識または手の関節の動きを監視)で手の関節以外の関節の座標情報を取得して、手と骨との距離を算出する。そして、抽出部142は、手の関節との距離が所定の閾値以下であり、かつ、最短である骨を抽出して、抽出した骨に対する手の関節の移動状況を解析する。ここで、抽出部142は、手と骨との距離が所定の閾値以下の位置を推移している範囲についてのみ、患部の領域として抽出する。
図6に戻って、選択部143は、抽出部142によって抽出された患部に関連する関連情報を選択する。例えば、選択部143は、関連情報として、人体構造と抽出部142によって抽出された患部との位置関係を示すためのシェーマを選択する。図8は、第1の実施形態に係る選択部143のよる処理の一例を説明するための図である。図8においては、抽出部142によって患部がある位置として抽出された3つのパターンについてシェーマを選択する場合について示す。なお、抽出部142による患部の抽出は、上述した方法と同様である。
例えば、選択部143は、図8の(A)の図に示すように、右肘に対応する関節識別情報「2f」と右手首に対応する関節識別情報「2g」との間の丸印で示す位置が患部として抽出された場合に、患部として抽出された位置(丸印が付された位置)が含まれる全身の前面のシェーマを選択する。ここで、選択部143は、シェーマの選択に際して、患者が診療を受けている診療科の情報や、医師の専門の情報を組み合わせてシェーマを選択する。すなわち、選択部143は、各診療科で用いられるシェーマの違いや、医師の専門による使い分けなどを考慮したシェーマの選択を行う。なお、これらのシェーマ選択に係る情報は予め設定され、記憶部130に格納される。
選択部143は、抽出部142によって抽出された患部の情報と、シェーマ選択に係る情報と、患者が受診している診療科及び医師の専門に関する情報などに基づいて、カルテに記載されるシェーマとして最適なシェーマを選択する。ここで、選択部143は、まず、患部が含まれる部位のシェーマを選択し、選択した部位に相当する複数のシェーマの中から患部の位置関係をより表現できるシェーマを選択する。
例えば、図8の(B)に示すように、抽出部142が頭部にある患部を抽出すると、選択部143は、頭部を示す複数のシェーマを選択する(例えば、図2B参照)。そして、選択部143は、頭部「2a」の座標に対する左手の関節「2l」の座標の位置関係から患部が頭部の前面であると判定して、頭部を示す複数のシェーマの中から頭部前面のシェーマを選択する。
同様に、選択部143は、図8の(C)に示すように、抽出部142によって抽出された患部に対応するシェーマを、シェーマ選択に係る情報と、患者が受診している診療科及び医師の専門に関する情報などに基づいて選択する。
図6に戻って、マーク付与部144は、選択部143によって選択されたシェーマにおいて患部に相当する位置に患部位置を示す情報を付与する。図9は、第1の実施形態に係るマーク付与部144による処理の一例を示す図である。図9においては、図8において選択されたシェーマに対してそれぞれ患部位置を示す情報(マーク)を付与する場合について示す。
例えば、マーク付与部144は、図9の(A)に示すように、選択部143によって選択された全身前面のシェーマの右肘部分にマークM1を付与する。ここで、マーク付与部144は、抽出部142によって算出された骨の上における割合の情報を用いてシェーマ上にマークを付与する。同様に、マーク付与部144は、図9の(B)及び(C)に示すように、抽出部142によって算出された骨の上における割合の情報を用いて、各シェーマ上にマークM2及びマークM3を付与する。
以上、抽出部142によって患部が所定の位置として抽出された場合のシェーマの選択及びマークの付与について説明した。次に、図10を用いて、患部が領域として抽出された場合について説明する。図10は、第1の実施形態に係るシェーマの選択及びマーク付与の一例を示す図である。図10においては、図7の(C)において抽出した患部に対するシェーマの選択とマークの付与に付いて示す。
かかる場合には、選択部143は、図10に示すように、患部の領域(両端矢印で示す領域)の情報と、シェーマの選択に係る情報と、診療科の情報及び医師の専門の情報とから全身前面のシェーマを選択する。ここで、選択部143によるシェーマの選択は、上述した処理と同様である。
そして、マーク付与部144は、図10に示すように、選択部143によって選択されたシェーマ上の左腕の領域に患部を示すマークM4を付与する。ここで、マーク付与部144は、抽出部142によって抽出された患部の領域の情報(両端矢印で示す領域の座標情報)などに基づいて、シェーマ上のマークを付与する領域を決定して、決定した領域にマークを付与する。
図6に戻って、表示制御部145は、選択部143によって選択された関連情報を出力部110にて表示させる。具体的には、表示制御部145は、選択部143によって選択されたシェーマ上にマーク付与部144がマークを付与したシェーマを出力部110にて表示させる。
ここで、表示制御部145は、患部を抽出された患者の電子カルテに含まれる過去のシェーマから、マーク付与部144によってマークが付与された位置が患部と略一致するシェーマを抽出し、抽出したシェーマを出力部110にて表示する。図11は、第1の実施形態に係る表示制御部145による表示制御の一例を説明するための図である。
例えば、表示制御部145は、図11に示すように、今回選択したシェーマと比較して、今回付与されたマークの位置と近い位置にマークが付与されたシェーマを患者の電子カルテのカルテ情報から読み出して、出力部110にて表示する。一例を挙げると、表示制御部145は、同一患者の電子カルテに記憶されているシェーマのカルテ情報を取得して、取得したシェーマにおいて、今回付与されたマークの位置と近い位置にマークが付与された前回選択したシェーマを出力部110にて表示する。
また、表示制御部145は、今回選択したシェーマと同一のシェーマのカルテ情報を読み出して、出力部110にて表示させることも可能である。また、表示制御部145は、今回付与されたマークの位置と近い位置にマークが付与されたシェーマや、今回選択したシェーマと同一のシェーマのカルテ情報が複数記憶されていた場合に、最近のシェーマを表示するように制御することも可能である。また、表示制御部145は、今回付与されたマークの位置と近い位置にマークが付与されたシェーマや、今回選択したシェーマと同一のシェーマのカルテ情報が複数記憶されていた場合に、すべてのシェーマを表示するように制御することも可能である。
図6に戻って、カルテ情報格納部146は、患部が抽出された患者の主訴の音声及び当該患者の患部の位置が示された画像のうち、少なくとも一方を関連情報に対応付けて記憶部に格納する。具体的には、カルテ情報格納部146は、患者が発した主訴の音声情報などをシェーマの情報に対応付けてカルテ情報記憶部133に格納する。
図12は、第1の実施形態に係るカルテ情報格納部146による処理の一例を説明するための図である。図12に示すように、患者が医師に対して「肘に違和感があって、曲げると痛む」という主訴をして、右肘を左手で指し示すと、まず、取得部141、抽出部142、選択部143及びマーク付与部144が上述した処理を行うことで、シェーマにマークを入力する。ここで、カルテ情報格納部146は、音声識別部13によって生成された音声認識結果に含まれる主訴「肘に違和感があって、曲げると痛む」の音声データをカルテ情報に格納するとともに、マーク付与部144によって付与されたマークに音声データのリンクをつけたシェーマをカルテ情報記憶部133に格納する。
カルテ情報格納部146は、例えば、図12に示すように、患者IDに、音声ファイル、シェーマ及びマークIDを対応付けたカルテ情報をカルテ情報記憶部133に格納する。すなわち、カルテ情報格納部146は、カルテ情報「患者ID:100033、音声ファイル:2012−07−02−0005.mp3、シェーマ:全身、マークID:00000021」をカルテ情報記憶部133に格納し、その際にマークIDに音声リンクを付与する。
上述したように、第1の実施形態に係る医師端末100は、患者が診察を受けた際の動作情報から患部を抽出して、抽出した患部に最適なシェーマを選択して、マーク付与することができる。従って、従来、医師が自分で選択し、マークを付与していた作業を省略することができ、第1の実施形態に係る医師端末100は、電子カルテの情報入力を容易にすることを可能にする。
次に、図13を用いて、第1の実施形態に係る医師端末100の処理について説明する。図13は、第1の実施形態に係る医師端末100による処理の手順を示すフローチャートである。なお、図13においては、過去のシェーマを表示する場合の処理について示すが、過去のシェーマを表示しない場合であってもよい。
図13に示すように、第1の実施形態に係る医師端末100においては、音声保存モードがONである場合には(ステップS101肯定)、動作情報収集部10が患者の主訴の音声を取得する(ステップS102)。なお、音声保存モードがOFFである場合には(ステップS101否定)、ステップS102は実行せずにステップS103に進む。
ステップS103においては、対象者(患者)に関する情報を取得して(ステップS103)、動作情報収集部10によって収集される患者の動作情報から、抽出部142が患部を抽出する(ステップS104)。そして、選択部143が、抽出部142によって抽出された患部に対応するシェーマを選択して(ステップS105)、マーク付与部144が、通常のマーク又は主訴の音声がリンクされたマークをシェーマに付与する(ステップS106)。
その後、表示制御部145が、シェーマを表示し(ステップS107)、さらに、過去のシェーマを表示して(ステップS108)、保存操作を受け付けたか否かの判定を行う(ステップS109)。ここで、入力部120が操作者(医師)から保存操作を受け付けた場合には(ステップS109肯定)、カルテ情報格納部146が、音声保存モードであるか否かを判定する(ステップS110)。
ここで、音声保存モードではない場合には(ステップS110否定)、カルテ情報格納部146が、カルテ情報をカルテ情報記憶部133に格納して(ステップS111)、処理を終了する。一方、音声保存モードである場合には(ステップS110肯定)、カルテ情報格納部146が、音声データを対応付けたカルテ情報をカルテ情報記憶部133に格納して(ステップS112)、処理を終了する。なお、医師端末100は、保存操作を受付けるまで、シェーマの表示を継続する(ステップS109否定)。
上述したように、第1の実施形態によれば、取得部141が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部142が、取得部141によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部143が、抽出部142によって抽出された患部に関連するシェーマを選択する。そして、表示制御部145が、選択部143によって選択されたシェーマを出力部110にて表示させるように制御する。従って、第1の実施形態に係る医師端末100は、電子カルテのカルテ情報に係る選択作業を省略することができ、電子カルテの情報入力を容易にすることを可能にする。
また、第1の実施形態によれば、抽出部142は、患者の骨格情報における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる2つの関節をつないだ骨までの距離が所定の閾値以下であり、かつ、最短となる骨の上の位置に相当する部位を患部として抽出する。従って、第1の実施形態に係る医師端末100は、患者の診療時にとる動作に基づいて、患部を抽出することができ、正確なカルテ情報の選択処理を可能にする。
また、第1の実施形態によれば、抽出部142は、患者の骨格情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を患部として抽出する。従って、第1の実施形態に係る医師端末100は、患部が広範囲にわたっている場合にも対応することを可能にする。
また、第1の実施形態によれば、選択部143は、関連情報として、人体構造と抽出部142によって抽出された患部との位置関係を示すためのシェーマを選択する。従って、第1の実施形態に係る医師端末100は、電子カルテの情報入力において、煩雑になりやすい選択作業を省略することができ、情報入力をより容易にすることを可能にする。
また、第1の実施形態によれば、マーク付与部144は、選択部143によって選択されたシェーマにおいて患部に相当する位置に患部位置を示す情報を付与する。そして、表示制御部145は、マーク付与部144によって患部位置を示す情報が付与されたシェーマを出力部110にて表示させるように制御する。従って、第1の実施形態に係る医師端末100は、シェーマ上にマークを付与する作業も省略することができ、電子カルテの情報入力をさらに容易にすることを可能にする。
また、第1の実施形態によれば、表示制御部145は、患部を抽出された患者の電子カルテに含まれる過去のシェーマから、マーク付与部144によって患部位置の情報が付与された位置が抽出された患部と略一致するシェーマを抽出し、抽出したシェーマを出力部110にて表示させるように制御する。従って、第1の実施形態に係る医師端末100は、今回の診療と比較することが求められる過去の診療データを自動で読み出すことを可能にする。
また、第1の実施形態によれば、カルテ情報格納部146は、患部が抽出された患者の主訴の音声及び当該患者の患部の位置が示された画像のうち、少なくとも一方を関連情報に対応付けてカルテ情報記憶部133に格納する。従って、第1の実施形態に係る医師端末100は、診療時に患者が発した情報を音声や映像で保存することを可能にする。
(第2の実施形態)
上述した第1の実施形態では、関連情報としてシェーマを選択する場合について説明した。第2の実施形態では、電子カルテにおいて患部に対応する入力項目を選択して表示する場合について説明する。第2の実施形態では、第1の実施形態と比較して、選択部143による選択処理、及び、表示制御部145による表示制御の内容が異なる。以下、これらを中心に説明する。
上述した第1の実施形態では、関連情報としてシェーマを選択する場合について説明した。第2の実施形態では、電子カルテにおいて患部に対応する入力項目を選択して表示する場合について説明する。第2の実施形態では、第1の実施形態と比較して、選択部143による選択処理、及び、表示制御部145による表示制御の内容が異なる。以下、これらを中心に説明する。
第2の実施形態に係る選択部143は、関連情報として、抽出部142によって抽出された患部に関連する電子カルテの項目を選択する。図14は、第2の実施形態に係る選択部143による処理の一例を説明するための図である。例えば、選択部143は、図14に示すように、患者に対する医師の診察内容(胸に聴診器をあてる行為)から、電子カルテの所見の欄に「聴診結果」の見出しを表示させるように選択する。
また、選択部143は、図14に示すように、患者に対する医師の診察内容(胸に聴診器をあてる行為)から、聴診結果を入力するための聴診結果入力画面を表示させるように選択する。表示制御部145は、選択部143によって選択された電子カルテの項目を出力部110にて表示するよう制御する。
ここで、図14に示すように、患者に対する医師の行為を抽出する場合には、医師端末100は、各フレームにおいて、患者の動作情報と、医師の動作情報とをそれぞれ取得する。すなわち、取得部141は、動作情報収集部10によって収集されたフレームごとの患者の骨格情報と、医師の骨格情報とを取得する。そして、抽出部142は、取得部141によって取得された患者の骨格情報(各関節の座標情報)及び医師の骨格情報(各関節の座標情報)から、患者に対する医師の行為(診察内容)を抽出する。
例えば、抽出部142は、患者の各関節の座標に対する医師の手の関節の座標の位置関係から患者に対する医師の行為(診察内容)を抽出する。なお、医師の行為(診察内容)を抽出するための情報は、予め設定され記憶部130に格納される。一例を挙げると、記憶部130は、医師の手の関節が、患者の胸の周囲で一時的な停止を伴って移動していた場合に、胸に聴診器をあてているとする情報を記憶する。
また、聴診器をパターンマッチングにより検出することにより、医師が聴診をしていると抽出する場合であってもよい。なお、動作情報における患者と医師との識別は、どのような手法を用いる場合であってもよい。例えば、患者が座る位置と医師が座る位置とを予め座標上で設定しておき、その座標上で取得される骨格情報をそれぞれ患者の骨格情報及び医師の骨格情報として識別する場合であってもよい。
上述したように、第2の実施形態によれば、選択部143は、関連情報として、抽出部142によって抽出された患部に関連する電子カルテの項目を選択する。従って、第2の実施形態に係る医師端末100は、電子カルテ作成に係る種々の項目の医師による選択を省略することができ、電子カルテの情報入力を容易にすることを可能にする。
(第3の実施形態)
さて、これまで第1及び第2の実施形態について説明したが、上述した第1及び第2の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
さて、これまで第1及び第2の実施形態について説明したが、上述した第1及び第2の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
上述した第1の実施形態においては、患者の主訴を含む音声情報をカルテ情報として格納する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、画像をカルテ情報に対応付けて格納する場合であってもよい。例えば、カルテ情報格納部146は、動作情報収集部10のカラー画像収集部11によって収集されたカラー画像において、患者が患部を触っている画像を静止画又は動画で保存する。
上述した第1〜第3の実施形態においては、動作情報収集部10が一定の収集条件で動作情報を収集する場合について説明した。しかしながら、実施形態はこれに限定されるものでなはなく、例えば、抽出部142によって抽出された患部の情報に応じて、収集条件を変更させる場合であってもよい。
図15は、第3の実施形態に係る医師端末100による動作情報の収集条件の変更処理を説明するための図である。例えば、図15に示すように、抽出部142が、患者の右腕を患部として抽出した場合に、医師端末100は、動作情報収集部10に対してカメラの方向やズームを変更するように制御する。例えば、医師端末100は、図15に示すように、右腕の患部が画面の中央に位置するようにカメラの方向を変更させ、さらに、患部が適当な大きさで写るように拡大して撮影するように制御する。
また、医師端末100は、図15に示すように、撮影されたカラー画像において、患部として抽出された画像領域を切り出して、保存するように制御することも可能である。その他、医師端末100は、抽出した患部の情報に基づいて、例えば、カラー画像に含まれる患部の面積や色を測定して、過去に測定した結果と比較することも可能である。また、医師端末100は、患部の過去画像が保存されていた場合に、過去に撮影した際の拡大率と同一の拡大率で撮影現在の患部を撮影して、並列表示するように制御することも可能である。
上述した第1の実施形態では、医師端末100が、患部を抽出して、患部に関連する関連情報(例えば、シェーマや、電子カルテの項目など)を選択して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサーバ装置300によって実行される場合であってもよい。
すなわち、サーバ装置300は、医師端末100と同様の処理を医師端末100に提供する。かかる場合には、サーバ装置300は、取得部141と、抽出部142と、選択部143と、表示制御部145とを有する。取得部141が、動作取得の対象となる患者の関節の位置情報を含む骨格情報を取得する。そして、抽出部142が、取得部141によって取得された患者の骨格情報における関節の位置情報に基づいて、患部を抽出する。そして、選択部143が、抽出部142によって抽出された患部に関連するシェーマを選択する。そして、表示制御部145が、選択部143によって選択されたシェーマを医師端末100の出力部110にて表示させるように制御する。
上述した第1の実施形態では、医師端末100が、患部を抽出して、患部に関連する関連情報(例えば、シェーマや、電子カルテの項目など)を選択して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、超音波診断装置や、X線診断装置などの医用画像診断装置が各処理を実行する場合であってもよい。
例えば、超音波診断装置において処理が実行される場合には、超音波診断装置は、まず、患者の座標情報に対する超音波プローブを操作する医師の手の関節の座標情報を取得する。そして、超音波診断装置は、取得した座標情報から超音波プローブが当てられている患部を抽出して、抽出した患部に対応するボディマークをモニタなどの出力部に表示するように制御する。このとき、超音波診断装置は、超音波画像とともにボディマークを表示するように制御することも可能である。
また、第1の実施形態から第2の実施形態において説明した取得部141、抽出部142、選択部143及び表示制御部145の機能は、ソフトウェアによって実現することもできる。例えば、取得部141、抽出部142、選択部143及び表示制御部145の機能は、上記の実施形態において取得部141、抽出部142、選択部143及び表示制御部145が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、CPUやMPU等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、CD−ROM(Compact Disc − Read Only Memory)やMO(Magnetic Optical disk)、DVD(Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
以上説明したとおり、第1〜第3の実施形態によれば、本実施形態の医用情報処理システム、医用情報処理装置及び医用画像診断装置は、電子カルテの情報入力を容易にすることを可能にする。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 動作情報収集部
100 医師端末
140 制御部
141 取得部
142 抽出部
143 選択部
144 マーク付与部
145 表示制御部
146 カルテ情報格納部
100 医師端末
140 制御部
141 取得部
142 抽出部
143 選択部
144 マーク付与部
145 表示制御部
146 カルテ情報格納部
Claims (11)
- 動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する取得手段と、
前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する抽出手段と、
前記抽出手段によって抽出された患部に関連する関連情報を選択する選択手段と、
前記選択手段によって選択された関連情報を表示部にて表示させるように制御する表示制御手段と、
を備えたことを特徴とする医用情報処理システム。 - 前記抽出手段は、前記対象者の動作情報における関節の位置情報において、所定のタイミングにおける手の関節の位置から、当該手の関節とは異なる2つの関節をつないだ線分までの距離が所定の閾値以下であり、かつ、最短となる線分上の位置に相当する部位を前記患部として抽出することを特徴とする請求項1に記載の医用情報処理システム。
- 前記抽出手段は、前記対象者の動作情報における関節の位置情報において、手の関節の位置の所定の移動範囲に相当する部位を前記患部として抽出することを特徴とする請求項1又は2に記載の医用情報処理システム。
- 前記選択手段は、前記関連情報として、人体構造と前記抽出手段によって抽出された患部との位置関係を示すための模式図を選択することを特徴とする請求項1〜3のいずれか一つに記載の医用情報処理システム。
- 前記選択手段によって選択された模式図において前記患部に相当する位置に患部位置を示す情報を付与する付与手段をさらに備え、
前記表示制御手段は、前記付与手段によって前記患部位置を示す情報が付与された模式図を前記表示部にて表示させるように制御することを特徴とする請求項4に記載の医用情報処理システム。 - 前記表示制御手段は、前記患部を抽出された患者の電子カルテに含まれる過去の模式図から、前記付与手段によって前記患部位置の情報が付与された位置が前記抽出された患部と略一致する模式図を抽出し、抽出した模式図を前記表示部にて表示することを特徴とする請求項5に記載の医用情報処理システム。
- 前記患部が抽出された患者の主訴の音声及び当該患者の患部の位置が示された画像のうち、少なくとも一方を前記関連情報に対応付けて記憶部に格納する格納手段をさらに備えることを特徴とする請求項1〜6のいずれか一つに記載の医用情報処理システム。
- 前記取得手段は、前記抽出手段によって抽出された患部の位置に応じて、前記対象者の動作情報を取得するためのカメラの向き及び拡大率のうち、少なくとも一方を変更するように制御することを特徴とする請求項1〜7のいずれか一つに記載の医用情報処理システム。
- 前記選択手段は、前記関連情報として、前記抽出手段によって抽出された患部に関連する電子カルテの項目を選択することを特徴とする請求項1〜8のいずれか一つに記載の医用情報処理システム。
- 動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する取得手段と、
前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する抽出手段と、
前記抽出手段によって抽出された患部に関連する関連情報を選択する選択手段と、
前記選択手段によって選択された関連情報を表示部にて表示させるように制御する表示制御手段と、
を備えたことを特徴とする医用情報処理装置。 - 医用画像を生成する医用画像生成手段と、
動作取得の対象となる対象者の関節の位置情報を含む動作情報を取得する取得手段と、
前記取得手段によって取得された対象者の動作情報における関節の位置情報に基づいて、患部を抽出する抽出手段と、
前記抽出手段によって抽出された患部に関連する関連情報を選択する選択手段と、
前記医用画像生成手段によって生成された医用画像及び前記選択手段によって選択された関連情報を表示部にて表示させるように制御する表示制御手段と、
を備えたことを特徴とする医用画像診断装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288512A JP2014130519A (ja) | 2012-12-28 | 2012-12-28 | 医用情報処理システム、医用情報処理装置及び医用画像診断装置 |
PCT/JP2013/085244 WO2014104357A1 (ja) | 2012-12-28 | 2013-12-27 | 動作情報処理システム、動作情報処理装置及び医用画像診断装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012288512A JP2014130519A (ja) | 2012-12-28 | 2012-12-28 | 医用情報処理システム、医用情報処理装置及び医用画像診断装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014130519A true JP2014130519A (ja) | 2014-07-10 |
Family
ID=51021418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012288512A Pending JP2014130519A (ja) | 2012-12-28 | 2012-12-28 | 医用情報処理システム、医用情報処理装置及び医用画像診断装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2014130519A (ja) |
WO (1) | WO2014104357A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3336799A2 (en) | 2016-12-19 | 2018-06-20 | Hitachi-LG Data Storage, Inc. | Image processing apparatus and image processing method combining views of the same subject taken at different ranges |
WO2023053257A1 (ja) * | 2021-09-29 | 2023-04-06 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207568A (ja) * | 1999-01-20 | 2000-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 姿勢の計測装置及び姿勢の計測プログラムを記録した記録媒体 |
JP2002109061A (ja) * | 2000-09-29 | 2002-04-12 | Kubota Corp | 生活情報取得システム及びケアプランの作成方法 |
CN101243471B (zh) * | 2005-08-19 | 2013-03-06 | 皇家飞利浦电子股份有限公司 | 对用户的运动进行分析的***和方法 |
JP5274180B2 (ja) * | 2008-09-25 | 2013-08-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP5355111B2 (ja) * | 2009-01-27 | 2013-11-27 | キヤノン株式会社 | 診断支援装置及び診断支援方法 |
-
2012
- 2012-12-28 JP JP2012288512A patent/JP2014130519A/ja active Pending
-
2013
- 2013-12-27 WO PCT/JP2013/085244 patent/WO2014104357A1/ja active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3336799A2 (en) | 2016-12-19 | 2018-06-20 | Hitachi-LG Data Storage, Inc. | Image processing apparatus and image processing method combining views of the same subject taken at different ranges |
WO2023053257A1 (ja) * | 2021-09-29 | 2023-04-06 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体 |
JP7485233B2 (ja) | 2021-09-29 | 2024-05-16 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2014104357A1 (ja) | 2014-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6675462B2 (ja) | 動作情報処理装置 | |
US10170155B2 (en) | Motion information display apparatus and method | |
JP6878628B2 (ja) | 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品 | |
JP6181373B2 (ja) | 医用情報処理装置及びプログラム | |
JP6334925B2 (ja) | 動作情報処理装置及び方法 | |
JP6381918B2 (ja) | 動作情報処理装置 | |
JP6323451B2 (ja) | 画像処理装置及びプログラム | |
JP2015061579A (ja) | 動作情報処理装置 | |
JP6258084B2 (ja) | 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム | |
JP6598422B2 (ja) | 医用情報処理装置、システム及びプログラム | |
WO2014104357A1 (ja) | 動作情報処理システム、動作情報処理装置及び医用画像診断装置 | |
JP6266317B2 (ja) | 診察支援装置及び診察支援方法 | |
JP6320702B2 (ja) | 医用情報処理装置、プログラム及びシステム | |
JP2015039615A (ja) | 医用画像処理装置及び医用画像表示システム |