JP2018107603A - センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具 - Google Patents

Abstract

【課題】本発明によれば、作業等の影響によってセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができる。【解決手段】 センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部とを具備し、作業等の影響によってセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができる。【選択図】図１

Description

本発明は、

撮影機器や録音機器は、イメージセンサやマイクロホン等のセンサによって、画像情報や音声情報等の情報（以下、センサ情報という）を取得する。センサは、センサ情報を取得する範囲の制限から配置位置や配置方向を変更した方がより有用な情報を取得できる場合がある。また、センサの配置位置や配置方向の変更を行うことなく、センサ情報の有効な取得範囲を変更できる装置も開発されている。

例えば、マイクロホンを複数用いることで、高い感度が得られる方向を切換えることが可能な指向性切換え機能を有するマイクロホン装置も開発されている。例えば、ユーザが指向性を切換えて、いずれの方向の感度を高くするかを指定することで、ユーザがマイクロホンの向きを変えることなく、所望の方向の感度を高くすることが可能である。

また、イメージセンサは、被写体光学像をイメージセンサの撮像面に入射させる光学レンズの焦点距離及び撮像面のサイズによって画角が決定し、光学レンズの光軸方向と被写体距離が決まると、撮影範囲が決定する。ユーザが撮影機器の向きを変えることで、撮影範囲を変更することができる。その他、ズーム機能や撮像エリアの切り替え等で画角変更が可能である。また、特許文献１には、腹腔鏡装置による臨床時において、体腔内に位置する処置具の先端部の位置を検出し、この先端部がモニタの画像の中心に位置するように処置具の先端部を追尾する体腔内観察装置も提案されている。

特開２００７−２２２２３９号公報

このように、従来、ユーザが指定した方向に感度を高くする指向性を有するマイクロホンやユーザが指定した方向を撮影中心とする撮影機器が開発されている。これにより、ユーザによってマイクロホンや撮影機器の配置位置や配置方向を変更することなく、所望の対象物に関するセンサ情報を取得することが可能である。

しかしながら、特許文献１の提案では、処置具の先端部が、撮影対象である体腔内の観察部位から離間した場合には、観察部位である対象物を撮影することができないことがある。また、ユーザが情報を取得しようとする対象物が移動していないにも拘わらず、ユーザ等によってマイクロホンや撮影機器の配置位置や配置方向が変更された場合には、センサは所望の対象物に関する有効なセンサ情報を取得することはできないことがあるという問題があった。

本発明は、例えば、作業等の影響によって、ユーザが装着したセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができるセンサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具を提供することを目的とする。

本発明の一態様によるセンサ情報取得装置は、センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部とを具備する。

また、本発明の一態様によるセンサ情報取得方法は、センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報を取得し、取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する。
本願では、主に、対象物は比較的動きが少ないのに、ユーザの身体に装着した機器、装置が、ユーザの立ち居振る舞い、作業等によって、ユーザが意識しないうちに向きを変えてしまうことによって生じる課題を克服する。ユーザの顔の動きによって眼鏡型端末も向きを変え、腕時計型端末は、手の動きによって頻繁に向きを変えることになるが、作業等に集中していると、ユーザは機器、装置の状態が変わっていることに対し、注意を払っている余裕がないが、そのような状況下でも、ユーザを補助しつづける事が重要である。ユーザの身体の動きによる影響に比べ、対象物の位置変化は比較的小さい事も想定しているが、必ずしも、それは必須条件ではない。

また、本発明の一態様によるセンサ情報取得プログラムは、コンピュータに、センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定する手順と、前記センサが取り付けられる変位部の変位に関する情報を取得する手順と、取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する手順とを実行させる。

また、本発明の一態様による医療器具は、変位自在な処置部と、前記処置部との位置関係が固定なセンサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記変位部の変位に関する情報を取得する情報取得部と、取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部とを具備する。

本発明によれば、例えば、作業等の影響によって、装着したセンサの位置や向き等が変更された場合でも、常に所望の対象物に関する有効なセンサ情報を取得することができるという効果を有する。

本発明の第１の実施の形態に係るセンサ情報取得装置を示すブロック図。 図１中のウェアラブル部１０の外観を説明するための説明図。 ウェアラブル部１０の各部と顔との位置関係を示す説明図。 眼鏡型端末装置の視界を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 第１の実施の形態の動作を説明するためのフローチャート。 本発明の他の実施の形態を示すブロック図。 図８中の医療器具７０の外観を示す説明図。 ウェアラブル部８０の各部と顔との位置関係を示す説明図。 眼鏡型端末装置の視界を説明するための説明図である。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するための説明図。 変形例を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係るセンサ情報取得装置を示すブロック図である。図１は外部機器２０とセンサ情報取得装置を構成するウェアラブル部１０とによって、情報処理システムが構成された例を示している。本実施の形態において、外部機器２０はセンサ情報取得装置に必須の構成ではない。

本実施の形態はマイクロホンが取得する音声情報の発生源である対象物（以下、追尾対象物ともいう）を設定すると共に、この設定時のマイクロホンの向きを基準に、マイクロホンから当該追尾対象物への方向の変化を所定のセンサによって検出し、マイクロホンと追尾対象物との相対的な位置関係の変化に応じてマイクロホンの指向性を制御することで、常に、追尾対象物から有効な音声情報を取得することを可能にするものである。マイクロホンと対象物の位置関係は、マイクロホン側の動きによっても、対象物側の動きによっても変わって来るが、本願は、このマイクロホンなどがウェアラブル機器であるがゆえに生じる、ユーザの姿勢や立ち居振る舞いなどによって生じる相対位置関係の変化を対策しようとしている。これにより、例えばユーザが何らかの作業等を行う結果、マイクロホンの向きが変更されてしまった場合でも、常に、追尾対象物方向の感度を高くする指向性制御を行って、追尾対象物方向から効率良く音声を収音することができる。対象物の方は、比較的動きが小さい事を想定しており、これによって、もっぱらユーザの身体の動きに対して機器性能を補正することを重点的に記載してあるが、対象物が変化した場合も、その状況をモニタして、その結果に応じて制御を変更しても良い。背景と対象物の関係が把握可能で、これらの関係が大きく変わらない状況であれば、動きの補償の対象はユーザの動きであると考えられる。また、ユーザの動きでも、装着部位によって動き方に特徴や制約があるので、その部位特有の動きを想定してマイクロホンの指向性を制御するという動き補償制御を行っても良い。

ウェアラブル部１０は、図１の回路を内蔵した筐体をユーザの身体の一部に取り付けるための図示しない係止部を有しており、ユーザの動きに合わせて変位自在である。例えば、ウェアラブル部１０が眼鏡型で構成された場合には、眼鏡のツルが係止部となり、ユーザの顔の動きに合わせて、ウェアラブル部１０全体が移動する。

ウェアラブル部１０は制御部１１を備えている。制御部１１は、ウェアラブル部１０の各部を制御する。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

制御部１１には表示制御部１１ａが設けられている。表示制御部１１ａは、表示に関する各種処理を実行する。表示制御部１１ａは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部１１とは別体に構成されていてもよい。表示制御部１１ａは、表示部１３の表示を制御する。表示部１３は、ＬＣＤ等の表示画面を有しており、表示制御部１１ａから与えられた画像を表示する。例えば、表示制御部１１ａは、後述する画像取得部１２ａからの撮像画像を表示部１３の表示画面上に表示させることができる。

ウェアラブル部１０は情報取得部１２を有している。情報取得部１２は、ユーザが情報の取得を希望する追尾対象物に関するセンサ情報を取得するものであり、例えば、画像取得部１２ａ、音声取得部１２ｂ及び姿勢取得部１２ｃを備えている。画像取得部１２ａは、例えば、図示しないイメージセンサによって構成することができ、追尾対象物を撮像して撮像画像を取得することができる。画像取得部１２ａは、取得した撮像画像をセンサ情報として制御部１１に出力するようになっている。本実施の形態においては、画像取得部１２ａは、広角レンズを採用することで、広角画像を取得することができるようになっている。

音声取得部１２ｂは、例えば、マイクロホンによって構成することができ、追尾対象物からの音声を取得することができる。本実施の形態においては、音声取得部１２ｂは、指向性が制御可能に構成されており、制御部１１に制御されて、最も感度が高くなる方向（以下、ビーム方向という）が制御されるようになっている。即ち、ビーム方向が音声取得部１２ｂによる情報取得方向である。例えば、音声取得部１２ｂは、指向方向が可変のマイクロホン装置によって構成することができる。

指向方向が可変のマイクロホン装置としては、例えば、所定方向に配列した複数の全指向性マイクロホンによって構成されたものでもよい。例えば、特性が等しい２個の全指向性マイクロホンを所定の間隔で配置するものとする。これらのマイクロホンに所定の方向θから音声信号が到来するものとする。各マイクロホンに対する音声信号の経路差によって、各マイクロホンには、異なる伝搬遅延時間で音声信号が到来する。伝搬遅延時間の差は、マイクロホン同士の間隔と到来方向θとによって求めることができる。先に音声信号が到来する一方のマイクロホンの出力を伝搬遅延時間の差に相当する遅延量だけ遅延量可変の遅延回路によって遅延させることで、その位相を後に音声信号が到来する他方のマイクロホンの出力の位相に一致させることができる。従って、遅延回路の出力と他方のマイクロホンの出力とを加算することで、到来方向θに対して最も大きな出力を得ることができる。なお、到来方向θ以外の方向からの音声信号に対する遅延回路の出力の位相は、他のマイクロホンの出力の位相とは一致しておらず、加算結果は最も大きな出力とはならない。即ち、この場合には、この装置は、到来方向θがビーム方向となる。遅延回路の遅延量を適宜設定することで、任意の方向をビーム方向とした可変指向性マイクロホン装置を得ることができる。音声取得部１２ｂとして、このような可変指向性マイクロホン装置を採用した場合には、制御部１１は、指定したいビーム方向に応じた遅延量を遅延回路に設定することで、ビーム方向、即ち情報取得方向を希望する方向に設定することが可能である。

本実施の形態においては、情報取得部１２は、音声取得部１２ｂのビーム方向を決定するための追尾対象物方向の情報を取得するためにも利用される。画像取得部１２ａは十分に広い画角の広角画像を取得するようになっており、ユーザが例えば顔の向きを変えることによって画像取得部１２ａの視野範囲が変化した場合でも、視野範囲変更前の撮像範囲の一部を撮像し続ける可能性が高くなっている。画像取得部１２ａによる撮像画像は制御部１１の範囲切換部１１ｂに与えられる。範囲切換部１１ｂは、画像取得部１２ａから視野範囲変更前後の撮像画像が与えられ、これらの撮像画像の画像解析によって、ユーザが向きを変えた場合にはその角度を検出することができるようになっている。

例えば、範囲切換部１１ｂは、画像解析によって、追尾対象物を自動的に設定するようになっていてもよい。例えば、範囲切換部１１ｂは、画像取得部１２ａからの撮像画像の中央に人物の顔や口の画像部分が存在することを画像解析によって検出した場合には、当該顔や口を追尾対象物に設定してもよい。また、例えば、範囲切換部１１ｂは、ユーザによる追尾対象物の指定操作を受け付けて対象部の設定を行うようになっていてもよい。例えば、範囲切換部１１ｂは、画像取得部１２ａが取得した撮像画像を表示部１３の表示画面上に表示させた状態で図示しない操作部により画像上にポインタを表示させ、このポインタによって画像上の部分がユーザにより指定されると、当該画像部分を追尾対象物として設定してもよい。例えば、範囲切換部１１ｂは、画像上の人物に対する指定操作を検出すると、撮像画像の画像解析によって画像各部の特徴量を求め、図示しないメモリに記憶されている各画像の特徴量のデータベースを参照することで、各画像部分が人物の顔や口であることを判定し、当該人物の顔や口の画像部分を追尾対象物として設定してもよい。

範囲切換部１１ｂは、視野範囲変更前の追尾対象物の画像上の位置と、当該追尾対象物の視野範囲変更後の画像上の位置とを画像解析によって求め、当該位置の差を与える視野角の差を求める。範囲切換部１１ｂは、求めた視野角の差だけビーム方向を変更するための制御信号を発生して、音声取得部１２ｂに出力するようになっている。例えば、範囲切換部１１ｂは、制御信号として、上述した可変指向性マイクロホン装置の遅延回路の遅延量を設定するための制御信号を発生する。

なお、例えば、音の発生源が一人の人物のみである場合等においては、最も大きな音声出力レベルが得られる方向を追尾対象物の方向と判定してもよい。この場合には、追尾対象物方向の情報は、音声取得部１２ｂによっても取得することが可能である。音声取得部１２ｂは、範囲切換部１１ｂに制御されて、ビーム方向を変更することができる。範囲切換部１１ｂは、ビーム方向をスイープさせながら音声出力レベルを監視することで、最も高い音声出力レベルが得られる方向を音声到来方向、即ち、追尾対象物方向と判定するようにしてもよい。

また、本実施の形態においては、姿勢取得部１２ｃによっても追尾対象物の方向の判定を行うことができる。姿勢取得部１２ｃは、ウェアラブル部１０の姿勢を判定して判定結果を範囲切換部１１ｂに出力することができるようになっている。例えば、姿勢取得部１２ｃは、加速度センサやジャイロセンサ、地磁気センサ等によって構成することができ、これらのセンサの判定結果に基づいてウェアラブル部１０の姿勢を判定することができる。ここでは、ユーザの姿勢（立ち居振る舞い等）が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認するようにしてもよい。また、これは、機器の使われるシチュエーションで判定したり、専用機器であれば、対象物の位置はほぼ同じであることを前提にした設計にしてもよい。

範囲切換部１１ｂは、姿勢取得部１２ｃから視野範囲変更前の姿勢の判定結果と視野範囲変更後の姿勢の判定結果とが与えられ、これらの姿勢の判定結果の変化に基づいて、当該姿勢の変化によって変化した追尾対象物方向の角度の変化を求めることができる。範囲切換部１１ｂは、求めた角度の変化分だけビーム方向を元に戻すための制御信号を発生して、音声取得部１２ｂに出力するようになっている。

ウェアラブル部１０には通信部１４が設けられている。通信部１４は、制御部１１に制御されて、外部機器２０との間で有線又は無線による通信が可能である。例えば、通信部１４は、外部機器２０との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてＬＡＮケーブルが採用された場合にはＬＡＮコントローラが、Ｗｉｆｉが採用された場合にはワイヤレスＬＡＮコントローラが通信部１４として採用される。また、伝送路がＵＳＢケーブルの場合にはＵＳＢコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部１４として採用される。

制御部１１は、通信部１４を制御して、画像取得部１２ａからの撮像画像を外部機器２０に送信させることができるようになっている。また、制御部１１は、通信部１４を制御して、外部機器２０からの情報を受信することができる。

ウェアラブル部１０には、記録部１６が設けられている。記録部１６は、制御部１１に制御されて、図示しないメモリ等の記録媒体に情報取得部１２において取得された画像や音声を記録することができるようになっている。また、記録部１６は、図示しない記録媒体に記録された画像や音声を読み出して再生し、再生した画像や音声を制御部１１に出力することができるようになっている。これにより、制御部１１は、記録部１６によって記録された画像を例えば表示部１３に表示させることが可能である。

また、ウェアラブル部１０にはバッテリ１５が内蔵されている。バッテリ１５は、制御部１１に制御されて、ウェアラブル部１０の各部に供給する電力を発生するようになっている。

本実施の形態においては、外部機器２０としては、例えばパーソナルコンピュータ等を採用することができる。外部機器２０は、制御部２１を有している。制御部２１は、外部機器２０の各部を制御する。制御部２１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

外部機器２０には表示部２３が設けられている。制御部２１は表示部２３の表示を制御する。表示部２３は、ＬＣＤ等の表示画面を有しており、制御部２１から与えられた画像を表示する。外部機器２０には、操作入力部２２が設けられている。操作入力部２２は、図示しないキーボード等の入力装置を備えており、ユーザ操作に基づく操作信号を発生して、制御部２１に供給するようになっている。これにより、制御部２１は、ユーザ操作に対応した処理を実行することができるようになっている。

表示部２３の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部２１に供給される。これにより、制御部２１は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、その操作を検出することができる。即ち、制御部２１は、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

上述した説明では、範囲切換部１１ｂにおいて追尾対象物の設定処理を行う例を説明したが、外部機器２０の制御部２１は、範囲切換部１１ｂと連携することで、追尾対象物の設定処理を行ってもよい。例えば、制御部２１は、画像取得部１２ａが取得した撮像画像を表示部２３の表示画面上に表示させた状態で、ユーザのタッチパネル操作により画像上の部分が指定されると、当該画像部分を追尾対象物として設定してもよい。例えば、制御部２１は、画像上の人物に対するタッチ操作を検出すると、撮像画像の画像解析によって画像各部の特徴量を求め、図示しないメモリに記憶されている各画像の特徴量のデータベースを参照することで、各画像部分が人物の顔や口であることを判定し、当該人物の顔や口の画像部分を追尾対象物として設定してもよい。この場合には、制御部２１は追尾対象物の情報を通信部２４，１４を介して範囲切換部１１ｂに送信する。

外部機器２０には記録部２５が設けられている。記録部２５は、制御部２１に制御されて、図示しないハードディスクやメモリやディスク媒体等の記録媒体に画像や音声を記録することができるようになっている。また、記録部２５は、図示しない記録媒体に記録された画像や音声を読み出して再生し、再生した画像や音声を制御部２１に出力することができるようになっている。これにより、制御部２１は、記録部２５によって記録された画像を例えば表示部２３に表示させることが可能である。

また、外部機器２０には通信部２４が設けられている。通信部２４は、制御部２１に制御されて、ウェアラブル部１０との間で有線又は無線による通信が可能である。例えば、通信部２４は、ウェアラブル部１０との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてＬＡＮケーブルが採用された場合にはＬＡＮコントローラが、Ｗｉｆｉが採用された場合にはワイヤレスＬＡＮコントローラが通信部２４として採用される。また、伝送路がＵＳＢケーブルの場合にはＵＳＢコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部２４として採用される。

制御部２１は、ウェアラブル部１０の画像取得部１２ａからの撮像画像が通信部１４，２４を介して伝送されると、この撮像画像を表示部２３に与えてその表示画面上に表示させることができるようになっている。例えば、制御部２１は、画像取得部１２ａにおいて取得された撮像画像の一部を拡大して表示部２３に表示させることも可能である。

図２は図１中のウェアラブル部１０の外観を説明するための説明図である。図２はウェアラブル部１０を眼鏡型のウェアラブル端末装置（眼鏡型端末装置）によって構成した例を示している。また、図３はウェアラブル部１０の各部と顔との位置関係を示す説明図である。

図２において、眼鏡フレーム１８の一部には、図１の制御部１１、情報取得部１２、表示部１３及び通信部１４の一部を構成する各回路が収納される回路収納部１７が配設されている。回路収納部１７の先端には、操作の様子を観察可能なように、画像取得部１２ａを構成する撮像レンズ１２ａａが配設されている。被写体からの光学像は、撮像レンズ１２ａａを介して回路収納部１７内に設けられた画像取得部１２ａの撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。図２の例では、撮像レンズ１２ａａは、眼鏡フレーム１８のツル部分の先端に設けられており、ツル部分は人物の顔３１と略同じ向きを向いているので、画像取得部１２ａは、人の目３２による観察方向と同じ方向の被写体を撮像することが可能になる。これにより、画像取得部１２ａは、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。上述したように、画像取得部１２ａによって取得された撮像画像に基づいて、音声取得部１２ｂにおけるビーム方向の制御が行われる。

撮像レンズ１２ａａの下方には、音声取得部１２ｂを構成する２つのマイクロホン１２ｂａが配設されている。ウェアラブル部１０に配設された音声取得部１２ｂは、２つのマイクロホン１２ｂａが眼鏡フレーム１８に固定されており、眼鏡フレーム１８の向き、即ち、眼鏡フレーム１８によって顔に装着されたウェアラブル部１０の向きに応じてマイクロホン１２ｂａの向けられた方向が変化する。そして、このマイクロホン１２ｂａの向けられた方向に拘わらず、範囲切換部１１ｂによってビーム方向を所定の方向に制御することができるようになっている。

図示しない左右のリムに嵌込まれる左右のレンズのうち右側レンズの前方側には、眼鏡フレーム１８に支持された導光部１３ｂが設けられている。また、回路収納部１７の側面には、導光部１３ｂの入射面に向かって映像光を出射する表示パネル１３ａが配設されている。導光部１３ｂの出射面は、人物が顔３１に眼鏡フレーム１８を装着した状態で、右目３２の前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。

回路収納部１７内に収納された表示制御部１１ａは、制御部１１によって処理した映像信号を表示部１３に与え、表示部１３は、この映像信号に基づく映像光を表示パネル１３ａから導光部１３ｂの入射面に向かって出射する。映像光は導光部１３ｂ内を導光されて出射面から出射される。こうして、右目３２の視野範囲の一部に、制御部１１からの映像信号に基づく画像が視認されることになる。

なお、眼鏡型端末装置は、シースルーで観察対象を直接観察することを妨げず、直接観察の観察対象と視野範囲の一部に見える入力された映像信号に基づく画像とを同時に観察することができるように構成されている。例えば、眼鏡型端末装置であるウェアラブル部１０を装着したユーザは、各種作業時に、作業の状況を直接観察すると同時に、画像取得部１２ａ等によって取得された撮像画像を観察することも可能である。しかも、ウェアラブル部１０は、ハンズフリーの機器であるから、作業及び観察に際して手足の動作が制限されることはないので、両手を駆使した作業性を損なうことなく画像取得部１２ａによって取得された画像の観察が可能である。

表示部１３は、図３に示すように、顔３１の右目３２Ｒ前方に配置された導光部１３ｂによって、画像取得部１２ａが取得した撮像画像を視認可能とする。図３における右目３２Ｒ及び左目３２Ｌをそれぞれ囲む破線は左右の目３２Ｒ，３２Ｌによる視界を示している。

図４はこの視界を説明するための説明図である。左視界４３Ｌは左目３２Ｌによる視界を示し、右視界４３Ｒは右目３２Ｒによる視界を示している。左視界４３Ｌは図示しない左レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光学眼鏡視界であり、右視界４３Ｒは図示しない右レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光学眼鏡視界である。右視界４３Ｒの一部に、導光部１３ｂによる表示領域１３ｄが設けられる。

左右の視界４３Ｌ，４３Ｒにおける光学眼鏡視界は、ウェアラブル部１０を装着した作業者が実際に見ている観察対象を示すものであり、表示領域１３ｄはウェアラブル部１０の画像取得部１２ａによって取得された画像である。従って、ウェアラブル部１０を装着した作業者は、作業対象等を肉眼で確認しつつ両手を駆使して注意を要する作業をしながら、この作業対象の撮像画像を表示領域１３ｄにおいて観察することができる。

なお、ウェアラブル部１０を眼鏡型端末装置によって構成してユーザの頭部に装着する例を示したが、ウェアラブル部１０としては、頭部以外の部分に装着する装置を採用してもよい。

次に、このように構成された実施の形態の動作について図５Ａ〜図５Ｄ、図６及び図７を参照して説明する。図５Ａ〜図５Ｄは第１の実施の形態の動作を説明するための説明図である。また、図６及び図７は第１の実施の形態の動作を説明するためのフローチャートである。

図５Ａ〜図５Ｄは本実施の形態におけるウェアラブル部１０を医療現場において採用した場合の例を示している。図５Ａは医師５１と患者５２とが互いに向き合って図示しない椅子に腰掛けている様子を示している。医師５１は頭部に例えば図２等に示すウェアラブル部１０を装着する。図５Ａでは医師５１の頭部の右側にウェアラブル部１０の情報取得部１２が配設されていることを示している。医師５１の左手には、外部機器２０が配置されている。医師など医療従事者にとっては、様々な器具や用具、情報端末の取り扱いや、患者への接触が重要であり、両手を使えるようにウェアラブル機器を活用した方が効率的な状況が多い。ただし、ウェアラブル機器、あるいはユーザが装着して使う機器は、ユーザと機器の関係性は好ましくても、その他のもの、例えばここでは患者との位置関係などが、ユーザの姿勢や動作、行動によって安定しない場合があることにも注意を要する。

ここでは、医師が診察した部位画像で患者に説明をしたいような状況を想定しており、情報取得部１２で、医師５１が見た患者５２の様子を画像として取得する。医師５１は患者５２に顔を向けて、例えば患者５２の舌５２ａを観察して、患者５２を診断する。このとき、医師５１は見えるが患者５２にはその様子が見えないので、どうすれば良く見えるかなどがわからなかったり、どこがどう悪くて、どうなれば治ったと言えるかなどの説明を受けたりするためにも、情報の可視化は重要である。
ウェアラブル部１０の制御部１１は、図６のステップＳ１において、ウェアラブル部１０を起動する特定の入力信号や入力操作が発生した否かを判定し、発生していない場合には、ステップＳ１２において省電力モード（省エネモード）を設定してステップＳ１に処理を戻す。省電力モードでは、制御部１１はウェアラブル部１０の一部のみにバッテリ１５からの電力を供給するように制御するようになっている。ウェアラブル機器は装着時の負担を減らすために、電池を小型化して軽くし、余計なエネルギー消費をこまめに抑える設計が重要である。

一方、外部機器２０においては、制御部２１は図７のステップＳ２１において初期操作が行われたか否かを判定する。制御部２１は、初期操作が行われるまでステップＳ２１の判定を繰り返す待機状態となる。初期操作が行われると、制御部２１はステップＳ２２において初期画面を表示部２３に表示する。初期画面は、各患者の治療に関する各種メニューを表示するものであり、患者ＩＤを入力することで、患者個別の情報にアクセスすることができる。

制御部２１は、ステップＳ２３において患者ＩＤが入力されたか否かを判定する。なお、患者ＩＤは、操作入力部による操作、表示部２３上のタッチパネルに対する操作あるいは音声入力等によって指定することができる。この音声認識などにも、ウェアラブル機器が装着されていると、ユーザの口元ではっきりと音声を判定することが可能となり、ウェアラブル機器の有用性がわかる。ウェアラブル部１０が起動する前であっても、省エネ性の高い回路やソフトウェアを使い、マイクロホンの音声取得性能は低くても、特定の音声にのみ反応するような設計で、その特定音声で起動可能な設計にすることが出来る。患者ＩＤが入力されない場合には、制御部２１は処理をステップＳ２１に戻す。患者ＩＤが入力されると、制御部２１は、患者ＩＤにより指定された患者についての情報を図示しないデータベースから読み出して表示する（ステップＳ２４）。

次に、制御部２１はステップＳ２５に処理を移行して、ウェアラブル部１０を起動する操作（ＯＮ）又は起動を停止する操作（ＯＦＦ）が有ったか否かを判定する。例えば、外部機器２０の操作入力部、タッチパネル、音声入力等によって、ウェアラブル部１０のオン，オフを制御することができる。制御部２１は、オン操作がない場合には、処理をステップＳ３２に移行してメニュー操作に応じてカルテを表示部２３上に表示させ、ユーザ操作に基づいて医薬品検索を行い（ステップＳ３３）、ユーザ操作に応じてカルテを更新して記録部に記録する（ステップＳ３４）。制御部２１は、ウェアラブル部１０のオン操作が発生すると、処理をステップＳ２５からステップＳ２６に移行して、ウェアラブル部１０をオンにする信号を通信部２４，１４を介して制御部１１に送信する。なお、制御部２１は、ウェアラブル部１０のオフ操作が発生すると、処理をステップＳ２５からステップＳ２６に移行して、ウェアラブル部１０をオフにする信号を通信部２４，１４を介して制御部１１に送信する。ウェアラブルマイクを使って音声認識で医薬品検索などを行う場合は、様々な候補からの絞り込みが必要で、マイクロホンの性能を上げて高忠実性の収音とする。また、患者の受け答えなどを音声判定してもよく、この場合もマイク性能がノイズキャンセルも含めて良くないと、正しい認識が出来なくなる。

ウェアラブル部１０の制御部１１は、ステップＳ１において、ウェアラブル部１０を起動する何らかの入力操作が発生したものと判定すると、処理をステップＳ２に移行して各部にバッテリ１５からの電力を供給して各部を起動させる。なお、制御部１１は、外部機器２０による操作だけでなく音声取得部１２ｂに対する音声入力によって、ステップＳ１からステップＳ２に処理を移行するようになっていてもよい。ウェアラブル部１０のマイク収音による音声認識利用の検索のみならず、外部機器２０のモニタの近くにマイクロホンを置いてもよいが、この場合は、ユーザがそちらを見る方が認識率が高まるので、ウェアラブル機器は患者との位置関係が変わってしまうが、このような状況にも問題なく対処したシステムを提供する。

医師５１が装着しているウェアラブル部１０の情報取得部１２は、医師５１の顔の前方を画像取得部１２ａによって撮像する。なお、画像取得部１２ａによる撮影範囲は比較的広角である。画像取得部１２ａによって取得された撮像画像は表示制御部１１ａにより表示部１３に与えられて表示される（ステップＳ３）。また、画像取得部１２ａからの撮像画像は範囲切換部１１ｂにも供給される。範囲切換部１１ｂは、ステップＳ３において、撮像画像を画像解析する。なお、表示制御部１１ａは、画像取得部１２ａによって取得された撮像画像を表示部１３に与えて表示させてもよく、また、通信部１４，２４を介して外部機器２０の制御部２１に与えて表示部２３に表示させてもよい。この場合も、ユーザである医師がそちらを見るので、ウェアラブル機器は患者との位置関係が変わってしまうが、このような状況にも問題なく対処したシステムを提供する。患者の動きは、この場合、小さいと考えられる状況である。

外部機器２０の制御部２１は、ステップＳ２７において、ウェアラブル部１０からの情報を受信したか否かを判定している。情報受信がない場合には、制御部２１は処理をステップＳ２７からステップＳ３０に処理を移行する。制御部２１は、情報受信があった場合には、処理をステップＳ２８に移行し、受信した情報が音声の場合には、ディクテーション処理を行って、テキスト情報を記録部２５に記録する。また、受信した情報が画像の場圧には、制御部２１はステップＳ２９において撮像画像を表示部２３に与えて表示させると共に、撮像画像を記録部２５に与えて記録させる。

ウェアラブル部１０の範囲切換部１１ｂは、ステップＳ４において、画像解析を行い、医師５１の前方に患者５２の顔が検出されたか否かを判定する。範囲切換部１１ｂは、撮像画像の中央に患者５２の顔が検出されると、この顔の部分や口の部分等を追尾対象物として設定する。また、この場合には、範囲切換部１１ｂは、医師５１の顔の向きである撮像中心方向に音声取得部１２ｂの指向性を一致させて制御する（ステップＳ５）。範囲切換部１１ｂは、追尾対象物設定時における指向性の方向を基準方向に設定する。

情報取得部１２の音声取得部１２ｂは、周囲の音声を取得する。音声取得部１２ｂは指向性を有しており、図５Ａの状態では、ビーム方向は患者５２の顔方向であり、この顔の周囲に比較的高い感度を有する。図５Ａでは破線によって比較的高い感度を有する範囲１２ｂｂを示している。

情報取得部１２が取得した音声は制御部１１に供給される。制御部１１は、入力された音声に対する音声認識処理によってテキスト情報を生成するディクテーション処理を実行することができる。ディクテーション処理によって取得されたテキスト情報は、通信部１４，２４を介して制御部２１に転送され、制御部２１によって記録部２５に記録されるようになっている。なお、上述したように、制御部１１は音声をそのまま通信部１４，２４を介して制御部２１に転送し、制御部２１においてディクテーション処理を実行するようになっていてもよい。このように、医師と患者の密接なコミュニケーションを文字化してドキュメントとして記録しておくことによって、正しい診断や検証が可能となる。

図５Ｂは図５Ａの状態において、画像取得部１２ａによって取得される撮像画像６１ａを示している。なお、この撮像画像６１ａは、音声取得部１２ｂの指向性制御のために用いるものであり、ウェアラブル部１０の表示部１３に表示させてもよく、表示させなくてもよい。また、この撮像画像６１ａを外部機器２０の表示部２３に与えて、撮像画像６１ａをそのまま又は一部を拡大して表示させてもよい。なお、撮像画像６１ａの中央には患者５２の頭部近傍の画像５２ｂが含まれており、撮像画像６１ａの左端部には外部機器２０の画像２０ａが含まれている。なお、撮像画像６１ａ中の破線にて示す円形範囲１２ｂｂは、音声取得部１２ｂによる比較的高い感度を有する範囲（指向性による収音範囲）を示している。

図６の例では、追尾対象物は医師５１の前方に位置する顔部等に自動的に設定されるが、制御部１１又は制御部２１は、ユーザ操作に基づいて追尾対象物を設定してもよい。例えば、表示部２３に撮像画像６１ａを表示させた状態で、医師５１等が表示部２３の撮像画像６１ａ上の患者の画像５２ｂ上をタッチ操作することで、制御部２１は、当該画像５２ｂやその顔の部分や口の部分を追尾対象物として設定してもよい。この場合には、制御部２１は設定した追尾対象物の情報を通信部２４，１４を介して範囲切換部１１ｂに送信する。

範囲切換部１１ｂは、ステップＳ６において、医師５１の姿勢が変化したか否かを判定する。例えば、範囲切換部１１ｂは、画像取得部１２ａが取得した撮像画像に対する画像解析によって、医師５１の姿勢が変化したか否かを検出する。ここでは、ユーザの姿勢（立ち居振る舞い等）が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で、まず判定するようにしてもよい。この場合、対象物の特徴的な部分、例えば顔を検出し、その顔の回りの画像を背景として、時間的にこれらの関係が変化しないことを判定すればよい。また、近年では、複眼のカメラや位相差方式の距離分布判定が可能な撮像素子が開発されており、状況の距離分布などがわかるので、それによって距離分布の変化がないことを検出し、対象物の変化がない、または少ないことを判定してもよい。背景と対象物の関係を画像や距離分布の時間変化などで把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象はユーザの動きであると考えて良い。また、ユーザの動きでも、ここでは、もっぱら回転系の動きである、と規定してもよい。装着部位やそのときの想定作業、業務などによって、その時起こりうる動きを想定して動き補償制御を行っても良い。
医師５１の姿勢が変化していない場合には、制御部１１はステップＳ１３において撮影操作の有無を判定する。なお、範囲切換部１１ｂは、医師５１の姿勢が所定の閾値角度以上変化した場合にのみ医師５１の姿勢が変化したものと判定してもよい。医師５１が図示しない操作部の操作により、或いは音声入力によって撮影を指示すると、画像取得部１２ａは撮影を行い（ステップＳ１４）、撮影指示タイミングにおける静止画像を出力する。この静止画像は、通信部１４，２４を介して制御部２１に転送され、制御部２１によって記録部２５に記録される。

いま、医師５１の姿勢が変化するものとする。図５Ｃはこの場合の様子を示している。図５Ｃの例は、例えば医師５１が外部機器２０の表示部２３上に表示された画像を見ながら、患者５２に診断についての説明を行っていることを示している。医師５１は、医師の前方に座っている患者５２の顔を見ている状態（図５Ａ）から左方向に顔の向きを変えて、顔を外部機器２０の表示部２３方向に向ける。この場合には、画像取得部１２ａによる撮像画像も変化する。

図５Ｄは図５Ｃの状態において画像取得部１２ａによって取得される撮像画像６１ｂを示している。医師５１の顔は外部機器２０の方向を向いており、撮像画像６１ｂの中央にはこの外部機器２０の画像２０ａが含まれる。撮像画像６１ｂの右端部には患者５２の頭部近傍の画像５２ｂが含まれている。

範囲切換部１１ｂは、撮像画像の画像解析によって、音声取得部１２ｂから追尾対象物への現在の方向を求め、基準方向から現在の方向までの角度（以下、追尾角度という）を算出する。例えば、範囲切換部１１ｂは、追尾対称物の撮像画像上の位置の変化に基づいて追尾するための角度切り替えの量を求めてもよい。

範囲切換部１１ｂは、ステップＳ６において医師５１の姿勢が変化したものと判定した場合には、処理をステップＳ７に移行する。この場合には、画像取得部１２ａによる撮像画像は、患者５２を撮像していないので、表示部１３に表示していた画像取得部１２ａの撮像画像、即ち検査結果の表示をオフにする。また、この場合には、表示制御部１１ａは、医師５１の姿勢変更直前に記録部１６に記録されている撮像画像を読み出して、通信部１４，２４を介して制御部２１に与えて、表示部２３に表示させる（ステップＳ８）。

こうして、この場合は、図５Ｃに示すように、表示部２３の表示画面２３ａ上には、患者５２の喉や舌の画像５２ｃが表示される。また、画像取得部１２ａは、表示部２３方向を撮像しており、図５Ｄに示すように、撮像画像６１ｂ中には外部機器２０の画像２０ａ中に喉や舌の画像５２ｄが含まれる。

範囲切換部１１ｂは、ステップＳ９において、ビーム方向を追尾角度だけ補正して、ビーム方向が現在の追尾対象物方向に一致するように制御信号を発生する。この制御信号は音声取得部１２ｂに供給され、音声取得部１２ｂは、ビーム方向を現在の追尾対象物の方向、即ち、患者５２の顔部や口部の方向に変化させる。

こうして、音声取得部１２ｂは、常にビーム方向を追尾対象物の方向に向けることができ、追尾対象物方向からの音声を確実に取得することが可能である。

制御部１１は、ステップＳ１０において端末オフ操作が発生したか否かを判定する。端末オフ操作がなければ、制御部１１は処理をステップＳ３に戻す。端末オフ操作が発生すると、制御部１１は、ウェアラブル部１０の各部への電力供給を停止して、表示部１３の表示もオフにする（ステップＳ１１）。

なお、外部機器２０の制御部２１は、ステップＳ３０においてログアウト操作が発生したか否かを判定する。ログアウト操作が行われない場合には、制御部２１は処理をステップＳ２５に移行し、ログアウト操作が行われた場合には、制御部２１は処理をステップＳ３１に移行して、ウェアラブル部１０をオフにすると共に、表示部２３の表示をオフにする。

なお、上記図６及び図７のフローは、医師５１が姿勢を変化させた場合でも、追尾対象物が画像取得部１２ａの撮像範囲内に存在するものとして説明した。しかし、医師５１の姿勢の変化量によっては、追尾対象物が撮像範囲から脱する可能性もある。そこで、この場合には、最後に撮像範囲に存在した追尾対象物の方向を基準方向からの追尾角度に固定して、この追尾角度に基づいて、音声取得部１２ｂの指向性を制御する。そして、追尾対象物が再び撮像範囲に存在するようになった（補足した）場合には、その場合の追尾対象物の撮像画像上の位置に基づいて追尾角度を算出して、音声取得部１２ｂの指向性を制御する。
この時、患者が動いたり、ユーザが動いたり、いろいろな要因で、二人の位置関係が変化して、収音特性に影響を与え得るが、ここではシチュエーションの特性も含めて、医師であるユーザの姿勢、動作、立ち居振る舞いによって問題が起こる事を前提としている。ユーザの動きが支配的か、対象（ここでは患者）の動きが支配的かは、時として考慮が必要で、例えば、患者が部屋から出て行くまでを追尾する必要はない。そのときには看護師や補助者との会話の方が重要になる場合がある。なお、このように、ユーザの動きが支配的か対象物の動きが支配的かは、対象物も背景も相対的に同じ場所にあるかどうかで判定可能で、このように対象物が同じ場所にいる場合は、ユーザの姿勢変化は、追尾画像が撮像画像中のどこからどこに移ったかで判定できる。つまり、本発明は、センサと、前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定するようにしてもよい。この方法は、ウェアラブル機器のカメラで、対象物の位置が変化しないことを検出して判定してもよいし、外部に監視カメラ、あるいは、ＰＣ用カメラのようなモニタカメラを設けて、患者の位置が変化しないことを判定した結果を受け取って判定してもよいし、人感センサのように人物の動きを判定するセンサを設けて、その出力が変わらない事で判定してもよい。また、画像での判定のみならず、距離分布などの変化を判定してもよい。ドローンのような装置では、レーザ光の照射とその反射から環境の状況を判定しているが、こうした技術を使っても良い。このように、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部を具備したことを特徴とするセンサ情報取得装置が提供できる。

このように本実施の形態においては、追尾対象物を設定すると共に、音声取得部から当該追尾対象物への方向の変化である追尾角度を検出し、追尾対象物設定時のビーム方向を基準に、追尾角度だけビーム方向を修正する。これにより、常に、ビーム方向を追尾対象物に向けることを可能にして、確実な収音を可能にすることができる。ここでは、装着した機器で取得した画像の情報を用いて追尾対象を判定し、ウェアラブル機器装着ユーザの姿勢の変化に対応して、その影響を受けないように追尾して音声の収音範囲を切り替えた。その他、監視カメラやウェブカメラや情報端末内蔵のカメラによって、ユーザの様子を撮影し、その姿勢変化を画像で判定してもよい。その他、追尾の仕方としては、画像のみならず、ユーザの姿勢判定を、加速度センサや方位センサ、角加速度センサなどを使って行ってもよい。さらには、マイクの指向性を高速で切り替えて、最も良い指向性を選ぶような方法もある。

（第２の実施の形態）
図８は本発明の他の実施の形態を示すブロック図である。図８において図１と同一の構成要素には同一符号を付して説明を省略する。

近年、医療現場では、ロボット手術が採用されることがある。ロボット手術は、体内に内視鏡カメラとロボットアームを挿入し、医師は、内視鏡カメラからの画像を表示するコンソールにおいて、画像により術野を目で捉えながら、手元のハンドルを操作することでロボットアームを動かせて、手術を行うものである。ロボット手術では、ロボット制御によって、微細な動きまで確実に制御できる利点がある。

しかしながら、ロボット手術においても、ロボットを操作する医師以外に止血要員等のスタッフが必要である。このため、治療を受ける患者の近くでロボットとスタッフとが交錯し、互いの動きが制約されることもある。また、医師はロボット操作に十分に習熟する必要があるという問題もある。

そこで、本実施の形態においては、術者の指先に取付け可能な医療器具を採用し、医療器具において画像を取得すると共に、設定した追尾対象物を例えば画面中央に表示し続けるように制御することで、患部を確認しながら治療等を実施することを可能にする。これにより、他のスタッフに与える影響や他のスタッフから受ける影響を十分に小さくして、効率良く手術等を行うことを可能にする。しかも、直接自分の手指を使った手術と同様の感覚で作業を行うことができ、作業性を向上させることができると共に、ロボット手術のために長期間の学習を行う必要もない。

図８は医療器具７０とウェアラブル部８０とによって、情報処理システムが構成された例を示している。本実施の形態はカメラが取得する画像情報のうち注目すべき対象物（追尾対象物）を設定すると共に、カメラから当該追尾対象物への方向の変化を所定のセンサによって検出することで、追尾対象物が例えば常に画面中央に表示されるように表示制御を行うものである。注目すべき対象物を画面中央に表示させることによって、注目すべき対象物の視認性が向上することがある。この場合には、画面中央に表示した部分に有効な情報が含まれることになり、情報取得方向は画面中央に表示される部分に向かう方向であるとも言える。本実施の形態は、カメラの向きが変化して撮影範囲が変化する場合でも、情報取得方向を追尾対象物方向に変化させることで、追尾対象物を画面中央に表示して追尾対象物の確認を容易にするものである。即ち、カメラの向きに拘わらず、追尾対象物の視認性が低下することを防止し、作業性を向上させることが可能である。

医療器具７０は、図８の回路を内蔵した筐体をユーザの身体の一部に取り付けるための図示しない係止部を有しており、ユーザの動き、例えば手指の動きに合わせて移動自在である。

医療器具７０は制御部７１を備えている。制御部７１は、医療器具７０の各部を制御する。制御部７１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

医療器具７０にはバッテリ７５が内蔵されている。バッテリ７５は、制御部７１に制御されて、医療器具７０の各部に供給する電力を発生するようになっている。医療器具７０は光源部７４も備えている。光源部７４は、制御部７１に制御されてバッテリ７５からの電力供給により発光して、医療器具７０の周囲を照明することができるようになっている。

医療器具７０は情報取得部７２を有している。情報取得部７２は、ユーザが撮影を希望する追尾対象物に関するセンサ情報を取得するものであり、例えば、画像取得部７２ａ及び状態判定部７２ｂを備えている。画像取得部７２ａは、例えば、図示しないイメージセンサによって構成することができ、追尾対象物を撮像して撮像画像を取得することができる。画像取得部７２ａは、取得した撮像画像をセンサ情報として制御部７１に出力するようになっている。本実施の形態においては、画像取得部７２ａは、広角レンズを採用することで、広角画像を取得することができるようになっている。

本実施の形態においては、情報取得部７２は、画像取得部７２ａが取得しようとする撮像画像の対象物である追尾対象物の方向の情報を取得するためにも利用される。情報取得部７２には状態判定部７２ｂが設けられている。状態判定部７２ｂは処置部７３の変位を検知して、変位部である処置部７３の変位に関する情報を制御部７１の範囲切換部７１ａに出力するようになっている。処置部７３は、鉗子や電気メス等の被検体に対する処置を行うための器具である。なお、図８では図示を省略しているが、処置部７３として電気メスを採用する場合には、電気メス装置からの高周波電力を電気メスに供給するための信号線が配線されており、電気メスへの電力供給についても制御部７１によって制御可能に構成されている。

範囲切換部７１ａは、処置部７３の変位に関する情報に基づいて、視野範囲変更前後における撮像画像の視野範囲の変化量を算出することができるようになっている。範囲切換部７１ａは、求めた視野範囲の変化量の情報に基づいて追尾対象物の画像部分が画面中央に位置するように画像をシフト又はズームさせて表示画像を生成するようになっている。画像取得部７２ａは十分に広い画角の広角画像を取得するようになっており、医療器具７０が動いて移動したり向きを変えたりすることによって画像取得部７２ａの視野範囲が変化した場合でも、視野範囲変更前の撮像範囲に含まれる追尾対象物の画像部分を撮像し続ける可能性は高い。従って、医療器具７０の動きによる視野範囲の変化分だけ画像をシフト又はズームさせることにより、追尾対象物の画像部分を画面中央に表示させることが可能である。なお、範囲切換部７１ａは、追尾対象物の画像部分を画面中央以外の部分に表示させるようになっていてもよい。

制御部７１は、範囲切換部７１ａによって生成された表示画像を通信部７６を介してウェアラブル部８０に送信することができるようになっている。

また、範囲切換部７１ａは、画像取得部７２ａの出力に基づいて、処置部７３の変位に応じた表示画像を生成してもよい。画像取得部７２ａによる撮像画像は制御部７１の範囲切換部７１ａに与えられる。範囲切換部７１ａは、撮像画像の画像解析によって、視野範囲変更前の撮像画像に含まれる追尾対象物の画像部分を視野範囲変更後の撮像画像中から検索し、当該画像部分が画面中央に位置するように、撮像画像をシフト又はズームさせて表示画像を生成してもよい。

範囲切換部７１ａは、追尾対象物を設定することができるようになっている。例えば、範囲切換部７１ａは、取得タイミングを指定するユーザ操作に基づいて、画像取得部１２ａからの撮像画像の中央の画像部分を追尾対象物として設定してもよい。例えば、範囲切換部７１ａは、処置具に設けられた図示しないボタンが操作されたタイミングを取得タイミングとしてもよく、また、処置部７３の状態が所定の状態の場合を取得タイミングに設定して、追尾対象物を設定してもよい。また、例えば、範囲切換部７１ａは、ユーザによる追尾対象物の指定操作を受け付けて対象部の設定を行うようになっていてもよい。例えば、範囲切換部７１ａは、画像取得部７２ａが取得した撮像画像をウェアラブル部８０の後述する表示部８３の表示画面上に表示させた状態で図示しない操作部により画像上にポインタを表示させ、このポインタによって画像上の部分がユーザにより指定されると、当該画像部分を追尾対象物として設定してもよい。例えば、範囲切換部７１ａは、画像上の特定部分に対する指定操作を検出すると、指定された画像部分を含む所定の範囲の対象物を追尾対象物に設定してもよい。

医療器具７０には通信部７６が設けられている。通信部７６は、制御部７１に制御されて、ウェアラブル部８０との間で有線又は無線による通信が可能である。例えば、通信部７６は、ウェアラブル部８０との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてＬＡＮケーブルが採用された場合にはＬＡＮコントローラが、Ｗｉｆｉが採用された場合にはワイヤレスＬＡＮコントローラが通信部７６として採用される。また、伝送路がＵＳＢケーブルの場合にはＵＳＢコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部７６として採用される。

本実施の形態においては、ウェアラブル部８０としては、眼鏡型端末装置等を採用することができる。ウェアラブル部８０は、制御部８１を有している。制御部８１は、ウェアラブル部８０の各部を制御する。制御部８１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

ウェアラブル部８０には通信部８６が設けられている。通信部８６は、制御部８１に制御されて、医療器具７０との間で有線又は無線による通信が可能である。例えば、通信部８６は、医療器具７０との間の伝送路に対応した各種コントローラによって構成することができる。例えば、伝送としてＬＡＮケーブルが採用された場合にはＬＡＮコントローラが、Ｗｉｆｉが採用された場合にはワイヤレスＬＡＮコントローラが通信部８６として採用される。また、伝送路がＵＳＢケーブルの場合にはＵＳＢコントローラが、ビデオケーブルの場合にはビデオコントローラが通信部８６として採用される。

制御部８１には表示制御部８１ａが設けられている。表示制御部８１ａは、表示に関する各種処理を実行する。表示制御部８１ａは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部８１とは別体に構成されていてもよい。表示制御部８１ａは、表示部８３の表示を制御する。表示部８３は、ＬＣＤ等の表示画面を有しており、表示制御部８１ａから与えられた画像を表示する。例えば、表示制御部８１ａは、画像取得部７２ａからの撮像画像が通信部７６，８６を介して伝送されると、この撮像画像を表示部８３の表示画面上に表示させることができる。

ウェアラブル部８０は情報取得部８２を有している。情報取得部８２は、ウェアラブル部８０の周囲のセンサ情報を取得するものであり、例えば、画像取得部８２ａ及び音声取得部８２ｂを備えている。画像取得部８２ａは、例えば、図示しないイメージセンサによって構成することができ、所定の撮像範囲において撮像画像を取得することができる。画像取得部８２ａは、取得した撮像画像をセンサ情報として制御部８１に出力するようになっている。表示制御部８１ａは、画像取得部８２ａからの撮像画像を表示部８３に表示させることもできる。

音声取得部８２ｂは、例えば、マイクロホンによって構成することができ、周囲の音声を取得することができる。音声取得部８２ｂは取得した音声を制御部８１に供給することができる。制御部８２は、ディクテーション処理によって、取得された音声のテキスト情報を取得することができる。これにより、制御部８２は、ユーザによる音声コマンドを解釈して、音声による操作を受け付けることができる。

ウェアラブル部８０には、記録部８４が設けられている。記録部８４は、制御部８１に制御されて、図示しないメモリ等の記録媒体に情報取得部７２，８２において取得された画像や音声を記録することができるようになっている。また、記録部８４は、図示しない記録媒体に記録された画像や音声を読み出して再生し、再生した画像や音声を制御部８１に出力することができるようになっている。これにより、制御部８１は、記録部８４によって記録された画像を例えば表示部８３に表示させることが可能である。

また、ウェアラブル部８０にはバッテリ８５が内蔵されている。バッテリ８５は、制御部８１に制御されて、ウェアラブル部８０の各部に供給する電力を発生するようになっている。

図９は図８中の医療器具７０の一例を示す説明図である。図９の左側は指を伸ばした場合の処置部７３を示し、図９の右側は指を曲げた場合の処置部７３を示している。

図９は医療器具７０を電気メスの機能を備えた処置具によって構成した例を示している。処置部７３は、第１フレーム９１、第２フレーム９２を有している。第１フレームの基端側には、術者の指を挿入して指の基端側で第１フレーム９１を支持するための挿入部９０が取り付けられている。挿入部９０には図８の医療器具７０内の制御部７１、情報取得部７２、バッテリ７５及び通信部７６の各部が搭載された回路部８９が設けられている。

また、第１フレームの先端側には、駆動軸９１ｂが取り付けられており、この駆動軸９１ｂに基端側が回動自在に軸支された第２フレーム９２が設けられている。第２フレーム９２の先端側には電気メス９３が取り付けられている。電気メス９３は、第２フレーム９２及び第１フレーム９１内を挿通された図示しない配線によって回路部８９に接続されて駆動されるようになっている。第２フレーム９２の先端には光源部７４も取り付けられている。光源部７４は第２フレーム９２及び第１フレーム９１内を挿通された図示しない配線によってバッテリ７５から電力供給を受けて照明光を被検体に照射するようになっている。

第１フレーム９１の側部には係止部９１ａが設けられ、第２フレーム９２の側部には係止部９２ａが設けられており、係止部９１ａと係止部９２ａには付勢部材９４が架け渡されている。付勢部材９４としては、バネやゴム等の弾性材料が採用されており、付勢部材９４は係止部９２ａを係止部９１ａ側に付勢する。この付勢力により、図９の左側に示すように、第１フレーム９１と第２フレーム９２とは略直線状に配置されるようになる。なお、後述するように、指１００を曲げる動作によって付勢部材９４の付勢力に抗して第２フレーム９２を第１フレームに対して傾斜させた状態に配置することもできる。

駆動軸９１ｂには、図示しないロータリエンコーダが配設されており、ロータリエンコーダは、第１フレーム９１に対する第２フレーム９２の傾斜角度の情報を取得することができるようになっている。ロータリエンコーダは、取得した傾斜角度の情報を第１フレーム９１内に挿通された図示しない配線を介して、回路部８９上の状態判定部７２ｂに出力するようになっている。これにより、状態判定部７２ｂは、処置部７３の変位に関する情報を取得することができる。

また、処置部７３として、術者の指が挿入されて指の第２関節近傍位置に嵌め込まれる嵌入部９６も設けられている。嵌入部９６には側部に軸部材９６ａが設けられており、第２フレーム９２にも側部に軸部材９２ｂが設けられている。軸部材９６ａ，９２ｂには環状部材９５が取り付けられており、環状部材９５は、軸部材９６ａ，９２ｂ部分において軸部材９６ａ，９２ｂの周面に沿って回転自在であり、軸部材９６ａ，９２ｂ間の距離は、環状部材９５のサイズによって一定の距離を維持するようになっている。

術者は指１００を第１フレーム９１の基端側から挿入部９０に挿入し、更に、嵌入部９６にも挿入して、第２関節近傍において嵌入部９６が位置するように処置部７３を装着する。この状態で、指１００を伸ばすと、図９の左側の状態となり、指１００を曲げると、図９の矢印１０３のように第２フレーム９２及び電気メス９３が移動して、図９の右側の状態となる。指１００を曲げる角度に応じて、第１フレーム９１に対する電気メス９３の角度も変化する。術者は指１００を曲げる簡単な動作によって、電気メス９３の角度を変えることができる。術者は指１００を希望する位置に移動させ、希望する方向に向きを変え、希望する角度だけ曲げることによって、自由に電気メス９３の位置や角度を変えることができ、生体の切除等を容易に行うことができる。

術者の指１００の先端には、環状の嵌合部材９７が嵌め込まれており、この嵌合部材９７には指先端側に画像取得部７２ａが配設されている。画像取得部７２ａは、上述したように、比較的広角での撮像が可能である。図９においては、破線によって画像取得部７２ａの画角１０１ａ，１０１ｂを示している。

上述したように、範囲切換部７１ａは、処置部７３の状態が所定の状態の場合の撮像画像によって追尾対象物を設定してもよい。例えば、範囲切換部７１ａは、指１００が伸ばされて略直線状、即ち、第１フレーム９１と第２フレームとが略直線状に配置されている場合における画像取得部７２ａの撮像画像の中心部分を追尾対象物に設定してもよい。

図９の左側の状態においては、太線矢印１０２ａに示す方向が画角の中心方向である。この場合において、太線矢印１０２ａに示す方向の被検体部分を追尾対象物に設定しているものとする。この場合には、範囲切換部７１ａは、状態判定部７２ｂからの処置部７３の変位に関する情報に基づいて、画像取得部７２ａの撮像画像のうち太線矢印１０２ａ方向の追尾対象物の画像部分を画面中央に配置する表示画像を生成する。

例えば、術者が指を伸ばした状態から指を曲げることによって、図９の左側の状態から図９の右側の状態に処置部７３が変位するものとする。この場合においては、画像取得部７２ａは、画角１０１ｂの範囲を撮像している。画角１０１ｂの範囲には、図９の左側の太線矢印１０２ａ方向の被検体（追尾対象物）が含まれており、図９の右側の太線矢印１０２ｂ方向は追尾対象物の方向を示している。即ち、画像取得部７２ａは、画角１０１ｂの範囲内において追尾対象物である被検体を撮像可能である。範囲切換部７１ａは、画像取得部７２ａの撮像画像のうち太線矢印１０２ａ方向の画像部分を画面中央にシフト又はズームさせて表示画像を生成する。

図１０はウェアラブル部８０の各部と顔との位置関係を示す説明図である。図１０はウェアラブル部８０として図２と同様の構成の眼鏡型のウェアラブル端末装置（眼鏡型端末装置）を採用した場合の例を示している。

ウェアラブル部８０には、画像取得部８２ａを構成する撮像レンズ８２ａａが配設されている。被写体からの光学像は、撮像レンズ８２ａａを介して画像取得部８２ａの撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。例えば、撮像レンズ８２ａａは、眼鏡フレームのツル部分の先端に設けられており、ツル部分は人物の顔１１１と略同じ向きを向いているので、画像取得部８２ａは、人の目１１２Ｒ，１１２Ｌの観察方向と同じ方向の被写体を撮像することが可能である。これにより、画像取得部８２ａは、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。

撮像レンズ８２ａａの下方には、音声取得部８２ｂを構成するマイクロホン８２ｂａが配設されている。また、眼鏡型端末装置の左右のレンズのうち右側レンズの前方側には、表示部８３の表示面８３ｂが配設されている。表示面８３ｂは、人物が顔１１１に眼鏡フレームを装着した状態で、右目１１２Ｒの前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。

表示制御部８１ａは、制御部８１によって処理した映像信号を表示部８３に与え、表示部８３は、この映像信号に基づく映像光を表示面８３ｂに表示される。こうして、右目１１２Ｒの視野範囲の一部に、制御部８１からの映像信号に基づく画像が視認されることになる。ここに、アドバイスや状況確認や処置のＯＫ表示や、禁止、警告等の表示を、必要に応じて表示できるようにする。このような表示を出すために、眼鏡型端末の撮像結果を制御部８１が判定したりしてもよいが、処置具側の制御部７１が情報取得結果（出欠や異常な動きなどの判定）による判定を利用したりしても良い。

なお、眼鏡型端末装置は、シースルーで観察対象を直接観察することを妨げず、直接観察の観察対象と視野範囲の一部に見える入力された映像信号に基づく画像とを同時に観察することができるように構成されている。例えば、眼鏡型端末装置であるウェアラブル部８０を装着したユーザは、各種作業時に、作業の状況を直接観察すると同時に、医療器具７０の画像取得部７２ａ等によって取得された撮像画像を観察することも可能である。しかも、ウェアラブル部８０は、ハンズフリーの機器であるから、作業及び観察に際して手足の動作が制限されることはないので、両手を駆使した作業性を損なうことなく画像取得部７２ａによって取得された画像の観察が可能である。なお、混乱が生じないように断っておくと、この医療器具７０も指に装着するので、ウェアラブル機器の特徴を持っている。眼鏡型端末と処置具（医療機器）は、装着する場所が離れているが、一つの機器として捉えることが出来、制御部などは共通のものが一つあれば、制御部７１と制御部８１を兼用することも可能である。

なお、図１０における右目１１２Ｒ及び左目１１２Ｌをそれぞれ囲む破線は左右の目１１２Ｒ，１１２Ｌによる視界を示している。

図１１はこの視界を説明するための説明図である。左視界１１３Ｌは左目１１２Ｌによる視界を示し、右視界１１３Ｒは右目１１２Ｒによる視界を示している。左視界１１３Ｌは図示しない左レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光学眼鏡視界であり、右視界１１３Ｒは図示しない右レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光学眼鏡視界である。右視界１１３Ｒの一部に、表示面８３ｂによる表示領域８３ｄが設けられる。この表示領域８３ｄは、画像取得部７２ａによる撮像画像の観察が容易なように、十分大きなサイズに設定される。

左右の視界１１３Ｌ，１１３Ｒにおける光学眼鏡視界は、術者が例えば患者の体の外側から見た観察対象を示すものであり、表示領域８３ｄは、術者が医療器具７０を指１００に装着した状態において、例えば患者の腹腔内の患部を撮像して得た追尾対象物を示すものである。従って、ウェアラブル部８０を装着した作業者は、医療器具７０を装着した状態の作業状態を体の外側から肉眼で確認しつつ両手を駆使して注意を要する作業をしながら、この作業対象の腹腔内の撮像画像を表示領域８３ｄにおいて観察することができる。

次に、このように構成された実施の形態の動作について図１２及び図１３を参照して説明する。図１２は第２の実施の形態の動作を説明するためのフローチャートである。図１３は第２の実施の形態の動作を説明するための説明図である。

図１３は本実施の形態における医療器具７０を用いて患者の治療を行う例を示している。患者体表面１２１には医療器具７０を挿入可能な開口が形成されている。術者は医療器具７０が装着された指１００を患者体表面１２１の開口を介して体腔内１２２に挿入する。指１００を矢印１３１ａ方向に移動させることによって、医療器具７０の第１フレーム９１を矢印１３１ｂ方向に移動させることができる。このような状況であるから、医療器具７０のユーザの行為（指の動きを例としているが、姿勢、立ち居振る舞い）によって、様々な位置変化が支配的に生じるのであって、患者の方は、略静止していることを前提としている。

医療器具７０の制御部７１は、図１２のステップＳ４１において、医療器具７０を起動する特定の入力信号や入力操作が発生した否かを判定し、発生していない場合には、ステップＳ５３において省電力モード（省エネモード）を設定してステップＳ４１に処理を戻す。省電力モードでは、制御部７１は医療器具７０の一部のみにバッテリ７５からの電力を供給するように制御するようになっている。

制御部７１は、医療器具７０を起動するためのオン操作が発生したものと判定すると、処理をステップＳ４２に移行して各部にバッテリ７５からの電力を供給して各部を起動させる。なお、制御部７１は、ウェアラブル部８０における音声取得部８２ｂに対する音声入力に応じて制御部８１から通知されたコマンドに従って、ステップＳ４１からステップＳ４２に処理を移行するようになっていてもよい。

指１００の先端に配置された画像取得部７２ａは、体腔内１２２を広角に撮像する。この撮像画像は、制御部７１に供給される。制御部７１は撮像画像をそのまま表示画像とするか又は中心画像を表示画像として、通信部７６，８６を介して医療器具７０の制御部８１に出力する（ステップＳ４３）。表示制御部８１ａは、例えば、眼鏡型の医療器具７０の表示部８３に体腔内１２２の撮像画像を表示する。

制御部７１は、ステップＳ４４において照明が必要か否かを判定する。撮像画像が十分な明るさを有していない場合には、制御部７１は、光源部７４を発光させる（ステップＳ４５）。こうして、医療器具７０の先端側に設けられた光源部７４によって体腔内１２２は照明され、画像取得部７２ａによる撮像画像は視認性に優れた画像となる。なお、制御部７１は、ステップＳ４４において照明が不要と判断した場合には、省電力の観点から光源部７４を点灯させることなく、処理をステップＳ４６に移行する。

こうして、術者は医療器具７０の表示部８３による表示領域８３ｄに表示された体腔内１１２の撮像画像を見ながら指１００を移動させ、医療器具７０を治療を施す目的部位１２３、即ち、追尾対象物近傍に移動させる。範囲切換部７１ａは、指１００が伸ばされて第１フレーム９１と第２フレーム９２とが略直線状の場合における画像取得部７２ａによる撮像画像の画像中心部分を追尾対象物に設定して（ステップＳ４６）、ステップＳ４７に移行する。なお、範囲切換部７１ａは、他の方法によって追尾対象物を設定してもよい。例えば、範囲切換部７１ａは、ウェアラブル部８０の表示部８３に表示された撮像画像中の目的部位１２３の画像部分を指定する操作によって、追尾対象物を設定してもよい。
ここでは、ユーザの指の動き（立ち居振る舞い等）が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認してもよい。ここでは、目的部位１２３の画像が、特定の体腔内パターンを背景として動かないことを撮像結果で判定するようなプロセスを入れてもよい。ここでは、ユーザの姿勢（立ち居振る舞い等）が、対象物との相対位置変化の主要要因であることを前提とするので、それを保証するために、対象物が背景の中で同じ位置にあることを画像取得部からの画像で、まず判定するようにしてもよい。この場合、目的部位１２３の特徴的な部分、例えば色や形状を検出し、その色や形状の回りの画像を背景として、時間的にこれらの関係が変化しないことを判定すればよい。また、近年では、複眼のカメラや位相差方式の距離分布判定が可能な撮像素子が開発されており、状況の距離分布などがわかるので、それによって距離分布の変化がないことを検出し、対象物の変化がない、または少ないことを判定してもよい。体腔内１１２であれば、照明光の反射の強さの分布によっても、背景と目的部位１２３の関係を把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象はユーザの動きであると考えられる。また、ユーザの動きでも、ここでは、もっぱら回転系の動きであるので、装着部位によって、その特有の動きを想定して画像のシフト又はズームを制御するという動き補償制御を行っても良い。このような動きの規定は、装着部位に関係する関節の動きのパターンで行っても良く、作業内容や機器の専門性によっても規定することが出来るが、予め手動で入力するようにしてもよい。

範囲切換部７１ａは、ステップＳ４７において、状態判定部７２ｂからの情報に基づいて、指曲げが開始されたか否かを判定する。範囲切換部７１ａは、指曲げが開始されていないと判定した場合には、処理をステップＳ５６に移行してズームが指定されているか否かを判定する。範囲切換部７１ａは、ズームが指定されていない場合には処理をステップＳ５１に移行し、ズームが指定されている場合には、ステップＳ５７において画像中心でズーム処理を実行して表示画像を得た後ステップＳ５１に移行する。なお、この表示画像は、ステップＳ４３において表示部８３に表示される。

術者は、表示部８３に表示された表示画像を確認しながら、指１００の位置を移動させることにより、医療器具７０の電気メス９３を目的部位１２３に当接させる。図１３に示すように、指１００を矢印１３２ａ方向に曲げ伸ばしすることによって、電気メス９３を矢印１３２ｂ方向に傾斜させることが可能である。術者は指１００を曲げたり伸ばしたり移動させたりする操作によって、電気メス９３により目的部位１２３を切開する。この電気メス９３へのエネルギー投入は、医師がフットスイッチを使ったり、医師が口の動きなどで行ったりもよく、他の指などで操作しても良い。このように医師には集中力を要する処置が多く、医師の様々な部位の自由度確保が重要で、機器に拘束されないようなウェアラブル機器によるソリューションが重要となる。この他、この機器は指１００以外の他の指を使って処置部７３を掴んだり支えたりする必要がなく、他の指に自由度を持たせてあるので、それらを使った専用器具で、縫合や止血などの別作業を行うことが可能となっている。

指１００の曲げ伸ばしによる第２フレーム９２の傾斜角の変化は、状態判定部７２ｂによって判定される。状態判定部７２ｂは取得した傾斜角の変化の情報を範囲切換部７１ａに出力する。範囲切換部７１ａは、ステップＳ４７において指１００の曲げ伸ばしが行われたものと判定すると、ステップＳ４８において指曲げに応じて追尾対象物の方向を変更して、画像取得部７２ａによる撮像画像のうち追尾対象物の方向に対応する画像部分が画面中央に位置するように画像をシフト又はズームして表示画像を生成する。なお、ここでは、ユーザの指曲げが、対象物との相対位置変化の主要要因であることを前提としている。このような専用機器なので、それを前提にした設計でもよいが、ステップＳ４７にこうした確認のプロセスを入れ込んでも良い。

即ち、術者は指１００の曲げ伸ばしに拘わらず、目的部位１２３である追尾対象物を表示部８３の画面中央に常に位置させた状態で、目的部位１２３を表示部８３において観察しながら、電気メス９３による切開作業を行うことができる。これにより、術者は目的部位１２３の確認が容易であると共に、指１００を動かすという簡単な作業によって、目的部位１２３に対する処置が可能である。ここでは、ユーザの指の動きが、対象物との相対位置変化の主要要因であることを前提とするので、対象物が背景の中で同じ位置にあることを画像取得部からの画像で判定した結果をまず確認するようにしてもよい。例えば、目的部位と他の部位との位置関係を、常時、画像で確認しておくようにして、ステップＳ４７での分岐にそれを反映させてもよい。つまり、目的部位が止まっている時のみ、ステップＳ４７が指曲げと判定するとか工夫をしてもよく、そのような状況以外は指曲げＯＫ信号を出さないようにしてもよい。指曲げＯＫの結果は、眼鏡型端末等に表示する。

範囲切換部７１ａはステップＳ４９においてぶれ判定を行い、画像にぶれが生じていないと判定した場合には、処理をステップＳ５４に移行してズームが指定されているか否かを判定する。範囲切換部７１ａは、ズームが指定されていない場合には処理をステップＳ５１に移行し、ズームが指定されている場合には、ステップＳ５５において画像中心でズーム処理を実行して表示画像を得た後ステップＳ５１に移行する。なお、この表示画像は、追尾対象物の画像部分が画面中央に位置するように画像シフト又はズームされたものであり、ステップＳ４３において表示部８３に表示される。

範囲切換部７１ａは、ステップＳ４９においてぶれが生じていると判定した場合には、次のステップＳ５０において、画像処理によってぶれを補正した後、ステップＳ５１に処理を移行する。

制御部７１は、ステップＳ５１において端末オフ操作が発生したか否かを判定する。端末オフ操作がなければ、制御部７１は処理をステップＳ４３に戻す。端末オフ操作が発生すると、制御部７１は、ステップＳ５２において医療器具７０の各部への電力供給を停止して、表示部８３の表示をオフにするためのコマンドを通信部７６，８６を介して制御部８１に送信する。これにより、制御部８１は表示部８３の表示をオフにする。

なお、上記図１２のフローは、指１００の向き等に拘わらず、追尾対象物が画像取得部７２ａの撮像範囲内に存在するものとして説明した。しかし、指１００の変位量によっては、追尾対象物が撮像範囲から脱する可能性もある。そこで、この場合には、最後に撮像範囲に存在した追尾対象物の方向の対象物を画面中央に位置させた状態で表示画像を固定する。そして、追尾対象物が再び撮像範囲に存在するようになった（補足した）場合には、その場合の追尾対象物の撮像画像上の位置の画像部分を画面中央に位置させるように表示画像を生成する。

（変形例）
ところで、図９の例では、バッテリ７５を含む回路部８９を挿入部９０に配置するものと説明した。しかし、医療器具７０の操作性を考慮すると挿入部９０の重さは軽い方がよく、バッテリ７５として十分な容量を確保することが困難な場合がある。そこで、このバッテリ７５等を挿入部９０以外の部分に配置する構成も考えられる。眼鏡型端末と処置具（医療機器）は、装着する場所が離れているが、一つの機器として捉えることが出来、制御部などは共通のものが一つあれば、制御部７１と制御部８１を兼用することも可能であると説明したが、それぞれの電源なども共通化してもよい。

図１４はこのような変形例を示す説明図である。処置部７３ａは回路部８９が省略された挿入部９０ａを採用した点が図９の処置部７３と異なる。挿入部９０ａには、第１フレーム９１内を挿通された複数の配線に接続された複数の配線を含むケーブル１３１が接続されている。ケーブル１３１は術者の手１３０上に配線されて、内部の各配線が術者の手首に巻かれたリストバンド１３５に搭載された回路部１３４及びバッテリ７５に接続されるようになっている。なお、回路部１３４は医療器具７０の必要な回路を含む。

このような構成によれば、比較的重量が重い回路部１３４及びバッテリ７５が挿入部９０ａに搭載されていないので、術者は指１００を比較的容易に動かすことが可能となる。なお、図１４ではバッテリ７５及び回路部１３４をリストバンド１３５に搭載する例を示したが、リストバンド１３５上に光源を配置して、光源からの光をライトガイドにより伝送して照明光として出射させる構成であってもよい。

このように本実施の形態においては、追尾対象物を設定すると共に、当該追尾対象物への方向の変化を検出して画像中心に配置する撮像画像の部分を修正する。これにより、常に、画面中央に追尾対象物が表示された表示画像を得ることができる。このように、作業に伴って画像取得部が変位する場合でも、追尾対象物を確実に捉えた撮像が可能である。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
また、多くの分岐などによって生じる結果については、ここでは単純化して説明したが、さらに多くの判断材料を利用しても良いことは言うまでもない。近年、どのような条件ではどのような制御を行う、といった事は、人工知能や機械学習、深層学習などが有効であることが知られており、ここで説明したようなプロフェッショナルが利用する機器では、その道の権威やベテランなどの技を、後進育成に繋げる事が期待されている分野である。この発明では、音声や画像などの情報を駆使して、それぞれの情報取得特性を向上させているが、どのような時に、この特性切り替えが重要であるかを、熟練者が利用して、良好切り替え時の条件データを蓄積していけば、これを教師データとして、さらに使いやすいシステムとすることが出来る。ここでは、そのような場合も含めて、最も説明が平易になる方法で実施例を書いて説明しているので、この方向での発展系をも見据えた技術であることは言うまでもない。また、ここで説明した多くの機器が連携する技術では、どこにどの機器の制御部があっても対応可能、応用設計可能であることも言うまでもない。ユーザと対象物、または、背景と対象物の関係を把握可能で、これらの関係が大きく変わらなければ、動きの補償の対象を特定可能であるが、上記各実施例ではユーザの動きが支配的であると考えられる状況をいかに判定するかを列挙したが、この判定もまた、状況や機器の装着部位、作業内容など、様々な変数が関わり合うので、人工知能などによって学習された結果に応じて制御を切り替えてもよいことは言うまでもない。

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、半導体やその他の記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。また、外部の機器が必要に応じて連携し、いくつかの機能や判断の代役を果たしてもよい。

１０…ウェアラブル部、１１…制御部、１１ａ…表示制御部、１１ｂ…範囲切換部、１２…情報取得部、１２ａ…画像取得部、１２ｂ…音声取得部、１２ｃ…姿勢取得部、１３…表示部、１４…通信部、１５…記録部、１６…バッテリ。

Claims (13)

1. センサと、
   前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記センサが取り付けられる変位部の変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部と
   を具備したことを特徴とするセンサ情報取得装置。
2. 前記制御部は、追尾対象物の方向に上記情報取得方向を設定する
   ことを特徴とする請求項１に記載のセンサ情報取得装置。
3. 前記制御部は、ユーザ操作に基づいて前記追尾対象物を設定する
   ことを特徴とする請求項２に記載のセンサ情報取得装置。
4. 前記追尾対象物を追尾するための追尾用センサ
   を具備したことを特徴とする請求項２に記載のセンサ情報取得装置。
5. 前記制御部は、前記追尾対象物が前記追尾用センサの追尾可能な領域を脱した場合には、前記情報取得方向を最後に前記追尾対象物を追尾していた方向に固定する
   ことを特徴とする請求項４に記載のセンサ情報取得装置。
6. 前記制御部は、前記追尾対象物が前記追尾用センサの追尾可能な領域を脱した状態から追尾可能な領域に戻った場合には、前記情報取得方向を前記追尾対象物の追尾方向に設定する
   ことを特徴とする請求項５に記載のセンサ情報取得装置。
7. 前記変位部の変位に関する情報は、イメージセンサ、マイクロホン又は姿勢センサによって取得される
   ことを特徴とする請求項１に記載のセンサ情報取得装置。
8. 前記センサは、音声を取得するマイクロホンにより構成され、
   前記制御部は、前記センサを構成するマイクロホンの指向性を制御する
   ことを特徴とする請求項１に記載のセンサ情報取得装置。
9. 前記センサは、画像を取得するイメージセンサにより構成され、
   前記制御部は、前記イメージセンサによって取得された撮像画像中の所定の画像部分を画面の所定位置に表示する
   ことを特徴とする請求項１に記載のセンサ情報取得装置。
10. センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、
    前記センサが取り付けられる変位部の変位に関する情報を取得し、
    取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する
    ことを特徴とするセンサ情報取得方法。
11. コンピュータに、
    センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定する手順と、
    前記センサが取り付けられる変位部の変位に関する情報を取得する手順と、
    取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する手順と
    を実行させるためのセンサ情報取得プログラム。
12. 変位自在な処置部と、
    前記処置部との位置関係が固定なセンサと、
    前記センサと対象物との相対関係が変化しても対象物の位置が変化していない事を判定し、前記変位部の変位に関する情報を取得する情報取得部と、
    取得した変位に関する情報に基づいて、前記センサの情報取得方向を制御する制御部と
    を具備したことを特徴とする医療器具。
13. 前記処置部は、指の動きに従って変位するものであり、
    前記センサは、前記指に取り付けられたイメージセンサであり、
    前記制御部は、前記イメージセンサによって取得された撮像画像中の所定の画像部分を画面の所定位置に表示する
    ことを特徴とする請求項１２に記載の医療器具。

Images