以下、図を参照しながら、この発明の装置、方法の実施の形態について説明する。以下おいては、情報処理装置部と表示装置部と入力装置部とが一体に構成されたタブレット型情報端末にこの発明を適用した場合を例にして説明する。
[第1の実施の形態]
以下に説明する第1の実施の形態のタブレット型情報端末は、ユーザの指や電子ペンによって指示され、入力装置部が検出した指示位置に対応する表示装置部の表示画面(例えば、アプリケーションのウィンドウ画面等)上の座標位置に、画像を関連付けるようにする。この場合、関連付け対象の画像は、関連付け対象の画像であることを示す情報として所定の付加情報(関連付け画像特定情報)が付加されている画像データを取得し、この取得した画像データに応じた画像を関連付けする。
これにより、関連付け対象とされた写真などの適切な画像を迅速に取得して、これを電子ペンにより指示された表示画面上の座標位置に関連付けして利用することができるものである。すなわち、以下に説明する第1の実施の形態のタブレット型情報端末は、関連付け用の特別な画像のみを取得し、この画像と電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができるものである。
さらに、電子ペンから入力装置部などへ送信される信号にも認証用の第1の付加情報を付加しておく。この第1の付加情報と、写真などの画像データに付加される所定の付加情報(関連付け画像特定情報)である第2の付加情報とに基づいて、関連付け対象の画像データであって、電子ペンに関連付けられる画像データとして認証が取れた画像データを取得するようにすることもできる。そして、この取得した画像と電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができる。
以下においては、電子ペンから入力装置部などへ送信される信号に付加される第1の付加情報と、関連付け対象となる写真などの画像データに付加される所定の付加情報(関連付け画像特定情報)である第2の付加情報との両方を用いる場合を中心に説明する。すなわち、関連付け対象の画像データであって、電子ペンに関連付けられる画像データとして認証が取れた画像データを取得し、この取得した画像と電子ペンによる指示位置に応じた座標データとを関連付けて利用する場合を中心に説明する。
図1は、第1の実施の形態のタブレット型情報端末1及び電子ペン2の外観の一例を示す図である。タブレット型情報端末1は、その前面から、表示装置部200の例えばLCD(Liquid Crystal Display)などの比較的に大きな表示画面220が露呈する構成を有する。表示画面220の表面又は裏面には、表示画面220の全面に対応するように設けられたセンサ部(座標センサ)320を有する入力装置部300が搭載されている。
このため、入力装置部300は、表示装置部200の表示画面220上のどの位置を位置指示器である電子ペン2によって指し示した場合にも、その指示位置が検出できる。そして、検出したセンサ部320上の指示位置は、表示画面220上の位置に対応付けられるようになっている。また、タブレット型情報端末1の筐体内部には、表示装置部200や入力装置部300が接続され、種々の情報処理を行う情報処理装置部100が搭載されている。
このように、タブレット型情報端末1においては、入力装置部300が入力デバイスとなり、表示装置部200が表示デバイス(出力デバイス)となっている。また、タブレット型情報端末1に対しては、電源ボタン118Aを操作することにより、電源のオン/オフをすることができるようになっている。
そして、タブレット型情報端末1において、表示画面220上で、電子ペン2により位置指示操作がされたとする。この場合、電子ペン2から位置指示信号が、入力装置部300のセンサ部320に対して送信される。そして、表示画面220の全面に対応して設けられたセンサ部320からの検出出力に基づいて、入力装置部300が備えるCPU(Central Processing Unit)などのコントローラが、センサ部320上の指示位置であって、表示画面220上での指示位置を特定する。
また、後述もするが、この実施の形態において、電子ペン2は、自機の識別ID(ペンID)などの付加情報(第1の付加情報)を含む位置指示信号をセンサ部320に送信する。入力装置部300が備えるコントローラは、センサ部320を通じて受信する電子ペン2からの位置指示信号から第1の付加情報を抽出することができる。入力装置部300のコントローラは、特定した指示位置を示す座標データや抽出した第1の付加情報を、情報処理装置部100に供給する。情報処理装置部100は、入力装置部300からの座標データや第1の付加情報を用いて処理を行うことができる。
なお、第1の付加情報は、電子ペン2から入力装置部300に送信される位置指示信号に含めるのではなく、例えば、Bluetooth(登録商標)規格などの近距離無線通信によって、情報処理装置部100に送信することもできる。この場合には、電子ペン2側に近距離無線通信のための送信部を設け、情報処理装置部100側に近距離無線通信のための受信部を設ける必要がある。
情報処理装置部100は、入力装置部300を通じて受け付けたユーザからの指示入力に応じて種々の処理を行う。情報処理装置部100は、例えば、ユーザからの指示に応じて、表示画面220に設計図などのドキュメントを表示する。そして、情報処理装置部100は、写真などの画像データを取得して、表示した当該ドキュメント上のユーザにより指示された位置に、取得した写真などの画像データに応じた画像を貼りつけるようにして表示するなどのことができるようにされる。
電子ペン2は、入力装置部300のセンサ部320上の位置を指示する信号であって、自機の識別IDであるペンIDを含む位置指示信号を送信し、当該センサ部320上の座標位置を指示する。当該位置指示信号には、ペンIDが含まれているので、これを入力装置部300において抽出し、情報処理装置部100に通知し、これを情報処理装置部100において利用できるようにしている。この実施の形態においては、電子ペン2から送信される位置指示信号に含まれるペンIDが第1の付加情報として用いられる。
また、この実施の形態の電子ペン2は、カメラユニット22を備えると共に、ケーブル24を通じてタブレット型情報端末1に対して有線接続されている。電子ペン2は、自機に搭載されたカメラユニット22を通じて被写体を撮像することにより得た画像データを、ケーブル24を通じてタブレット型情報端末1に送信できる。この場合、電子ペン2は、画像データだけでなく、画像データに対して自機の識別情報であるペンIDを付加して、タブレット型情報端末1に送信する。なお、電子ペン2からの画像データに付加されたペンIDが所定の付加情報(関連付け画像特定情報)である第2の付加情報として用いられる。
これにより、タブレット型情報端末1において、電子ペン2からの位置指示信号に含まれるペンID(第1の付加情報)と、電子ペン2で撮像された画像データに付加されているペンID(第2の付加情報)とに基づいて、両者が関連付けられる。この例の場合、第1の付加情報と第2の付加情報とは共に電子ペン2のペンIDである。このため、電子ペン2のペンIDが付加された画像データは、関連付け対象の画像データであって、電子ペン2と関連付けられる認証が取れた画像データということになる。
図2は、この実施の形態のタブレット型情報端末1の構成例を説明するためのブロック図である。タブレット型情報端末1は、情報処理装置部100に対して、I/O(input/output)ポート130を介して表示装置部200が接続され、I/Oポート140を介して入力装置部300が接続されて構成されている。
情報処理装置部100は、タブレット型情報端末1の全体を制御するものであり、以下に説明するように、種々の機能部を備える。送受信アンテナ101Aと無線通信部101とは、ネットワークへの接続機能を実現する。ネットワークは、主にインターネットであるが、情報処理装置部100からインターネットまでを接続する携帯電話網や公衆電話網などの種々のネットワークを含む。
制御部102は、図示しないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備える。制御部102は、種々のプログラムを実行し、情報処理装置部100の各部と情報処理装置部100に対して接続された表示装置部200及び入力装置部300を制御する。
メモリ部103は、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメメモリなどの不揮発性メモリを備える。このメモリ部103には、例えば、設定データやアプリケーションプログラムなどのタブレット型情報端末1の電源が落とされても保持しておく必要のある情報が記憶保持される。
写真フォルダ104は、主に電子ペン2のカメラユニット22を通じて被写体を撮像することにより得られた画像データであって、ペンIDが付加された画像データを記憶保持する。なお、以下においては、カメラユニット22を通じて被写体を撮像することにより得られた画像データを写真データと記載する。この写真データが、第1の画像データであり、当該写真データに付加されたペンIDなどの付加情報が第2の付加情報である。
また、図面等DB(Data Base)105は、タブレット型情報端末1で利用する種々の図面の画像データを記憶保持する。なお、以下においては、タブレット型情報端末1で利用する図面の画像データを図面データと記載する。この図面データが、後述もするように、写真データに応じた写真の関連付け対象となる第2の画像データである。
図3は、図面等DB105に格納される格納データである図面ファイルの例を説明するための図である。また、図4は、写真フォルダ104に格納される格納データである写真ファイルの例を説明するための図である。まず、図3を用いて、図面等DB105の格納データについて説明する。この実施の形態のタブレット型情報端末1の図面等DB105には、当該タブレット型情報端末1を用いて点検を行う施設の設計図面を形成する図面データが記憶保持される。設計図面は、後述もするが、点検を行う施設の点検箇所を特定する場合に用いることができる施設の全体図(図3(A))と、それぞれの点検箇所の複数のエリア設計図(図3(B))とからなる。
図面等DB105の格納データである図面ファイルは、図3(A)、(B)に示すように、設計図面を形成する図面データに対して、施設ID及び施設名称、種別、フロアー、エリアID、枝番といったメタデータが付加されたものである。なお、図3(B)に示すエリア設計図には、詳しくは後述するが基地局IDが付されている。
この実施の形態において、施設IDは、3桁の数字である。施設名称は、施設の具体的な名称であり、図3(A)、(B)において施設名称は、「□□化学プラント」となっている。種別は、当該設計図面がどのような図面なのかを示すものであり、例えば、全体図、エリア設計図の別が示される。
フロアー(階)は、その設計図面が対応する場所が何階なのかを示す情報である。エリアIDは、その設計図面が対応する場所(エリア)を一意に特定可能な情報である。基地局IDは、各点検対象エリアに設置されている基地局からのビーコン信号を受信し、このビーコン信号に含まれる基地局IDに基づいて、点検対象エリアを自動的に特定すると共に、対応するエリア設計図を特定する場合に用いられる情報である。
枝番は、エリアIDによって特定される場所(エリア)に対応する設計図面が複数ある場合にそれらを区別するための番号である。例えば、エリアIDが「A01」により示される場所(エリア)に、複数枚のエリア設計図面などが存在する場合に。枝番は、「01」、「02」、「03」、…のように示される。したがって、「エリアID」と「枝番」によって、各エリアのエリア設計図が一意に特定できる。
なお、この実施の形態では、各点検対象エリアに設置されている基地局からのビーコン信号を受信して、点検対象エリアとエリア設計図とを特定するために基地局IDを利用するものとして説明する。しかし、これに限るものではない。例えば、点検対象エリアの入口付近に掲示されているQRコード(登録商標)やバーコードなどを、タブレット型情報端末1の図示しない撮像部を通じて読み取って、点検対象エリアを特定してもよい。この場合には、図3(B)に示した基地局IDが、QRコード(登録商標)やバーコードに対応する情報となる。
この他にも、赤外線信号の送信器を点検対象エリアごとに設置し、タブレット型情報端末1に赤外線通信機能を設けておく。これにより、赤外通信により点検対象エリアを特定する情報を送受するようにして、点検対象エリアとエリア設計図とを特定するように構成することもできる。また、屋内であっても、GPS機能により現在位置が正確に測位可能な場合には、当該GPS機能により測位される現在位置と全体図とに基づいて、点検対象エリアを特定し、その点検対象エリアのエリア設計図を特定するように構成することもできる。
そして、図面等DB105に格納される図面ファイルのうちの全体図の図面ファイルは、図3(A)に示すように、施設ID及び名称が「001:□□化学プラント」で、種別が「01:全体図」というメタデータが付されたものである。全体図の図面ファイルについてのその他の情報であるフロアー、エリアID、枝番は、空欄になっている。
また、図面等DB105に格納される図面ファイルのうちの全体図以外のエリア設計図などの図面データは、図3(B)に示すように、施設ID及び名称は、全体図の場合と同様である。そして、種別は例えば「02:エリア設計図」で、基地局IDは「aaa…」で、フロアーは例えば「01:1階」で、エリアIDが例えば「A01:コントロールルーム」で、枝番が例えば「01:正面」のように、各図面に対応した情報が付加される。
このように、図面等DB105には、点検する施設についての種々の図面毎に、各図面を形成する図面データに対してメタデータが付加されることにより、図面ファイルとして記憶保持されている。なお、図面等DB105には、点検対象の施設のすべての図面についての図面ファイルを格納しておくようにしてもよいし、インターネット上のサーバ装置に点検対象の施設のすべての図面についての図面ファイルを格納しておき、必要となる図面の図面ファイルだけをダウンロードして保持しておくようにすることもできる。
次に、図4を用いて、写真フォルダ104の格納データである写真ファイルについて説明する。この実施の形態のタブレット型情報端末1の写真フォルダ104には、例えば、外部の撮像装置を通じて被写体を撮像することにより得られ写真データを有する写真ファイルが記憶保持される。したがって、タブレット型情報端末1に有線接続された電子ペン2のカメラユニット22を通じて被写体を撮像することにより得られた写真データを有する写真ファイルなどが、写真フォルダ104に格納される。写真フォルダ104に格納される写真ファイルは、図4に示すように、写真データに対して、写真ID、付加情報、手書きメモデータなどが付加されて構成される。
写真IDは、当該写真データを一意に特定するための識別情報であり、この実施の形態では、タブレット型情報端末1が当該写真データを取得したときに、タブレット型情報端末1において付与される情報である。付加情報は、撮影時に撮像装置において付加された情報であり、例えば、撮像日時、撮影場所、ペンIDなどの装置ID、その他の情報などからなる。
撮像日時は、撮像時において撮像装置の時計回路から取得される年月日及び時刻を示す情報である。撮像場所は、撮像時において撮像装置のGPS部から取得される緯度・経度である。ペンIDは、電子ペン2のカメラユニット22により撮像された画像データの場合に、付加されている情報であり、電子ペン2を一意に特定可能な電子ペンの識別情報である。なお、電子ペン2のカメラユニット22により撮像された画像データに付加される付加情報は、この実施の形態では、説明を簡単にするためペンIDのみが付加されるものとして説明する。
すなわち、撮像日時、撮像場所、ペンIDなどのすべての情報が必ず写真データに対して付加されるものではなく、デジタルカメラで撮像された写真データにはペンIDではなく、カメラIDといった機器IDが付加されえる。また、時計回路やGPS機能を備えない撮像装置の場合には、これらの情報は付加されない。もちろん、撮像日時、撮影場所、ペンIDなどの装置IDの他にも、例えば、Exif(Exchangeable image file format)規格に準拠した種々の付加情報を付加することもできる。
また、写真データに対しては、タブレット型情報端末1のユーザによって入力された手書きメモ(筆跡データ)も付加することができるようになっている。このように、写真フォルダ104に記憶保持される写真ファイルは、写真データに対して、写真IDと付加情報からなるメタデータが付加されて構成されたものであり、必要に応じて手書きメモデータを付加することもできるようになっている。
そして、上述もしたが、写真フォルダ104に記憶保持されている写真ファイルの写真データが、第1の画像データであり、図面等DB105に記憶保持されている図面ファイルの図面データが第2の画像データである。また、後述もするが、電子ペン2からの位置指示信号に含まれるペンIDが第1の付加情報であり、写真フォルダ104に記憶保持されている写真ファイルの写真データに付加されている付加情報が第2の付加情報であり、特にペンIDが第2の付加情報として重要である。
次に、情報処理装置部100の各処理部について説明する。写真取得部106は、後述する入力装置部300のセンサ部320に対して位置指示を行った電子ペン2と関連付けられる写真データを写真フォルダ104から取得する処理を行う。第1関連付け部107は、電子ペン2によって位置指示された入力装置部300のセンサ部320上の座標位置に対応する表示装置部200の表示画面220上の座標位置(座標データ)と、写真取得部106によって取得された写真データとを関連付ける処理を行う。
上述したように、入力装置部300のセンサ部320と表示装置部200の表示画面220とは、重畳配置されており、センサ部320の検出エリアと表示画面220の表示エリアとは一致している。このため、センサ部320上の指示位置は、一意に表示画面220上の位置に対応しており、センサ部320上の指示位置に対応する表示画面220上の位置は、一意に特定することができるようになっている。
写真関連付け部108は、第1関連付け部107によって関連付けられた座標位置と写真データとを用い、当該座標位置に対する表示装置部200の表示画面220上の位置に、当該写真データに応じた画像を関連付けて(貼り付けて)表示する処理を行う。撮像制御部109は、有線接続された電子ペン2のカメラユニット22を制御する処理を行う。
ファインダ制御部110は、有線接続された電子ペン2のカメラユニットを通じて被写体を撮像する場合に、電子ペン2のカメラユニット22が捉えている被写体の映像(動画像)を、表示装置部200の表示画面に表示エリアを設けて表示する処理を行う。電子ペン2は、一般的な万年筆やボールペンとほぼ同じ大きさ、形状のものであり、電子ペン2には、いわゆるファインダとして機能する表示部を設けることができないためである。
図面取得部111は、タブレット型情報端末1のユーザからの指示に応じて、あるいは、タブレット型情報端末1の所在位置に応じて、点検すべき施設の全体図や点検場所のエリア設計図などを形成する図面データを、図面等DB105から取得する処理を行う。図面表示処理部112は、図面取得部111によって取得した図面データに応じた図面を表示装置部200の表示画面220に表示したり、ユーザからの指示に応じて、表示した図面を、拡大/縮小したり、表示部分をずらしたり(移動したり)するなどの処理を行う。
座標変換部113は、電子ペン2によって位置指示された入力装置部300のセンサ部320上の座標位置を、表示装置部200の表示画面に表示された図面上の座標位置に変換する処理を行う。第2関連付け部114は、第2の画像データである図面データと、座標変換部113により変換された当該図面上の座標位置と、第1の画像データである写真データとを関連付ける処理を行う。
ここで、図面データは、図面表示処理部112によって表示装置部200の表示画面に表示された設計図面を形成するものである。図面上の座標位置は、座標変換部113によって変換された電子ペン2の指示位置に対応する表示画面に表示された図面上の座標位置である。第1の画像データである写真データは、写真取得部106によって取得されたものである。これにより、目的とする図面上の目的とする座標位置に、写真データに応じた画像を関連付ける(貼り付ける)ことができるようにされる。
写真表示処理部115は、写真取得部106によって取得された写真データに応じた画像(写真)を表示装置部200の表示画面220に表示する処理を行う。そして、編集処理部116は、写真表示処理部115により表示装置部200の表示画面220に表示された画像の拡大/縮小、移動などの編集処理を行う。モード切替部117は、電子ペン2による入力装置部300のセンサ部320への指示操作が、撮影した写真などの関連付け位置を指示する操作になる写真関連付けモード、写真の編集モード、通常の処理モードなど、各処理モードの切り替え制御を行う。
操作部118は、電源ボタン118Aや幾つかのファンクションキーを備えた部分である。外部I/F(I/FはInterfaceの略称)119は、外部機器の接続を受け付け、当該外部機器との間でデータの送受信を可能にする。近距離無線通信部120及び近距離無線通信アンテナ120Aは、例えば、Wi-Fi(登録商標)規格の無線LAN(Local Area Network)により近距離通信を可能にする部分である。
I/Oポート130、140は、I2C(Inter-Integrated Circuit)やUSB(Universal Serial Bus)などの所定の通信方式に合致した入出力ポートである。I/Oポート130は、情報処理装置部100と表示装置部200との間のデータの送受を可能にし、I/Oポート140は、情報処理装置部100と入力装置部300との間のデータの送受を可能にする。
表示装置部200は、コントローラ210と、例えば、LCD(Liquid Crystal Display)や有機EL(Organic Electro-Luminescence)ディスプレイなどの薄型の表示画面(表示素子)とからなる。コントローラ210は、CPU、不揮発性メモリを備えたマイクロプロセッサである。
入力装置部300は、コントローラ310とセンサ部320とからなる。コントローラ310は、CPU、不揮発性メモリを備えたマイクロプロセッサである。センサ部320は、X軸方向(横方向)に配置された導電線群と、Y軸方向(縦方向)に配置された導電線群とが積層されて構成された部分である。入力装置部300は、電子ペン2からの位置指示信号をセンサ部320で受信し、センサ部320上のどの位置において位置指示信号を受信したかを、コントローラ310を用いて検出する。また、コントローラ310は、センサ部320を通じて受信した電子ペン2からの位置指示信号に含まれるペンIDなどの付加情報や筆圧を示す情報などを抽出する。
そして、入力装置部300のコントローラ310は、検出した指示位置に対応する座標データや抽出した付加情報や筆圧情報を情報処理装置部100に供給する。また、入力装置部300の構成としては、電磁誘導方式や静電容量方式などが存在し、電子ペン2も入力装置部300が採用する方式に対応するものとなる。
図5は、この実施の形態の電子ペン2の構成例を説明するためのブロック図である。図5に示すように、電子ペン2は、電子ペン機能部21と、カメラユニット22と、I/F(Interface)23とからなる。電子ペン機能部21は、ペンIDを記憶したメモリ21Mを備え、ペン先がタブレット型情報端末1のセンサ部上に接触するようにされると、筆圧を検出し、当該筆圧とペンIDを含む位置指示信号を形成して送信する。
電子ペン2のカメラユニット22は、CCDやCMOSイメージセンサなどの撮像素子、フレームメモリ、対物レンズ、コントローラなどを備える。そして、カメラユニット22は、被写体の画像を取り込むようにし、これを動画像データとしてタブレット型情報端末1に供給したり、タブレット型情報端末1からの制御に応じて、被写体の画像を静止画像データとして取り込んで、これをタブレット型情報端末1に供給したりする。なお、被写体を撮像することにより得た静止画像データ(写真データ)には、メモリ21Mに記憶保持されているペンIDが付加される。
I/F23は、タブレット型情報端末1との間でのデータの送受信を可能にする。I/F23は、カメラユニット22からの写真データをタブレット型情報端末1に送信するだけでなく、タブレット型情報端末1からの制御信号を受信してカメラユニット22のコントローラに供給し、タブレット型情報端末1を通じてカメラユニット22を制御することができるようにしている。
図6は、この実施の形態のタブレット型情報端末1と電子ペン2との接続関係を説明するための図である。図6に示すように、情報処理装置部100に対しては、I/Oポート140を通じて入力装置部300が接続されている。このため、入力装置部300のセンサ部320上に電子ペン2を接触させるようにすると、電子ペン2から位置指示信号がセンサ部320で受信され、コントローラ310を通じて指示位置を示す座標データ(X,Y)が検出されると共に、筆圧PS、ペンIDが抽出され、これらが情報処理装置部100に供給されるようになっている。
また、電子ペン2のI/F23と情報処理装置部100の外部I/F119とがケーブル24によって接続されている。このため、電子ペン2のカメラユニット22を通じて撮影された画像の写真データや付加情報としてのペンIDなどが、ケーブル24を通じて情報処理装置部100に供給される。また、情報処理装置部100から電子ペン2に対する撮像を指示する制御信号などが、ケーブル24を通じてカメラユニット22に供給されるようになっている。
このように、タブレット型情報端末1と電子ペン2とは、入力装置部300を通じて座標の指示入力が行われる座標指示系統によって接続される。また、タブレット型情報端末1と電子ペン2とは、外部I/F119とI/F23とをケーブル24を通じて接続した系統であって、主に写真データの入力が行われる写真入力系統によって接続される。タブレット型情報端末1と電子ペン2とは、これら2系統によって接続可能にされ、それぞれの系統で異なる情報の送受ができるようになっている。
図1~図6を用いて説明したこの実施の形態のタブレット型情報端末1と電子ペン2とを用いることにより、所定の施設の点検作業を適切に行うことができるようにされる。点検作業にあたっては、タブレット型情報端末1において、点検処理(点検作業用アプリケーション)を実行する。以下においては、この実施の形態のタブレット型情報端末1において行われる点検処理について、具体的に説明する。
図7~図10は、タブレット型情報端末1の情報処理装置部100で実行される処理を説明するためのフローチャートである。また、図11~図14は、点検処理が実行された場合に、情報処理装置部100により表示装置部200の表示画面に表示される画像の表示例について説明するための図である。
タブレット型情報端末1の操作部118の電源ボタン118Aが操作されて、タブレット型情報端末1に電源が投入されると、図7~図10に示す処理が、情報処理装置部100の制御部102において実行される。まず、制御部102は、自機において実行可能な処理(アプリケーション)に対応した複数のアイコンが表示された初期画面を表示装置部200の表示画面に表示する処理を行う(ステップS101)。次に、制御部102は、入力装置部300や操作部118を通じて、アイコンの選択入力などの操作入力を受け付ける(ステップS102)。
そして、制御部102は、ステップS102において、処理の終了を指示する操作入力を受け付けたか否かを判別する(ステップS103)。制御部102は、ステップS103の判別処理において、例えば、電源ボタン118Aを操作するなどの所定の終了操作が行われたと判別した時には、タブレット型情報端末1の電源を落とすようにする所定の終了処理を実行し(ステップS104)、この図7~図10に示す処理を終了する。
ステップS103の判別処理において、所定の終了操作は行われていないと判別した時には、点検処理を実行するためのアイコンが選択されたか否かを判別する(ステップS105)。ステップS105の判別処理において、点検処理を実行するためのアイコンは選択されていないと判別したときには、ユーザによって選択されたアイコンに対応する処理を実行し(ステップS106)、当該処理が終了したら、ステップS101からの処理を繰り返すようにする。
そして、ステップS105の判別処理において、点検処理を実行するためのアイコンが選択されたと判別したとする。この場合、まず、制御部102は、メモリ部103に予め登録されている、当該タブレット型情報端末1を用いて点検作業が行える施設の一覧リストである点検施設選択画面を表示装置部200の表示画面に表示する(ステップS107)。
図11(A)は、ステップS107で表示される点検施設選択画面の例を説明するための図である。図11(A)に示した点検施設選択画面では、タブレット型情報端末1を用いて点検作業が行える施設の施設IDと施設名称の一覧が表示される。当該一覧の表示では、選択カーソルCSが、最上位の施設IDと名称の表示欄に位置付けられ、点検を行う施設の選択が可能にされる。
すなわち、目的とする施設の施設IDと施設名称の表示欄に電子ペン2のペン先を接触させるようにすることにより、当該指示位置に応じた座標データが入力装置部300から情報処理装置部100に供給される。これにより、制御部102は、入力装置部300から座標データに基づいて、選択カーソルCSを、電子ペン2により指示された位置の施設IDと施設名称の表示欄に位置付けることができる。このように、ユーザは、選択カーソルCSを、目的とする施設IDと施設名称の表示欄に位置付けることができる。
そして、点検施設選択画面の下端側には「戻る」ボタンB1と「OK」ボタンB2とが表示され、そのそれぞれに対して電子ペン2により操作入力を行うことができる。制御部102は、入力装置部300を通じて、選択カーソルCSの移動操作や「戻る」ボタンB1や「OK」ボタンB2に対する操作入力を受け付ける。ステップS108では、「戻る」ボタンB1か「OK」ボタンB2が操作されるまで操作入力が求められる。
そして、制御部102は、ステップS108において、「戻る」ボタンが操作されたか否かを判別する(ステップS109)。ステップS109の判別処理において、「戻る」ボタンB1が操作されたと判別した時には、制御部102は、ステップS101からの処理を繰り返すようにする。これにより、ユーザは、再度、目的とする処理を選択して、実行するように操作を行うことができるようにされる。
ステップS109の判別処理において、「戻る」ボタンB1は操作されていないと判別された時には、「OK」ボタンB2が操作されたと判別し、制御部102は、選択カーソルCSが位置付けられている施設IDと施設名称によって特定される施設を、点検対象の施設として特定する。この実施の形態においては、図11(A)に示したように、最上段の施設IDが「001」で、施設名称が「□□化学プラント」の表示欄に選択カーソルCSが位置付けられて、「OK」ボタンB2が操作されて選択されたとする。
この場合、制御部102は、施設IDが「001」の「□□化学プラント」の全体図を、表示装置部200の表示画面220に表示する処理を行う(ステップS110)。ステップS110において制御部102は、まず、図面取得部111を制御し、選択された施設IDが「001」の「□□化学プラント」の全体図の図面データを、図面等DB105から取得する。次に、制御部102は、図面表示処理部112を制御し、図面取得部111が取得した図面データに応じた全体図を、表示装置部200の表示画面220に表示する。
図11(B)は、ステップS110で表示される、点検する施設(点検対象施設)として選択された施設IDが「001」で、名称が「□□化学プラント」である施設の全体図の表示例を説明するための図である。図11(B)に示した施設の全体図は、各階の見取り図として示した場合の例である。
図11(B)に示すように、施設IDが「001」で、名称が「□□化学プラント」である施設は、3階建ての建物であり、1階は6つのエリアが、2階は7つのエリアが、3階は6つのエリアがあることが示されている。制御部102は、表示装置部200の表示画面220に表示された全体図や操作ボタンの表示及び入力装置部300を通じて、点検対象エリアの選択入力などの操作入力を受け付けるようにする(ステップS111)。
この実施の形態のタブレット型情報端末1においては、点検対象エリアの選択は、2つの方法のいずれかを用いて行うことができるようにされている。第1の方法は、図11(B)に示した点検対象施設の全体図において、点検しようとするエリアの表示位置に電子ペン2のペン先を接触させるようにして、点検対象エリアを選択する方法である。第2の方法は、点検対象となるエリアに予め設置されている送信機(基地局)から送信される所定のビーコン信号を受信し、このビーコン信号に含まれる基地局IDに基づいて、点検対象エリアを選択する方法である。
第2の方法を実行する場合には、図11(B)に示した「サーチ」ボタンB3を電子ペン2で選択する操作を行うことになる。また、図11(B)に示した点検対象施設の全体図の表示画面においても、「戻る」ボタンB1と「OK」ボタンB2とが表示され、電子ペン2を通じて操作可能になっている。ステップS111の操作入力受付処理では、「戻る」ボタンB1が操作されるか、「サーチ」ボタンB3が操作されるか、電子ペン2を用いて点検対象エリアを選択した後に「OK」ボタンB2が操作されるまで、操作入力が求められる。
ステップS111において、例えば、電子ペン2を用いて、エリアIDが「A01」である1階のエリアを点検対象エリアとして指定したとする。この場合、図11(B)において斜線を付して示したように、当該エリアが例えば反転表示されてタブレット型情報端末1のユーザに通知される。この場合、他のエリアを選択し直せば、新たに選択されたエリアが反転され、エリアIDが「A01」のエリアの表示は通常の表示に戻される。そして、「OK」ボタンが電子ペン2により選択された場合に、電子ペン2により選択されたエリアが、点検対象エリアとして特定される。
また、ステップS111において、「サーチ」ボタンB3が操作された場合には、後述するように、ビーコンを用いた点検エリアの検出処理が行われることになる。また、ステップS111においては、「戻る」ボタンB1の操作も可能である。このため、ステップS111の操作入力受付処理の後において、制御部102は、図8の処理に進み、入力装置部300からの座標データに基づいて、ステップS111で受け付けた操作入力は、「サーチ」ボタンB3に対する操作入力か否かを判別する(ステップS112)。
ステップS112の判別処理において、「サーチ」ボタンB3に対する操作入力を受け付けたと判別したときには、制御部102は、近距離無線通信部120を制御して、ビーコン信号を用いた点検対象エリアの検出処理を実行する(ステップS113)。点検の対象となる各エリアには、そのエリア内においては所定値以上の受信強度で受信が可能なようにビーコン信号を送信する基地局が予め設置されている。このため、ステップS113において、制御部102は、近距離無線通信アンテナ120A及び近距離無線通信部120を通じて、点検の対象となるエリアに予め設置されている基地局からのビーコン信号を受信するようにする。
制御部102は、受信強度が一定値以上のビーコン信号が受信できた場合に、そのビーコン信号に含まれる基地局IDを抽出する。この抽出した基地局IDに基づいて、制御部102は、自機のメモリ部103に予め格納されている基地局IDと点検対象エリアとの対応付け表を参照し、点検対象エリアを特定する。例えば、エリアIDが「A01」である1階のエリアが点検対象エリアとして特定された場合には、図11(B)において斜線を付して示したように、当該エリアが例えば反転表示されてタブレット型情報端末1のユーザに通知される。
なお、この実施の形態では、第2の方法として、基地局からのビーコン信号を用いて点検対象エリアを特定する場合を説明したが、これに限るものではない。ステップS113の処理においては、上述もしたように、QRコード(登録商標)やバーコードなどを用いたり、赤外線通信を用いたり、GPS機能を利用するなど、種々の方法により点検対象エリアを特定することが可能である。
また、ステップS112の判別処理において、「サーチ」ボタンB3に対する操作入力は受け付けていないと判別したときには、制御部102は、「戻る」ボタンB1が操作されたか否かを判別する(ステップS114)。ステップS114の判別処理において、「戻る」ボタンが操作されたと判別したときは、制御部102は、図7のステップS107からの処理を繰り返すようにする。これにより、タブレット型情報端末1のユーザは、点検対象とする施設の選択からもう一度やり直すことができるようにされる。
ステップS114の判別処理において、「戻る」ボタンB1は操作されていないと判別したときには、電子ペン2により点検対象エリアが選択され、「OK」」ボタンB3が操作されて確定された場合である。また、ステップS113の処理の後においては、上述もしたように、ビーコン信号を利用して点検対象エリアが特定されている。このため、ステップS114において、「戻る」ボタンは操作されていないと判別した場合と、ステップS113の処理の後においては、制御部102は、モード切替部117を制御して、自機を写真関連付けモードに遷移させる(ステップS115)。これにより、操作ボタンなどへの指示操作以外の電子ペン2による指示操作は、写真の関連付け位置の指示であると判別することができる。
そして、制御部102は、図面取得部111と図面表示処理部112とを制御し、図面選択処理を実行する(ステップS116)。ステップS116において、制御部102は、まず、図面取得部111を制御し、図面等DB105から、点検対象エリアとされたエリアのエリア設計図等の図面データを取得する。この実施の形態では、図11(B)に示したように、1階の下側の角のエリアIDが「A01」のエリアが点検対象エリアとして選択されたものとして説明する。
次に、制御部102は、図面表示処理部112を制御して、図面取得部111を通じて取得した図面データに応じた図面を、表示装置部200の表示画面220に表示する。図12(A)は、ステップS116で表示装置部200の表示画面220に表示される図面表示画面の例を説明するための図である。図12(A)に示した図面表示画面では、中央部分に取得された図面データに応じた図面が表示され、上端部に、「A01」という点検対象エリアを示すエリア区分と、「配管図」という図面種別が表示されている。
この例において、表示画面220に表示された図面は、点検対象エリア「A01」の配管図である。当該配管図は、三角形が二つ合わされた形状のゲート弁、カタカナの「ト」が横になった形状のストレーナ、平行な2本の線で表されたフランジ、丸型に斜線が付された圧力計などが接続されて構成されていることが示されている。そして、表示図面の右上端部にある圧力計やゲート弁などが点検の対象になっているものとする。
さらに、当該素面表示画面において、図面種別の表示の右側には「2/10」との頁番号の表示がされている。当該頁番号の表示は、当該点検対象エリアには、関係するエリア設計図等が10図(10頁)あり、そのうちの2図目(2頁目)の図面が現在表示されていることを示している。
なお、「2/10」などの頁番号の表示において、分子部分の数字は、図3に示した図面データの枝番に対応する。そして、図12(A)に示したように、左上端部には左改頁ボタンLPが、右上端部には右改頁ボタンRPが表示されている。このため、ステップS116において、左改頁ボタンLP、右改頁ボタンRPに対して電子ペン2で操作を行うことによって、表示する図面を変更することができる。改頁ボタンLP、RPが操作され、図面が変更されると、頁番号の表示も変更される。
さらに、図12(A)に示すように、図面表示画面の右下端部には、ファインダ領域221が設けられると共に、シャッターボタン222が表示される。ファインダ領域221には、電子ペン2のカメラユニット22を通じて捉えられた被写体の画像が表示されることになる。また、シャッターボタン222が操作された場合には、タブレット型情報端末1から電子ペン2のカメラユニット22を制御して、被写体の静止画像を撮影することができるようにされる。また、当該図面表示画面の左下端部には、「戻る」ボタンB1が設けられている。
ステップS116の図面選択処理により、取得した図面データにより形成される図面を表示装置部200の表示画面220に表示した後、制御部102は、入力装置部300を通じて、ユーザからの操作入力を受け付ける(ステップS117)。そして、制御部102は、ステップS117において受け付けた操作入力は、「戻る」ボタンB1か否かを願別する(ステップS118)。
ステップS118の判別処理において、「戻る」ボタンが操作されたと判別した時には、制御部102は、モード切替部117を制御し、写真関連付けモードから通常の処理モードに遷移させ(ステップS119)、図7のステップS110の処理から繰り返すようにする。これにより、タブレット型情報端末1のユーザは、再度、点検対象エリアの選択処理から行うことができるようにされる。なお、通常の処理モードは、電子ペン2による入力装置部300に対する操作入力が、特別な意味を持たず、ボタンやアイコンの選択、筆跡の入力などを行うことができるモードである。
また、ステップS118の判別処理において、「戻る」ボタンB1は操作されていないと判別されたとする。この場合、制御部102は、入力装置部300からの座標データに基づいて、表示画面220に表示されたシャッターボタン222が操作されたか否かを判別する(ステップS120)。ステップS120の判別処理において、シャッターボタン222は操作されていないと判別した時には、制御部102は、ステップS116からの処理を繰り返す。これにより、タブレット型情報端末1のユーザは、再度、表示画面220に表示する図面の選択からの処理を行うことができるようにされる。
ステップS120の判別処理において、シャッターボタン222が操作されたと判別したときには、電子ペン2のカメラユニット22を通じた写真の撮影と、写真データと付加情報の記録処理を行う(ステップS121)。具体的に、ステップS121において、制御部102は、ファインダ制御部110と外部I/F119とを制御して、電子ペン2のカメラユニット22を通じて撮像するようにしている被写体の動画像を、表示画面220に設けたファインダ領域221に表示する。
図12(B)は、表示画面220に表示した図面の右上端部に存在している圧力計に対応し、点検対象エリア(A01)に実際に設置されている圧力計のカメラユニット22が捉えている画像がファインダ領域221に表示されている場合の表示例である。図12(B)に示すように、表示装置部200の表示画面に設けられたファインダ領域221に電子ペン2のカメラユニット22を通じて取り込んでいる動画像を表示することにより、当該ファインダ領域221に表示された動画像を確認しながら、目的とする点検対象の静止画像を撮影することができる。
そして、この実施の形態にタブレット型情報端末1では、シャッターボタン222が操作されてから所定時間後に、制御部102は、撮像制御部109を制御し、外部I/F119を通じて電子ペン2のカメラユニット22に対して撮像指示を送信する。撮像指示を受信したカメラユニット22は、その時に対物レンズを通じて取り込むようにしている被写体の画像を撮像してフレームメモリに記録することにより、被写体を撮像して写真データを得る。そして、カメラユニット22は、撮影することにより得た写真データに、付加情報としてペンIDを付加して、これをI/F23とケーブル24を通じてタブレット型情報端末1に供給する。
このように、ここの実施の形態のタブレット型情報端末1は、ソフトウェアキーとしてのシャッターボタン222が操作された場合に、電子ペン2のカメラユニット22が捉えている被写体の動画像を、ファインダ領域221に表示して観視可能にする。そして、シャッターボタン222を操作してから所定時間後に電子ペン2のカメラユニット22が捉えている被写体の静止画像を撮影できるようにしている。
この場合、制御部102の制御の下、撮像制御部109は、外部I/F119を通じて、電子ペン2のカメラユニット22からの写真データと付加情報としてのペンIDを取得する。そして、撮像制御部109は、取得した写真データ及びペンIDとからなる図4に示した写真ファイルを形成し、これを写真フォルダ104に記録する。なお、この段階では、手書きメモデータは空欄のままとされる。
なお、この例では、シャッターボタン222が操作されたらファインダ領域221の動画像の表示を行い、シャッターボタン222の操作から所定時間後に被写体を撮像して写真データを得るものとして説明した。しかし、これに限るものではない。例えば、ステップS115の写真関連付けモードへの遷移後に、電子ペン2のカメラユニット22を通じて捉えている被写体の動画像をファインダ領域221に表示するようにする。そして、シャッターボタン222が操作されたら被写体を撮像して写真データを得るようにしてもよい。また、最初にシャッターボタン222が操作されたらファインダ領域221の動画像の表示を行い、次にシャッターボタン222が操作されたら被写体を撮像して写真データを得るようにすることもできる。
ステップS121の処理の後、制御部102は、ユーザからの操作入力を受け付けるようにする(ステップS122)。そして、制御部102は、入力装置部300からの座標データに基づいて、「戻る」ボタンB1が操作されたか否かを判別する(ステップS123)。ステップS123の判別処理において、「戻る」ボタンが操作されたと判別したときには、制御部102はステップS116からの処理を繰り返すようにする。これにより、ユーザは、再度、表示画面に表示する図面の選択処理から行うことができるようにされる。
ステップS123の判別処理において、「戻る」ボタンは操作されていないと判別した時には、制御部102は、図9の処理に進み、表示図面の調整操作がされたか否かを判別する(ステップS124)。このステップS124の処理は、入力装置部300からの座標データに基づいて、図12(B)に示した、縮小ボタンC1、拡大ボタンC2、上移動ボタンCU、右移動ボタンCR、下移動ボタンCD、左移動ボタンCLが操作されたか否かを判別するものである。
すなわち、図12(B)に示した表示例においては、左下端部に「戻る」ボタンが表示されると共に、表示図面の編集用ボタンとして、縮小ボタンC1、拡大ボタンC2、上移動ボタンCU、右移動ボタンCR、下移動ボタンCD、左移動ボタンCLが表示される。そして、これらに対する操作も可能にされる。
ステップS124の判別処理において、表示図面の調整操作がされたと判別したときには、制御部102は、図面表示処理部112を制御して、ユーザからの操作入力に応じて、表示図面の調整処理を実行する(ステップS125)。具体的には、表示図面の縮小/拡大、表示図面の移動などの処理が行われる。このように、表示図面の調整を行うことにより、当該表示図面の目的とする位置に撮影した写真を関連付けしやすくすることができる。
ステップS125の処理の後においては、図8のステップS122からの処理が繰り返される。これにより、「戻る」ボタンB1を選択したり、表示画像の調整処理を継続して行ったりすることができる。
ステップS124の判別処理において、表示図面の調整操作はされていないと判別したときには、制御部102は、写真を関連付ける(貼り付ける)ための座標指示を受け付けたか否かを判別する(ステップS126)。この実施の形態のタブレット型情報端末1においては、図8に示した処理のステップS115において、写真関連付けモードに遷移するようされている。このため、制御部102は、電子ペン2による表示された操作ボタンに対する指示操作以外の指示操作は、写真の関連付け位置を指示する座標指示と判別する。
ステップS126の判別処理において、写真の関連付け位置を指示する座標指示は受け付けていないと判別したときには、有効な操作入力は受け付けていないので、図8のステップS122からの処理が繰り返される。これにより、「戻る」ボタンB1を選択したり、表示画像の調整処理を継続して行ったりすることができる。
図13(A)は、電子ペン2に関連付けられる写真データに応じた写真の関連付け位置を特定する処理について説明するための図であり、ステップS127以降の処理を具体的に説明するための図である。ステップS122~ステップS125の処理が繰り返されることにより、例えば、図13(A)に示すように、拡大されて、表示範囲が移動されることにより、表示画面220に表示される範囲が変更された図面が表示されている状態にあるとする。
すなわち、表示画面220に表示された図面(配管図)の右上にある圧力計の近傍に、実際の圧力計の写真を関連付けするために、図13(A)に示すように、当該図面を拡大し、圧力計部分を中心に表示画面220に表示したとする。この時に、図13(A)に示すように、表示画面220上の目的とする位置Pに、電子ペン2のペン先を接触させる操作が行われたとする。
この場合、ステップS126の判別処理においては、写真の関連付け位置を指示する座標指示を受け付けたと判別される。この場合、制御部102は、入力装置部300から提供された座標データと付加情報としてのペンIDを取得する(ステップS127)。このように、電子ペン2から入力装置部300を通じて座標データと共に取得されたペンIDが第1の付加情報として機能することになる。
そして、制御部102は、写真取得部106を制御して、電子ペン2に関連付けられる写真データを写真フォルダ104から取得する(ステップS128)。ステップS128において、写真取得部106は、ステップS127で取得したペンID(第1の付加情報)と、写真フォルダに格納されている写真データに付加されているペンID(第2の付加情報)に基づいて、電子ペン2に関連付けられる写真データを取得する。すなわち、電子ペン2から取得したペンIDと同じペンIDが付付加されている写真データを取得する。
これにより、写真フォルダ104に、例えばデジタルカメラにより撮影することにより得られた写真データなどが格納されていたとしても、電子ペン2のカメラユニット22を通じて撮像して得た写真データだけを取得することができる。すなわち、電子ペン2に関連しない写真データが取得されることがない。
この後、制御部102は、第1関連付け部107を制御して、ステップS127で取得した電子ペン2により指示された座標位置を示す座標データと、ステップS128で取得した写真データとを関連付ける(ステップS129)。これにより、当該座標データが示す表示画面220上の位置に、当該写真データに応じた画像を表示するようにできる。
このため、制御部102は、写真関連付け部108を制御し、ステップS129において、関連付けられた座標データが示す表示画面220上の位置に、ステップS129において関連付けられた写真データに応じたサムネイル画像を表示する(ステップS130)。これより、図13(A)に示すように、電子ペン2によい指示された表示画面220上の位置Pに、ステップS128で取得した写真データに応じたサムネイル画像Snを関連付ける(貼り付ける)ことができる。
なお、電子ペン2のカメラユニット22を通じて撮像され、付加情報として電子ペン2のペンIDが付加された複数の写真の写真データが写真フォルダ104に格納されている場合もある。このような場合には、ステップS128において、電子ペン2に対して関連付けられる複数の写真の写真データが取得される。この場合には、ステップS129、ステップS130の処理が、若干異なる。
図13(B)は、電子ペン2に関連付けられる写真データが複数存在する場合の処理を説明するための図である。ステップS128において、電子ペン2に関連付けられる複数の写真の写真データが取得されたとする。この場合、制御部102の制御の下、第1関連付け部107は、電子ペン2による指示位置Pに対応する座標データと、取得された複数の画像データのそれぞれとを関連付ける(ステップS129)。
そして、制御部102の制御の下、写真関連付け部108が、取得された複数の写真データに応じた写真のサムネイル画像を表示画面220に表示する処理を行う(ステップS130)。具体的に、ステップS130において、写真関連付け部108は、図13(B)に示すように、ユーザによる電子ペン2の指示位置Pを基準位置とする。そして、写真関連付け部108は、当該指示位置Pに対応する座標データに対応付けられた複数の写真データのそれぞれに応じた写真のサムネイル画像Sn1、Sn2、Sn3、…を表示する(ステップS129)。図13(B)においては、複数の写真のサムネイル画像が少しずつずらされながら重なり合う部分を有するようにして表示された場合を示している。
そして、制御部102の制御の下、写真関連付け部108が機能し、表示された複数のサムネイル画像を利用して、関連付けるべき写真データを選択する処理が行われる(ステップS131)。ステップS131においては、目的とするサムネイル画像の表示エリア上に電子ペン2の先端を接触させるようにする操作が受け付けられる。この場合、写真関連付け部108は、その指示された位置を表示エリアとするサムネイル画像を、その全体が観視可能となるように、全てのサムネイル画像の一番手前側に表示するように処理する。
これにより、ユーザは、サムネイル画像の全体を見て、目的とする写真か否かを判別できる。目的とする写真でなかった場合には、別のサムネイル画像の表示エリア上に電子ペン2の先端を接触させるようにして、そのサムネイル画像の全体を表示させる。このような処理を繰り返すことにより、ユーザは、各サムネイルの全体を確認して目的とする写真を探すことができる。
目的とする写真が見つかったら、例えば、ユーザはそのサムネイル画像の表示エリア上を、電子ペン2を用いてダブルタップ操作をする。当該ダブルタップ操作を受け付けた場合、写真関連付け部108は、ダブルタップされたサムネイル画像に対応する写真データを、関連付けに用いる写真データとして選択する。そして、写真関連付け部108は、図13(A)に示した態様で、当該写真データに応じた一枚の写真のサムネイル画像を、電子ペン2による最初の指示位置Pを基準にした位置に表示する。
このような、写真データを選択する一連の処理が、ステップS131において実行される。なお、ステップS128において取得された写真データが1つしかない場合には、ステップS131においては、その写真データが、関連付けられる写真データとして選択される。
ステップS131の処理の後においては、制御部102の制御の下、モード切替部117が機能し、写真編集モードに遷移する(ステップS132)。これにより、電子ペン2による入力装置部300のセンサ部320に対する操作入力は、写真に対する編集操作や手書きメモの入力操作とみなされる。そして、制御部102は、写真表示処理部115を制御して、ステップS131で選択された写真データに応じた写真を表示画面220に表示させ、当該写真に対する編集操作や手書きメモの入力操作を受け付けるようにされる(ステップS133)。
なお、説明を簡単にするため、図9には示していないが、図13(A)に示したように、電子ペン2により指示した位置を変更したい場合もある。このような場合には、図13(A)の表示画面220の左下端部に設けられている「取消」ボタンB4を操作することにより、指示位置Pの指示を取り消して、再度、指示位置を指示し、「OK」ボタンB5を操作することにより指示位置を確定する。といった指示位置Pの変更操作もできるようにされる。
図14(A)は、ステップS133において、表示画面220に表示される写真の編集画面の例を説明するための図である。表示画面220の中央部分に、ステップS131で選択された写真データに応じた写真G1が表示されると共に、「閉じる」ボタンB6が表示される。そして、この例の場合には、電子ペン2を用いてセンサ部320に対してホバリング操作を行うことにより、編集処理部116が機能し、写真G1の縮小/拡大を行うことができる。
具体的には、写真G1が表示されている表示画面220上のエリアに対応する入力装置部300のセンサ部320の検出エリア上で、電子ペン2のペン先を近づけたり、遠ざけたりする、いわゆるホバリング操作を行う。これにより、編集処理部116が機能し、表示画面220に表示された写真G1の縮小/拡大を行うことができる。すなわち、入力装置部300は、センサ部320に対する電子ペン2の距離を検出し、これを制御部102に通知する。制御部102は当該距離に基づいて、編集処理部116を制御し、写真G1の縮小/拡大を行うことができる。例えば、センサ部320に対して電子ペン2を近づければ写真G1は縮小され、遠ざければ写真G1は拡大される。
また、制御部102の制御の下、編集処理部116は、入力装置部300のセンサ部320上の手書きメモの付加エリアArに対する電子ペン2による筆記操作を受け付けて、手書きメモを入力することができるようにされる。これにより、例えば、図14(A)に示したように、手書きメモの付加エリアArに「圧力正常値。調整不要」などのように、必要に応じた手書きメモを入力することができるようになっている。
そして、図10の処理に進み、「閉じる」ボタンが操作されたか否かを判別し(ステップS134)、「閉じる」ボタンは操作されていないと判別したときには、図9のステップS133からの処理が繰り替えされる。これにより、写真編集処理と手書きメモ入力処理を継続して行うことができるようにされる。
ステップS134の判別処理において、「閉じる」ボタンが操作されたと判別したときには、表示された写真G1に対する写真編集処理や手書きメモ入力処理は終了したと判別できる。この場合、制御部102は、座標変換部113を制御し、表示画面220上の電子ペン2による指示位置Pを、表示図面上の位置に変換する処理を行う(ステップS135)。
図14(B)は、表示図面上の指示位置を説明するための図であり、図15は、表示画面220上の指示位置を表示図面上の位置に変換する処理を説明するための図である。図13(A)、(B)に示した例において、点検対象エリアの選択された図面(この例では、エリア設計図面である配管図)は、拡大され、表示画面220への表示対象エリアを移動するようにして、目的とする図面部分を表示画面220に表示した状態にある。
この状態で、写真の関連付け(貼り付け)位置Pを指示しているため、表示図面上の指示位置は、図14(B)に示すように、表示図面の全体を表示画面220に表示した場合には、図面右上の圧力計の近傍の位置となる。このため、座標変換部113は、図13に示したうように指示された表示画面220上の指示位置Pを、図15に示すように、例えば左上端部を原点O(0,0)とする表示図面に対応する座標系上の指示位置ZPとして特定する。そして、図15に示した表示図面に対応する座標系において、指示位置ZPの座標データ(X1,Y1)を特定する。これにより、図13に示したように指示される表示画面上の指示位置Pは,図14(B)や図15に示したように、表示図面上における指示位置ZPに変換される。
この後、制御部102は、第2関連付け部114を制御し、表示図面と、表示図面上の指示位置ZP(X1,Y1)と、選択された写真データとの3つを関連付ける(ステップS136)。具体的に、第2関連付け部114は、表示図面と、表示図面上の指示位置ZP(X1,Y1)と、選択された写真データとの3つを関連付けた関連付けデータを形成する。図16は、第2関連付け部114が形成する関連付けデータの例を説明するための図である。
第2関連付け部114は、図16に示すように、施設ID、種別、フロアー、エリアID、枝番を、関連付けデータの該当欄に入力する。これらの情報は、図3(B)を用いて説明したように、表示図面の図面データに付加されているメタデータであり、表示図面を形成する図面データの図面ファイルから取得できる。さらに、第2関連付け部114は、選択された写真データに付加されている写真IDを、写真ID欄に入力し、変換した表示図面上の指示位置ZP(X1,Y1)を、対応する関連付け位置欄に入力する。これにより、表示図面と、表示図面上の指示位置ZP(X1,Y1)と、選択された写真データとの3つが関連付けられる。
また、この例においては、図14(A)を用いて説明したように、写真G1に対して入力するようにされた手書きメモデータは、図4を用いて説明した当該写真データが格納されている写真ファイルの手書きメモデータ欄に格納される。この手書きメモデータの写真ファイルへの更新処理は、例えば、第2関連付け部114が行うようにしている。もちろん、編集処理部116などの他の処理部が別途行うようにしてもよい。このようにして形成された関連付けデータは、たとえばメモリ部103の所定の領域に記憶保持され、必要に応じて読み出して繰り返し利用することができるようにされる。
この後、制御部102は、図8に示したステップS115からの処理を繰り返すようにする。これにより、1つの表示図面に対して、異なる写真データを、異なる指示位置に付加することもできるようにされる。このため、図16に示すように、関連付けデータにおいては、1つの表示図面に対して、複数の写真データの写真IDと、複数の異なる関連付け位置とを対応付けることができるようになっている。
そして、図16に示す関連付けデータを利用することにより、例えば、図14(B)に示したように、目的とする図面上の指示位置ZPに、関連付けられる写真のサムネイル画像MKを表示して、ユーザに提供できる。もちろん、図14(B)に示した表示において、サムネイル画像MKを電子ペンで指示することにより、図14(A)に示した態様で、写真だけを表示して、提供することもできる。また、図14(B)に示した表示において、表示を拡大したり、移動したりすることにより、図13(A)に示した態様で、表示図面と写真のサムネイル画像との両方を拡大して表示し、提供することができる。
[第1の実施の形態の効果]
上述した第1の実施の形態のタブレット型情報端末1及び電子ペン2によれば、電子ペン2に関連付けられる写真データを取得することができる。そして、取得した写真データと、電子ペン2により指示された表示画面220上の指示位置とを関連付けることができる。これにより、電子ペン2に関連付けられる写真データを、表示画面上の指示位置に関連付けて表示することができる。
また、表示画面220に図面が表示されている場合には、電子ペン2による指示位置を表示図面上の指示位置に変換し、当該表示図面と、電子ペン2に関連付けられる写真データと、表示図面上の指示位置とを関連付けることができる。これにより、表示図面上の指示位置に、関連付けられる写真を貼り付けて表示することができる。
このように、電子ペン2に関連付けられる写真データを、表示画面上の指示位置に関連付けたり、表示図面上の指示位置に関連付けたりすることが容易にできる。このため、例えば、点検作業において撮影した写真だけを、点検作業に用いた図面上に関連付けて管理できるなど、写真と図面とを関連付けて管理することが容易に行える。
[第1の実施の形態の変形例等]
上述した第1の実施の形態では、電子ペン2のペンIDを用いた認証を行うことにより、関連付け対象の写真データであって、電子ペン2に関連付けられる写真データを取得し、電子ペン2による指示位置に応じた表示画面上の位置に当該写真データに応じた画像を関連付けした。しかし、これに限るものではない。
入力装置部300のセンサ部320が、静電容量方式のセンサである場合には、ユーザの指によって位置指示が可能である。この場合、ユーザの指からはペンID等は送信されない。また、ペンIDを持たない電子ペンやペンIDを位置指示信号には含めない電子ペンもある。このような場合には、関連付け画像特定情報が付加された写真データに応じた画像を、ユーザの指などの指示体により指示されたセンサ部の指示位置に対応する表示画面上の位置に関連付けするようにできる。
なお、この明細書において、指示体との文言は、ユーザの指や位置指示信号としてペンIDなどの付加情報を送信しない電子ペンとの両方を含むものとして用いている。また、位置指示器との文言は、ペンIDなどの付加情報を含む位置指示信号の送出が可能な主に電子ペンを意味している。
このように、ペンIDを用いない場合にも、基本的には、図7~図10のフローチャートを用いて説明した処理を行うことができるが、図9に示したステップS128の処理が異なることになる。すなわち、ペンIDによって電子ペンとの関連付けを行わない場合には、図9のステップS128の処理において、所定の関連付け画像特定情報が付加された写真データを、例えば写真フォルダ104から取得するようにすればよい。この場合の、関連付け画像特定情報は、例えば、ユーザIDや点検コードなどの点検を行う者しか知り得ない情報を用いるのか好ましい。
そして、写真データには、例えば、写真フォルダ104に格納された時点において、ユーザが関連付け画像特定情報を付加するようにする。また、ユーザは、メモリ部103の所定の記憶領域に関連付け画像特定情報を登録しておくようにする。そして、上述したように、図9のステップS128の処理において、制御部102は、写真取得部106を制御して、メモリ部103に登録された関連付け画像特定情報と同じ情報が付加された写真データを、写真フォルダ104から取得するようにすればよい。
これにより、関連付け対象とされた写真などの適切な画像を迅速に取得して、これをユーザの指やペンIDを持たない電子ペンにより指示された表示画面上の座標位置に関連付けして利用可能となる。すなわち、ユーザの指やペンIDを持たない電子ペンを用いても、関連付け用の特別な画像のみを取得し、この画像とユーザの指やペンIDを持たない電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができる。
また、上述した第1の実施の形態では、電子ペン2のカメラユニット22を通じて撮像することにより得た写真データに対して第2の付加情報としてペンIDを付加して出力するようにした。また、電子ペン2の電子ペン機能部21の機能によって生成して送信する位置指示信号にも第1の付加情報としてペンIDを付加して出力するようにした。しかし、これに限るものではない。
第1の付加情報としてのペンIDは、例えば、Bluetooth(登録商標)規格の無線通信を用いて送信するようにしてもよい。図17は、位置指示信号とは別に例えばBluetooth(登録商標)規格の無線通信によりペンIDを送信する電子ペン2Aの構成例を説明するための図である。また、図18は、無線通信により送信されるペンIDを受信する機能を備えたタブレット型情報端末と電子ペンとの接続関係を説明するための図である。
図17において、図5に示した電子ペン2と同様に構成される部分には同じ参照符号を付し、その部分についての詳細な説明については重複するので省略する。また、図18において、図6に示したタブレット型情報端末1の部分と同様に構成される部分には同じ参照符号を付し、その部分についての詳細な説明については重複するので省略する。
図17に示した電子ペン2Aの電子ペン機能部21は、位置指示信号を形成して送信するが、自機のペンIDを含まない位置指示信号を形成して送信するものである。そして、この例の電子ペン2Aは、ペンIDメモリ25と、例えば、bluetooth(登録商標)規格の送信回路26と送信アンテナ27を備え、自機のペンIDは、送信回路26及び送信アンテナ27を通じて送信する。なお、カメラユニット22を通じて撮像することにより得られた写真データには、ペンIDメモリ25のペンIDが付加され、I/F23を通じて送信される構成は、図5に示した電子ペン2の場合と同様である。
これに対応し、図18に示すように、タブレット型情報端末1側には、bluetooth(登録商標)規格の受信回路150及び受信アンテナ150Aを設ける。これにより、電子ペン2A~無線送信される第1の付加情報としてのペンIDをこれら受信アンテナ150A及び受信回路150を通じて受信し、これを情報処理装置部100において、適切な写真データの取得や認証に用いることができる。このように、第1の付加情報としてのペンIDは、位置指示信号とは別の無線通信経路を通じて送信することができる。
また、上述した第1の実施の形態においては、電子ペン2は操作ボタンを備えないものであった。しかし、これに限るものではない。図19は、電子ペンの変形例を説明するための図である。例えば、図19の電子ペン2Bに示すように、シャッターボタン28、サイドスイッチ29、30などの操作ボタンを電子ペンに対して設けるようにしてもよい。電子ペン2Bに示したように電子ペン側にシャッターボタン28を設けることにより、写真を撮影する操作を電子ペン2Bに設けられたシャッターボタンにより行うことができ、操作性をよくすることができる。
図20は、電子ペン2Bのサイドスイッチ29、30の利用方法の例を説明するための図である。サイドスイッチ29、30は、これが押下操作された場合には、操作されたサイドスイッチに応じて、電子ペン2Bから送信される位置指示信号の例えば周波数が変えられることにより、入力装置部300側においてどのサイドスイッチが操作されたかを認識することができる。
このため、図20(A)において、サイドスイッチ29を塗りつぶして示したように、サイドスイッチ29が操作された状態で、電子ペン2Bをセンサ部320上に接触させるようにして移動させたとする。この場合には、表示画像に対するドラッグ操作であると情報処理装置部100側で判別し、表示図面の全体の移動を行うようにすることができる。
また、図20(B)において、サイドスイッチ30を塗りつぶして示したように、サイドスイッチ30が操作された状態で、電子ペン2Bをセンサ部320上に接触させたとする。この場合には、写真の関連付け位置の指示操作であると、情報処理装置部100側で判別し、指示位置Pを基準にして、選択された写真データに応じたサムネイル画像を関連付ける(貼り付ける)ことができる。
このように、電子ペンにシャッターボタン28やサイドスイッチ29、30を設けることによって、写真撮影、表示画像のドラッグ移動、写真の関連付け位置の指定などを、より簡単な操作で行うことができるようにされる。
また、上述した第1の実施の形態では、電子ペン2の先端をセンサ部320上に接触させるようにして選択した写真データに応じた写真の関連付け位置を指示するようにした。この場合に、例えば、ホバリング操作によって、写真の関連付け位置を確認できるようにすることもできる。図21は、ホバリング操作による写真の関連付け位置を確認について説明するための図である。
図21に示すように、写真関連付けモード時において、電子ペン2の先端をセンサ部320に対して接触させることなく、所定距離以上近づけたとする。この場合に、電子ペン2がセンサ部320に対して、所定距離以上近づいている間において、電子ペン2からの位置指示信号を受信しているセンサ部320上の位置を基準にして、選択された写真データに応じたサムネイル画像VMを表示画面220に表示する。
このようにして、選択した写真データを関連付けする表示画面220上の位置を確認する。そして、関連付け位置がよくないと思う場合には、電子ペン2の位置を変えることにより、サムネイル画像VMの表示位置を順次に変えるようにして、適切な表示位置を探すようにすることができる。適切な表示位置が特定できた場合に、センサ部320上の対応する位置に電子ペン2を接触させることで、その指示位置を写真データの関連付け位置として特定することができる。
また、タブレット型情報端末1は、電子ペン2のカメラユニット22以外からも写真データと付加情報を取得することができる。図22は、写真データ及び付加情報の取得先及び取得経路について説明するための図である。図22に示すように、デジタルカメラやカメラ機能が搭載されたスマートホンやドローンなどと呼ばれる無人飛行体などと、外部I/F119を通じて有線接続し、これらから写真データと付加情報を取得したり、これらを制御したりすることができる。
また、デジタルカメラやカメラ機能が搭載されたスマートホンやドローンなどと、近距離無線通信アンテナ120A及び近距離無線通信部120を通じて無線接続し、これらから写真データと付加情報を取得したり、これらを制御したりすることができる。さらに、インターネット上に設けられているデータセンターやサーバ群から構成されるいわゆるクラウドに蓄積されている写真データや付加情報を、送受信アンテナ101A及び無線通信部101を通じて取得することもできるようにされる。
なお、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データや付加情報を取得する場合、当該付加情報には電子ペン2との関連付けのために必要なペンIDは含まれていない。このため、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データや付加情報を取得する場合には、後から付加情報に電子ペン2のペンIDを付加することができる。
また、ペンIDを付加するのではなく、ペンIDとユーザIDとを対応付けて、情報処理装置部100のメモリ部103に格納し、同様に、デジタルカメラ、スマートホン、ドローンなどの外部機器の機器IDとユーザIDとを対応付けて、情報処理装置部100のメモリ部103に格納しておく。そして、電子ペン2からのペンIDにより特定されるユーザIDと、外部機器からの機器IDにより特定されるユーザIDとが同じ場合に、電子ペン2と当該機器IDが付加されていた写真データとを関連付けるようにしてもよい。ユーザIDは、ユーザ氏名、数字列、英数字などが組み合わせたものなど、ユーザを特定可能な種々のものを用いることができる。
また、デジタルカメラ、スマートホン、ドローンなどの外部機器には、現在日時を提供する時計回路や現在位置を測位するGPS部が搭載されている。このため、電子ペン2にも時計回路やGPS部を搭載し、現在時刻や現在位置を電子ペン2から入力装置部300を通じて情報処理装置部100に提供できるようにする。そして、電子ペン2からの現在時刻及び現在位置と、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データに付加されている現在時刻及び現在位置とが、一定の範囲内にあり、電子ペン2と外部機器とが、同一時間帯に同一エリアで使用されていると判別できる場合に、電子ペン2と外部機器からの写真データとを関連付けるようにしてもよい。
また、現在時刻と現在位置との両方を用いるのではなく、いずれか一方だけを用いて、電子ペン2と写真データとの関連付けを行うようにしてもよい。このように、電子ペン2と写真データとの関連付けは、ペンID、機器ID、現在時刻、現在位置など種々の情報を用いて行うことができる。また、直接に関連付ける情報でなくとも、上述したペンIDと機器IDのように、同じ情報に紐付ける情報を、関連付け情報として用いるようにしてもよい。
また、上述した第1の実施の形態では、タブレット型情報端末1と電子ペン2とは有線により接続するものとして説明したが、これに限るものではない。無線により接続するようにしてももちろんよい。例えば、Wi-Fi(登録商標)規格の無線LAN接続、Bluetooh(登録商標)規格の無線通信、NFC(Near field radio communication)などと呼ばれる種々の近距離無線通信、これらを改良、発展させた無線方式により、タブレット型情報端末1と電子ペン2とを無線接続することが可能である。
また、上述した第1の実施の形態では、点検対象エリアを選択した後に、情報処理装置部100は、自機を写真関連付けモードに遷移させ、操作ボタンに対する操作以外の電子ペン2による指示操作を、写真データに応じた写真の関連付け位置の指示操作と見做すようにした。しかしこれに限るものではない。
例えば、シャッターボタンが操作された場合に、写真関連付けモードに遷移させてもよい。また、電子ペン2のセンサ部320対する傾きを検出できるようにして、電子ペン2の傾きが所定角度以上、あるいは、所定角度以下の時に、写真関連付けモードに遷移させてもよい。また、電子ペン2と写真データとの関連付けができた場合に、写真関連付けモードに遷移させてもよいし、図18(B)を用いて説明したように、所定のサイドスイッチが押下操作された場合に、写真関連付けモードに遷移させてもよい。また、電子ペン2に加えられた筆圧が、所定値以上あるいは所定値以下のときに、写真関連付けモードに遷移させてもよい。
このように、電子ペン2によるセンサ部320上の指示位置が、写真データに応じた写真の関連付け位置の指示か、それ以外の指示かを情報処理装置部100が認識可能にするためには、所定の事象が発生した場合に、写真関連付けモードに遷移させるようにすればよい。もちろん、サイドスイッチを用いる場合には、写真関連付けモードに遷移させるのではなく、そのときだけ、写真データに応じた写真の関連付け位置の指示操作がされたと判別するようにすればよい。
また、上述した第1の実施の形態では、点検対象エリアの種々の設計図面を表示画面220に表示し、これに写真データを関連付ける場合を説明したが、これに限るものではない。例えば、被写体の全体写真に、当該被写体の各部分の写真を関連付けするようにしたり、電子データとして取り込むようにした手書き画像に写真を関連付けするようにしたりすることができる。すなわち、写真の関連付け対象となる画像は、設計図面の他、種々の画像を用いることが可能である。
また、上述した第1の実施の形態では、点検対象エリアの目的とする設計図面を表示画面220に表示し、これに点検対象部分の写真データを関連付ける場合について説明した。しかしながら、点検対象が化学プラントのような複雑な場所である場合、写真を取るべき点検箇所(点検部位)が即座に特定できない場合があると考えられる。特に点検に不慣れなユーザ(担当者)が点検を行う場合には点検箇所の特定に時間がかかる場合がある。
そこで、点検部位の画像を予め撮影してその部位の画像データを得て、これを点検対象エリアのエリア設計図等と対応付けて記憶保持しておく。そして、ユーザが目的とする点検エリアに到着し、点検に用いる設計図面を選択した後に、点検部位が即座に特定できない場合に、点検部位サーチ機能を用いるようにする。タブレット型情報端末1の点検部位サーチ機能は、以下の(1)~(3)の3つのステップからなる。
(1)点検エリアの画像を電子ペン2のカメラユニット22を通じて撮像するようにして取り込む。(2)取り込んだカメラ画像と、選択された設計図等に対応付けられている点検部位の画像データによる画像(点検部位画像)との画像マッチングを行う。(3)この画像マッチングにより点検部位画像と一致する部位(箇所)を点検部位として特定し、これをユーザに通知する。以下、この点検部位サーチ機能について具体的に説明する。
図23は、タブレット型情報端末1が備える点検部位サーチ機能を説明するための図である。図23(A)は、予め撮影されて記憶保持されている点検部位の画像データにより形成される点検部位画像TZを示す図である。上述もしたように、点検部位の画像データは、エリア設計図等と対応付けられて、図面等DB105に記憶保持されているものとする。
そして、点検対象エリアに到着したユーザによって、例えば、タブレット型情報端末1の表示画面220に表示されるメニューから点検部位サーチ機能に対応する項目が選択されることにより、点検部位サーチ機能が実行するようにされたとする。この場合、タブレット型情報端末1の制御部102は、電子ペン2に制御信号を供給し、電子ペン2のカメラユニット22を起動させる。
更に、制御部102は、音声メッセージや表示メッセージにより、ユーザに対して点検エリアの撮影を指示する。これに応じて、ユーザは電子ペン2のカメラユニット22の撮像レンズを点検エリアに向けて撮影を行うようにする。これにより、カメラユニット22を通じて点検エリアが撮像され、カメラ画像(撮像画像)がタブレット型情報端末1に送信されて、表示装置部200の表示画面220に表示される。
図23(B)は、タブレット型情報端末1の表示画面220に表示されたカメラ画像CZの例を示す図である。タブレット型情報端末1の制御部102は、カメラ画像CZ(図23(B))と、点検部位画像TZ(図23(A))とのパターンマッチングを行って、カメラ画像CZ中の点検部位を特定する処理を行う。簡単には、制御部102は、カメラ画像CZ中の各オブジェクトの輪郭を特定し、点検部位画像TZ中のオブジェクトの輪郭と類似の高い部分を検出する。
図23(B)に示すカメラ画像CZの例の場合、カメラ画像CZの右側に点検部位画像TZと類似の高い部位が検出され、その部位を囲むように点線が表示されると共に、矢印YMも表示されて、点検部位CPがユーザに通知される。このように、点検部位サーチ機能は、点検部位画像TZをマーカーとして利用し、このマーカーと一致する部位を点検箇所として通知する機能である。換言すれば、点検部位サーチ機能は、いわゆるAR(Augmented Reality)マーカーとしての機能を実現するものである。これにより、点検に不慣れなユーザが点検を実行する場合にも、点検箇所を間違えることなく迅速に特定し、適切に点検を行うことができる。
また、実際の点検の場面では、例えば、亀裂や変色部位などの問題箇所が発見された場合、その問題箇所の寸法を適切に把握したいとする要求がある。もちろん、問題箇所を撮影した写真の画像データに対して付加できる上述した手書きメモで、問題箇所の寸法等の情報を残すことも可能である。しかし、問題箇所を撮影した写真の画像から問題箇所の寸法等について一見して把握できるようにしておくとより便利である。
ところが、単に問題箇所を撮影しても撮影画像からは問題箇所等の大きさ、具体的には、亀裂の長さや変色部位の大きさを正確に把握できない。撮影時におけるカメラユニット22から被写体(問題箇所等)までの距離などの撮影時の状態が分からないため、問題箇所等の実際の大きさが撮影画像からは把握できないのである。そこで、この実施の形態のタブレット型情報端末1と電子ペン2とからなる装置では、撮像した写真の画像自体に目盛りを自動で付加したり、実際に定規を当てて寸法を測り、撮像した画像上に手書きメモを付加したりすることもできるようにする。
図24は、自動的に目盛りを付した撮影画像(図24(A))と、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像(図24(B))を説明するための図である。まず、図24(A)を参照しながら、自動的に目盛りを付した撮影画像を得る場合について説明する。図24(A)に示すように、点検箇所の例えば壁面に生じている亀裂KRと当該亀裂KRの周囲に生じている変色箇所HBとを撮影する場合を考える。
この場合に、タブレット型情報端末1の使用者は、電子ペン2のカメラユニット22を通じて撮影を行うに際して、例えば、表示画面220に表示されている目盛り付与ボタンを指示するなどの撮影画像に目盛りを付加するための所定の操作を行う。この場合、ファインダ制御部110が機能して、カメラユニット22を通じて取り込まれた画像中に存在する被写体を認識し、当該被写体の大きさに応じた目盛りを当該画像中に合成する。
被写体の大きさいを算出する方法は種々の方法があるが、その一例について説明する。簡単には、カメラユニット22の焦点距離f、撮影された画像の水平画素数W、撮影された画像中の被写体の水平方向の占有画素数N、被写体までの距離Rが分かれば、被写体の水平方向の大きさL(mm)は、「(36R/f)(N/W)」で求めることができる。この場合、撮像素子サイズのフォーマットが、35mmフィルムサイズ相当の(水平方向36mm×垂直方向24mm)であるものとしている。
したがって、上述の式では、(36R/f)で水平方向の倍率を求め、これに(N/W)で写真全体における被写体の横方向に占める割合を掛けることにより、被写体の水平方向の長さを(大きさ)求めている。なお、物体の垂直方向の長さ(大きさ)は、定数「36」に替えて定数「24」を用い、撮影された画像の垂直画素数と、撮影された画像中の被写体の垂直方向の占有画素数を用いれば、同様に計算できる。また、撮像素子サイズのフォーマットが変われば、それに応じて計算式の定数部分の値が変わる。
この場合、焦点距離fは事前に分かっている情報であり、水平画素数Wと占有画素数Nとは、タブレット型情報端末1側で撮影画像に基づいて把握可能な情報である。しかし、カメラユニット22から被写体までの距離Rは、通常分かっていない。このため、被写体までの距離Rは、撮影時にユーザがタブレット型情報端末1に入力するか、あるいは、被写体までの距離Rをタブレット型情報端末1側で算出する。
被写体までの距離Rの算出方法も種々の方法がある。その一例について説明する。この実施の形態の利用態様では多くの場合、1m以内の近距離から点検箇所を撮影する場合が多い。このため、焦点距離やフォーカス調整時の制御量などの取得可能な情報と、被写体までの距離との対応テーブルを作成しても、それほどデータ量が大きくなることもない。そこで、焦点距離やフォーカス調整時の制御量などの取得可能な情報と、被写体までの距離との対応テーブルを用意しておき、これに基づいて被写体までの距離を求めるようにすることができる。
また、タブレット型情報端末1や電子ペン2が、いわゆる深度センサを搭載することにより、被写体までの距離を計測することもできる。また、カメラユニット22が、後述する3Dカメラの構成とされた場合にも、被写体までの距離を計測できる。このような場合には、深度センサや3Dカメラにより計測するようにした被写体までの距離を用いることができる。
このようにして、被写体の大きさ、この例の場合には、亀裂KRと変色箇所HBの大きさが分かれば、ファインダ制御部110は、当該被写体の大きさに合致する目盛りを、カメラユニット22を通じて取り込まれた画像に対して重畳する。これにより、図24(A)に示した態様で、自動的に目盛りを付した被写体の画像を撮影することができる。図24(A)に示した例の場合には、縦には1cm刻みの10cmの目盛りSC1が、横にも1cm刻みの10cmの目盛りSC2が表示されている。これにより、長さは約8cmの亀裂が生じ、その周囲に直径が約8cmの円形の変色箇所が存在することが、当該画像から一目瞭然に把握可能となる。
なお、亀裂や変色箇所が目立たない場合には、電子ペン2により、亀裂の上をなぞったり、変色箇所の周囲をなぞったりして、そのなぞった線上の位置を特定して、画像上の亀裂や変色箇所である被写体の位置や形状をタブレット型情報端末1が把握する。この把握した被写体の位置や形状に基づいて、撮影された画像の水平画素数Wや、撮影された画像の垂直画素数を把握するようにし、上述した計算に利用することができる。
次に、図24(B)を参照しながら、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像を得るようにする場合について説明する。図24(B)においても、図24(A)を用いて説明した場合と同様に、点検箇所の例えば壁面に生じている亀裂KRと当該亀裂KRの周囲の変色箇所HBとを撮影する場合を考える。
この例の場合には、図24(B)に示すように、亀裂KRに沿って実際に定規RLを当てて、亀裂KRや変色箇所HBの大きさを実測する。そして、当該部分を撮像し、撮像した画像をタブレット型情報端末1の表示画面220に表示し、電子ペン2を用いて当該撮像画像上に手書きメモを入力する。図24(B)の場合には、「亀裂長8cm」という手書きメモHM1と、「亀裂の周囲に直径約8cmの変色箇所」という手書きメモHM2が入力された状態を示している。
この例の場合、点検箇所の撮像画像に対して、手書きメモHM1、HM2を重畳するようにして一体の画像データとし記憶保持してもよい。また、撮像画像にとは別に、手書きメモHM1、HM2を当該撮像画像上の重畳位置を示す座標データとともに記憶保持するようにしてもよい。後者の場合には、当該撮像画像の再生時において、当該手書きメモHM1、HM2を当該撮像画像に重畳して表示することになる。
これにより、点検箇所の画像と共に、その点検箇所に存在する亀裂や変色箇所などについての問題の所在をユーザ(点検者)の手書きメモにより明確に示すことができる。また、亀裂や変色箇所などの問題箇所の大きさ、その他の重要な情報についても、ユーザの手書きメモによって明確に把握することができる。
なお、定規RLを問題箇所に当てた状態で、当該問題箇所の画像を撮影するようにしてももちろんよい。また、手書きメモの内容も問題箇所の大きさに関するものだけでなく、今後の処置方法や緊急性の有無などの必要となる種々の情報を手書きにより付加することができる。
また、撮影画像と手書きメモとを別々に記憶保持する場合には、手書きメモデータにも、これが入力されたときに用いられた電子ペン2のペンIDを付加しておくようにする。このようにすれば、上述したように撮影画像にも電子ペン2のペンIDが付加されているので、撮影画像と、これに重畳させる手書きメモデータとの対応付けをしやすくすることができる。また、撮影画像の場合と同様に、手書き画像データについても、これが利用可能なユーザをペンIDやユーザIDなどの個別情報により制限することもできる。
[第2の実施の形態]
上述した第1の実施の形態では、2次元の画像データ(エリア設計図)の指示した位置に、電子ペン2のカメラユニット22を通じて取得し、ペンIDが付加されている画像データ(写真)を関連付けるようにした。すなわち、関連付けられる画像データはいずれも2次元の画像データであった。しかし、これに限るものではない。3次元データを関連付けの対象とすることもできる。
この第2の実施の形態では、第1の実施例として、3Dオブジェクトデータを予め用意しておき、これに電子ペン2のカメラユニット22を通じて撮影することにより得た2次元の画像データを関連付けることができるようにする。3Dオブジェクトデータは、3Dオブジェクト(3次元物体)を表示するためのデータであり、テクスチャ画像データやポリゴンデータなどからなる3次元データである。
また、この第2の実施の形態では、第2の実施例として、3D(3次元)空間画像データと、3D(3次元)カメラを用いて撮影することにより取り込むようにした3Dオブジェクトデータとを関連付けることができるようにする。3D空間画像データは、例えば屋内の状態などの3次元空間画像を表示するためのデータであり、3Dオブジェクトデータと同様にテクスチャ画像データやポリゴンデータなどからなる3次元データである。
このように、以下に説明する第2の実施の形態の場合には、処理対象となるデータが、3Dオブジェクトデータや3D空間画像データである点が、上述した第1の実施の形態の場合とは異なっている。しかし、3Dオブジェクトデータや3D空間画像データを処理する情報処理装置としては、上述した第1の実施の形態のタブレット型情報端末1を用いることができる。このため、以下に説明する第2の実施の形態においても、図1~図6を用いて説明した第1の実施の形態のタブレット型情報端末1と電子ペン2とを用いるものとし、必要に応じて図1、図2等の図面についても参照しながら説明する。
まず、第1の実施例として、予め用意される3Dオブジェクトデータと2次元の画像データ(写真)とを関連付ける場合について説明する。まず、市場に種々提供されている3Dソフトウェアを用いて、目的とする3Dオブジェクトを表示するための3Dオブジェクトデータを作成し、これをタブレット型情報端末1の図面等DB105の所定の記憶領域に記憶保持しておく。
この場合、3Dソフトウェアを用いた3Dオブジェクトデータの作成は、タブレット型情報端末1で行ってもよいし、他のパーソナルコンピュータなどで行って、作成したものをタブレット型情報端末1の図面等DB105に記憶するようにしてもよい。なお、3Dソフトウェアは、モデリング機能やレンダリンク機能を備え、3Dオブジェクト(3次元モデル)を作成して、これを描画(表示)することができるものである。図25は、第2の実施の形態において、図面等DB105の所定の格納エリアに格納される3Dオブジェクトデータファイルの例を説明するための図である。
図25(A)に示すように、この例の3Dオブジェクトデータファイルは、3Dオブジェクトを表示するための3Dオブジェクトデータに対して、立体画像ID、枝番、備考といったメタデータが付加されたものである。この例において、立体画像IDは5桁の数字であり、枝番は2桁の数字である。これら立体画像IDと枝番とによって、3Dオブジェクトデータを一意に特定することができる。立体画像IDは、例えば、円柱、角柱、円錐、角錐、…といった代表的な3Dオブジェクト(立体画像)に対応している。枝番は、立体画像IDによって特定される3Dオブジェクトについてバリエーションがある場合に、バリエーションを特定する情報となる。
すなわち、円柱にも底面や上面の面積の大小、高さの高低など種々のバリエーションがあるため、そのバリエーションに応じた3Dオブジェクトを表示するための複数の3Dオブジェクトデータを図面等DB105に蓄積し、立体画像IDと枝番とによって、その1つ1つを特定できるようにしている。例えば、予め決められた基本的な円柱は、立体画像IDが「10001」で枝番が「01」であり、それよりも上面、底面が小さな円柱は、立体画像IDが「10001」で枝番が「02」などというように、3Dオブジェクトデータのそれぞれが一意に特定可能になっている。
なお、図面等DB105に記憶保持される3Dオブジェクトデータファイルにおいて、立体画像IDには、当該立体画像IDによって特定される3Dオブジェクトデータによって表示される3Dオブジェクト(立体画像)の名称も対応付けられている。さらに、備考として、当該3Dオブジェクトデータに関連する種々のテキスト情報も付加できるようになっている。
そして、図25(A)に示した3Dオブジェクトデータファイルは、立体画像IDが「10001」で、当該3Dオブジェクトデータファイルに格納されている3Dオブジェクトデータは「円柱」を表示するためのものであり、その枝番は「01」であることが示されている。また、備考には「基本的な3次元図形」である旨のテキスト情報が付加されている。そして、この例では、図25(A)に示した3Dオブジェクトデータファイルに格納されている3Dオブジェクトデータにより、例えば図25(B)に示すように、円柱である3DオブジェクトGXを表示することができるようになっている。
なお、上述もしたように、3Dソフトウェアが用いられて、種々の3Dオブジェクト(立体図形)を表示するための複数の3Dオブジェクトデータが事前に形成される。そして、形成した3Dオブジェクトデータに対して、立体画像ID、枝番、備考といった必要となる情報が付与されて、図25(A)に示した態様で図面等DB105の所定の記憶領域に記憶保持される。このようにして、図面等DB105に記憶保持されている3Dオブジェクトデータファイルは、タブレット型情報端末1のユーザが利用できるようになっている。
また、この例においても、図4を用いて説明したように、写真フォルダ104には、電子ペン2のカメラユニット22を通じて撮影することにより得た写真データ(2次元の画像データ)が記憶保持されている。図26は、写真フォルダ104に格納されている写真ファイルの具体例を説明するための図である。この例においては、図26に示すように、写真フォルダ104には、ある点検エリアで撮影した例えば圧力計の写真PXを表示する写真データが記憶保持されているものとする。
そして、用途は特に限定されないが、例えば、撮影することにより得た複数の写真データを整理するなどのために、各写真データを目的とする3Dオブジェクトデータと関係付けるようにしたい場合が生じたとする。この場合に、この例のタブレット型情報端末1では、点検エリアの設計図面データに対して写真データを関連付けた第1の実施の形態の場合と同様に、目的とする3Dオブジェクトデータに対して、目的とする写真データを関連付けることができるようにしている。
図27は、3Dオブジェクトデータと写真データとの関連付けについて説明するための図である。タブレット型情報端末1のユーザは、表示装置部200の表示画面に220に表示されるメニューから例えば「テクスチャーマッピング」などいった3Dオブジェクトデータと写真データの関連付けを行うための項目を選択する。これにより、タブレット型情報端末1の制御部102は、3Dオブジェクトデータと写真データの関連付けを行う処理を実行する。
この場合、制御部102は、図面等DB105の3Dオブジェクトデータファイルに基づき、代表的な3Dオブジェクトの一覧リストを表示画面220に表示して、ユーザにより選択可能する。この一覧リストからユーザは関連付けに用いる3Dオブジェクトを選択する。ここでは、立体識別IDが「10001」の円柱が選択されたとする。そして、制御部102が各部を制御することにより、ユーザによって選択された3Dオブジェクトデータに対して、ユーザにより指示された写真データを関連付ける処理が実行される。
この例の場合、まず、図面取得部111が機能し、図面等DB105から立体画像IDが「10001」である3Dオブジェクトデータファイルを抽出する。次に、図面表示処理部112が機能し、抽出された立体画像IDが「10001」の3Dオブジェクトデータファイルのうち、枝番が「01」の3Dオブジェクトデータファイルの3Dオブジェクトデータに応じた3Dオブジェクを表示画面220に表示する。
当該3Dオブジェクトの表示画面においては、例えば、図27に示すように、表示画面220の上端部には、改頁ボタンLP、RPが表示されると共に、立体画像IDと、立体画像(3Dオブジェクト)名称と、「1/10」などといった頁番号が表示される。なお、当該3Dオブジェクトの最初の頁には左改頁ボタンLPは表示されず、最後の頁には右改頁ボタンは表示されない。有効でない操作を行わせないためである。そして、改頁ボタンLP、RP上を電子ペン2で指示することにより改頁が行われ、関連付けの対象とする3Dオブジェクトの選択ができる。また、頁番号により、その立体画像IDの3Dオブジェクトデータファイルの総数はいくつあり、現在の表示頁は何頁かが把握できる。
そして、ユーザは、改頁ボタンLP、RPを使用して目的とする3Dオブジェクトを表示画面220上に表示させると、次に、写真データに応じた2次元画像を張り付行け位置の例えば左上端部PLを電子ペン2で指示する。この場合、制御部102は、入力装置部330のセンサ部320から指示位置を示す座標データと電子ペン2のペンIDを取得する。そして、写真取得部106が機能し、制御部102が取得したペンIDと同じペンIDを付加情報として有する写真データファイルを写真フォルダ104から読み出す。
この後、第1関連付け部107が、指示位置を示す座標データ(センサ部上の座標位置を示すもの)と写真データとを対応付ける。次に、写真関連付け部108が機能して、図27に示したように、指示された座標位置(左上端部PL)を基準にして、当該座標位置を示す座標データに対応付けられている写真ファイルの写真データに応じた写真PXを表示する。この写真表示処理部115の写真表示処理は、選択された3Dオブジェクトである円柱の表面に沿って、抽出され写真データによる写真を貼り付けて表示するものであり、いわゆるテクスチャーマッピングの手法が用いられる。これにより、図27に示すように、選択された3Dオブジェクトである円柱GXの表面(この例の場合は側面)に沿うようにして、読み出された写真データに応じた圧力計の写真PXが貼り付けられる。
そして、貼り付けた写真PX上に電子ペン2を接触させて、ドラッグ操作を行えば、3DオブジェクトGX上において、写真PXの貼付位置を移動させることができる。したがって、3DオブジェクトGXの上面から側面にかけて写真PXを貼り付けるようにするなどのこともできる。また、貼り付けた写真PXの4辺のうちのいずれかの辺上に電子ペン2を接触させて、ドラッグ操作を行えば、その辺を移動させ、写真PXの幅や高さを変更することができる。また、貼り付けた写真PXの4つの頂点のうちのいずれかの頂点に電子ペン2を接触させてドラッグ操作を行えば、その頂点を移動させ写真PXを変形させることができる。
このようにして、3Dオブジェクトに対して写真が貼り付けられると、第2関連付け部114が機能する。第2関連付け部114は、立体画像IDと枝番と備考とからなる3Dオブジェクトに関するメタデータと、写真IDと貼付場所を示す座標データとからなる写真に関するメタデータとからなる関連付けデータを生成する。ここで、写真の貼付場所は、写真の最終的に確定した4つの頂点のそれぞれの位置を示す座標データであるが、センサ部320上の位置ではなく、貼り付け対象の3Dオブジェクト上の位置を示すデータに変換される。
この場合の変換は、例えば、3Dオブジェクトが円柱であれば図27の原点Oを基準にした位置に変換される。どこが基準(原点O)になるかは、3Dオブジェクト毎に決められている。そして、第2関連付け部114は、生成した関連付けデータを、例えば、メモリ部103の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにする。この場合の関連付けデータは、図16を用いて説明した第1の実施の形態の関連付けデータに対応するものである。
なお、電子ペン2により撮影され、電子ペン2の電子ペンIDが付加された写真データファイルが複数存在する場合には、第1の実施の形態の場合と同様に、まず複数の写真データによる写真のそれぞれのサムネイル画像を表示する。そして、そのサムネイル画像の中から関連付けに用いる写真データを選択するようにできる。
また、選択した写真データが違う場合には、ボタンB4上に電子ペン2を接触させることにより、写真データの選択をやり直すことができる。また、目的とする3Dオブジェクトの目的とする位置に目的とする写真を貼り付けることが出来た場合には、OKボタンB5に電子ペン2を接触させることにより関連付け処理を終了し、上述したように関連付けデータを生成し、これをメモリ部103の所定の記憶領域に記録することができる。
このように、この第2の実施の形態の第1の実施例の場合には、3Dオブジェクトに対して、写真を貼り付けるようにする操作を行うことによって、3Dオブジェクトデータと写真データとの関連付けを行うことができる。しかも、写真データには、電子ペン2のペンIDが付加されているので、電子ペン2のカメラユニット22を通じて撮像することにより得た写真データを自動的に関連付けの対象とすることができる。
次に、この第2の実施の形態の第2の実施例である、予め用意される3D空間画像データと3Dカメラで撮影することにより取り込むようにした3Dオブジェクトデータとを関連付ける場合について説明する。まず、例えば、3Dソフトウェアを用いて、目的とする3D空間画像を表示するための3D空間画像データを作成し、これをタブレット型情報端末1の図面等DB105の所定の記憶領域に記憶保持しておく。3D空間画像データの作成はタブレット型情報端末1で行うこともできるし、他のパーソナルコンピュータなどで行って、作成したものをタブレット型情報端末1の図面等DB105に記憶するようにしてもよい。
図28は、この例において、図面等DB105に格納される3D空間画像データファイルの例を説明するための図である。図28(A)に示すように、この例の3D空間画像データファイルは、3D空間画像を表示するための3D空間画像データに対して、3D空間ID、備考といったメタデータが付加されたものである。この例において、3D空間IDは5桁の数字であり、3D空間画像データを一意に特定することができるものである。また、3D空間IDに対応して、当該3D空間IDによって特定される3D空間画像データによって表示される3D空間画像(立体画像)の名称も対応付けられている。さらに、備考には、当該3D空間画像データに関連する種々のテキスト情報が格納される。
そして、図28(A)に示した3D空間画像データファイルは、3D空間IDが「00001」で、当該3D空間画像データファイルに格納されている3D空間画像データは「室内A」の3D空間画像を表示するためのものであることが示されている。また、備考には「室内の3次元空間画像パターン」である旨のテキスト情報が付加されている。そして、図28(A)に示した3D空間画像データファイルに格納されている3D空間画像データにより、例えば図28(B)に示すように、テーブルTBが置かれた室内の3次元空間画像を表示することができる。
なお、上述もしたように、3Dソフトウェアが用いられて、種々の3D空間画像を表示するための複数の3D空間画像データが事前に形成される。そして、形成した3D空間画像データに対して、3D空間ID、備考といった必要となる情報が付与されて、図28(A)に示した態様で図面等DB105に記憶保持される。このようにして、図面等DB105に記憶保持されている3D空間画像データファイルは、タブレット型情報端末1のユーザが利用することができるようになっている。
そして、この例において、タブレット型情報端末1には、3Dカメラユニット22Cを搭載した電子ペン2Cが接続されている。3Dカメラを用いて目的とする被写体(対象物)を撮影する場合には、3Dカメラから被写体までの距離が分かる。このため、タブレット型情報端末1では、電子ペン2Cの3Dカメラユニット22Cを通じて撮影した画像に基づいて、被写体(対象物)を3Dオブジェクトとして表示する3Dオブジェクトデータを生成し、これを写真フォルダ104に記憶保持する。
図29は、この例の電子ペン2Cの外観を説明するための図である。図29に示すように、電子ペン2Cが備える3Dカメラユニット22Cは、撮像レンズを2つ備えたものである。そして、図示しないが、2つの撮像レンズのそれぞれに対応する2つの撮像素子を備え、2つのそれぞれの撮像レンズを通じて被写体を撮像することができるものである。
したがって、3Dカメラユニット22Cは、ヒトの左右のそれぞれの目で見ているそれぞれの画像を撮影するのと同様の画像が撮影できる。そして、2つの撮像レンズ間の距離は既知である。この2つの撮像レンズ間を結ぶ直線を基線とする。そして、この基線の両端(撮像レンズの中心)のそれぞれから目的とする被写体の注目点までの直線と、当該基線とのなす角の角度も分かる。このため、三角測量法により、当該被写体の注目点までの距離が分かる。
これを利用し、タブレット型情報端末1においては、電子ペン2Cの3Dカメラユニット22Cからの写真データから被写体の複数の注目点までの距離を算出し、これに基づき被写体(対象物)の3Dオブジェクトデータを生成することができる。このため、タブレット型情報端末1においては、例えば制御部102が機能し、3Dカメラユニット22Cを通じて撮像した2つの写真データのほかに、被写体の3Dオブジェクトデータも生成して、写真フォルダ104に記憶保持するようにしている。
図30は、写真フォルダ104に格納されている被写体の3Dオブジェクトデータファイルの具体例を説明するための図である。図30に示すように、この例の被写体の3Dオブジェクトデータファイルは、上述したように、3Dカメラユニット22Cを通じて撮影された写真出たに基づいて生成された被写体の3Dオブジェクトデータに対して、被写体IDと付加情報とが付加されて形成されたものである。
被写体IDは、被写体の3Dオブジェクトデータを一意に特定できるものであり、付加情報は、上述した写真データファイルの場合と同様に、撮影日時、撮影場所、ペンID、その他の情報からなるものである。また、被写体の3Dオブジェクトデータファイルには、上述した写真データファイルの場合と同様に、必要に応じてユーザが電子ペン2Cを用いてタブレット型情報端末1を通じて入力するようにした手書きメモも付加することができるようにされている。
図30(A)に示した被写体の3Dオブジェクトデータファイルに格納されている被写体の3Dオブジェクトデータにより、例えば図30(B)に示すように、撮影された被写体の3Dオブジェクトを表示することができる。図30(B)は、円柱形状の例えばストール(腰掛け)J1の3Dオブジェクトの画像である。
そして、例えば想定される室内への家具のレイアウトを確認するために、図面等DB105に用意されている3D空間画像データと、写真フォルダ104に記憶保持されている被写体の3Dオブジェクトデータとを関係付けるようにしたい場合が生じたとする。このような場合に、この例のタブレット型情報端末1では、点検エリアの図面データに対して写真データを関連付けたように、目的とする3D空間画像データに対して、目的とする被写体の3Dオブジェクトデータを関連付けることができる。
図31は、3D空間画像データと被写体の3Dオブジェクトデータとの関連付けについて説明するための図である。タブレット型情報端末1のユーザは、表示装置部200の表示画面に220に表示されるメニューから例えば「3D空間内レイアウト確認」などいった3D空間画像データと被写体の3Dオブジェクトデータの関連付けを行うための項目を選択する。これにより、タブレット型情報端末1の制御部102の制御の下、3D空間画像データと被写体の3Dオブジェクトデータとの関連付けを行う処理が実行される。
この場合、制御部102は、図面等DB105に記憶保持されている3D空間画像データファイルに基づき、3D空間画像の一覧リストを形成し、これを表示画面220に表示する。タブレット型情報端末1のユーザは、表示画面220に表示された一覧リストから目的とする3D空間画像を選択する。ここでは、3D空間IDが「00001」の「室内A」の3D空間画像データが選択されたとする。そして、制御部102が各部を制御し、3D空間画像データに対して被写体の3Dオブジェクトデータを関連付ける処理が行われる。
まず、図面取得部111が機能し、図面等DB105から3D空間IDが「00001」である3D空間画像データファイルを抽出する。次に、図面表示処理部112が機能し、抽出された3D空間IDが「00001」の3D空間画像データファイルの3D空間画像データに応じた3D空間画像を表示画面220に表示する。この場合、例えば図31に示すように、表示画面220の上端部には、改頁ボタンLP、RPが表示されると共に、3D空間IDと、3D空間画像の名称と、「2/10」などといった頁番号が表示される。なお、当該3D空間画像の最初の頁には左改頁ボタンLPは表示されず、最後の頁には右改頁ボタンは表示されない。有効でない操作を行わせないためである。また、頁番号により、3D空間画像データファイルの総数はいくつあり、現在の表示頁は何頁かが把握できる。
そして、ユーザは、選択した3D空間画像が目的とするものでなかった場合には、改頁ボタンLP、RPを使用して改頁を行い、目的とする3D空間画像を表示画面220に表示させるようにできる。このようにして、目的とする3D空間画像を表示画面220上に表示させると、次に、被写体の3Dオブジェクトを表示させる(配置する)位置Ptを表示画面220に電子ペン2Cを接触させるようにして指示する。この場合、制御部102は、入力装置部330のセンサ部320から指示位置を示す座標データと電子ペン2CのペンIDを取得する。そして、写真取得部106が機能し、制御部102が取得したペンIDと同じペンIDを付加情報として有する被写体の3Dオブジェクトデータファイルを写真フォルダ104から読み出す。
この後、第1関連付け部107は、指示された座標位置を示す座標データと読み出した被写体の3Dオブジェクトデータファイルとを関連付ける。次に、写真関連付け部108が機能して、指示された座標位置Ptを基準にして、当該座標位置を示す座標データに対応付けられている被写体の3Dオブジェクトデータファイルの3Dオブジェクトデータに応じた3DオブジェクトJ1を表示する。これにより、図31に示すように、選択された3D空間画像内に、抽出された被写体の3Dオブジェクトデータに応じた3Dオブジェクト(この例では円柱のストール)が、指示された位置に配置される(貼り付けられる)。そして、配置した3DオブジェクトJ1上に電子ペン2Cを接触させて、ドラッグ操作を行えば、3Dオブジェクト(円柱のストール)の配置位置を移動させることができる。
このようにして、3D空間画像に対して被写体の3Dオブジェクトが配置されると、第2関連付け部114が機能し、2D空間IDと備考とからなる3D空間画像に関するメタデータと、被写体IDと貼付場所を示す座標データとからなる被写体の3Dオブジェクトに関するメタデータとからなる関連付けデータを生成し、これを例えば、メモリ部103の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにされる。
ここで、被写体の3Dオブジェクトの貼付場所は、最終的に確定した被写体の3Dオブジェクトの貼付位置を特定可能な座標データということになるが、センサ部320上の位置ではなく、配置対象の3D空間画像上の位置を示すデータに変換される。この場合の変換は、例えば、3D空間画像が図31に示したものであれば、図32の原点Oを基準にした位置に変換される。そして、第2関連付け部114は、生成した関連付けデータを、例えば、メモリ部103の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにする。この場合の関連付けデータは、図16を用いて説明した第1の実施の形態の関連付けデータに対応するものである。
なお、電子ペン2Cの3Dカメラユニット22Cを通じて撮影されることにより得た画像データに基づいて生成された被写体の3Dオブジェクトの3Dオブジェクトデータファイルが複数存在する場合もある。この場合には、第1の実施の形態の場合と同様に、まず複数の被写体の3Dオブジェクトのサムネイル画像を表示し、そのサムネイル画像の中から関連付けに用いる被写体の3Dオブジェクトを選択するようにできる。
また、図31に示すように、被写体の3DオブジェクトJ1を配置した後に、電子ペン2Cにより他の貼付位置Pt2を指示することにより、当該貼付位置に他の被写体の3Dオブジェクト(図31では直方体のストール)J2を追加して配置することもできる。
また、選択した被写体の3Dオブジェクトデータが違う場合には、ボタンB4上に電子ペン2Cを接触させることにより、被写体の3Dオブジェクトデータの選択をやり直すことができる。また、目的とする3D空間画像の目的とする位置に目的とする被写体の3Dオブジェクトを配置することが出来た場合には、OKボタンB5に電子ペン2Cを接触させることにより関連付け処理を終了させる。この場合に、制御部102は、上述したように生成される関連付けデータをメモリ部103の所定の記憶領域に記録することができる。
さらに、3D空間画像内に配置する被写体の3Dオブジェクトの拡大、縮小を行うことも可能である。この場合には、第2関連付け部114が生成する関連付けデータに、被写体の3Dオブジェクトの縮拡率を示す情報も付加されることになる。また、被写体の3Dオブジェクトについて、これを配置する3D空間画像の大きさに応じて、自動的に適切な大きさに変換することも可能である。
このように、この第2の実施の形態の第2の実施例の場合には、3D空間画像に対して、被写体の3Dオブジェクトを配置するようにする操作を行うことによって、3D空間画像出たと被写体の3Dオブジェクトデータとの関連付けを行うことができる。しかも、被写体の3Dオブジェクトデータには、電子ペン2CのペンIDが付加されているので、電子ペン2Cの3Dカメラユニット22Cを通じて撮像することにより得た被写体の3Dオブジェクトデータを自動的に関連付けの対象とすることができる。
[第2の実施の形態の効果]
上述した第2の実施の形態の第1の実施例のタブレット型情報端末1及び電子ペン2によれば、電子ペン2に関連付けられる写真データを取得することができる。そして、取得した写真データに応じた写真(画像)を、3Dオブジェクトデータにより表示画面220に表示される3Dオブジェクトの目的とする位置に貼り付けるようにして表示することができる。もちろん、貼り付け対象の写真データと、表示された3Dオブジェクト上の指示位置とを関連付けて管理することもできる。
上述した第2の実施の形態の第2の実施例のタブレット型情報端末1及び電子ペン2Cによれば、電子ペン2Cに関連付けられる被写体の3Dオブジェクトデータを取得することができる。そして、取得した3Dオブジェクトデータに応じた3Dオブジェクトを、3D空間画像データにより表示画面220に表示される3D空間画像の目的とする位置に貼り付けるようにして表示することができる。もちろん、貼り付け対象の被写体の3Dオブジェクトデータと、表示された3D空間画像上の指示位置とを関連付けて管理することもできる。
[第2の実施の形態の変形例等]
なお、この例においては、3D空間画像データが、3Dソフトウェアを用いて事前に作成しておくものとして説明したが、これに限るものではない。例えば、実際にモデルルームが存在する等、3D空間画像として表現すべき実空間が存在する場合には、当該実空間を3Dカメラを用いて撮影し、撮影することにより写真データに基づいて、3D空間画像データを生成するようにしてもよい。当該3D空間画像データの生成は、制御部102が行ったり、制御部102の制御の下に機能する生成部を別途設けるようにしたりしてもよい。
また、第2の実施の形態の場合にも、第1の実施の形態の場合と同様に、入力装置部300のセンサ部320が、静電容量方式のセンサである場合には、ユーザの指によって位置指示が可能である。また、ペンIDを示す情報を送出しない電子ペンを用いて位置指示を行うようにすることもできる。
また、第2の実施の形態の場合にも、写真の貼り付け対象とする3Dオブジェクトデータ、3D空間画像データ、3D空間画像に対応付ける被写体の3Dオブジェクトデータなどは、外部から供給を受けるようにすることができる。また、これらに付加される付加情報やメタデータについてもこれらの3次元データとともに提供を受けることができる。この場合、タブレット型情報端末1に対して優先接続される外部機器から提供を受けることもできるし、近距離無線通信を介して提供を受けることもできる。もちろん、インターネット上に存在するサーバ、すなわちいわゆるクラウドから3次元データやこれに付随する情報の提供を受けるようにすることもできる。
また、第2の実施の形態の第2の実施例の場合には、第1の実施の形態のエリア設計図の選択と同様に、タブレット型情報端末1を所持するユーザが目的とする場所に到達した場合に、その場所の3D空間画像データを抽出する。そして、抽出した3D空間画像データに応じた3D空間画像を表示画面に自動的に表示するように構成することもできる。
この場合、上述した第1の実施の形態の場合と同様に、基地局からのビーコン信号を用いて到達した場所を特定することができる。もちろん、上述した第1の実施の形態でも説明したように、目的とする場所に設置された赤外線通信装置との間での赤外線通信を用いたり、タブレット型情報端末1に搭載されたGPS機能により検出された現在位置を用いて現在位置を特定したりするなどの方法で、目的とする場所に到達したか否かを判別するようにできる。
[その他]
なお、上述した実施の形態においては、情報処理装置部100、表示装置部200、入力装置部300が一体になったタブレット型情報端末1にこの発明を適用した場合を例にして説明したが、これに限るものではない。例えば、それぞれが別体となる、パーソナルコンピュータ本体(情報処理装置部に相当)と、モニタ装置(表示装置部に相当)と、電子ペンによる指示入力を受け付けるデジタイザ(入力装置部に相当)とからなる画像情報処理システムのこの発明を適用することができる。
上述した実施の形態のタブレット型情報端末1の場合には、入力装置部300のセンサ部320が、表示装置部200の表示画面220の全面に対応するように設けられていた。このため、センサ部320上の指示位置は、表示装置部200の表示画面220上の対応する位置を直接に指示するものとなっていた。しかし、表示画面220がセンサ部320の一部に配置される場合には、パーソナルコンピュータ本体において、デジタイザのセンサ領域上の指示位置を、モニタ装置の表示画面上の指示位置(座標データ)に変換し、この変換後の座標データと、関連付け対象の画像データとを関連付ければよい。したがって、デジタイザのセンサ領域上の指示位置と関連付け対象の画像データとを関連付けておき、これらをパーソナルコンピュータなどの情報処理装置に供給して、当該センサ領域上の指示位置を表示画面上の指示位置に変換して利用することもできる。
また、上述した実施の形態では、電子ペン2、2C等のカメラユニット22、22Cで撮像した写真データは、撮像の都度、タブレット型情報端末1に送信するようにしたが、これに限るものではない。電子ペン2、2Cに画像記憶用のフラッシュメモリなどの不揮発性メモリを搭載しておくことにより、複数の写真の写真データを記憶保持できるようにしておく。この場合にも、各写真データに対して、電子ペンIDなど付加情報(第2の付加情報)が対応付けられるようにされる。
そして、電子ペン2、2Cの不揮発性メモリに蓄積された複数の写真データを、タブレット型情報端末1に送信して、これを利用可能にすることもできる。この場合、複数の写真データの中から目的とする写真データを特定する方法は、図13(B)を用いて説明した方法を用いることができる。
また、タブレット型情報端末1が撮像部(カメラ機能)を備える場合には、タブレット型情報端末1の撮像部を通じて撮像することにより得た写真データを、関連付け対象として利用することができる。この場合、タブレット型情報端末1の撮像部を通じて撮像することにより得た写真データに対しても、ペンIDなどの付加情報(第2の付加情報)を付加しておく。これにより、タブレット型情報端末1の撮像部を通じて撮像することにより得た写真データについても、電子ペン2のカメラユニットや外部のデジタルカメラやスマートホンなどにより撮像することにより得た写真データと同様に扱うことができる。
なお、上述した実施の形態の説明からも分かるように、特許請求の範囲に記載した画像情報処理装置(以下、単に画像情報処理装置と記載する。)の第1の取得手段、第2の取得手段、第1の関連付け手段の各機能は、実施の形態のタブレット型情報端末1の情報処理装置部(以下、単に情報処理装置部と記載する。)100のI/O140、写真取得部106、第1関連付け部107が実現している。
また、画像情報処理装置の付加情報抽出手段の機能は、情報処理装置部100のI/Oポート140、あるいは、受信アンテナ150A及び受信回路150が実現している。また、画像情報処理装置の関連付け手段の機能は、情報処理装置部100の写真関連付け部108が実現し、画像情報処理装置の撮像制御手段の機能は、情報処理装置部100の撮像制御部109が実現している。
また、画像情報処理装置の第1の表示処理手段の機能は、情報処理装置部100のファインダ制御部110が実現し、画像情報処理装置の受付手段の機能は、入力装置部300が実現している。また、画像情報処理装置の第3の取得手段の機能は、情報処理装置部100の図面取得部111が実現し、画像情報処理装置の第2の表示処理手段の機能は、情報処理装置部100の図面表示処理部112が実現している。
また、画像情報処理装置の座標変換手段の機能は、情報処理装置部100の座標変換部113が実現し、画像情報処理装置の第2の関連付け手段の機能は、情報処理装置部100の第2関連付け部114が実現している。また、画像情報処理装置の近距離無線通信手段の機能は、情報処理装置部100の近距離無線通信アンテナ120A及び近距離無線通信部120が実現し、画像情報処理装置の第3の表示処理手段の機能は、情報処理装置部100の写真表示処理部115が実現している。
また、画像情報処理装置の編集処理手段の機能は、情報処理装置部100の編集処理部116が実現し、画像情報処理装置のモード切替手段の機能は、情報処理装置部100のモード切替部117が実現している。
また、上述した実施の形態において、図7~図10のフローチャートを用いて説明した方法が、この発明による画像情報処理方法の一実施の形態が適用されたものである。また、図2に示した、情報処理装置部100の写真取得部106、第1関連付け部107、写真関連付け部108、撮像制御部109、ファインダ制御部110、図面取得部111、図面表示処理部112、座標変換部113、第2関連付け部114、写真表示処理部115、編集処理部116、モード切替部117の各機能は、制御部102で実行されるプログラムにより、制御部102の機能として実現することもできる。