次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明する。以下で説明する実施例は一例に過ぎず、本発明が適用される実施の形態は、以下の実施例に限られない。なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
近年、携帯電話やPDAなどの携帯情報端末が広く普及し、その携帯情報端末を操作して、メール、インターネットなどが容易に行えるようになった。またさらに、最近ではそのような旧来型の携帯情報端末をさらに進化させたスマートデバイスと称されるものも普及し、猛烈な速さでそのシェアを拡大しつつある。このスマートデバイスは、例えばスマートフォン、タブレット端末などに代表される。
スマートデバイスの代表的な特徴は、その処理性能の向上に加え、何より画面上からタッチ操作だけで端末操作を行える点にある。旧来型の携帯情報端末では、備え付けのハードウェアキー操作により、端末操作を行っていたが、スマートデバイスの中には全くハードウェアキーを備えない機種も存在し、画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。このようなスマートデバイスの操作性上の特徴に着目し、工事現場において、スマートデバイスを用いた現場写真の撮影業務を行う。
[システム構成]
(全体構成)
図1は、本実施形態に係る全体構成図を示す。本実施形態に係るスマートデバイス1は、工事現場で現場写真の撮影作業に使用する装置である。具体的には、スマートデバイス1は、スマートフォン、タブレット端末などにより実現されうる。工事現場において作業者は、スマートデバイス1に付属されるカメラを使用し、被写体である撮影現場(撮影対象)の撮影を行う。撮影された現場写真内には各種情報が記入された黒板が写っている必要があるが、本実施形態においては上述のような黒板(黒板現物)は使用せず、スマートデバイス1のカメラによって撮影された撮影現場の写真に対し、アプリケーションが仮想的な電子黒板(以下、「仮想黒板」と呼ぶ)を挿入することにより、現場写真を構成するようにする。
なお、黒板とは、一般に文字や図などの情報を書くための黒又は緑の塗料を塗った板をいうが、本実施形態で黒板という場合、黒又は緑色の板のみならず、白板(ホワイトボード)なども含む概念として扱う。つまり、文字や図などの情報を表示するための表示板でよい。仮想黒板は、仮想表示板と言い換えることができる。
測量器・測定器2、工事資料3は、スマートデバイス1に対し工事現場のまさにその場で情報を提供するものである。仮想黒板に「測点」、「実測寸法」など、その場で測量された測量データを記入する場合、作業者は測量器・測定器2で測量データを測量・測定し、測量器・測定器2からスマートデバイス1に対し、例えばBlueTooth(登録商標)などのデータ通信を介して測量データを送信する。また仮想黒板に「工事名」、「工事場所」、「施工者」などの一般的な工事情報を記入する場合、作業者はスマートデバイス1のカメラによって工事資料3を撮影し、同画像から工事情報をテキスト化し入力したり、例えばバーコードやQRコード(登録商標)などの各種コード情報を介して工事情報を入力する。これら工事情報は仮想黒板内に反映される。
サーバ4は、事務所やオフィスもしくはデータセンターなどに設置され、工事情報管理に用いられる管理サーバである。スマートデバイス1に対し、例えば無線LAN(WiFi(登録商標)など)、電話網/IP網回線(3Gなど)などのデータ通信を介して工事情報を入力したり、また逆にスマートデバイス1からサーバ4に対し、同データ通信を介して撮影された現場写真のアップロードを行う。なお、工事現場が例えば山奥に位置するなど周辺の通信事情がよくない場合には、スマートデバイス1はサーバ4と通信を行うことはできないので、工事現場入りに先駆けて予め工事情報を入力しておいたり、後日スマートデバイス1に保存されている現場写真のアップロードを行う。
PC5は、工事報告書を作成する端末である。工事報告書を作成するにあたり、作業者は、サーバ4から工事情報や既にアップロードされている現場写真を取得する。またもしくはデジタルカメラからUSBや記録媒体を介し現場写真を取得する。PC5は、例えば無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)などのデータ通信を介して、PC6などの納品先に工事報告書を送信できる。
PC6は、国などの工事報告書を検査する納品先の端末であり、PC5によって送信された工事報告書を受信する。PC6は、工事報告書に添付されている現場写真が改ざんされていないかどうかを検査する。
クラウドストレージ7は、例えば、インターネットなどのネットワーク上に設置され、現場写真をストレージ(蓄積)する記憶装置である。例えば、スマートデバイス1は、クラウドストレージ7に対し、無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)などのデータ通信を介して、撮影された現場写真のアップロードを行う。スマートデバイス1が撮影した現場写真を蓄積する記憶領域には容量に限りがあるため、代替の記憶領域としてクラウドストレージ7を利用できる。
また、クラウドストレージ7にストレージされた現場写真は、その後、様々な形態で活用できる。例えば、PC5が工事報告書を作成するにあたり、クラウドストレージ7から工事情報や既にアップロードされている現場写真を取得する。さらに、PC5によって作成された工事報告書は、クラウドストレージ7にアップロードされる。また、クラウドプリンティングのようなプリントサービスと連携すれば、クラウドストレージ7にストレージされた現場写真を任意に選択のうえ、プリントすることも可能である。これまでは一旦PC5で現場写真を整理してプリントを行っていたところ、ダイレクトにスマートデバイス1からプリントを行えるという利点がある。
PC8は、クラウドストレージ7から工事報告書を取得する端末である。PC8は、例えば無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)などのデータ通信を介して、PC6などの納品先に工事報告書を送信できる。工事報告書をPC6などの納品先に送信する際に、PC8は、工事報告書に添付された現場写真が改ざんされていないかどうかを確認することができる。これによって、工事報告書を作成した端末とは異なる他の端末を経由して、工事報告書をPC6などの納品先に送信できる。ここで、複数の端末を経由して、工事報告書をPC6などの納品先に送信することもできる。
(スマートデバイスのハードウェア)
本実施形態に係るスマートデバイス1のハードウェア構成について説明する。図2は、本実施形態に係るスマートデバイス1の主要構成を示すハードウェア構成図である。スマートデバイス1は、主要な構成として、CPU(Central Processing Unit)11、記憶装置12、表示装置13、入力装置14、通信装置15、外部インタフェース装置16、撮影装置17、及びGPS18を含む構成である。
CPU11は、マイクロプロセッサ及びその周辺回路から構成され、装置全体を制御する回路である。スマートデバイス向けOS(Operating System)や各種アプリケーションプログラムなどに基づいた処理を実行する。
記憶装置12は、スマートデバイス向けOSや各種アプリケーション、その他各種データを格納するメモリである。記憶装置12は、CPU11が各種プログラムを実行して各種の制御を行うときの作業エリア(ワーク領域)として使用するRAM(Random Access Memory)、所定の制御プログラムなどを記憶した不揮発性のROM(Read Only Memory)、比較的大容量のデータを記憶したHDD(Hard Disk Drive)などを含む。本実施形態においては、スマートデバイス用アプリケーションプログラム(例えば「工事現場黒板アプリ」)をここへ予めインストールしておくものとする。
表示装置13は、各種データを表示画面に表示するディスプレイである。また入力装置14は、ユーザが各種入力操作を行うための装置である。本実施形態に係るスマートデバイス1の入力装置14は、ハードウェアキーの他、表示装置13の表示画面上に重畳するように設けられたタッチパネルスイッチを含む。この場合、OSの入力系プログラムによるタッチパネルスイッチ制御により、ソフトウェアキーが実現される。即ち画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。
通信装置15は、他の機器との間で通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。本実施形態に係るスマートデバイスでは、具体的に例えば無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)、Bluetooth(登録商標)、赤外線通信などをサポートする。
外部インタフェース装置16は、外部からの記録媒体を接続し、端末内に記録媒体内のデータの入出力を行うインタフェースである。例えばUSBメモリ、SDカードなどのメモリカードをセットすることで外部からの情報を取得したり、出力できる。
撮影装置17は、スマートデバイス1に備えられているデジタル・カメラである。撮像レンズを備え、撮像された撮像画像(写真画像)を画像データ(写真データ)としてスマートデバイス1内に取り込む。なお撮影装置17から工事資料3のバーコードやQRコード(登録商標)などの各種コード情報を撮像すると、所定のアプリケーションを介し、コード内のテキストデータなどを読み取ることも可能である。
GPS18は、グローバル・ポジショニング・システム(Global Positioning System)から、地球上の現在位置情報を受信するGPS受信機である。即ちGPS18は、GPS衛星から現在位置情報(位置座標)を取得する。
(スマートデバイスの機能)
次に、本実施形態に係るスマートデバイス1の主要機能構成について説明する。図3は、本実施形態に係るスマートデバイス1の機能ブロック図の一例を示す。スマートデバイス1は、図に示されるように、記憶部101、タッチパネル102、撮影部103、通信部104、入力部105、画像編集部106、照合情報演算部(第1の照合情報生成部)107、照合情報格納部108、画像再現部109、画像出力部110を含み構成される。
記憶部101は、例えば記憶装置12により実現され、所定の記入項目(未記入)が設けられた仮想黒板画像を予め記憶する。また、写真画像(例えば現場写真)上に仮想黒板画像が配置された仮想黒板付き写真画像(例えば仮想黒板付き現場写真)が作成されると、記憶部101は、これを保存する。このとき記憶部101は、その保存の方法として、撮影された写真画像と、予めテンプレートとして記憶された仮想黒板画像と、写真画像上の仮想黒板画像の位置情報と、写真画像上の仮想黒板画像のサイズ情報と、仮想黒板画像の所定記入項目に入力されたデータとを対応付けて、それぞれ保存する。
また、仮想黒板付き写真画像と、該仮想黒板付き写真画像をJPEGファイルとして保存する際に自動的に作成される例えば、Exif(Exchangeable Image File Format)形式のメタデータに基づいて、該仮想黒板付き写真画像、及びメタデータが改ざんされていないかどうかを検査するのに使用する照合情報が演算され、その照合情報が格納された仮想黒板付き写真画像(例えば照合情報及び仮想黒板付き現場写真)が作成されると、記憶部101は、これを保存する。
タッチパネル102は、例えば入力装置14により実現される操作部102aと表示装置13により実現される表示部102bとを含むタッチパネル式ディスプレイである。このように本実施形態に係るスマートデバイス1は、このタッチパネル式ディスプレイを備えるため、画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能である。
撮影部103は、例えば撮影装置17により実現され、スマートデバイス1に備えられているデジタル・カメラである。撮像された撮像画像(写真画像)を画像データ(写真データ)としてスマートデバイス1内に取り込む。なお、撮影部103から工事資料3のバーコードやQRコード(登録商標)などの各種コード情報を撮像すると、所定のアプリケーションを介し、コード内のテキストデータなどを読み取ることも可能である。
通信部104は、例えば通信装置15により実現され、他の機器との通信を行う。本実施形態に係るスマートデバイスでは、具体的には、例えば無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)、Bluetooth(登録商標)、赤外線通信などをサポートし、測量器・測定器2、サーバ4、PC5などの各種装置との間で通信を行う。
入力部105は、記憶部101に保存されている仮想黒板画像の所定記入項目(未記入)に対し、工事現場に関するデータを入力する。これにより未記入であった仮想黒板画像に、工事に関する所定のデータを入力できる。なお、ここで入力されるデータは、仮想黒板画像に設けられている記入項目に従うが、具体的に例えば、測量器・測定器2により測量された測量データ(「測点」、「実測寸法」など々)や、サーバ4又は各種コード情報などでも管理される一般的な工事情報(「工事名」、「工事場所」、「施工者」など)である。なお、データは、ユーザによるタッチパネル102からのソフトウェアキーや、通信部104を介して入力できる。
画像編集部106は、撮影部103により撮影された写真画像の上に、入力部105によりデータが入力された仮想黒板画像を重畳して配置して、仮想黒板付き写真画像(例えば仮想黒板付き現場写真)を作成する。作成した仮想黒板付き写真画像は、記憶部101に保存される。さらに、画像編集部106は、仮想黒板付き写真画像をJPEGファイルに変換し、照合情報演算部107、及び照合情報格納部108に入力する。
照合情報演算部107は、画像編集部106から入力されるJPEGファイル形式の仮想黒板付き写真画像のうち、少なくとも上記写真画像に基づいて、仮想黒板付き写真画像に対する照合情報を生成する。例えば、照合情報演算部107は、画像編集部106から入力されるJPEGファイル形式の仮想黒板付き写真画像から、そのJPEGファイルを作成する際に自動的に作成されるExif型式のメタデータを取得する。そして、照合情報演算部107は、その仮想黒板付き写真画像、及びそのExif型式のメタデータから、照合情報を演算し、照合情報格納部108に入力する。
照合情報格納部108は、画像編集部106から入力されるJPEGファイル形式の仮想黒板付き写真画像に、照合情報演算部107から入力される照合情報、及び仮想黒板に記入される入力部105から入力されたデータ(仮想黒板情報)を格納する。これにより、照合情報格納部108は、照合情報及び仮想黒板付き写真画像(例えば照合情報及び仮想黒板付き現場写真)を作成する。作成した照合情報及び仮想黒板付き写真画像は、記憶部101に保存される。
画像再現部109は、記憶部101に記憶された仮想黒板付き写真画像を再現し、表示装置上に表示させる。画像再現部109は、その仮想黒板付き写真画像を再現するとき、該写真画像に対応付けられている仮想黒板画像を記憶部101から取得し、該仮想黒板画像の所定記入項目に対し対応するデータを入力し、対応する位置情報に基づいて、対応するサイズ情報により特定されるサイズの該仮想黒板画像を、該写真画像上に重畳して配置することにより再現する。
画像出力部110は、記憶部101に記憶され、再現された仮想黒板付き写真画像を対象として、同仮想黒板付き写真画像をJPEG形式の画像データとして出力する。具体的には、データが入力された仮想黒板を写真画像上に重畳させることにより、仮想黒板と写真画像が一体合成された仮想黒板付き写真画像のJPEGファイルを生成し出力する。さらに、画像出力部110は、記憶部101に記憶される照合情報及び仮想黒板付き写真画像を出力する。
以上これらの機能は、実際にはスマートデバイス1のCPU11が実行するスマートデバイス向けOS及びスマートデバイス用アプリケーションプログラム(例えば「工事現場黒板アプリ」)によりコンピュータに実現させるものである。
(PCのハードウェア)
本実施形態に係るPC6のハードウェア構成について説明する。図4は、本実施形態に係るPC6の主要構成を示すハードウェア構成図である。PC6は、主要な構成として、CPU61、記憶装置62、表示装置63、入力装置64、通信装置65、及び外部インタフェース装置66を含む構成である。
CPU61は、マイクロプロセッサ及びその周辺回路から構成され、装置全体を制御する回路である。PC向けOSや各種アプリケーションプログラムなどに基づいた処理を実行する。
記憶装置62は、PC向けOSや各種アプリケーション、その他各種データを格納するメモリである。記憶装置62は、CPU61が各種プログラムを実行して各種の制御を行うときの作業エリア(ワーク領域)として使用するRAM、所定の制御プログラムなどを記憶した不揮発性のROM、比較的大容量のデータを記憶したHDDなどを含む。本実施形態においては、PC用アプリケーションプログラム(例えば「工事現場黒板アプリ」)をここへ予めインストールしておくものとする。
表示装置63は、各種データを表示画面に表示するディスプレイである。また入力装置64は、ユーザが各種入力操作を行うための装置である。本実施形態に係るPC6の入力装置64は、ハードウェアキーの他、表示装置63の表示画面上に重畳するように設けられたタッチパネルスイッチを含む。この場合、OSの入力系プログラムによるタッチパネルスイッチ制御により、ソフトウェアキーが実現される。即ち画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。
通信装置65は、他の機器との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。本実施形態に係るPC6では、具体的には、例えば無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)、Bluetooth(登録商標)、赤外線通信などをサポートする。
外部インタフェース装置66は、外部からの記録媒体を接続し、PC6と記録媒体との間でデータの入出力を行うインタフェースである。例えばUSBメモリ、SDカードなどのメモリカードをセットすることで外部からの情報を取得したり、出力できる。
(PCの機能)
次に、本実施形態に係るPC6の主要機能構成について説明する。図5は、本実施形態に係るPC6の機能ブロック図の一例を示す。PC6は、図に示されるように、記憶部601、タッチパネル602、通信部603、画像取得部604、改ざん判定部605を含み構成される。
記憶部601は、例えば記憶装置62により実現され、スマートデバイス1によって出力される照合情報及び仮想黒板付き写真画像を記憶する。この照合情報及び仮想黒板付き写真画像は、仮想黒板付き写真画像と、該仮想黒板付き写真画像をJPEGファイルとして保存する際に自動的に作成される例えば、Exif形式のメタデータに基づいて、該仮想黒板付き写真画像、及びメタデータが改ざんされていないかどうかを検査するのに使用する照合情報が演算され、その照合情報が格納されたものである。
タッチパネル602は、例えば入力装置64により実現される操作部602aと表示装置63により実現される表示部602bとを含むタッチパネル式ディスプレイである。このように本実施形態に係るPC6は、ハードウェアキーの他、このタッチパネル式ディスプレイを備えるため、画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。
通信部603は、例えば通信装置65により実現され、他の機器との通信を行う。本実施形態に係るPC6では、具体的には、例えば無線LAN(WiFiなど)、電話網/IP網回線(3Gなど)、Bluetooth(登録商標)、赤外線通信などをサポートし、サーバ4、PC5、PC8などの各種装置との間で通信を行う。
画像取得部604は、例えばCPU61により実現され、通信部603によって受信されるPC5、PC8などから送信される照合情報及び仮想黒板付き写真画像を取得し、記憶部601、又は記憶部601及び改ざん判定部605に入力する。ユーザは、操作部602aを操作することによって、記憶部601に入力するか、記憶部601及び改ざん判定部605に入力するかを指定できる。例えば、照合情報及び仮想黒板付き写真画像を受信後、直ちに改ざんされていないかどうかを判定したい場合には、記憶部601及び改ざん判定部605に入力するように指定する。
改ざん判定部605は、例えばCPU61により実現され、画像取得部604によって入力される照合情報及び仮想黒板付き写真画像に基づいて仮想黒板付き写真画像が改ざんされていないかどうかを判定し、その結果を表示部602bに表示する。そのため、改ざん判定部605は、図4に示されているCPU61からの命令によって、図5に示される照合情報除去部(照合情報取得部、照合情報生成用画像作成部)605a、照合情報演算部(第2の照合情報生成部)605b、照合情報照合部605cを実現する。
照合情報除去部605aは、例えば照合情報及び仮想黒板付き写真画像に格納されている第1の照合情報、及び仮想黒板情報を取得する照合情報取得部である。また、照合情報除去部605aは、例えば第1の照合情報及び仮想黒板付き写真画像から少なくとも第1の照合情報が除去された画像であって、第2の照合情報を生成するための画像である照合情報生成用画像を作成する照合情報生成用画像作成部である。なお、以下に説明する本実施形態及び各変形例において、改ざんをチェックするための照合情報(例えば、第2の照合情報)を生成するための画像は、「照合情報生成用画像」である。
例えば、照合情報除去部605aは、照合情報及び仮想黒板付き写真画像から、第1の照合情報、及び仮想黒板情報を除去する。照合情報除去部605aは、第1の照合情報、及び仮想黒板情報を除去した照合情報及び仮想黒板付き写真画像、つまり、仮想黒板付き写真画像(照合情報生成用画像)を照合情報演算部605bに入力するとともに、取得した第1の照合情報を照合情報照合部605cに入力する。この仮想黒板付き写真画像には、該仮想黒板付き写真画像をJPEGファイルとして保存する際に自動的に作成される例えば、Exif形式のメタデータが含まれる。
照合情報演算部605bは、照合情報除去部605aから入力される第1の照合情報、及び仮想黒板情報を除去した照合情報及び仮想黒板付き写真画像(照合情報生成用画像)に基づいて、第2の照合情報を演算などにより生成する。また、照合情報演算部605bは、生成した第2の照合情報を照合情報照合部605cに入力する。
照合情報照合部605cは、照合情報演算部605bから入力される第2の照合情報と、照合情報除去部605aから入力される第1の照合情報が一致するか否かを判定することによって照合する。照合情報照合部605cは、照合情報が一致する場合には仮想黒板付き写真画像が改ざんされていないことを表示部602bに表示し、照合情報が一致しない場合には仮想黒板付き写真画像が改ざんされていることを表示部602bに表示する。
以上これらの機能は、実際にはPC6のCPU61が実行するPC向けOS及びPCス用アプリケーションプログラム(例えば「工事現場黒板アプリ」)によりコンピュータに実現させるものである。
[スマートデバイス1の操作画面遷移例]
図6は、本実施形態に係るTOP画面A例を示す。TOP画面Aは、ユーザがまずスマートデバイス用アプリケーションプログラム(例えば「工事現場黒板アプリ」)を起動すると、その表示画面にまず表示される画面である。TOP画面Aには、図に示されるように「お気に入り」、「黒板選択」、「撮影」、「写真保管庫」、「各種設定」などの操作ボタンが設けられている。
図7は、本実施形態に係る操作画面遷移例を示す。ユーザはまずスマートデバイス用アプリケーションプログラムを起動し、TOP画面Aにおいて、各操作ボタンを操作すると、以下の通り画面が遷移する。
「お気に入り」:画面C1−2へ
「黒板選択」:画面C1−1へ
「撮影」:画面B1へ
「写真保管庫」:画面D1へ
「各種設定」:画面E1へ
B操作は、現場写真の作成を行う操作である。B操作では、現場写真の撮影、仮想黒板の選択、管理項目入力、仮想黒板の配置というステップを経て、最終的に照合情報及び仮想黒板付き写真画像、及び仮想黒板付き写真画像が作成される。
C操作は、B操作とその操作順序は異なるものの、B操作と同様に現場写真の作成を行う操作である。C操作では、先に仮想黒板の選択、管理項目の入力のうえ、現場写真の撮影、仮想黒板の配置というステップを経て、最終的に照合情報及び仮想黒板付き写真画像、及び仮想黒板付き写真画像が作成される。
D操作は、仮想黒板付き写真の参照などを行う操作である。B操作又はC操作により作成された照合情報及び仮想黒板付き写真画像、及び仮想黒板付き写真は保存されるので、D操作により既に作成された照合情報及び仮想黒板付き写真画像、及び仮想黒板付き写真を参照したり、任意の写真を選択のうえ、サーバ4、PC5、又は記録媒体などに対して出力することができる。
E操作は、各種設定を行う操作である。E操作では、例えば仮想黒板の初期カラー、初期位置、初期サイズなどの設定を行うことができる。
以下、図7を参照しながら、各操作について詳しく説明する。
(B操作例)
まずここでは、B操作について説明するので、TOP画面Aにおいて、操作ボタン「撮影」が操作(例えばタッチ)されたものとし、このとき画面は画面B1へ遷移する。
図8は、本実施形態に係る画面B1例を示す。図に示されるように、画面B1においては、スマートデバイス1内蔵のカメラアプリが立ち上がり、撮影モードに移行する。スマートデバイス1の画面には、撮影部103を通じて写る工事現場(図ではビル敷地内の筒型ベンチの例)が写し出されるので、ユーザが撮影操作を行うことにより同写真が撮影される。
図9は、本実施形態に係る画面B2−1例を示す。画面B1において写真が撮影されると、画面は画面B2−1へ遷移する。画面B2−1において、図に示されるように、複数のパターンの仮想黒板のテンプレート(雛形)が予めプレインストールされて提供されており、ユーザはこの中から使用する仮想黒板をタッチすることによって選択する。
図10は、本実施形態に係る画面B3例を示す。(a)は、ユーザにより選択された仮想黒板である。また図に示されるように仮想黒板には、所定の記入項目(未記入)が設けられており、ここに撮影された写真に関する管理情報がそれぞれ入力部105により入力される。なお、仮想黒板中の記入項目のうち「位置」には、GPS18より自動で取得された現在地の位置情報(位置座標)が既に入力される。またこの位置情報に基づいて、ここに具体的な住所が自動入力されるようにすることも可能である。
そして(b)に示されるように、仮想黒板中の未記入項目のうち「工事名」を入力すべく、「工事名」の空欄上がタッチされると、ソフトウェアキーが立ち上がるので、ユーザはこのソフトウェアキーを使用して具体的な工事名を入力する。ここでは例えば「○○ビル改修工事」と入力する。また同様の要領で、ユーザはソフトウェアキーを使用して具体的な工種を入力する。ここでは例えば「建築一式(建築)」と入力する。
なお、仮想黒板中、「位置」の下方にあるフリースペースには、必要に応じて、例えば豆図といわれる工事図面を添付したり、その他工事に関する任意の工事情報などを入力することが可能である。
以上の入力が終了すると、(c)に示されるように、仮想黒板は全ての記入項目が入力された状態になる。ユーザは全ての入力を終えると、画面(c)中、操作ボタン「黒板貼付」をタッチする。
なお、ここで画面(c)中、操作ボタン「黒板登録」をタッチしておくと、この記入項目が全て入力済みの仮想黒板が別途お気に入りの仮想黒板として保存される(画面B2−2、C1−2)。
図11は、本実施形態に係る画面B2−2例を示す。ここには、お気に入りの仮想黒板として「黒板登録」された仮想黒板が表示されている。未記入の仮想黒板に対し、一度記入項目を入力した状態のものが保存されるので、この仮想黒板を再利用することにより入力作業の効率化を図ることができる。例えば同一工事現場内で複数の現場写真を撮影する場合、この仮想黒板を再利用すれば、同一情報の入力を省略することが可能である。
ここで再び図7を参照する。例えば画面B2−1に代えて、画面B2−2を経由し、ここでお気に入りの中から1の仮想黒板を選択する。この場合、次の画面B3では、記入項目が全て入力済みであるお気に入りの仮想黒板が呼び出されて表示されるので(例えば図10の(c)参照)、ここでユーザは何ら入力作業を要することなく、画面(c)中、操作ボタン「黒板貼付」をタッチすればよい。
図12は、本実施形態に係る画面B3変形例を示す。(a)は、ユーザにより選択された仮想黒板である。図10(a)と同様、仮想黒板中の記入項目のうち「位置」には、GPS18より自動で取得された現在地の位置情報(位置座標)が既に入力される。また本変形例では、「工事名」についても既に入力されている。本実施形態に係るスマートデバイス1では上述の如く、通信部104を介し、測量器・測定器2により測量された測量データ(「測点」、「実測寸法」など)や、サーバ4又は各種コード情報などでも管理される一般的な工事情報(「工事名」、「工事場所」、「施工者」など)を入力することが可能となっている。従って、仮想黒板の記入項目のうちこの「工事名」には、外部から入力されている工事情報に基づき、その入力値が入力部105により自動入力されたものとなっている。
続いて(b)に示されるように、仮想黒板中の未記入項目のうち「工種」を入力すべく、ユーザにより「工種」の空欄上がタッチされると、選択リストが表示される。「工種」の場合、定型の入力値が入力されるため、選択リストには、取りうる入力値の情報が複数予め保持されている。従ってユーザは選択リストの中から該当する1の「工種」を選択することにより入力値を容易に入力できる。なお、工事情報により1の「工種」が決定され入力されていれば、選択リストを経由することなく、上述の「工事名」と同様、「工種」にも、外部から入力されている工事情報に基づき、その入力値が自動入力される。
以上、本変形例において入力が終了すると、(c)に示されるように、仮想黒板は全ての記入項目が入力された状態になる。そしてユーザは全ての入力を終えると、画面(c)中、操作ボタン「黒板貼付」をタッチする。
図13は、本実施形態に係る画面B4例を示す。画面B4においては、撮影した写真の上に重畳して記入項目が入力済みの仮想黒板が画像編集部106により配置される。ここでは、図8のB1で撮影された写真上に対し、図10(c)又は図12(c)で記入項目が入力された仮想黒板が配置されていることが分かる。この写真画像が、仮想黒板付き写真画像(現場写真)である。
ここで、ユーザはタッチパネルからの操作により、仮想黒板の配置位置やサイズを変更することができる。仮想黒板の配置位置やサイズの初期値は初期設定に従うが、撮影した写真によっては初期値のままであると、仮想黒板の存在により、工事現場の画像が見えなくなっている場合がある。そこで、ユーザは画面B4を確認のうえ、仮想黒板の初期配置位置、初期サイズに不都合ある場合、仮想黒板の配置位置やサイズを変更する。
図14は、本実施形態に係る仮想黒板の配置位置及びサイズ変更操作例を示す。(a)は、仮想黒板の配置位置の変更操作を示す。図に示されるように、ユーザはタッチパネル102上で仮想黒板を指でなぞるように操作することにより、容易に仮想黒板の位置を変更させることができる。また(b)は、仮想黒板のサイズの変更操作を示す。図に示されるように、ユーザはタッチパネル102上で仮想黒板を指で縮小(又は拡大)するように操作することにより、容易に仮想黒板のサイズを変更させることができる。また仮想黒板の配置位置及びサイズを同時に変更操作できることは言うまでもない。
以上、ユーザは仮想黒板付き写真画像の確認を終えると、図13の画面中、操作ボタン「保存」をタッチすることにより、同写真画像を保存する。なお、ここで保存された仮想黒板付き写真画像は、アプリケーション上、後述の「写真保管庫」(画面D1)に保存される。
さらに、仮想黒板付き写真画像、及びExif形式のメタデータから照合情報が演算され、その照合情報が格納された仮想黒板付き写真画像(例えば照合情報及び仮想黒板付き現場写真)が作成され、記憶部101に保存される。
図15は、照合情報及び仮想黒板付き現場写真を作成する処理を示す。例えば現場の写真画像をJPEGファイルで保存する際にExif形式のメタデータが作成される(1)。つまり、現場の写真画像は、写真画像、及びメタデータを含む。そして、現場の写真画像に仮想黒板を配置することによって、仮想黒板付き現場写真が作成され(2)、仮想黒板付き現場写真、及びメタデータに基づいて、照合情報が演算される(3)。例えば、予め設定される、ハッシュ関数などの所定の関数に基づいて、仮想黒板付き現場写真、及びメタデータを代表する値(照合情報)が演算される。照合情報は、仮想黒板情報とともに、メタデータの所定の領域に格納される。
図16は、Exifデータフォーマットの一例を示す。Exifデータには、SOI、APP1、APP5、DQT、DHT、SOF、SOS、Compression Data、EOIなどが付帯される。Exifデータに付帯される情報には、APP5のようなメーカ固有のセキュアなプライベート領域が含まれ、このプライベート領域に情報を格納するに当たり定義文が予め設定される。この定義文にしたがって、Exifデータに、照合情報、及び仮想黒板情報が格納される。
(C操作例)
C操作は、B操作とその操作順序は異なるものの、B操作と同様に現場写真の作成を行う操作である。C操作では、先に仮想黒板の選択、管理項目入力のうえ、現場写真の撮影、仮想黒板の配置というステップを経て、最終的に仮想黒板付き写真画像が作成される。以下簡単に説明する。
図6を参照する。C操作の場合、TOP画面Aにおいて、操作ボタン「黒板選択」又は「お気に入り」が操作(例えばタッチ)される。
「黒板選択」が操作されると、画面は画面C1−1へ遷移する。画面C1−1は、図9と同様、複数のパターンの仮想黒板のテンプレート(雛形)が予めプレインストールされて提供されている(図9参照)。ユーザはこの中から使用する仮想黒板をタッチ選択する。
そして画面C2において、図10、12と同様、選択された仮想黒板には、所定の記入項目(未記入)が設けられており、ユーザは仮想黒板中の未記入項目に対し、ソフトウェアキーを使用して具体的な入力値を入力する(図10参照)。またもしくは上述したように、本実施形態に係るスマートデバイス1では上述の如く、通信部104を介し、測量器・測定器2により測量された測量データや、サーバ4又は各種コード情報などでも管理される一般的な工事情報を入力することが可能となっているので、この場合、このような仮想黒板の記入項目には、外部から入力されている工事情報に基づき、その入力値が自動入力される(図10参照)。
一方、TOP画面Aにおいて、操作ボタン「お気に入り」が操作された場合、画面C1−2に遷移する。図11と同様、お気に入りの仮想黒板として「黒板登録」された仮想黒板が表示されている(図11参照)。既に記入項目が入力済みの仮想黒板が保存(登録)されている場合には、お気に入りの中から1の仮想黒板を選択できる。この場合、次の画面C2では記入項目が全て入力済みの仮想黒板が呼び出されて表示されるので、ここでユーザは何ら入力作業を要しない。
次いで、画面C3へ遷移する。画面C3において、図8と同様、スマートデバイス1内蔵のカメラアプリが立ち上がり、撮影モードに移行する。スマートデバイス1の画面には、撮影部103を通じて写る工事現場(図ではビル敷地内の筒型ベンチの例)が写し出されるので、ユーザが撮影操作を行うことにより同写真が撮影される(図8参照)。
次いで、画面C4へ遷移する。画面C4においては、撮影した写真の上に重畳して記入項目が入力済みの仮想黒板が配置される(図13参照)。またここで、ユーザはタッチパネルからの操作により、仮想黒板の配置位置やサイズを変更することができる。
以上、ユーザは仮想黒板付き写真画像の確認を終えると、画面中、操作ボタン「保存」をタッチすることにより、同写真画像を保存する。なお、ここで保存された仮想黒板付き写真は、アプリケーション上、「写真保管庫」(画面D1)に保存される。さらに、仮想黒板付き写真画像、及びExif形式のメタデータから照合情報が演算され、その照合情報が格納された仮想黒板付き写真画像(例えば照合情報及び仮想黒板付き現場写真)が作成され、記憶部101に保存される。
(D操作例)
D操作は、仮想黒板付き写真の参照などを行う操作である。B操作又はC操作により作成された仮想黒板付き写真画像は保存されているので、ユーザはここから既に作成された仮想黒板付き写真を参照したり、任意の写真を選択のうえ、サーバ4、PC5、又は記録媒体などに対し出力することができる。さらに、ユーザは既に作成された照合情報及び仮想黒板付き写真を参照したり、任意の写真を選択のうえ、サーバ4、PC5、又は記録媒体などに対し出力することもできる。
図17は、本実施形態に係る画面D1例(その1)を示す。TOP画面Aにおいて、操作ボタン「写真保管庫」が操作されると、当画面へ遷移する。図に示されるように、画面D1の「写真保管庫」において、これまでB操作又はC操作により作成された仮想黒板付き写真が一覧表示される。また、B操作又はC操作により作成された照合情報及び仮想黒板付き写真を一覧表示させることもできる。各写真はサムネイル形式で縮小されて表示されるので、例えばユーザが所望の写真をタッチすると、その写真が画面上に拡大表示される。また操作ボタン「スライドショー」をタッチすると、「写真保管庫」内の写真が順次スライド式に表示される。
また、「写真保管庫」においては、1又は複数の任意の写真を選択のうえ、サーバ4、PC5、又は記録媒体などに対し出力することができる。ユーザは、この「写真保管庫」内の照合情報及び仮想黒板付き写真画像をPC5に最終的に取り込み、その照合情報及び仮想黒板付き写真画像を使用して工事報告書を作成することになる。
(E操作例)
E操作は、各種設定を行う操作である。E操作では、仮想黒板に関する各設定パラメータの初期値の設定を行うことができる。
図18は、本実施形態に係る画面E1例を示す。画面E1では図に示されるように、例えば「黒板のカラー」、「黒板の位置」、「黒板のサイズ」、「黒板の形状」の初期値の設定を行うことができる。ユーザが初期値の設定変更を行う場合、該当の設定値欄がタッチされると、それぞれ対応する選択リストが表示される。
図19は、本実施形態に係る各設定パラメータの初期値の選択リスト例を示す。(a)は「黒板のカラー」の選択リスト、(b)は「黒板の位置」の選択リスト、(c)は「黒板の形状」の選択リスト、(d)は「黒板のサイズ」の選択リストの選択リスト例である。ユーザは選択リストから所望(任意)の初期値を選択し設定する。
再び図13を参照する。画面B4においては、撮影した写真の上に重畳して記入項目が入力済みの仮想黒板が配置されるが、ここでデフォルト(標準)として配置される仮想黒板のカラー、位置、サイズ、形状は、画面E1において設定された初期値に従う。このように、ユーザは仮想黒板に関する各設定パラメータに対し、画面E1で予め所望の初期値を設定しておくことにより、仮想黒板付き現場写真を作成するにあたって、最も使い勝手のよい仮想黒板を初期状態として配置できる。
勿論、画面E1において設定された初期値は、あくまで初期状態として配置される仮想黒板の状態を設定するものであって、上述の如くユーザはタッチパネルからの操作により、仮想黒板の配置位置やサイズを変更することができる。つまり仮想黒板の配置位置やサイズの初期値は初期設定に従うが、仮想黒板の初期配置位置、初期サイズなどに不都合ある場合、仮想黒板の配置位置やサイズを任意に変更できる。
[お気に入りの仮想黒板と仮想黒板付き写真の保存方法]
図20は、本実施形態に係るお気に入りの仮想黒板と仮想黒板付き写真の保存方法を説明する図である。既に述べたように、本実施形態において使用される仮想黒板は、複数のパターンの仮想黒板のテンプレート(雛形)としてプレインストールされて提供されており、従って記憶部101には、所定の記入項目(未記入)が設けられた仮想黒板画像が予め記憶されている。また、撮影部103により写真画像が撮影されると、撮像された写真画像は画像データとして記憶部101に保存される。
(お気に入りの仮想黒板)
まず、お気に入りの仮想黒板の保存方法について説明する。上述したように、本実施形態に係るスマートデバイス1では、記入項目が入力済みの仮想黒板を別途お気に入りの仮想黒板として保存できる。従ってアプリケーション上において、お気に入りから保存されている仮想黒板を呼び出して再利用することで、次回以降同一情報の入力を省略することが可能となっている(図11参照)。
図21は、本実施形態に係るお気に入り保存用管理情報例を示す。お気に入り保存用管理情報は、記入項目が入力済みの仮想黒板を保存し、画像として再構成(再現)するための情報である。上述の如く、記入項目が入力済みの仮想黒板が別途お気に入りの仮想黒板として保存されると、お気に入り仮想黒板を保存管理するための「お気に入り保存用管理情報」が生成される。図21の場合、3つの仮想黒板がお気に入りとして登録されるお気に入り保存用管理情報を示している。
例えば、「お気に入りNo」:Template01−1は、記憶部101に記憶された所定の記入項目(未記入)の仮想黒板画像である「Template01.jpg」に対する入力データが保持されている。つまり、「お気に入りNo」:Template01−1は、仮想黒板画像テンプレート「Template01.jpg」に対し、「工事件名」:駅前広場改修工事、「工事場所」:○○駅前、「施工者」:田中建設(株)を記入項目内の入力値とすることにより、再現される仮想黒板画像である。
図22は、本実施形態に係るお気に入り仮想黒板画像例を示す。図に示すお気に入り仮想黒板画像(一覧)は、3つの仮想黒板がお気に入りとして登録されている図21の保存用管理情報に対応するものである。例えば、上述の「お気に入りNo」:Template01−1の場合、記憶部101から仮想黒板画像テンプレート「Template01.jpg」が取得され、この仮想黒板画像内の記入項目に対し、「工事件名」:駅前広場改修工事、「工事場所」:○○駅前、「施工者」:田中建設(株)の入力値が入力されることにより、再現された仮想黒板画像である。
このように本実施形態に係るスマートデバイス1では、記入項目が入力済みの仮想黒板を別途お気に入りの仮想黒板として保存する際、記入項目が入力済みの仮想黒板「画像」そのものとして保存せずに、お気に入り保存用管理情報というテキスト形式の情報で保存することができる。つまり、仮想黒板画像テンプレートと、入力データとをそれぞれ別に保存しつつも、それぞれを対応付けて保存しておく。そして上述の如く、記憶部101に予め記憶されている仮想黒板画像テンプレートとお気に入り保存用管理情報とを使用して、お気に入りの仮想黒板画像を再現することにより、スマートデバイス1の必ずしも大きいとは言えない記憶容量の節約を行うとともに、お気に入りの仮想黒板の編集性を向上させることができる。
(仮想黒板付き写真画像)
次に仮想黒板付き写真の保存方法について説明する。上述したように、アプリケーション上において、仮想黒板付き写真は、「写真保管庫」に保存される。D操作、つまりTOP画面Aにおいて操作ボタン「写真保管庫」が操作されると、「写真保管庫」(図17参照)へ遷移し、ユーザは既に作成された仮想黒板付き写真画像を参照することが可能である。
一方、スマートデバイス1においては、実際の仮想黒板付き写真は、記憶部101により保存されるが、その保存の方法として、1つには、写真画像上に仮想黒板画像が配置された表示画像を新たな1つの画像とした仮想黒板付き現場写真画像を保存する方法が挙げられる。また別の方法として、撮影された写真画像と、予めテンプレートとして記憶された仮想黒板画像と、写真画像上の仮想黒板画像の位置情報と、写真画像上の仮想黒板画像のサイズ情報と、仮想黒板画像の所定記入項目に入力されたデータとを対応付けて、それぞれ保存する方法が挙げられる。
撮影部103により写真画像が撮影されると、撮像された写真画像は画像データとして記憶部101に保存される。そして撮像された写真画像上に仮想黒板画像が配置され、「写真保管庫」(図17参照)へ保存されると、仮想黒板付き写真画像を保存管理するための「仮想黒板付き写真保存用管理情報」が生成される。
図23は、本実施形態に係る仮想黒板付き写真保存用管理情報例を示す。「仮想黒板付き写真保存用管理情報」は、仮想黒板付き写真を保存し、画像として再構成(再現)するときに利用できる情報である。(0)に示されるように、写真画像の保存管理上の固有識別子である「写真画像No」と、基礎となる写真画像を特定するための「写真画像」(ファイル名)と、使用する黒板画像テンプレートを特定するための「黒板画像」(ファイル名)と、黒板画像に関する各初期値である「黒板画像の設定パラメータ」とが対応付けられて管理される。また(1)、(2)、(3)などに示されるように、「写真画像No」と、各黒板画像に対する入力データ(入力値)とが対応付けられて管理される。
ここで、例えば(0)を参照し、スマートデバイス1(画像再現部109)が1行目の「写真画像No」:001として保存されている仮想黒板付き写真画像を再構築(再現)する場合の例を取り上げる。まず「写真画像」:001.jpgのファイルデータを取得する。また使用する黒板画像テンプレートは「黒板画像」:Template02.jpgであるので、Template02.jpgのファイルデータを取得する。
次に、使用する黒板画像テンプレートである「黒板画像」:Template02.jpg上の所定の記入項目に入力された各入力値を得るため、(2)を参照する。「写真画像No」:001に対応付けられているのは、「工事名」:○○ビル改修工事、「工種」:建築一式(建築)、「位置」:(36.140)、フリースペース:なしであるので、これら各入力値を取得する。
なお、仮に「黒板画像」がTemplate01.jpgであれば、「Template01.jpg上の所定の記入項目に入力された各入力値を得るためには、(1)を参照し、また仮に「黒板画像」がTemplate03.jpgであれば、「Template03.jpg上の所定の記入項目に入力された各入力値を得るためには、(3)を参照すればよい。「黒板画像」によって所定の記入項目は異なるため、黒板画像テンプレート毎に管理情報を分別したものである。
再び(0)を参照し、「写真画像No」:001の「黒板画像」:Template02.jpgに関する各初期値は、「黒板のカラー」:ブラック、「黒板の位置」:左上、「黒板の形状」:横型、「黒板のサイズ」:W250×H200であるので、これら各初期値を取得する。
そして、「黒板画像」:Template02.jpgに対し、「黒板のカラー」:ブラック、「黒板の形状」:横型、「黒板のサイズ」:W250×H200になるよう黒板画像を編集する。次に「黒板画像」:Template02.jpg上の所定の記入項目に対し、「工事名」:○○ビル改修工事、「工種」:建築一式(建築)、「位置」:(36.140)、フリースペース:なしの入力値を入力することにより、記入項目入力済みの黒板画像を作成する。最後に撮影された写真画像である「写真画像」:001.jpgの上に重畳するように、この黒板画像を「黒板の位置」:左上に配置することで、仮想黒板付き写真画像が再構成されて表示される(図13参照)。なお、上述した仮想黒板付き写真画像の保存方法のうち、前者の方法においては、既に再現されるべき仮想黒板付き写真画像そのものが保存されているため、仮想黒板付き写真保存用管理情報がなくても仮想黒板付き写真画像の再現は可能である。
本実施形態に係るスマートデバイス1では、作成された仮想黒板付き写真を保存する際、仮想黒板付き写真「画像」そのものとして記憶部101に保存する。なお、スマートデバイス1は、記憶部101において、撮影された写真画像と、仮想黒板画像テンプレートと、「仮想黒板付き写真保存用管理情報」(写真画像上の仮想黒板画像の位置情報、サイズ情報と、仮想黒板画像の所定記入項目に入力されたデータ)とを対応付けて、それぞれ保存してもよい。この場合に、スマートデバイス1は、記憶部101に予め記憶されている仮想黒板画像テンプレートと、撮影された写真画像と、仮想黒板付き写真保存用管理情報とを使用して仮想黒板付き写真画像を再現することができる。
(照合情報及び仮想黒板付き写真画像の編集について)
ここで、照合情報及び仮想黒板付き写真画像の保存方法に対し、仮想黒板に全所定記入項目にデータが入力され、所定の位置、サイズなどで仮想黒板が写真画像上に配置され、データ保存リクエストなどが指示されると、照合情報が演算され、照合情報及び仮想黒板付き写真「画像」として保存される。つまり仮想黒板と写真画像が一体合成されることで、照合情報、及び仮想黒板情報が付帯された照合情報及び仮想黒板付き写真画像は、その事後編集、つまり改ざんすることが困難となる。
(仮想黒板付き写真画像の編集について)
本実施形態に係るスマートデバイス1では、作成された仮想黒板付き写真を保存する際、仮想黒板付き写真「画像」そのものとして記憶部101に保存する。なお、編集及び保存が完了するまで、記憶部101において、撮影された写真画像と、仮想黒板画像テンプレートと、「仮想黒板付き写真保存用管理情報」(写真画像上の仮想黒板画像の位置情報、サイズ情報と、仮想黒板画像の所定記入項目に入力されたデータ)とを対応付けて、それぞれ一時的に保存するが、上記の仮想黒板付き写真が保存されると、一時的に保存された他のデータは、削除される。
なお、本実施形態に係るスマートデバイス1では、仮想黒板付き写真が保存される前の編集時において、上述した「仮想黒板付き写真保存用管理情報」に含まれる「黒板画像の設定パラメータ」のうち、「黒板の位置」の情報、又は「黒板のサイズ」の情報のみを書き換えることで、変更してもよい。例えば(0)を参照すると、3行目の「写真画像No」:003として保存されている仮想黒板付き写真では、「黒板の位置」(写真画像上の位置座標(10.10))及び「黒板のサイズ」(W120×H100)が、初期値(例えば図19(b)、(d)参照)から変更されている。
但し、このような、撮影された写真画像と、仮想黒板画像テンプレートと、「仮想黒板付き写真保存用管理情報」とを対応付けて、それぞれ保存するという保存方法は、「工事現場黒板アプリ」を有するスマートデバイス1やPCなどでのみ可能とするように制限するのが望ましい。
本実施形態では、工事の発注元などに工事報告書としての仮想黒板付き写真画像を提出するために、仮想黒板が写真画像上に一体合成されている照合情報及び仮想黒板付き写真画像を生成する。
本実施形態に係るスマートデバイス1の「工事現場黒板アプリ」では、最終的には、このような仮想黒板が写真画像上に一体合成されているJPEG画像を出力することが可能である。また、工事の発注元などにおいて、JPEG画像が改ざんされていないかどうかを検査できるようにするために、「保存」のタイミング(図7のB4、図13)で、照合情報及び仮想黒板付き写真画像を生成し、出力するようにすることができる。
また、上述のようにスマートデバイス1で保存される照合情報及び仮想黒板付き現場写真は、「写真保管庫」において、1又は複数の任意の写真を選択のうえ、サーバ4、PC5、又は記録媒体などに対し出力することができるが、この場合、外部の受け入れ側がスマートデバイス1で保存される同様の保存管理形式に対応していれば、このまま出力することができる。
[照合情報及び仮想黒板付き写真の出力方法]
次に、照合情報及び仮想黒板付き写真の出力方法について説明する。本実施形態に係るスマートデバイス1の「工事現場黒板アプリ」では、照合情報及び仮想黒板付き写真画像が保存される。なお、「工事現場黒板アプリ」では、編集性を考慮し、上述した後者の保存方法のように、記憶部101において、撮影された写真画像と、予めテンプレートとして記憶された仮想黒板画像と、「仮想黒板付き写真保存用管理情報」(写真画像上の仮想黒板画像の位置情報、サイズ情報と、仮想黒板画像の所定記入項目に入力されたデータ)とを対応付けて、それぞれ保存することも可能である。
しかし、編集性が高いと(編集が容易にできるようになると)それだけ写真画像や仮想黒板画像に対する改ざんのリスクも高くなる。そこで、例えば工事の発注元には、工事報告書として照合情報及び仮想黒板付き写真画像を送信する。これによって、工事の発注元では、照合情報及び仮想黒板付き写真画像に付帯される照合情報に基づいて、改ざんされていないかどうかを容易に判断できる。
(D操作例)
照合情報及び仮想黒板付き写真画像で出力するにあたって、まず、ユーザは、対象となる照合情報及び仮想黒板付き写真画像を選択する。具体的には、仮想黒板付き写真の参照などを行うD操作を行う(図7)。作成済みの照合情報及び仮想黒板付き写真画像は、「写真保管庫」に保存されているので、ユーザはここから既に作成された照合情報及び仮想黒板付き写真画像の中から任意の写真を選択のうえ出力する。
図24は、本実施形態に係る画面D1例(その2)を示す。TOP画面Aにおいて、操作ボタン「写真保管庫」が操作されると、当画面へ遷移する(図17に同じ)。図に示されるように、画面D1の照合情報及び仮想黒板付き写真画像の「写真保管庫」において、これまでB操作又はC操作により作成された照合情報及び仮想黒板付き写真が一覧表示される。各写真はサムネイル形式で縮小されて表示されるので、例えばユーザが所望の写真をタッチすると、その写真が画面上に拡大表示される。ここでは、図中、右端の図がタッチされたものとする。
図25は、本実施形態に係る画面D1例(その3)を示す。画面D1においては、選択された照合情報及び仮想黒板付き写真画像が表示される。続いて、ユーザは、照合情報及び仮想黒板付き写真画像をJPEG形式の画像データとして出力するため、画面中、操作ボタン「画像出力」をタッチすることにより、同写真画像が出力される。
なお、ここで出力されたJPEG画像は、スマートデバイス1の任意のメモリに保存される。また、保存先は、スマートデバイス1内蔵メモリ、記録媒体(例えばSDカード)などのみならず、サーバ4、PC5、クラウドストレージ7などに対し出力することができる。
図26は、本実施形態に係る画面D1例(その4)を示す。図に示されるように、選択された照合情報及び仮想黒板付き写真画像がJPEG画像として出力された場合、その旨の表示がなされる。
図27は、本実施形態に係る出力されるJPEG画像、つまり照合情報及び仮想黒板付き写真画像を示す。図に示されるように、当JPEG画像は、選択された照合情報及び仮想黒板付き写真画像が、仮想黒板が写真画像上に一体合成され、JPEGファイルの画像データとして出力されたものとなっている。次に、本実施形態に係る出力JPEG画像のExifデータについて説明する。
(Exifデータ)
まず、一般的なExifデータ(Exifメタデータ、Exif情報などともいう)について説明する。一般に、デジタルカメラを用いて写真を撮影し、撮影された写真画像をJPEGファイルとして保存した場合、例えば、Exif形式のメタデータが自動的に作成される。このメタデータをExifデータという。
具体的に、デジタルカメラは、撮影写真に対し、カメラの機種や撮影時の条件などの情報を画像にExifデータとして埋め込んでいる。このExifデータは、画像ビューワやExif編集ソフトなどで、写真画像とともに参照できる。また、写真画像をプリンタなどで印刷する場合には、Exifデータに含まれる撮影時の情報などを元に、自動的に写真画像の最適化を行ってからプリント出力を行うこともできる。
図28は、従来例に係るEXIFデータ例を示す。EXIFデータは、撮影された写真画像をJPEGファイルとして保存した場合、一般のデジタルカメラ(一般のデジタルカメラが有するソフトウェア)により自動的に作成されるデータである。具体的には、図28に示されるようなカメラの機種や撮影時の条件などの各種情報を含む。
これに対し、図29は、本実施形態に係る出力JPEG画像のEXIFデータ例を示す。図に示されるEXIFデータは、仮想黒板付き写真画像をJPEG画像として出力した場合、本実施形態に係るスマートデバイス1(スマートデバイス1が有する「工事現場黒板アプリ」)により自動的に作成されるデータである。具体的には、図に示されるようなカメラの機種や撮影時の条件などのカメラ固有のデータに加え、仮想黒板画像の所定記入項目に入力された仮想黒板情報及び照合情報を含む。
Exifデータには、規格において標準化されて定義されたカメラの機種や撮影時の条件などのメイン情報やサブ情報などの情報(Exif標準データ)を格納する格納領域(標準領域)のほか、メーカーなどが独自にパラメータを定義して情報を格納することのできる格納領域(プライベート領域)が用意されている。各メーカーは、プライベート領域に各自で定義した「メーカー独自情報」を追加することができる。そのため、本実施形態に係るスマートデバイス1(スマートデバイス1が有する「工事現場黒板アプリ」)により、仮想黒板付き写真画像がJPEG画像として出力される場合、Exifデータの「メーカー独自情報」内に、仮想黒板内の所定の記入項目に入力されたデータ(仮想黒板情報)及び照合情報が格納(追記)される。
(JPEG画像出力処理)
図30は、本実施形態に係る照合情報及び仮想黒板付きJPEG画像を出力する処理のフローチャートを示す。併せて、図31も参照しながら説明する。
S2:画像編集部106は、撮影された写真画像に対し、JPEG画像生成処理を実行する。具体的には、画像編集部106は、黒板画像の設定パラメータ(仮想黒板のサイズ、位置など)に従って、写真画像上、仮想黒板を重畳させて合成する。
S4:照合情報演算部107は、仮想黒板付き写真画像、及びメタデータに基づいて、照合情報を演算する。具体的には、仮想黒板付き写真画像が表示された後に、画面中の操作ボタンがタッチされた場合に、照合情報が生成される。
S6:照合情報格納部108は、Exifデータのプライベート領域に、仮想黒板情報、及び照合情報を所定の定義文にしたがって格納する。ここでは、仮想黒板情報として、特に入力されたデータのうち、「工事名」及び「撮影月日」のデータとするが、どの項目のデータを採用するかについてはこの例に限定されるものではない。
S8:画像出力部110は、照合情報及び仮想黒板情報が格納された仮想黒板付き写真画像(以下、「照合情報及び仮想黒板付き写真画像」と呼ぶ。)に対し、出力要求の有無を判定する。具体的には、表示中の照合情報及び仮想黒板付き写真画像に対し、画面中の操作ボタン「画像出力」がタッチされた場合に、出力要求の有りと判定できる(図25)。
S10:画像出力部110は、出力要求の有りと判定すると、照合情報及び仮想黒板付き写真画像を出力する(図29)。
[PC6の処理例]
図32は、PC6における照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかを判定する処理を示す。
スマートデバイス1から送信された照合情報及び仮想黒板付き写真画像は、通信部603によって受信され、画像取得部604に入力される。画像取得部604は、照合情報及び仮想黒板付き写真画像を取得する操作が行われた場合には、記憶部601に照合情報及び仮想黒板付き写真画像を入力し、照合情報及び仮想黒板付き写真画像を取得するとともに、改ざんされていないかどうかを検査する操作が行われた場合には、記憶部601、及び改ざん判定部605に照合情報及び仮想黒板付き写真画像を入力する。
改ざん判定部605に照合情報及び仮想黒板付き写真画像が入力されると、照合情報除去部605aは、照合情報及び仮想黒板付き写真画像(1)のExifデータのプライベート領域から、所定の定義文にしたがって、仮想黒板情報、及び照合情報(以下、「第1の照合情報」という)を取得することによって除去する。照合情報除去部605aは、仮想黒板情報、及び照合情報を除去した照合情報及び仮想黒板付き写真画像(以下、「照合情報除去済み仮想黒板付き写真画像」と呼ぶ。)を照合情報演算部605bに入力するとともに、照合情報照合部605cに第1の照合情報を入力する。
照合情報演算部605bは、照合情報除去部605aから入力される照合情報除去済み仮想黒板付き写真画像(照合情報生成用画像)に基づいて、予め設定されるハッシュ関数などの所定の関数に基づいて、照合情報(以下、「第2の照合情報」という)を演算などにより生成し、照合情報照合部605cに入力する(2)。なお、所定の関数は、上述したハッシュ関数に限定されるものではなく、例えば予め設定された複数の関数のうち、任意の関数が設定可能な場合には、スマートデバイス1との間で同じ関数が設定されることになる。
照合情報照合部605cは、照合情報除去部605aから入力される第1の照合情報と、照合情報演算部605bから入力される第2の照合情報が一致するか否かを判定することによって照合する(3)。
照合情報照合部605cは、第1の照合情報と、第2の照合情報が一致する場合には、仮想黒板付き現場写真が改ざんされていないと判定し、表示部602bに改ざんされていないことを表示する。一方、照合情報照合部605cは、第1の照合情報と、第2の照合情報が一致しない場合には、仮想黒板付き現場写真が改ざんされていると判定し、照合情報及び仮想黒板付き現場写真をエラーフォルダに移動させる。
(改ざん判定処理)
図33は、本実施形態に係るPC6における照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかを判定する処理のフローチャートを示す。
S12:スマートデバイス1から送信された照合情報及び仮想黒板付き写真画像は、通信部603によって受信され、画像取得部604に入力される。画像取得部604は、記憶部601に照合情報及び仮想黒板付き写真画像を格納する。
S14:ユーザが操作部602aを操作することによって、PC用アプリケーションプログラム(例えば「工事現場黒板アプリ」)の改ざんチェックツールが起動される。
S16:表示部602bは、記憶部601に格納される照合情報及び仮想黒板付き写真画像サムネイル表示する。
S18:ユーザは、操作部602aを操作することによって、表示部602bによってサムネイル表示された照合情報及び仮想黒板付き写真画像から所望のものを選択できる。改ざん判定部605は、ユーザが操作部602aを操作することによって選択した照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかをチェックする。
S20:改ざん判定部605は、チェック結果を判定する。改ざん判定部605は、第1の照合情報と第2の照合情報が一致するか否かによって改ざんされていないかどうかを判定できる。
S22:改ざん判定部605は、照合情報及び仮想黒板付き写真画像が改ざんされている場合、その照合情報及び仮想黒板付き写真画像をエラーフォルダへ移動させる。
S24:ステップS22で照合情報及び仮想黒板付き写真画像をエラーフォルダへ移動させた後、又は照合情報及び仮想黒板付き写真画像が改ざんされていない場合、チェック結果を出力する。
本実施形態に係る照合情報及び仮想黒板付き写真画像は、そのExifデータにおいて、カメラの機種や撮影時の条件などのデジカメ固有のデータのみならず、仮想黒板付き現場写真、及びメタデータを代表する値(照合情報)を含む。このため、納品先の端末で照合情報及び仮想黒板付き写真画像から照合情報を除去したものから照合情報を演算し、該照合情報と、除去した照合情報とが一致するか否かによって照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかを判定できる。照合情報は、Exifデータのプライベート領域に格納されるため、第三者から取得されることはない。
(照合情報及び仮想黒板付き写真画像の変形例)
ここで、上述した改ざん判定処理で用いられる照合情報及び仮想黒板付き写真画像は、上述した図15の例に限定されるものではない。以下に、本実施形態に適用される照合情報及び仮想黒板付き写真画像の変形例について、図を用いて説明する。なお、以下の説明において、各変形例は、記憶部101に保存される照合情報が格納された仮想黒板付き写真画像の内容が異なるものであり、上述したように、ユーザは仮想黒板付き写真画像の確認を終えると、図13の画面中の操作ボタン「保存」をタッチすることにより、同写真画像が保存される。さらに、仮想黒板付き写真画像、及びExif形式のメタデータから照合情報が演算され、その照合情報が格納された仮想黒板付き写真画像(例えば照合情報及び仮想黒板付き現場写真)が作成され、記憶部101に保存されるものである。
(第1の変形例)
図34は、照合情報及び仮想黒板付き写真画像の第1の変形例を説明するための図である。図34の処理では、ユーザによる撮影の操作受付によりスマートデバイス1のカメラ(撮像部103)による工事現場の撮影が実施され(1)、その写真画像が取得される(2)。また、(2)の撮像制御においては、スマートデバイス1のアプリケーションによりExif形式のメタデータが作成される。
また、スマートデバイス1は、(2)取得した写真画像に対し、アプリケーションが上述した仮想黒板を重畳(挿入)することにより、現場写真を構成する(3)。次に、ユーザの指示により、画像の保存リクエストがあった場合に、照合情報演算部107は、画像編集部106から入力されるJPEGファイル形式の仮想黒板付き写真画像から、照合情報(例えば、ハッシュ値など)を演算などにより生成する(4)。なお、上述した図15の例では、仮想黒板付き写真画像、及びそのExif型式のメタデータから、照合情報を生成したが、第1の変形例では、(3)で得られた仮想黒板付き写真画像を用いて照合情報を生成する。なお、第1の変形例では、照合情報を生成する際、仮想黒板付き写真画像の全部を用いてもよく、予め設定された一部の領域を用いてもよい。
また、照合情報格納部108は、照合情報演算部107により生成された照合情報をメタデータのプライベート領域に格納する。なお、第1の変形例では、メタデータ(Exif型式)の各データが改ざんされた場合に、照合情報からでは改ざん判定することができない。特に、Exif標準データは、その定義が一般に公開されているため、改ざんは容易である。そこで、第1の変形例において、照合情報格納部108は、標準メタデータ(Exif型式のExif標準データ)から予め設定された情報(改ざんされたくないExif標準データ)をプライベート領域に格納してもよい。予め設定された情報とは、例えばカメラの機能によりExif標準データとして入力された「撮影月日」のデータが挙げられるが、これに限定されるものではない。これらの情報をプライベート領域にも格納しておくことで、メタデータが改ざんされたとしても、プライベート領域から必要な情報を取得すればよい。また、プライベート領域は、メーカ固有のセキュアな領域であるため、第三者が情報を取得したり、改ざんすることはできない。
また、第1の変形例において、照合情報格納部108は、カメラメモなどの情報をプライベート領域に格納してもよい。カメラメモとは、撮影する装置や撮像機能を利用するアプリケーションプログラムが任意に設定できる画像に対応付けた付加データである。照合情報格納部108は、例えば「工事名」などの上述した仮想黒板情報に加えて、「管理責任者」などの情報をカメラメモとして格納するこができる。なお、「管理責任者」は、工事に関する情報として予めスマートデバイス1において、工事名と紐付けて登録されているユーザ名であってもよく、またスマートデバイス1の工事現場黒板アプリがログイン機能を有し、当該アプリにログインしたユーザのユーザ名であってもよい。これにより、照合情報及び仮想黒板付き写真画像(例えば照合情報及び仮想黒板付き現場写真)が作成される。作成した照合情報及び仮想黒板付き写真画像は、記憶部101に保存される(5)。
なお、上述した第1の変形例においては、仮想黒板付き写真画像の一部又は全部を用いて照合情報を生成したが、例えばメタデータの一部又は全部を用いて照合情報を生成してもよい。
これにより、例えば、上述したPC6における照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかを判定する処理において、第1の変形例では、図32に示す処理の同様の処理を行うが、比較する照合情報が異なる。第1の変形例において、改ざん判定部605は、仮想黒板付き写真画像(照合情報生成用画像)に基づいて、予め設定されるハッシュ関数などの所定の関数に基づいて、照合情報を演算する。また、改ざん判定部605は、メタデータ(Exifデータ)のプライベート領域から照合情報を取得し、2つの照合情報を比較することで、照合チェックを行う。また、改ざん判定部605は、照合結果により、2つの照合情報が一致する場合には、仮想黒板付き現場写真が改ざんされていないと判定し、表示部602bに改ざんされていないことを表示する。また、改ざん判定部605は、2つの照合情報が一致しない場合には、仮想黒板付き現場写真が改ざんされていると判定し、照合情報及び仮想黒板付き現場写真をエラーフォルダに移動させる。また、第1の変形例では、プライベート領域により、改ざんされていないカメラメモやExif標準データを取得することができる。なお、プライベート領域に格納されるExif標準データと、Exif標準領域(メイン情報やサブ情報が格納される領域)に格納されるExif標準とを照合し、Exif標準領域に対する改ざんがあったかどうかを判定してもよい。
(第2の変形例)
図35は、照合情報及び仮想黒板付き写真画像の第2の変形例を説明するための図である。なお、図35の処理の(1)〜(3)については、上述した第1の変形例と同一の処理を行うため、ここでの説明は省略する。
第2の変形例では、照合情報を生成する際、照合情報演算部107は、上述した図15と同様に仮想黒板付き現場写真、及びメタデータに基づいて、照合情報を演算する(4)。但し、第2の変形例では、メタデータ(Exifデータ)のプライベート領域に、上述したカメラメモを格納しておき、そのカメラメモを格納したメタデータも含めて照合情報を演算する。カメラメモなどの情報をプライベート領域に入れておくことで、プライベート領域に格納された情報を含めた照合情報を生成することができ、よりセキュアは照合情報を生成することができる。
また、生成した照合情報は、メタデータのプライベート領域に格納され、作成した照合情報及び仮想黒板付き写真画像は、記憶部101に保存される(5)。
なお、第2の変形における、上述したPC6における照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかを判定する処理においては、上述した照合情報除去部605aが照合情報を除去し、かつ、カメラメモを除去しない照合情報除去済み仮想黒板付き写真画像を照合情報演算部605bに入力する点を除き、図32と同様の処理を行うため、ここでの説明は省略する。
(第3の変形例)
図36は、照合情報及び仮想黒板付き写真画像の第3の変形例を説明するための図である。なお、図36の処理の(1)〜(2)については、上述した第1の変形例と同一の処理を行うため、ここでの説明は省略する。
例えば、工事の内容の詳細を表す工事報告書などの改ざんを検知する場合には、仮想黒板の記入内容と、工事現場などの写真画像の改ざんが防止できればよい場合もある。そこで、第3の変形例において、照合情報演算部107は、仮想黒板付きではない写真画像を照合情報生成用画像として照合情報の演算を行う(3)。また、生成した照合情報は、メタデータのプライベート領域に格納される。また、第3の変形例において、照合情報格納部108は、仮想黒板に記載された内容の一部又は全部の仮想黒板情報をカメラメモとしてプライベート領域に格納する。なお、カメラメモには、仮想黒板の工事写真上の位置を示す座標情報が含まれていてもよい。また、上記の座標情報は、カメラメモに含まずに、直接プライベート領域に格納されていてもよい。生成した照合情報及び仮想黒板付き写真画像は、記憶部101に保存される(4)。なお、第3の変形例においては、仮想黒板付き写真画像は、上述した保存方法のうち後者の方法、つまり、撮影された写真画像と、仮想黒板画像テンプレートと、仮想黒板付き写真保存用管理情報とで保存され、PC6に出力される。
これにより、例えば、上述したPC6における照合情報及び仮想黒板付き写真画像が改ざんされていないかどうかを判定する処理において、第3の変形例では、図32に示す処理の同様の処理を行うが、比較する照合情報が写真画像が異なる。第3の変形例において、改ざん判定部605は、写真画像に基づいて、予め設定されるハッシュ関数などの所定の関数に基づいて、照合情報を演算する。また、改ざん判定部605は、メタデータ(Exifデータ)のプライベート領域から照合情報を取得し、2つの照合情報(演算した照合情報と取得した照合情報)を比較することで、照合チェックを行う。
また、改ざん判定部605は、仮想黒板の画像からOCR(Optical Character Recognition)などの文字認識処理により、文字情報を取得して、カメラメモに記載している情報との照合を行ってもよい。また、改ざん判定部605は、予め設定された仮想黒板の大きさに対応するテンプレートを用いたマッチングにより仮想黒板の位置(座標)を取得し、取得した位置情報と、カメラメモに含まれる位置情報とを比較して照合を行ってもよい。
改ざん判定部605は、照合結果により、比較する2つの情報が一致する場合には、仮想黒板付き現場写真が改ざんされていないと判定し、表示部602bに改ざんされていないことを表示する。また、改ざん判定部605は、比較する2つの情報が一致しない場合には、仮想黒板付き現場写真が改ざんされていると判定し、照合情報及び仮想黒板付き現場写真をエラーフォルダに移動させる。
これにより、第3の変形例では、写真画像(照合情報生成用画像)から生成した照合情報に基づき写真画像に対する改ざんを判定し、プライベート領域に格納した仮想黒板情報(カメラメモ)に基づき仮想黒板に入力した内容に対する改ざんを判定することができる。また、第3の変形例では、仮想黒板付き現場写真が一体合成されていないため、上述でも述べたように表示される仮想黒板付き現場写真に対する編集が可能となる。当然、改ざんに繋がるような編集は可能とすべきではないが、例えば仮想黒板の位置をずらすことができるため、このような編集を可能とすることで、仮想黒板が配置された領域の写真画像の内容を確認することが可能となる。これにより、例えば、写真画像のうち見られたくない部分を仮想黒板で隠してしまうといった隠蔽行為が防げる。
なお、プライベート領域に格納した座標情報を用いて、受信した仮想黒板付き写真画像における仮想黒板が、当該座標情報と一致する領域に配置されているかを判定することができる。これにより、スマートデバイス1で保存された仮想黒板付き写真画像をPC6が受信するまでの間に、仮想黒板の位置がずらされていたり、縮小拡大などの編集が行われていたりするかを判断することができる。
なお、上述の変形例では、仮想黒板付き現場写真、写真画像の一部又は全部から1つの照合情報を生成したが、本実施形態においては、これに限定されるものではなく、複数の照合情報を生成してもよい。この場合、例えば、写真画像に対する照合情報を生成するとともに、仮想黒板からも照合情報を生成してプライベート領域に格納し、改ざん判定処理において、プライベート領域に格納された複数の照合情報を用いて改ざん判定を行うことができる。照合情報が増えることで、より詳細な改ざん判定を行うことができる。
PC6は、情報処理装置の一例である。また、JPEGは、所定の画像ファイルの一例である。
[総括]
以上、本実施形態によれば、工事現場において現場写真の撮影業務を行うとき、その業務の効率化を図るとともに、撮影された現場写真に仮想黒板を配置した仮想黒板付き写真画像が改ざんされたことを検出できるシステムを提供することが可能となる。
なお、上述した実施形態では、一例として工事現場において現場写真の撮影業務を用いて本発明を説明したが、本発明の適用範囲はこれに限定されるものではない。例えば、本発明の一つの態様として、写真を撮影するタイミングでユーザにより入力され、当該写真に対して付加された付加情報(上述の実施形態における仮想黒板情報に相当)、及び、撮影された写真の画像データが、写真の撮影作業を終えた後に改ざんされることを防ぎたいといった場合に適用可能である。また、例えば、写真画像に対してユーザにより入力されて申告される証拠性を備えた申告情報(作業状態、作業経過、現場状況などに関する情報)を電子的に証明するような業務において、電子的な証拠残しの手法として適用することができる。電子的な証拠残しの例としては、トイレや吸い殻入れ、生ゴミ収集などの清掃業務などにおいて、所定の作業(清掃)が終了した後の状態を証明するために画像などを撮影して証拠残しとして保存するなどであるが、これに限定されるものではない。
各実施形態に基づき本発明の説明を行ってきたが、上記各実施形態に挙げたその他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。また、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。
本発明は特定の実施例、変形例を参照しながら説明されてきたが、各実施例、変形例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例などを理解するであろう。説明の便宜上、本発明の実施例に従った装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウエアでまたはそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例などが包含される。