JP2019124864A - 撮像支援システムと撮像支援方法及び撮像支援プログラム - Google Patents

撮像支援システムと撮像支援方法及び撮像支援プログラム Download PDF

Info

Publication number
JP2019124864A
JP2019124864A JP2018006446A JP2018006446A JP2019124864A JP 2019124864 A JP2019124864 A JP 2019124864A JP 2018006446 A JP2018006446 A JP 2018006446A JP 2018006446 A JP2018006446 A JP 2018006446A JP 2019124864 A JP2019124864 A JP 2019124864A
Authority
JP
Japan
Prior art keywords
user
guidance
operation mode
instruction information
area ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018006446A
Other languages
English (en)
Other versions
JP6898872B2 (ja
Inventor
倫子 新里
Tomoko Niisato
倫子 新里
清吾 守井
Seigo Morii
清吾 守井
寛之 河尻
Hiroyuki Kawashiri
寛之 河尻
恭平 川添
Kyohei Kawazoe
恭平 川添
功介 青木
Kosuke Aoki
功介 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intec Inc Japan
Original Assignee
Intec Inc Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intec Inc Japan filed Critical Intec Inc Japan
Priority to JP2018006446A priority Critical patent/JP6898872B2/ja
Publication of JP2019124864A publication Critical patent/JP2019124864A/ja
Application granted granted Critical
Publication of JP6898872B2 publication Critical patent/JP6898872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】視覚障がい者等の使用者を補助し、対象物を容易かつ適切に撮像できるようにする撮像支援システム、撮像支援方法及び撮像支援プログラムを提供する。【解決手段】撮像装置１４ａを有し、取得した画像データに基づいて検出対象物Ｗの状態を検出する対象物検出部１４を備える。使用者に知らせるべき誘導指示情報を作成する誘導制御部１６を備える。誘導指示情報に基づいて音信号と振動信号を生成し、使用者が知覚できるように出力する信号出力部１８を備える。対象物検出部１４は、画像エリアＧＡの中の検出対象物領域ＷＡを特定し、画像エリアＧＡに対する検出対象物領域ＷＡの面積比率Ｋを算出する。誘導制御部１６は、Ｋ１≦Ｋ＜Ｋ２を満たさない時、使用者に対して、Ｋ１≦Ｋ＜Ｋ２になるように、対象物検出部１４が搭載された主スマートデバイス１２と検出対象物Ｗの位置関係を変化させることを促す誘導指示情報を作成する。【選択図】図１

Description

本発明は、視覚障がい者等が撮像装置で物品等の対象物を撮像する時に、撮像する操作を補助する撮像支援システムと撮像支援方法及び撮像支援プログラムに関する。
従来、例えば特許文献１に開示されているように、視覚障がい者がスーパーマーケット等で商品を購入する際、手に取った商品の説明を、点字からだけではなくスマートフォン等の携帯端末の音声からも得られるようした商品説明システムがあった。この商品説明システムは、商品のラベルやデザイン面を画像情報として取り込むカメラ及び音声を出力するスピーカを備えた携帯端末と、携帯端末とネットワークを介して接続されたサーバとで構成されている。使用する時は、まず視覚障がい者が片方の手に商品を持ち、反対側の手に携帯端末を持って商品を撮像する操作を行う。すると、サーバが、携帯端末から受信した画像情報と、データベースに登録されている商品毎の画像情報とのマッチングを行い、該マッチングで特定された商品の音声情報をデータベースから抽出して携帯端末へ送信し、携帯端末が、この音声情報をスピーカから再生する、という動作を行う。
また、視覚障がい者は晴眼者よりも空間把握がしづらいので、商品とカメラ（携帯端末）の位置関係を自分の感覚だけで調節するのは簡単ではない。したがって、商品が適切に撮像されるようにするためには、視覚障がい者を何らかの方法で補助することが好ましい。しかし、特許文献１の商品説明システムは、この点については特に配慮されていない。
その他、視覚障がい者の操作を誘導する方法として、特許文献２には、金融機関で利用者が操作して取引を行う自動取引装置が開示され、利用者が視覚障がい者の場合に、視覚障がい者を補助する技術が記載されている。この自動取引装置を使用する場合、利用者の携帯端末を入力表示部の上面の特定位置に載置しなければならないが、視覚障がい者にとっては位置合わせするのが簡単ではない。そこで、この自動取引装置には、入力表示部に設けた赤外線センサで携帯端末が置かれた位置を検出し、位置がずれている場合、「右方向へ移動してください」、「上方向へ移動してください」等の音声ガイダンスによって誘導する構成が設けられている。
特開２０１６−２００６６６号公報 特開２０１０−２０５１９６号公報
特許文献１の商品説明システムは、上記のように、視覚障がい者が商品を適切に撮像できるように補助する機能を備えていない。また、特許文献１の商品説明システムに、特許文献２の技術（携帯端末を適切な位置に誘導する技術）を単に転用すると、以下の問題点がある。
例えば、特許文献２の技術は、携帯端末と入力表示部との位置関係の検出を、入力表示部に設けた赤外線センサを用いて行っているが、商品説明システムにそのまま転用しようとすると、各商品に赤外線センサを取り付けることになるので、現実的ではない。また、特許文献２の技術は、入力表示部と携帯端末の上下方向及び左右方向の位置関係については考慮されているが、遠近方向の位置関係を適切化することは考慮されていない。したがって、商品説明システムに適用しても、商品とカメラとの離間距離を調節する操作（例えば、ズーム操作）を補助することができず、商品を適切な大きさにクリアに撮像させることは難しい。
近年、上記の商品説明システム以外にも、視覚障がい者に物品の色を知らせるシステムや空間把握訓練用のシステム等、視覚障がい者を支援するための様々なシステムが検討されており、どのシステムにおいても、対象物の画像データを的確に取得することが重要になる。そのため、視覚障がい者が対象物を容易かつ適切に撮像できるように補助する技術が求められている。
本発明は、上記背景技術に鑑みて成されたものであり、視覚障がい者等の使用者を補助し、対象物を容易かつ適切に撮像できるようにする撮像支援システム、撮像支援方法及び撮像支援プログラムを提供することを目的とする。
本発明は、検出対象物を所定の画像エリアに撮像するための撮像装置を有し、前記撮像装置が取得した画像データに基づいて前記検出対象物の状態を検出する対象物検出部と、内部に前記対象物検出部が搭載された主スマートデバイスと、前記対象物検出部の検出結果に基づいて使用者に知らせるべき誘導指示情報を作成する誘導制御部と、前記誘導指示情報に基づいて音信号又は振動信号又はその両方を生成し、使用者が知覚できるように出力する信号出力部とを備え、
前記対象物検出部は、前記画像データを分析して、前記画像エリアの中の、前記検出対象物が撮像されている検出対象物領域を特定し、前記画像エリアに対する前記検出対象物領域の面積比率Ｋ（０≦Ｋ≦１）を算出し、前記誘導制御部には、基準値Ｋ１及びＫ２（０＜Ｋ１＜Ｋ２≦１）が設定され、前記誘導制御部は、前記面積比率ＫがＫ１≦Ｋ＜Ｋ２の関係を満たさない時、使用者に対して、Ｋ１≦Ｋ＜Ｋ２になるように前記主スマートデバイスと前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成する撮像支援システムである。
前記対象物検出部は、前記面積比率Ｋを算出する処理を所定の周期で実行し、前回の算出結果と今回の算出結果との差が規定値を超えた時、今回の算出結果を破棄する構成であることが好ましい。また、前記誘導制御部は、前記対象物検出部から前記面積比率Ｋの情報が出力されない時、及び前記面積比率Ｋ＝０の時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、前記信号出力部は、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力する構成であることが好ましい。
また、前記誘導制御部には、あらかじめ少なくとも以下の３つの動作モードが設定され、第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１の時、使用者に対して、前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２の時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１の時、使用者に対して、前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、前記誘導制御部は、前記面積比率Ｋに基づいて動作モードを速やかに変更する、という構成にしてもよい。
あるいは、前記対象物検出部には、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定する機能が設けられ、前記誘導制御部には、あらかじめ少なくとも以下の４つの動作モードが設定され、第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、前記誘導制御部は、前記面積比率Ｋ及び前記ピント調節の判定に基づいて動作モードを速やかに変更する、という構成にしてもよい。
あるいは、前記対象物検出部には、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定する機能が設けられ、前記誘導制御部には、あらかじめ少なくとも以下の４つの動作モードが設定され、第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
前記誘導制御部は、ピント調整の判定が不適切から適切に切り替わったときの動作モードの変更は、ピント調整の判定が切り替わった直後の前記面積比率Ｋの値Ｋｘと前記基準値Ｋ２とを比較して、Ｋｘ＜Ｋ２の場合は、動作モードを変更する前に、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という補助動作を速やかに行い、その後、前記面積比率Ｋが低下してＫｘ-α（αは正の定数）以下になったタイミングで動作モードを変更し、Ｋｘ≧Ｋ２の場合は、前記補助動作を行うことなく速やかに動作モードを変更し、ピント調整の判定が不適切から適切に切り替わったとき以外の動作モードの変更は、前記面積比率Ｋ及び前記ピント調節の判定に基づいて速やかに行う、という構成にしてもよい。
また、前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御部には、基準値Ｄ１（Ｄ１＞０）が設定され、前記誘導制御部は、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が、０＜Ｋ＜Ｋ１で且つＤ≦Ｄ１の時、使用者に対して、前記位置ずれＤの修正が不要であることを知らせる前記誘導指示情報を作成し、０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、使用者に対して、Ｄ≦Ｄ１になるように前記主スマートデバイス及び前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成する、という構成にしてもよい。
この場合、前記誘導制御部は、前記対象物検出部から前記位置ずれＤの情報が出力されない時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、前記信号出力部は、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力するという構成であることが好ましい。また、前記誘導制御部には、前記画像エリア内を仮想的に区分した複数の領域が定義され、前記複数の領域は、前記画像エリアの中心部からの距離が前記基準値Ｄ１以下の領域である中央領域と、前記中央領域の周りを放射状に分割した複数の周辺領域であり、前記誘導制御部は、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、前記検出対象物領域の中心部が前記複数の周辺領域の中のどの周辺領域に位置しているかという内容を前記誘導指示情報に盛り込む構成にしてもよい。
また、前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御部は、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、前記信号出力部は、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させる、という構成にすることができる。
あるいは、前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御部は、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、前記信号出力部は、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な適宜の方角に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる、という構成にすることができる。
あるいは、前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御部は、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、前記信号出力部は、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる、という構成にすることができる。
また、前記対象物検出部には、前記主スマートデバイスのぶれを検出するための慣性計測装置が設けられ、前記対象物検出部は、前記主スマートデバイスのぶれが規定値を超えると、取得した画像データを破棄する構成であることが好ましい。また、前記対象物検出部には、前記画像エリアに撮像された複数の物体の、前記主スマートデバイスとの間の距離の違いを検出する深度計測装置が設けられ、前記対象物検出部は、前記深度計測装置の検出結果に基づいて、前記画像エリアに撮像された物体の中の、前記検出対象物に関係のないノイズ情報をマスクして、前記検出対象物領域を特定する構成であることが好ましい。
また、前記誘導制御部及び前記信号出力部は、前記主スマートデバイスの内部に搭載されている構成にすることができる。あるいは、前記誘導制御部及び前記信号出力部は、前記主スマートデバイスと通信が可能な副スマートデバイスの内部に搭載されている構成にすることができる。
また、本発明は、主スマートデバイスに搭載された撮像装置を使用して検出対象物を所定の画像エリアに撮像する操作を補助する撮像支援方法であって、前記撮像装置が取得した画像データに基づいて前記検出対象物の状態を検出する対象物検出ステップと、前記対象物検出ステップの検出結果に基づいて使用者に知らせるべき誘導指示情報を作成する誘導制御ステップと、前記誘導指示情報に基づいて音信号又は振動信号又はその両方を生成し、使用者が知覚できるように出力する信号出力ステップとを備え、
前記対象物検出ステップにおいて、前記画像データを分析して、前記画像エリアの中の、前記検出対象物が撮像されている検出対象物領域を特定し、前記画像エリアに対する前記検出対象物領域の面積比率Ｋ（０≦Ｋ≦１）を算出し、前記誘導制御ステップにおいて、あらかじめ基準値Ｋ１及びＫ２（０＜Ｋ１＜Ｋ２≦１）を設定し、前記面積比率ＫがＫ１≦Ｋ＜Ｋ２の関係を満たさない時、使用者に対して、Ｋ１≦Ｋ＜Ｋ２になるように前記主スマートデバイス及び前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成する撮像支援方法である。
前記対象物検出ステップにおいて、前記面積比率Ｋを算出する処理を所定の周期で実行し、前回の算出結果と今回の算出結果との差が規定値を超えた時、今回の算出結果を破棄する構成であることが好ましい。また、前記誘導制御ステップにおいて、前記対象物検出部から前記面積比率Ｋの情報が出力されない時、及び前記面積比率Ｋ＝０の時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、前記信号出力ステップにおいて、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力する構成であることが好ましい。
また、前記誘導制御ステップにおいて、あらかじめ少なくとも以下の３つの動作モードを設定し、第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１の時、使用者に対して、前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２の時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１の時、使用者に対して、前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、前記面積比率Ｋに基づいて動作モードを速やかに変更する、という構成にしてもよい。
あるいは、前記対象物検出ステップにおいて、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定し、前記誘導制御ステップにおいて、あらかじめ少なくとも以下の４つの動作モードを設定し、第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、前記面積比率Ｋ及び前記ピント調節の判定に基づいて動作モードを速やかに変更する、という構成にしてもよい。
あるいは、前記対象物検出ステップにおいて、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定し、前記誘導制御ステップにおいて、あらかじめ少なくとも以下の４つの動作モードを設定し、第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
ピント調整の判定が不適切から適切に切り替わったときの動作モードの変更は、ピント調整の判定が切り替わった直後の前記面積比率Ｋの値Ｋｘと前記基準値Ｋ２とを比較して、Ｋｘ＜Ｋ２の場合は、動作モードを変更する前に、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という補助動作を速やかに行い、その後、前記面積比率Ｋが低下してＫｘ-α（αは正の定数）以下になったタイミングで動作モードを変更し、Ｋｘ≧Ｋ２の場合は、前記補助動作を行うことなく速やかに動作モードを変更し、ピント調整の判定が不適切から適切に切り替わったとき以外の動作モードの変更は、前記面積比率Ｋ及び前記ピント調節の判定に基づいて速やかに行う、という構成にしてもよい。
また、前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御ステップにおいて、あらかじめ基準値Ｄ１（Ｄ１＞０）を設定し、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が、０＜Ｋ＜Ｋ１で且つＤ≦Ｄ１の時、使用者に対して、前記位置ずれＤの修正が不要であることを知らせる前記誘導指示情報を作成し、０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、使用者に対して、Ｄ≦Ｄ１になるように前記主スマートデバイス及び前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成する、という構成にしてもよい。
この場合、前記誘導制御ステップにおいて、前記対象物検出ステップで前記位置ずれＤの情報が出力されない時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、前記信号出力ステップにおいて、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力するという構成であることが好ましい。また、前記誘導制御ステップにおいて、あらかじめ前記画像エリア内を仮想的に区分した複数の領域を定義し、前記複数の領域は、前記画像エリアの中心部からの距離が前記基準値Ｄ１以下の領域である中央領域と、前記中央領域の周りを放射状に分割した複数の周辺領域であり、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、前記検出対象物領域の中心部が前記複数の周辺領域の中のどの周辺領域に位置しているかという内容を前記誘導指示情報に盛り込む構成にしてもよい。
また、前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御ステップにおいて、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、前記信号出力ステップにおいて、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させる、という構成にすることができる。
あるいは、前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御ステップにおいて、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、前記信号出力ステップにおいて、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な適宜の方角に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる、という構成にすることができる。
あるいは、前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、前記誘導制御ステップにおいて、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、前記信号出力ステップにおいて、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる、という構成にすることができる。
また、前記対象物検出ステップにおいて、慣性計測装置を使用して前記主スマートデバイスのぶれを検出し、前記対象物検出ステップにおいて、前記主スマートデバイスのぶれが規定値を超えると、取得した画像データを破棄する構成であることが好ましい。また、前記対象物検出ステップにおいて、深度計測装置を使用して、前記画像エリアに撮像された複数の物体の、前記主スマートデバイスとの間の距離の違いを検出し、その検出結果に基づいて、前記画像エリアに撮像された物体の中の、前記検出対象物に関係のないノイズ情報をマスクして、前記検出対象物領域を特定する構成であることが好ましい。
さらに、本発明は、前記撮像支援方法を実行させるための各ステップ実行用プログラムにより構成された撮像支援プログラムである。
本発明の撮像支援システム、撮像支援方法及び撮像支援プログラムは、画像エリア中の検出対象物領域を特定し、画像エリアに対する検出対象物領域の面積比率Ｋを算出するという独特な動作を行い、対象物と主スマートデバイスの上下方向、左右方向及び遠近方向の位置関係の適否を検出することができる。そして、視覚障がい者等の使用者に対して、面積比率Ｋを適切な値にするための方法、つまり、対象物と主スマートデバイスとの位置関係をどのように変化させればよいかという情報を、音信号や振動信号を用いて分かりやすく知らせるので、使用者は、対象物と主スマートデバイスとの位置関係を的確に変化させることができ、対象物を容易かつ適切に撮像することができる。
また、面積比率Ｋに基づいて誘導指示を行う構成に加え、画像エリアの中心部と検出対象物領域の中心部との位置ずれＤに基づいて誘導指示を行う構成や、ピント調整の適否に基づいて誘導指示を行う構成を追加することによって、使用者がより短い時間で対象物と主スマートデバイスの位置関係を適切化することができる。
本発明の撮像支援システムの第一の実施形態の使用状況を示すイメージ図（ａ）、システム構成を示すブロック図（ｂ）である。 画像エリア、検出対象物領域、面積比率Ｋ及び位置ずれＤの意味を説明する模式図である。 図１（ｂ）の対象物検出部が行う処理の流れを示すフローチャートである。 図１（ｂ）の誘導制御部が行う処理の概要を示すフローチャートである。 図１（ｂ）の誘導制御部が行う処理の中の、離間距離Ｌに関連した処理の内容を示す表（ａ）、位置ずれＤに関連した処理の内容を示す表（ｂ）である。 図１（ｂ）の信号出力部が行う処理の中の、離間距離Ｌに関連した処理の内容を示す表である。 図１（ｂ）の信号出力部が行う処理の中の、位置ずれＤに関連した処理の内容を示す表である。 図１（ｂ）の信号出力部が行う処理の中の、位置ずれＤに関連した処理の内容を示すグラフである。 第一の実施形態の撮像支援システムの動作の一例（離間距離Ｌに関連した動作）を示すグラフである。 第一の実施形態の撮像支援システムの信号出力部の一変形例を示すブロック図（ａ）、変形例の信号出力部が行う処理の中の、位置ずれＤに関連した処理の内容を示すグラフである。 本発明の撮像支援システムの第二の実施形態の使用状況を示すイメージ図（ａ）、システム構成を示すブロック図（ｂ）である。 図１１（ｂ）の対象物検出部が行う処理の流れを示すフローチャートである。 図１１（ｂ）の誘導制御部が行う処理の中の、離間距離Ｌに関連した処理の内容を示す表（ａ）、位置ずれＤに関連した処理の内容を示す表（ｂ）である。 図１１（ｂ）の信号出力部が行う処理の中の、離間距離Ｌに関連した処理の内容を示す表である。 第二の実施形態の撮像支援システムの動作の一例（離間距離Ｌに関連した動作／検出対象物が大型の時）を示すグラフである。 第二の実施形態の撮像支援システムの動作の一例（離間距離Ｌに関連した動作／検出対象物が中型の時）を示すグラフである。 第二の実施形態の撮像支援システムの動作の一例（離間距離Ｌに関連した動作／検出対象物が小型の時）を示すグラフである。 本発明の撮像支援システムの第三の実施形態の使用状況を示すイメージ図（ａ）、システム構成を示すブロック図（ｂ）である。 図１８（ｂ）の誘導制御部が行う処理の具体的な内容を示す表であって、離間距離Ｌに関連した処理の内容を示す表（ａ）、位置ずれＤに関連した処理の内容を示す表（ｂ）である。 第三の実施形態の撮像支援システムの動作の一例（離間距離Ｌに関連した動作／検出対象物が小型の時）を示すグラフである。 本発明の撮像支援システムの第四の実施形態の使用状況を示すイメージ図（ａ）、システム構成を示すブロック図（ｂ）である。 図２１（ｂ）の信号出力部が行う処理の中の、位置ずれＤに関連した処理の内容を示す表である。 図２１（ｂ）の信号出力部が行う処理の中の、位置ずれＤに関連した処理の内容を示すグラフである。 本発明の撮像支援システムの第五の実施形態の使用状況を示すイメージ図（ａ）、システム構成を示すブロック図（ｂ）である。
以下、本発明の撮像支援システムと撮像支援方法及び撮像支援プログラムの第一の実施形態について、図１〜図１０に基づいて説明する。この実施形態の撮像支援システム１０は、視覚障がい者等の使用者が検出対象物Ｗを撮像するのを補助するシステムであり、図１（ａ）に示すように、撮像装置１４ａを有した主スマートデバイス１２内に設けられている。この実施形態の撮像支援方法は、撮像支援システム１０によって実行される支援方法であり、この実施形態の撮像支援プログラムは、この実施形態の撮像支援方法を撮像支援システム１０で実行させるための各ステップ実行用プログラムにより構成されたコンピュータプログラムである。検出対象物Ｗは、例えば使用者が片手で持つことができる書籍等である。
まず、撮像支援システム１０の構成について、図１（ｂ）に基づいて簡単に説明する。撮像支援システム１０は、対象物検出ステップを実行する対象物検出部１４、誘導制御ステップを実行する誘導制御部１６、及び信号出力ステップを実行する信号出力部１８を備えている。
対象物検出部１４は、検出対象物Ｗの状態を検出するブロックであり、内部に撮像装置１４ａ、慣性計測装置１４ｂ及び深度計測装置１４ｃが設けられている。撮像装置１４ａは、例えばオートフォーカス機能付きのデジタルカメラであり、検出対象物Ｗを所定の画像エリアＧＡに撮像する装置である。慣性計測装置１４ｂは、加速度センサや角速度センサ等で構成され、主スマートデバイス１２のぶれを検出する装置である。深度計測装置１４ｃは、赤外線センサ等で構成され、画像エリアＧＡに撮像された複数の物体の、主スマートデバイス１２との間の距離の違いを検出する装置である。
対象物検出部１４は、図２に示すように、撮像装置１４ａが取得した画像データを分析し、画像エリアＧＡの中の、検出対象物Ｗが撮像されている検出対象物領域ＷＡを特定する。そして、画像エリアＧＡに対する検出対象物領域ＷＡの面積比率Ｋ（０≦Ｋ≦１）を算出するとともに、画像エリアＧＡの中心部Ｐｇに対する検出対象物領域ＷＡの中心部Ｐｗの位置ずれＤを算出する。中心部Ｐｇ，Ｐｗは、各領域の正確な中心点でもよいし、概略の中心点や概略の中心領域としてもよい。慣性計測装置１４ｂ及び深度計測装置１４ｃの検出結果に基づいて行う処理については後で説明する。
誘導制御部１６は、対象物検出部１４の検出結果に基づいて、使用者に知らせるべき誘導指示情報と再操作指示情報を作成するブロックである。信号出力部１８は、誘導制御部１６が作成した誘導指示情報と再操作指示情報に基づいて音信号及び振動信号を生成し、使用者が知覚できるように出力するブロックであり、スピーカ１８ａから音信号を出力し、振動装置１８ｂが主スマートデバイス１２の本体を振動させることによって振動信号を出力する。
次に、各ブロックが実行する処理内容を順番に説明する。まず、対象物検出部１４が実行する処理内容について、図３に基づいて説明する。
初めに、撮像装置１４ａが物体の画像データを逐次取得し（ステップS1-1）、慣性計測装置１４ｂが主スマートデバイス１２のぶれデータを逐次取得し（ステップS1-2）、深度計測装置１４ｃが、撮像された物体の深度データを逐次取得し、取得した各データを図示しない記憶部に逐次格納する（ステップS1-4）。
そして、所定のタイミングで記憶部から最新のデータを抽出し（ステップS1-5）、ぶれデータが規定値以下かどうかを確認する（ステップS1-6）。ぶれデータが規定値を超えている場合は、画像データが分析可能なものではないと判断し、記憶部に格納された該当データを破棄した後（ステップS1-7）、ステップS1-5に戻る。ぶれデータが規定値以下の場合は、画像データが分析可能なものであると判断し、ステップS1-8に進む。
ステップS1-8では、深度データを分析し、画像データに含まれるノイズ情報、つまり検出対象物Ｗに関係のない情報をマスクする処理を行う。そして、ノイズ情報がマスクされた画像データを分析し、画像エリアＧＡの中の検出対象物領域ＷＡを特定する（ステップS1-9）。
ステップS1-10では、画像エリアＧＡの面積に対する検出対象物領域ＷＡの面積比率Ｋを算出する。面積比率Ｋは、例えば、検出対象物領域ＷＡの画素数を画像エリアＧＡの総画素数で除算することによって算出することができる。さらに、検出対象物領域ＷＡの中心部Ｐｗを特定し、画像エリアＧＡの中心部Ｐｇとの位置ずれＤを算出する。
面積比率Ｋ及び位置ずれＤを算出すると、今回の値と前回の値との差を確認し（ステップS1-11）、差が規定値を超えている場合は、今回の値は誤検出であると判断し、記憶部に格納された最新のデータを破棄した後（ステップS1-7）、ステップS1-5に戻る。差が規定値以下の場合は、今回の値は誤検出ではないと判断し、算出結果を誘導制御部１６に向けて出力するとともに記憶部に格納した後（ステップS1-12）、ステップS1-5に戻る。以上が、対象物検出部１４が実行する処理内容であり、対象物検出部１４は、ステップS1-5〜S1-12を所定の周期で繰り返し実行する。
次に、誘導制御部１６が実行する処理内容について、図４、図５に基づいて説明する。まず、対象物検出部１４から面積比率Ｋ及び位置ずれＤが出力されたかどうか、つまり、面積比率Ｋ及び位置ずれＤを受信したかどうかを確認する（ステップS2-1）。受信されない場合は、使用者に対して、撮像装置１４ａで検出対象物Ｗを撮像する操作をやり直すことを促す再操作指示情報を作成して信号出力部１８に出力した後（ステップS2-2）、開始に戻る。受信した場合は、面積比率Ｋ＝０かどうかを確認し（ステップS2-3）、Ｋ＝０の場合は、検出対象物Ｗがまったく撮像されていないと判断し、ステップS2-2に進んで上記と同様の処理を行う。面積比率Ｋ≠０の場合は、ステップS2-4とステップS2-5に進む。
ステップS2-4では、面積比率Ｋの値に基づいて動作モードを選択／変更し、主スマートデバイス１２と検出対象物Ｗとの離間距離Ｌに関連した誘導指示情報を作成し、信号出力部１８に向けて出力する。誘導制御部１６には、あらかじめ面積比率Ｋに関する２つの基準値Ｋ１及びＫ２（０＜Ｋ１＜Ｋ２≦１）が設定され、図５（ａ）に示すように、面積比率Ｋの値に応じて３つの動作モードが設定されている。
第一の動作モードは、０＜Ｋ＜Ｋ１の時、検出対象物Ｗが過度に小さく撮像されていると判断し、使用者に対して、ズーム調節のために離間距離Ｌを短くすることを促す誘導指示情報Type11を作成する、という動作モードである。第二の動作モードは、Ｋ１≦Ｋ＜Ｋ２の時、検出対象物Ｗが適切な大きさに撮像されていると判断し、使用者に対して、離間距離Ｌの修正が不要であることを知らせる誘導指示情報Type12を作成する、という動作モードである。第三の動作モードは、Ｋ２≦Ｋ≦１の時、検出対象物Ｗが過度に大きく撮像されていると判断し、使用者に対して、ズーム調節のために離間距離Ｌを長くすることを促す誘導指示情報Type13を作成する、という動作モードである。誘導制御部１６は、面積比率Ｋの値に基づいて動作モードを選択／変更し、該当する内容の誘導指示情報を作成して信号出力部１８に向けて出力する。動作モードの選択／変更は、ステップS2-4を実行する毎に速やかに行う。
ステップS2-5はステップS2-4と並行して実行され、ステップS2-5に進むと、面積比率Ｋが０＜Ｋ＜Ｋ１を満たすかどうかを確認し、満たす時は、位置ずれＤに関連した誘導指示情報を作成し、信号出力部１８に向けて出力する（ステップS2-6）。誘導制御部１６には、あらかじめ位置ずれＤの許容範囲を規定する基準値Ｄ１が設定され、図５（ｂ）に示すように、Ｄ＞Ｄ１の時は、使用者に対して、Ｄ≦Ｄ１になるように主スマートデバイス１２及び検出対象物Ｗの位置関係を変化させることを促す誘導指示情報Type21を作成する。Ｄ≦Ｄ１の時は、使用者に対して、位置ずれＤの修正が不要であることを知らせる誘導指示情報Type22を作成する。
また、誘導制御部１６には、画像エリアＧＡ内を３行３列の格子状に区分した９つの領域AR(0)〜AR(8)が定義されている。中央領域AR(0)は中心部Ｐｇからの距離が基準値Ｄ１以下の領域であり、中央領域AR(0)の左上側が周辺領域AR(1)、上側が周辺領域AR(2)、右上側が周辺領域AR(3)、右側が周辺領域AR(4)、右下側が周辺領域AR(5)、下側が周辺領域AR(6)、左下側が周辺領域AR(7)、左側が周辺領域AR(8)である。そして、上記の誘導指示情報Type21には、検出対象物領域ＷＡの中心部Ｐｗが周辺領域AR(1)〜AR(8)の中のどの周辺領域に位置しているかという内容も盛り込まれる。以上が、誘導制御部１６が実行する処理内容であり、誘導制御部１６は、ステップS2-1〜S2-6を上記と同様の周期で繰り返し実行する。
次に、信号出力部１８が実行する処理内容について、図６〜図８に基づいて説明する。信号出力部１８は、離間距離Ｌに関連した誘導指示情報Type11〜Type13を受信すると、その内容に応じた振動信号を振動装置１８ｂが生成し、使用者が知覚できるように出力する。例えば図６に示すように、誘導指示情報Type11を受信した時は、面積比率Ｋと基準値Ｋ１との差が大きい時ほど振動信号を弱くし、誘導指示情報Type12を受信した時は振動信号を最強に保持し、誘導指示情報Type13を受信した時は、面積比率Ｋと基準値Ｋ２との差が大きい時ほど振動信号を弱くする。
使用者は、振動信号を知覚して、振動信号が最強になるように主スマートデバイス１２と検出対象物Ｗの離間距離Ｌを変化させる操作を行う。つまり、この振動信号を介して離間距離Ｌに関連した誘導指示情報Type11〜Type13の内容を使用者に知らせ、Ｋ１≦Ｋ＜Ｋ２を満たすように離間距離Ｌを変化させることを促し、検出対象物Ｗが適切な大きさに撮像されるようにする。
また、信号出力部１８は、位置ずれＤに関連した誘導指示情報Type21，Type22を受信すると、その内容に応じた音信号をスピーカ１８ａで生成し、使用者が知覚できるように出力する。具体的には、図７、図８に示す要領で、位置ずれＤの値や検出対象物領域ＷＡの中央部Ｐｗがどの領域に位置しているかに応じて、音の種類、高低、音量を変化させる。
例えば、誘導指示情報Type21を受信した時は「プー」という音で、誘導指示情報Type22を受信した時は「ピピピ」という音を出力する。つまり、音信号の種類によって、中央部Ｐｗが中央領域AR(0)に位置しているか、周辺領域AR(1)〜AR(8)に位置しているかを知らせる。
音の高低は、検出対象物領域ＷＡの中央部Ｐｗの上下方向の位置を知らせるために変化させる。例えば中央部Ｐｗが、中間の領域AR(0)，AR(4)，AR(8)に位置している時は中音に保持し、上側の領域AR(1)〜AR(3)に位置している時は、中間の領域AR(0)，AR(4)，AR(8)から離れるほど音を低くし、下側の領域AR(5)〜AR(7)に位置している場合は、中間の領域AR(0)，AR(4)，AR(8)から離れるほど音を高くする。
音量は、検出対象物領域ＷＡの中央部Ｐｗの左右方向の位置を知らせるために変化させる。例えば中央部Ｐｗが、中間の領域AR(0)，AR(2)，AR(6)に位置している時は音量を最大に保持し、左側の領域AR(1)，AR(7)，AR(8)に位置している時は、中間の領域AR(0)，AR(2)，AR(6)から離れるほど音量を小さくし、右側の領域AR(3)，AR(4)，AR(5)に位置している時も、中間の領域AR(0)，AR(2)，AR(6)から離れるほど音量を小さくする。
使用者は、音信号を知覚して、音信号が「ピピピ／中音／音量最大」になるように、主スマートデバイス１２及び検出対象物Ｗの上下方向及び左右方向の位置関係を変化させる操作を行う。つまり、この音信号を介して位置ずれＤに関連した誘導指示情報Type21，Type22の内容を使用者に知らせ、Ｄ≦Ｄ１を満たすように位置関係を変化させることを促し、検出対象物Ｗが画像エリアＧＡの適切な位置に撮像されるようにする。
次に、視覚障がい者等の使用者が、撮像支援システム１０が搭載された主スマートデバイス１２を用いて検出対象物Ｗを撮像するときの操作方法の一例と、その時の撮像支援システム１０の動作を説明する。
まず、使用者は、片方の手に書籍等の検出対象物Ｗを持ち、主スマートデバイス１２を反対側の手に持ち、検出対象物Ｗを撮像装置１４ａで接写する。接写の状態では、ズーム調整が不適切で面積比率ＫがＫ≒１になるので、図９に示すように、振動信号が非常に弱い（第三の動作モード）。そこで使用者は、振動信号が最強に保持される位置まで離間距離Ｌを長くする操作を行う。離間距離Ｌを変化させる操作は、主スマートデバイス１２と検出対象物Ｗの片方だけを移動させてもよいし、両方を移動させてもよい。
接写の状態から離間距離Ｌが長くなると、ズーム調整が改善されて面積比率Ｋが小さくなり、振動信号が徐々に強くなる。そして、ズーム調整が適切な範囲、つまり面積比率ＫがＫ１≦Ｋ＜Ｋ２の範囲になると、動作モードが第二の動作モードに変更され、振動信号が最強に保持される。振動信号が最強なので離間距離Ｌの修正は不要であるが、使用者がさらに離間距離Ｌが長くして面積比率Ｋが０＜Ｋ＜Ｋ１になった場合は、動作モードが第一の動作モードに変更され、振動が徐々に弱くなる。すると、使用者は、離間距離Ｌを長くし過ぎたことに気が付き、今度は離間距離Ｌを短くする操作を行う。
このように、使用者は、振動信号が最強になるように操作することによって適切な離間距離Ｌを容易に把握することができ、晴眼者のサポートが無くても簡単にズーム調整を行うことができる。以上が、撮像支援システム１０の、検出対象物Ｗと主スマートデバイス１２の遠近方向の位置関係を適切化するための動作である。
撮像支援システム１０は、遠近方向の位置関係を適切化するため動作と並行して、上下方向及び左右方向の位置関係を適切化するための動作を、音信号を介して行う。
位置ずれＤが許容範囲内（Ｄ≦Ｄ１）の時は、音信号が「ピピピ／中音／音量最大」であるが、使用者が離間距離Ｌを長くする操作を行っている途中で位置ずれＤがＤ＞Ｄ１になると、音の種類が「ピピピ」から「ピー」に変化する。すると、使用者は、位置ずれＤが大きくなったことに気が付き、位置ずれＤを小さくする操作を行う。
例えば、図８に示すように、検出対象物領域ＷＡの中央部Ｐｗが周辺領域AR(3)にずれた場合、音信号が「ピー／低音／音量小」になるので、使用者は、音が高くなるように上下方向の位置関係を変化させるとともに、音量が大きくなるように左右方向の位置関係を変化させる操作を行う。また、中央部Ｐｗが周辺領域AR(7)にずれた場合は、音信号が「ピー／高音／音量小」になるので、使用者は、音が低くなるように上下方向の位置関係を変化させ、音量が大きくなるように左右方向の位置関係を変化させる操作を行う。
このように、使用者は、音信号が「ピピピ／中音／音量最大」になるように操作することによって、晴眼者のサポートが無くても、位置ずれＤを容易に小さくすることができる。以上が、検出対象物Ｗと主スマートデバイス１２の上下方向及び左右方向の位置関係を適切化するための動作である。
その他、対象物検出部１４は、慣性計測装置１４ｂで検出した主スマートデバイス１２のぶれデータが規定値を超えている場合、その画像データは分析可能なものではないと判断して画像データを破棄する動作を行う。さらに、面積比率Ｋ及び位置ずれＤを算出し、前回の算出結果と今回の算出結果との差が規定値を超えた時は、今回の算出結果を誤情報として破棄する動作を行う。これによって、信頼性の低い面積比率Ｋ及び位置ずれＤが誘導制御装置１６（誘導制御ステップ）に送られるのが防止される。また、対象物検出部１４は、深度計測装置１４ｃの検出結果に基づき、画像エリアＧＡに撮像された物体の中の、検出対象物Ｗに関係のないノイズ情報をマスクする動作を行うので、面積比率Ｋ及び位置ずれＤを高い精度で算出することができる。
また、誘導制御部１６は、対象物検出部１４から面積比率Ｋ及び位置ずれＤが出力されない時、及び面積比率Ｋ＝０の時、使用者に対して、撮像装置１４ａで検出対象物Ｗを撮像する操作をやり直すことを促す再操作指示情報を作成する動作を行うので、画像データが適切に取得できていないことを、使用者に直接的に知らせることができる。再操作指示情報に基づいて信号出力部１８が出力する信号は、音信号でも振動信号でもよい。例えば「最初から操作をやり直してください」と呼びかける音声でもよい。
また、信号出力部１８が誘導指示情報に基づいて出力する音信号は、「右方向へ移動してください」等の音声ではなく、「ピー」や「ピピピ」という非言語音であるという特徴がある。視覚障がい者は、「右方向へ」や「左方向へ」という誘導指示を受けても容易に操作できない可能性がある。しかし、撮像支援システム１０では、非言語音で成る音信号を用いて誘導指示を行うので、視覚障がい者でも操作を繰り返すことにより、容易且つ的確に誘導することができる。
以上説明したように、第一の実施形態の撮像支援システム１０、撮像支援システム１０で使用される撮像支援方法及び撮像支援プログラムは、画像エリアＧＡ中の検出対象物領域ＷＡを特定し、画像エリアＧＡに対する検出対象物領域ＷＡの面積比率Ｋを算出し、さらに画像エリアＧＡの中心部Ｐｇと検出対象物領域ＷＡの中心部Ｐｗとの位置ずれＤを算出するという独特な動作を行い、検出対象物Ｗと主スマートデバイス１２の上下方向、左右方向及び遠近方向の位置関係の適否を検出することができる。そして、視覚障がい者等の使用者に対し、面積比率Ｋ及び位置ずれＤを適切な値にするための方法、つまり、対象物と主スマートデバイス１２の位置関係をどのように変化させればよいかという情報を、振動信号と音信号を用いて分かりやすく知らせるので、使用者は、対象物と主スマートデバイス１２との位置関係を的確に変化させることができ、対象物を容易かつ適切に撮像することができる。
なお、使用者は、操作に慣れてくると、上下方向及び左右方向の位置関係の修正は、面積比率Ｋに基づく誘導指示（振動信号）があれば、位置ずれＤに基づく誘導指示（音信号）がなくても行うことができる。しかし、使用者が不慣れな場合や、より短い時間で修正できるようにするためには、位置ずれＤに基づく誘導指示（音信号）もあったほうがよい。
また、信号出力部１８は、図１０（ａ）に示す信号出力部２０に置き換えることができる。上記の信号出力部１８はスピーカ１８ａから１つの音信号を出力する構成なのに対し、この信号出力部２０は、イヤホン２０ａから左右別々の音信号を出力できるという特徴がある。
例えば、図１０（ｂ）に示すように、左の音信号と右の音信号の音量を別々に変化させることによって、検出対象物領域ＷＡの中央部Ｐｗの左右方向の位置を知らせることができる。左の音信号は、中央部Ｐｗが、中間の領域AR(0)，AR(2)，AR(6)に位置している時は音量を中に保持し、左側の領域AR(1)，AR(7)，AR(8)に位置している時は、中間の領域AR(0)，AR(2)，AR(6)から離れるほど音量を大きくし、右側の領域AR(3)，AR(4)，AR(5)に位置している時は、中間の領域AR(0)，AR(2)，AR(6)から離れるほど音量を小さくする。一方、右の音信号は、中央部Ｐｗが、中間の領域AR(0)，AR(2)，AR(6)に位置している時は音量を中に保持し、左側の領域AR(1)，AR(7)，AR(8)に位置している時は、中間の領域AR(0)，AR(2)，AR(6)から離れるほど音量を小さくし、右側の領域AR(3)，AR(4)，AR(5)に位置している時は、中間の領域AR(0)，AR(2)，AR(6)から離れるほど音量を大きくする。使用者は、左右の音信号をそれぞれ知覚して、左右の両方が「音量中」になるように、主スマートデバイス１２及び検出対象物Ｗの左右方向の位置関係を変化させる操作を行う。
このように、撮像支援システム１０の信号出力部１８を信号出力部２０に置き換えた場合も、同様の作用効果を得ることができる。
次に、本発明の撮像支援システムと撮像支援方法及び撮像支援プログラムの第二の実施形態について、図１１〜図１７に基づいて説明する。ここで、第一の実施形態と同様の構成は、同一の符号を付して説明を省略する。この実施形態の撮像支援システム２２は、第一の実施形態の撮像支援システム１０に改良を加えたものである。この実施形態の撮像支援方法は、撮像支援システム２２によって実行される支援方法であり、この実施形態の撮像支援プログラムは、この実施形態の撮像支援方法を撮像支援システム２２で実行させるための各ステップ実行用プログラムにより構成されたコンピュータプログラムである。
まず、撮像支援システム２２の構成について、図１１（ａ）、（ｂ）に基づいて簡単に説明する。撮像支援システム２２は、対象物検出ステップを実行する対象物検出部２４、誘導制御ステップを実行する誘導制御部２６、及び信号出力ステップを実行する信号出力部２８を備えている。
対象物検出部２４は、検出対象物Ｗの状態を検出するブロックであり、内部に撮像装置１４ａ、慣性計測装置１４ｂ及び深度計測装置１４ｃが設けられている。上記の対象物検出部１４と異なるのは、実行する処理内容が１つ増えている点である。
誘導制御部２６は、対象物検出部２４の検出結果に基づいて、使用者に知らせるべき誘導指示情報と再操作指示情報を作成するブロックである。上記の誘導制御部１６と異なるのは、離間距離Ｌに関連した誘導指示情報が３種類から４種類に増えている点である。
信号出力部２８は、誘導制御部２６が作成した誘導指示情報と再操作指示情報に基づいて音信号及び振動信号を生成し、使用者が知覚できるように出力するブロックであり、スピーカ２８ａから音信号を出力し、振動装置２８ｂが主スマートデバイス１２の本体を振動させることによって振動信号を出力する。上記の信号出力部１８と異なるのは、離間距離Ｌに関連した誘導指示情報の種類が増えたことに対応して新しいタイプの振動信号を出力する点である。
次に、各ブロックが実行する処理内容を順番に説明する。まずは、対象物検出部２４が実行する処理内容について、図１２に基づいて説明する。
図１２に示すステップS3-1〜S3-12は、上記対象物検出部１４が実行するステップS1-1〜S1-12（図３）に各々対応しており、ステップS3-1〜S3-9，S3-11は、ステップS1-1〜S1-9，S1-11と同様である。対象物検出部２４の場合、ステップS3-10で、面積比率Ｋと位置ずれＤを算出する処理に加え、画像のピント調整が適切か否かを判定する処理も行うという特徴がある。ピント調整の適否は、例えば、画像データを高速フーリエ変換し、高周波成分の割合に基づいて判定することができる。
さらに、ステップS3-11を経てステップS3-12に進むと、ステップS3-10で行った処理結果（面積比率Ｋと位置ずれＤの算出結果、ピント調整の適否の判定結果）を誘導制御部２６に出力するとともに記憶部に格納する。以上が、対象物検出部２４が実行する処理内容であり、対象物検出部２４は、ステップS3-5〜S3-12を所定の周期で繰り返し実行する。
次に、誘導制御部２６が実行する処理内容を説明する。処理の流れは、上記の誘導制御部１６と類似しており、図４に示すフローチャートの「信号出力部１８」を「信号出力部２８」と読み替えれば、ほぼ同じである。異なるのは、ステップS2-4の動作モードの選択／変更に関する処理である。
誘導制御部２６は、ステップS2-4で、面積比率Ｋの値及びピント調整の適否に基づいて動作モードを選択／変更し、主スマートデバイス１２と検出対象物Ｗとの離間距離Ｌに関連した誘導指示情報を作成する。
誘導制御部２６には、図１３（ａ）に示すように、面積比率Ｋの値とピント調整の適否に応じて４つの動作モードが設定されている。第一の動作モードは、０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、検出対象物Ｗが過度に小さく撮像されていると判断し、使用者に対して、ズーム調節のために離間距離Ｌを短くすることを促す誘導指示情報Type11を作成する、という動作モードである。第二の動作モードは、Ｋ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、検出対象物Ｗが適切な大きさに撮像されていると判断し、使用者に対して、離間距離Ｌの修正が不要であることを知らせる誘導指示情報Type12を作成する、という動作モードである。第三の動作モードは、Ｋ２≦Ｋ≦１で且つピント調整が適切と判定された時、検出対象物Ｗが過度に大きく撮像されていると判断し、使用者に対して、ズーム調節のために離間距離Ｌを長くすることを促す誘導指示情報Type13を作成する、という動作モードである。第四の動作モードは、ピント調整が不適切と判定された時、離間距離Ｌが短すぎて撮像装置１４ａのオートフォーカス機能が十分に働いていないと判断し、面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために離間距離Ｌを長くすることを促す誘導指示情報Type14を作成する、という動作モードである。
誘導制御部２６は、面積比率Ｋの値とピント調整の適否に基づいて動作モードを選択／変更し、該当する内容の誘導指示情報を作成して信号出力部２８に向けて出力する。動作モードの選択／変更は、ステップS2-4を実行する毎に速やかに行う。
以上が、誘導制御部２６が実行する処理内容であり、誘導制御部２６は、ステップS2-1〜S2-6を上記と同様の周期で繰り返し実行する。
次に、信号出力部２８が実行する処理内容を説明する。信号出力部２８は、位置ずれＤに関連した誘導指示情報Type21，Type22を受信すると、その内容に応じた音信号をスピーカ２８ａで生成し、使用者が知覚できるように出力する。この処理内容は、上記の信号出力部１８と同様である（図７、図８）。
離間距離Ｌに関連した誘導指示情報Type11〜Type14を受信すると、図１４に示す要領で、その内容に応じた振動信号を振動装置２８ｂが生成し、使用者が知覚できるように出力する。誘導指示情報Type11〜Type13を受信したときの要領は、上記の信号出力部１８の場合（図６）と同じである。そして、新しく追加された誘導指示情報Type14を受信したときは、振動を停止することによって「振動停止」という振動信号を出力する。
次に、視覚障がい者等の使用者が、撮像支援システム２２が搭載された主スマートデバイス１２を用いて検出対象物Ｗを撮像するときの操作方法の一例と、その時の撮像支援システム２２の動作を説明する。
まず、使用者は、片方の手に書籍等の検出対象物Ｗを持ち、主スマートデバイス１２を反対側の手に持ち、検出対象物Ｗを撮像装置１４ａで接写する。接写の状態では、離間距離Ｌが小さすぎてピント調整が不適切と判定されるので、図１５に示すように振動信号が停止する（第四の動作モード）。そこで使用者は、ピント調整が適切になるように、離間距離Ｌを長くする操作を行う。
離間距離Ｌがある程度長くなると、撮像装置１４ａのオートフォーカス機能の働きによってピント調整の判定が不適切から適切に切り替わり、動作モードが、第四の動作モードからその他の動作モードに変更される。図１５では、ピント調整の判定が切り替わったタイミングの面積比率ＫがＫ２≦Ｋ≦１なので、第三の動作モードに変更され、ズーム調整が不適切であることを知らせる弱い振動信号が出力される。そこで、使用者は、振動信号が最強に保持される位置まで、さらに離間距離Ｌを長くする操作を行う。
そして、ズーム調整が適切な範囲、つまり面積比率ＫがＫ１≦Ｋ＜Ｋ２の範囲になると、動作モードが第二の動作モードに変更され、振動信号が最強に保持される。振動信号が最強なので離間距離Ｌの修正は不要であるが、使用者がさらに離間距離Ｌが長くして面積比率Ｋが０＜Ｋ＜Ｋ１になった場合、動作モードが第一の動作モードに変更され、振動が徐々に弱くなる。すると、使用者は、離間距離Ｌを長くし過ぎたことに気が付き、今度は離間距離Ｌを短くする操作を行う。
このように、使用者は、振動信号が最強になるように操作することによって、ズーム調整とピント調整の両方が適切になる離間距離Ｌを容易に把握することができ、晴眼者のサポートが無くてもズーム調整及びピント調整を行うことができる。
図１６は、検出対象物Ｗが相対的に中型の物品（例えば、書籍よりも小さい手帳等）の場合の動作を示している。最初に接写している状態では、図１５と同様に、離間距離Ｌが小さすぎてピント調整が不適切と判定され、振動信号が停止する（第四の動作モード）。そして、使用者の操作によって離間距離Ｌがある程度長くなると、ピント調整の判定が不適切から適切に切り替わる。
図１６では検出対象物Ｗが中型であり、ピント調整の判定が切り替わったタイミングの面積比率ＫがＫ１≦Ｋ＜Ｋ２なので、動作モードが第二の動作モードに変更され、振動信号が最強に保持される。振動信号が最強なので離間距離Ｌの修正は不要であるが、使用者がさらに離間距離Ｌが長くして面積比率Ｋが０＜Ｋ＜Ｋ１になった場合は、動作モードが第一の動作モードに変更され、振動が徐々に弱くなる。すると、使用者は、離間距離Ｌを長くし過ぎたことに気が付き、今度は離間距離Ｌを短くする操作を行う。
このように、検出対象物Ｗが相対的に中型の場合でも、大型の場合と同様の動作が行われる。ただし、図１６と図１５を比較して分かるように、検出対象物Ｗが中型の場合、振動信号が最強に保持される離間距離Ｌの範囲が、検出対象物Ｗが大型のときよりも狭くなる点に注意する。
以上が、撮像支援システム２２の、検出対象物Ｗと主スマートデバイス１２の遠近方向の位置関係を適切化するための動作である。上下方向及び左右方向の位置関係を適切化するための動作は、撮像支援システム１０と同様である。
以上説明したように、第二の実施形態の撮像支援システム２２、撮像支援システム２２で使用される撮像支援方法及び撮像支援プログラムによれば、第一の実施形態の撮像支援システム１０、撮像支援システム１０で使用される撮像支援方法及び撮像支援プログラムと同様の効果を得ることができ、さらに、撮像装置１４ａのピント調整の適否も考慮するので、より的確な誘導指示を行うことができる。
次に、本発明の撮像支援システムと撮像支援方法及び撮像支援プログラムの第三の実施形態について説明する。ここで、第二の実施形態と同様の構成は、同一の符号を付して説明を省略する。この実施形態の撮像支援システム３０は、第二の実施形態の撮像支援システム２２にさらに変更を加えたものであり、図１８（ａ）（ｂ）に示すように、構成が異なるのは誘導制御部２６に代えて誘導制御部３２が設けられている点である。
ここで、撮像支援システム３０を説明する前に、上記撮像支援システム２２の課題を説明する。撮像支援システム２２の、検出対象物Ｗと主スマートデバイス１２の遠近方向の位置関係を適切化するための動作は、検出対象物Ｗが大型の場合や中型の場合は良好に行なわれるが（図１５、図１６）、検出対象物Ｗが飴玉のように非常に小型の物品の場合は不都合が発生する。
図１７は、検出対象物Ｗが小型の場合の動作を示している。最初に接写している状態では、離間距離Ｌが小さすぎてピント調整が不適切と判定され振動信号が停止する（第四の動作モード）。そして、使用者の操作によって離間距離Ｌがある程度長くなると、ピント調整の判定が不適切から適切に切り替わる。ここまでは図１５、図１６と同様である。
図１７では、検出対象物Ｗが小型なので、ピント調整の判定が切り替わった時の面積比率Ｋが０＜Ｋ＜Ｋ１であり、動作モードが第一の動作モードに変更され、弱い振動信号が発生する。したがって、使用者は、離間距離Ｌを長くし過ぎたと考え、今度は離間距離Ｌを短くする操作を行う。その結果、ピント調整の判定が適切から不適切に切り替わり、動作モードが再び第四の動作モードに変更され、振動信号が停止する。
つまり、検出対象物Ｗのサイズが一定以下の場合、振動信号が最強に保持される位置が存在しないことになり、使用者が困ってしまうという問題が発生する。この問題を解決する方法として、例えば、検出対象物Ｗのサイズに合わせて基準値Ｋ１を変更するという方法が考えられるが、実際には簡単ではない。そこで、撮像支援システム３０は、上記の誘導制御部２６に代えて誘導制御部３２を設けることによってこの問題を解決している。
以下、誘導制御部３２が実行する処理内容を説明する。処理の流れは、上記の誘導制御部２６と類似しており、図４に示すフローチャートの「信号出力部１８」を「信号出力部２８」と読み替えれば、ほぼ同じである。また、ステップS2-4の動作モードの選択／変更に関し、図１９（ａ）の上段の表に示すように、上記と同様に、第一〜第四の動作モードが設定されている。異なるのは、動作モードの変更方法であり、上記の誘導制御部２６は、動作モードを変更する必要が生じた時は、常に速やかに変更していたのに対し、誘導制御部３２は、図１９（ａ）の下段の表に示すように、特定の条件を満たすとき、所定の補助動作を行った後、動作モードを変更するという特徴がある。
具体的には、ピント調整の判定が不適切から適切に切り替わった時の動作モードの変更は、判定が切り替わった直後の面積比率Ｋｘと基準値Ｋ２とを比較して、Ｋｘ＜Ｋ２の場合は、離間距離Ｌの修正が不要であることを知らせる誘導指示情報を作成する、という補助動作を速やかに行い、その後、面積比率ＫがＫ≦Ｋｘ−α（αは正の定数）になったタイミングで動作モードを変更し、Ｋｘ≧Ｋ２の場合は、補助動作を行うことなく速やかに動作モードを変更する。また、これ以外の時の動作モードの変更も、補助動作を行うことなく速やかに動作モードを変更する。
次に、撮像支援システム３０の、検出対象物Ｗと主スマートデバイス１２の遠近方向の位置関係を適切化するための動作を説明する。検出対象物Ｗが大型の場合と中型の場合は、撮像支援システム２２（図１５、図１６）と同様の動作を行う。そして、検出対象物Ｗが比較的小型の場合は、図２０に示すように、撮像支援システム２２（図１７）とは異なる動作を行う。
最初に接写している状態では、図１７と同様に、離間距離Ｌが小さすぎてピント調整が不適切と判定され振動信号が停止す（第四の動作モード）。そして、使用者の操作によって離間距離Ｌがある程度長くなると、ピント調整の判定が不適切から適切に切り替わる。
ここでは、ピント調整が適切に切り替わった直後の面積比率Ｋの値ＫｘがＫｘ＜Ｋ２なので、誘導制御部３２が補助動作を行い、振動信号が最強に保持される。振動信号が最強なので離間距離Ｌの修正は不要であるが、使用者がさらに離間距離Ｌが長くして面積比率ＫがＫ＜Ｋｘ−αになった場合は、そのタイミングで動作モードが第一の動作モードに変更され、振動が徐々に弱くなる。すると、使用者は、離間距離Ｌを長くし過ぎたことに気が付き、今度は離間距離Ｌを短くする操作を行う。その結果、振動信号が最強になった後、再びピント調整の判定が適切から不適切に切り替わり、動作モードが再び第四の動作モードに変更され、振動信号が停止する。
以上説明したように、第三の実施形態の撮像支援システム３０、撮像支援システム３０で使用される撮像支援方法及び撮像支援プログラムによれば、検出対象物Ｗが比較的小型であっても、振動信号が最強になるように操作することによって、使用者は、ピント調整が適切で且つズーム調整も比較的良好な離間距離Ｌを容易に把握することができる。
次に、本発明の撮像支援システムと撮像支援方法及び撮像支援プログラムの第四の実施形態について説明する。ここで、第三の実施形態と同様の構成は、同一の符号を付して説明を省略する。この実施形態の撮像支援システム３６は、第三の実施形態の撮像支援システム３０の、位置ずれＤを小さくするために行う音信号による誘導の方法を変更したものであり、図２１（ａ）（ｂ）に示すように、構成が異なるのは信号出力部２８に代えて信号出力部３８が設けられている点である。
信号出力部３８は、離間距離Ｌに関連した誘導指示情報Type11〜Type14及び補助動作による誘導指示情報を受信すると、信号出力部２８と同じ要領で、その内容に応じた振動信号を振動装置３８ｂが生成し、使用者が知覚できるように出力する。
位置ずれＤに関連した誘導指示情報Type21，Type22を受信すると、その内容に応じた音信号をスピーカ３８ａで生成し、使用者が知覚できるように出力する。具体的には、図２２、図２３に示すように、音の種類は「ピッ、ピッ、ピッ」とし、誘導指示情報Type22を受信した時、つまり検出対象物領域ＷＡの中央部ＰｗがＤ≦Ｄ１の範囲に位置している時は、音のテンポを最速に保持する。そして、誘導指示情報Type21を受信した時、つまり中央部ＰｗがＤ＞Ｄ１の範囲に位置している時は、位置ずれＤが大きくなるほど音のテンポを遅くする。
使用者は、音信号を知覚して、音のテンポが最速になるように、主スマートデバイス１２と検出対象物Ｗの上下方向及び左右方向の位置関係を変化させる操作を行う。つまり、この音信号を介して位置ずれＤに関連した誘導指示情報Type21，Type22の内容を使用者に知らせ、Ｄ≦Ｄ１を満たすように位置関係を変化させることを促し、検出対象物Ｗが画像エリアＧＡの適切な位置に撮像されるようにする。
ここでは、画像エリアＧＡを複数の領域AR(0)〜AR(8)に分割する必要はなく、誘導制御部３２が作成する誘導指示情報Type21の中に周辺領域AR(O)〜AR(8)に関する内容は盛り込まなくてもよい。
以上説明したように、第四の実施形態の撮像支援システム３６、撮像支援システム３６で使用される撮像支援方法及び撮像支援プログラムによれば、第三の実施形態の撮像支援システム３０、撮像支援システム３０で使用される撮像支援方法及び撮像支援プログラムと同様の効果を得ることができ、さらに、音信号を生成して出力する部分の構成をよりシンプルにすることができる。
次に、本発明の撮像支援システムの第五の実施形態について説明する。ここで、第四の実施形態と同様の構成は、同一の符号を付して説明を省略する。
この実施形態の撮像支援システム４０は、第四の実施形態の撮像支援システム３６と同様の対象物検出部２４、誘導制御部３２及び信号出力部３８を備え、図２４に示すように、対象物検出部２４が主スマートデバイス１２に搭載され、誘導制御部３２及び信号出力部３８が副スマートデバイス４２に搭載されている。副スマートデバイス４２は、本体４２ａにベルト４２ｂが取り付けられた腕時計型のデバイスであり、対象物検出部２４の処理結果は、無線通信で誘導制御部３２に送信される。
撮像支援システム４０は、２つのスマートデバイスに別々に搭載されているが、上記の撮像支援システム３６と同様の動作を行うものであり、同様の作用効果を得ることができる。
なお、本発明の撮像支援システムと撮像支援方法及び撮像支援プログラムは、上記実施形態に限定されるものではない。例えば、上記実施形態は、対象物検出結果の信頼性を向上させるため、慣性計測装置で主スマートデバイスのぶれデータを取得する構成、深度計測装置で物体の深度データを取得する構成、及び面積比率Ｋ等の算出結果を前回の算出結果と比較する構成を備えているが、これらの構成は、必要に応じて選択的に省略してもよい。
また、面積比率Ｋを適正化するための誘導指示情報と位置ずれＤを小さくするための誘導指示情報を作成した後、各誘導指示情報の内容を、振動信号と音信号のどのような要素を用いて使用者に知覚させるかについては、特に限定されない。上記の撮像支援システム１０，２２，３０の場合は、表１に示すように、遠近方向の誘導を振動信号の「強弱」によって知覚させ、左右方向の誘導を音信号の「音量」によって知覚させ、上下方向の誘導を音信号の「種類」と「高低」によって知覚させている。また、撮像支援システム３６，４０の場合は、遠近方向の誘導を振動信号の「強弱」によって知覚させ、適宜の方角への誘導を音信号の「テンポ」によって知覚させている。
Figure 2019124864
これらの方法は、例えば、変形例１〜５に示すように変更してもよい。変形例１は、撮像支援システム１０，２２，３０の方法と撮像支援システム３６，４０の方法を合成したものであり、変形例２〜４は、要素の組み合わせ方を変えたものであり、変形例５は、振動信号を使用せずに音信号だけで知覚させるようにしたものである。その他、表１には記載していないが、振動信号の「強弱」だけではなく、「振動パターン」で知覚させるようにしてもよい。
その他、主スマートデバイス及び副スマートデバイスの形態は、上述した動作が可能であれば特に限定されない。例えば、上記のように手で把持する形態や手首に装着する形態の他、腕や足に装着する形態にしてもよい。
また、使用者が行う操作の手順は特に限定されない。上記実施形態を説明する中では、「まず、使用者が片方の手に検出対象物Ｗを持ち、主スマートデバイス１２を反対側の手に持ち、検出対象物Ｗを撮像装置１４ａで接写し、接写の状態から検出対象物Ｗと主スマートデバイス１２の位置関係を変化させる」という手順を示したが、接写の状態から操作を開始するのではなく、離間距離Ｌが長い状態から操作を開始してもよい。また、検出対象物Ｗをテーブル上に置き、主スマートデバイス１２だけを移動させるようにしてもよい。
１０，２２，３０，３６，４０ 撮像支援システム
１２ 主スマートデバイス
１４，２４ 対象物検出部
１４ａ 撮像装置
１４ｂ 慣性計測装置
１４ｃ 深度計測装置
１６，２６，３２ 誘導制御部
１８，２０，２８，３８ 信号出力部
４２ 副スマートデバイス
Ｄ 位置ずれ
Ｄ１ 位置ずれＤに関する基準値
ＧＡ 画像エリア
Ｋ 面積比率
Ｋ１，Ｋ２ 面積比率Ｋに関する基準値
Ｋｘ ピント調整の判定が切り替わった直後の面積比率の値
Ｌ 離間距離
Ｐｇ 画像エリアの中央部
Ｐｗ 検出対象物エリアの中央部
Ｗ 検出対象物
ＷＡ 検出対象物エリア
AR(0) 中央領域
AR(1)〜AR(8) 周辺領域
α 正の定数

Claims (31)

  1. 検出対象物を所定の画像エリアに撮像するための撮像装置を有し、前記撮像装置が取得した画像データに基づいて前記検出対象物の状態を検出する対象物検出部と、内部に前記対象物検出部が搭載された主スマートデバイスと、前記対象物検出部の検出結果に基づいて使用者に知らせるべき誘導指示情報を作成する誘導制御部と、前記誘導指示情報に基づいて音信号又は振動信号又はその両方を生成し、使用者が知覚できるように出力する信号出力部とを備え、
    前記対象物検出部は、前記画像データを分析して、前記画像エリアの中の、前記検出対象物が撮像されている検出対象物領域を特定し、前記画像エリアに対する前記検出対象物領域の面積比率Ｋ（０≦Ｋ≦１）を算出し、
    前記誘導制御部には、基準値Ｋ１及びＫ２（０＜Ｋ１＜Ｋ２≦１）が設定され、前記誘導制御部は、前記面積比率ＫがＫ１≦Ｋ＜Ｋ２の関係を満たさない時、使用者に対して、Ｋ１≦Ｋ＜Ｋ２になるように前記主スマートデバイスと前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成することを特徴とする撮像支援システム。
  2. 前記対象物検出部は、前記面積比率Ｋを算出する処理を所定の周期で実行し、前回の算出結果と今回の算出結果との差が規定値を超えた時、今回の算出結果を破棄する請求項１記載の撮像支援システム。
  3. 前記誘導制御部は、前記対象物検出部から前記面積比率Ｋの情報が出力されない時、及び前記面積比率Ｋ＝０の時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、
    前記信号出力部は、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力する請求項１又は２記載の撮像支援システム。
  4. 前記誘導制御部には、あらかじめ少なくとも以下の３つの動作モードが設定され、
    第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１の時、使用者に対して、前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２の時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、
    第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１の時、使用者に対して、前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    前記誘導制御部は、前記面積比率Ｋに基づいて動作モードを速やかに変更する請求項１記載の撮像支援システム。
  5. 前記対象物検出部には、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定する機能が設けられ、
    前記誘導制御部には、あらかじめ少なくとも以下の４つの動作モードが設定され、
    第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、
    第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    前記誘導制御部は、前記面積比率Ｋ及び前記ピント調節の判定に基づいて動作モードを速やかに変更する請求項１記載の撮像支援システム。
  6. 前記対象物検出部には、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定する機能が設けられ、
    前記誘導制御部には、あらかじめ少なくとも以下の４つの動作モードが設定され、
    第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、
    第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    前記誘導制御部は、
    ピント調整の判定が不適切から適切に切り替わったときの動作モードの変更は、ピント調整の判定が切り替わった直後の前記面積比率Ｋの値Ｋｘと前記基準値Ｋ２とを比較して、Ｋｘ＜Ｋ２の場合は、動作モードを変更する前に、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という補助動作を速やかに行い、その後、前記面積比率Ｋが低下してＫｘ-α（αは正の定数）以下になったタイミングで動作モードを変更し、Ｋｘ≧Ｋ２の場合は、前記補助動作を行うことなく速やかに動作モードを変更し、
    ピント調整の判定が不適切から適切に切り替わったとき以外の動作モードの変更は、前記面積比率Ｋ及び前記ピント調節の判定に基づいて速やかに行う請求項１記載の撮像支援システム。
  7. 前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御部には、基準値Ｄ１（Ｄ１＞０）が設定され、前記誘導制御部は、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が、０＜Ｋ＜Ｋ１で且つＤ≦Ｄ１の時、使用者に対して、前記位置ずれＤの修正が不要であることを知らせる前記誘導指示情報を作成し、０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、使用者に対して、Ｄ≦Ｄ１になるように前記主スマートデバイス及び前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成する請求項１記載の撮像支援システム。
  8. 前記誘導制御部は、前記対象物検出部から前記位置ずれＤの情報が出力されない時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、
    前記信号出力部は、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力する請求項７記載の撮像支援システム。
  9. 前記誘導制御部には、前記画像エリア内を仮想的に区分した複数の領域が定義され、前記複数の領域は、前記画像エリアの中心部からの距離が前記基準値Ｄ１以下の領域である中央領域と、前記中央領域の周りを放射状に分割した複数の周辺領域であり、
    前記誘導制御部は、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、前記検出対象物領域の中心部が前記複数の周辺領域の中のどの周辺領域に位置しているかという内容を前記誘導指示情報に盛り込む請求項７又は８記載の撮像支援システム。
  10. 前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御部は、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、
    前記信号出力部は、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させる請求項１記載の撮像支援システム。
  11. 前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御部は、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、
    前記信号出力部は、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な適宜の方角に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる請求項１記載の撮像支援システム。
  12. 前記対象物検出部は、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御部は、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、
    前記信号出力部は、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる請求項１記載の撮像支援システム。
  13. 前記対象物検出部には、前記主スマートデバイスのぶれを検出するための慣性計測装置が設けられ、前記対象物検出部は、前記主スマートデバイスのぶれが規定値を超えると、取得した画像データを破棄する請求項１乃至１２のいずれか記載の撮像支援システム。
  14. 前記対象物検出部には、前記画像エリアに撮像された複数の物体の、前記主スマートデバイスとの間の距離の違いを検出する深度計測装置が設けられ、
    前記対象物検出部は、前記深度計測装置の検出結果に基づいて、前記画像エリアに撮像された物体の中の、前記検出対象物に関係のないノイズ情報をマスクして、前記検出対象物領域を特定する請求項１乃至１３のいずれか記載の撮像支援システム。
  15. 前記誘導制御部及び前記信号出力部は、前記主スマートデバイスの内部に搭載されている請求項１乃至１４のいずれか記載の撮像支援システム。
  16. 前記誘導制御部及び前記信号出力部は、前記主スマートデバイスと通信が可能な副スマートデバイスの内部に搭載されている請求項１乃至１４のいずれか記載の撮像支援システム。
  17. 主スマートデバイスに搭載された撮像装置を使用して検出対象物を所定の画像エリアに撮像する操作を補助する撮像支援方法において、
    前記撮像装置が取得した画像データに基づいて前記検出対象物の状態を検出する対象物検出ステップと、前記対象物検出ステップの検出結果に基づいて使用者に知らせるべき誘導指示情報を作成する誘導制御ステップと、前記誘導指示情報に基づいて音信号又は振動信号又はその両方を生成し、使用者が知覚できるように出力する信号出力ステップとを備え、
    前記対象物検出ステップにおいて、前記画像データを分析して、前記画像エリアの中の、前記検出対象物が撮像されている検出対象物領域を特定し、前記画像エリアに対する前記検出対象物領域の面積比率Ｋ（０≦Ｋ≦１）を算出し、
    前記誘導制御ステップにおいて、あらかじめ基準値Ｋ１及びＫ２（０＜Ｋ１＜Ｋ２≦１）を設定し、前記面積比率ＫがＫ１≦Ｋ＜Ｋ２の関係を満たさない時、使用者に対して、Ｋ１≦Ｋ＜Ｋ２になるように前記主スマートデバイス及び前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成することを特徴とする撮像支援方法。
  18. 前記対象物検出ステップにおいて、前記面積比率Ｋを算出する処理を所定の周期で実行し、前回の算出結果と今回の算出結果との差が規定値を超えた時、今回の算出結果を破棄する請求項１７記載の撮像支援方法。
  19. 前記誘導制御ステップにおいて、前記対象物検出部から前記面積比率Ｋの情報が出力されない時、及び前記面積比率Ｋ＝０の時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、
    前記信号出力ステップにおいて、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力する請求項１７又は１８記載の撮像支援方法。
  20. 前記誘導制御ステップにおいて、あらかじめ少なくとも以下の３つの動作モードを設定し、
    第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１の時、使用者に対して、前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２の時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、
    第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１の時、使用者に対して、前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    前記面積比率Ｋに基づいて動作モードを速やかに変更する請求項１７記載の撮像支援方法。
  21. 前記対象物検出ステップにおいて、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定し、
    前記誘導制御ステップにおいて、あらかじめ少なくとも以下の４つの動作モードを設定し、
    第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、
    第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    前記面積比率Ｋ及び前記ピント調節の判定に基づいて動作モードを速やかに変更する請求項１７記載の撮像支援システム。
  22. 前記対象物検出ステップにおいて、前記撮像装置が取得した画像データを分析してピント調整が適切か不適切かを判定し、
    前記誘導制御ステップにおいて、あらかじめ少なくとも以下の４つの動作モードを設定し、
    第一の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係が０＜Ｋ＜Ｋ１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記主スマートデバイスと前記検出対象物との離間距離Ｌを短くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第二の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ１≦Ｋ＜Ｋ２で且つピント調整が適切と判定された時、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という動作モードであり、
    第三の動作モードは、前記面積比率Ｋと前記基準値Ｋ１及びＫ２との関係がＫ２≦Ｋ≦１で且つピント調整が適切と判定された時、使用者に対して、ズーム調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    第四の動作モードは、ピント調整が不適切と判定された時、前記面積比率Ｋの大小に関係なく、使用者に対して、ピント調節のために前記離間距離Ｌを長くすることを促す前記誘導指示情報を作成する、という動作モードであり、
    ピント調整の判定が不適切から適切に切り替わったときの動作モードの変更は、ピント調整の判定が切り替わった直後の前記面積比率Ｋの値Ｋｘと前記基準値Ｋ２とを比較して、Ｋｘ＜Ｋ２の場合は、動作モードを変更する前に、使用者に対して、前記離間距離Ｌの修正が不要であることを知らせる前記誘導指示情報を作成する、という補助動作を速やかに行い、その後、前記面積比率Ｋが低下してＫｘ-α（αは正の定数）以下になったタイミングで動作モードを変更し、Ｋｘ≧Ｋ２の場合は、前記補助動作を行うことなく速やかに動作モードを変更し、
    ピント調整の判定が不適切から適切に切り替わったとき以外の動作モードの変更は、前記面積比率Ｋ及び前記ピント調節の判定に基づいて速やかに行う請求項１７記載の撮像支援方法。
  23. 前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御ステップにおいて、あらかじめ基準値Ｄ１（Ｄ１＞０）を設定し、前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が、０＜Ｋ＜Ｋ１で且つＤ≦Ｄ１の時、使用者に対して、前記位置ずれＤの修正が不要であることを知らせる前記誘導指示情報を作成し、０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、使用者に対して、Ｄ≦Ｄ１になるように前記主スマートデバイス及び前記検出対象物の位置関係を変化させることを促す前記誘導指示情報を作成する請求項１７記載の撮像支援方法。
  24. 前記誘導制御ステップにおいて、前記対象物検出ステップで前記位置ずれＤの情報が出力されない時、使用者に対して、前記撮像装置で前記検出対象物を撮像する操作をやり直すことを促す再操作指示情報を作成し、
    前記信号出力ステップにおいて、前記再操作指示情報に基づいて音信号、振動信号又はその両方を生成し、使用者が知覚可能に出力する請求項２３記載の撮像支援方法。
  25. 前記誘導制御ステップにおいて、あらかじめ前記画像エリア内を仮想的に区分した複数の領域を定義し、前記複数の領域は、前記画像エリアの中心部からの距離が前記基準値Ｄ１以下の領域である中央領域と、前記中央領域の周りを放射状に分割した複数の周辺領域であり、
    前記面積比率Ｋ及び前記位置ずれＤと前記基準値Ｋ１及びＤ１との関係が０＜Ｋ＜Ｋ１で且つＤ＞Ｄ１の時、前記検出対象物領域の中心部が前記複数の周辺領域の中のどの周辺領域に位置しているかという内容を前記誘導指示情報に盛り込む請求項２３又は２４記載の撮像支援方法。
  26. 前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御ステップにおいて、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、
    前記信号出力ステップにおいて、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させる請求項１７記載の撮像支援方法。
  27. 前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御ステップにおいて、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、
    前記信号出力ステップにおいて、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の音量によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な適宜の方角に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる請求項１７記載の撮像支援方法。
  28. 前記対象物検出ステップにおいて、前記検出対象物領域の中心部と前記画像エリアの中心部との位置ずれＤを算出し、
    前記誘導制御ステップにおいて、使用者に知らせるべき前記誘導指示情報を、前記面積比率Ｋ及び前記位置ずれＤの大小に基づいて作成し、
    前記信号出力ステップにおいて、前記主スマートデバイスと前記検出対象物の位置関係を遠近方向に誘導する内容の前記誘導指示情報が作成されると、その内容を振動信号の強弱によって使用者に知覚させ、遠近方向と直角な左右方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号の種類又は高低又はその両方によって使用者に知覚させ、遠近方向と直角な上下方向に誘導する内容の前記誘導指示情報が作成されると、その内容を、非言語音で成る音信号のテンポによって使用者に知覚させる請求項１７記載の撮像支援方法。
  29. 前記対象物検出ステップにおいて、慣性計測装置を使用して前記主スマートデバイスのぶれを検出し、前記対象物検出ステップにおいて、前記主スマートデバイスのぶれが規定値を超えると、取得した画像データを破棄する請求項１７乃至２８のいずれか記載の撮像支援方法。
  30. 前記対象物検出ステップにおいて、深度計測装置を使用して、前記画像エリアに撮像された複数の物体の、前記主スマートデバイスとの間の距離の違いを検出し、その検出結果に基づいて、前記画像エリアに撮像された物体の中の、前記検出対象物に関係のないノイズ情報をマスクして、前記検出対象物領域を特定する請求項１７乃至２９のいずれか記載の撮像支援方法。
  31. 請求項１７乃至３０のいずれか記載の撮像支援方法を実行させるための各ステップ実行用プログラムにより構成された撮像支援プログラム。
JP2018006446A 2018-01-18 2018-01-18 撮像支援システムと撮像支援方法及び撮像支援プログラム Active JP6898872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018006446A JP6898872B2 (ja) 2018-01-18 2018-01-18 撮像支援システムと撮像支援方法及び撮像支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018006446A JP6898872B2 (ja) 2018-01-18 2018-01-18 撮像支援システムと撮像支援方法及び撮像支援プログラム

Publications (2)

Publication Number Publication Date
JP2019124864A true JP2019124864A (ja) 2019-07-25
JP6898872B2 JP6898872B2 (ja) 2021-07-07

Family

ID=67398819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018006446A Active JP6898872B2 (ja) 2018-01-18 2018-01-18 撮像支援システムと撮像支援方法及び撮像支援プログラム

Country Status (1)

Country Link
JP (1) JP6898872B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838056B1 (en) 2019-12-25 2020-11-17 NextVPU (Shanghai) Co., Ltd. Detection of target

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184452A (ja) * 1999-12-27 2001-07-06 Olympus Optical Co Ltd バーコード読取装置
JP2007148663A (ja) * 2005-11-25 2007-06-14 Sony Corp オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2007278845A (ja) * 2006-04-06 2007-10-25 Topcon Corp 画像処理装置及びその処理方法
JP2008011174A (ja) * 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
JP2011234314A (ja) * 2010-04-30 2011-11-17 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2012078982A (ja) * 2010-09-30 2012-04-19 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
JP2014032355A (ja) * 2012-08-06 2014-02-20 Olympus Imaging Corp 撮像装置
US20140192217A1 (en) * 2013-01-04 2014-07-10 Samsung Electronics Co., Ltd. Apparatus and method for photographing portrait in portable terminal having camera
JP2016212811A (ja) * 2015-05-13 2016-12-15 国立大学法人金沢大学 実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法
JP2017059870A (ja) * 2015-09-14 2017-03-23 オリンパス株式会社 撮像操作ガイド装置および撮像装置の操作ガイド方法
JP2017069776A (ja) * 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム
JP2017169215A (ja) * 2017-04-28 2017-09-21 オリンパス株式会社 撮像装置及び対象物確認方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184452A (ja) * 1999-12-27 2001-07-06 Olympus Optical Co Ltd バーコード読取装置
JP2007148663A (ja) * 2005-11-25 2007-06-14 Sony Corp オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2007278845A (ja) * 2006-04-06 2007-10-25 Topcon Corp 画像処理装置及びその処理方法
JP2008011174A (ja) * 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
JP2011234314A (ja) * 2010-04-30 2011-11-17 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2012078982A (ja) * 2010-09-30 2012-04-19 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
JP2014032355A (ja) * 2012-08-06 2014-02-20 Olympus Imaging Corp 撮像装置
US20140192217A1 (en) * 2013-01-04 2014-07-10 Samsung Electronics Co., Ltd. Apparatus and method for photographing portrait in portable terminal having camera
JP2016212811A (ja) * 2015-05-13 2016-12-15 国立大学法人金沢大学 実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法
JP2017059870A (ja) * 2015-09-14 2017-03-23 オリンパス株式会社 撮像操作ガイド装置および撮像装置の操作ガイド方法
JP2017069776A (ja) * 2015-09-30 2017-04-06 カシオ計算機株式会社 撮像装置、判定方法及びプログラム
JP2017169215A (ja) * 2017-04-28 2017-09-21 オリンパス株式会社 撮像装置及び対象物確認方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838056B1 (en) 2019-12-25 2020-11-17 NextVPU (Shanghai) Co., Ltd. Detection of target

Also Published As

Publication number Publication date
JP6898872B2 (ja) 2021-07-07

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
EP3080550B1 (en) Laser receiver using a smart device
EP2745504B1 (en) Image projector, image processing method, computer program and recording medium
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
JP4537901B2 (ja) 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
KR20170066258A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN108965702B (zh) 一种拍摄引导方法及可穿戴设备
KR20100075167A (ko) 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법
EP2693405A1 (en) Stereoscopic display device, method for accepting instruction, program, and medium for recording same
US20140086551A1 (en) Information processing apparatus and information processing method
JP2014071519A (ja) 状態判定装置、運転支援システム、状態判定方法及びプログラム
JP2018000953A (ja) 視覚補助装置及び視覚補助装置を較正する方法
JP2009110275A (ja) 表示入力装置及びその視差補正方法
JP2019124864A (ja) 撮像支援システムと撮像支援方法及び撮像支援プログラム
US20180052564A1 (en) Input control apparatus, input control method, and input control system
JP6062599B1 (ja) 携帯情報装置、寸法測定方法、および寸法測定プログラム
JP2016076850A (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
JP2009259117A (ja) ミラーシステム
US9282317B2 (en) Method and apparatus for processing an image and generating information representing the degree of stereoscopic effects
JP2011227692A (ja) サイズ測定装置
JP5233768B2 (ja) コミュニケーション支援システム、表示制御装置および表示制御方法
CN110008671B (zh) 数据校验方法及装置
JP5156042B2 (ja) 電話機及び電話機の位置補正方法
US11770604B2 (en) Information processing device, information processing method, and information processing program for head-related transfer functions in photography
JP2018151685A (ja) 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210611

R150 Certificate of patent or registration of utility model

Ref document number: 6898872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250