JP2015162822A - 電子機器、撮像装置及び通信装置 - Google Patents

電子機器、撮像装置及び通信装置 Download PDF

Info

Publication number
JP2015162822A
JP2015162822A JP2014037377A JP2014037377A JP2015162822A JP 2015162822 A JP2015162822 A JP 2015162822A JP 2014037377 A JP2014037377 A JP 2014037377A JP 2014037377 A JP2014037377 A JP 2014037377A JP 2015162822 A JP2015162822 A JP 2015162822A
Authority
JP
Japan
Prior art keywords
user
unit
imaging
information
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014037377A
Other languages
English (en)
Inventor
宏美 冨井
Hiromi Tomii
宏美 冨井
学 小野里
Manabu Onozato
学 小野里
寿 田井
Hisashi Tai
寿 田井
亮 羽曾部
Ryo Hasobe
亮 羽曾部
政一 関口
Masaichi Sekiguchi
政一 関口
誠 今水
Makoto Imamizu
誠 今水
隆之 大江
Takayuki Oe
隆之 大江
博 亀原
Hiroshi Kamehara
博 亀原
大作 小宮
Daisaku Komiya
大作 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014037377A priority Critical patent/JP2015162822A/ja
Priority to PCT/JP2015/051133 priority patent/WO2015108161A1/ja
Publication of JP2015162822A publication Critical patent/JP2015162822A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】使い勝手の向上に寄与することが可能な電子機器を提供する。【解決手段】電子機器は、外部機器(20)が撮像した画像をユーザの目の近傍に表示可能な表示部(102)と、前記ユーザの視線を検出する視線検出部(108)と、前記視線検出部の検出結果に応じた情報を前記外部機器に送信する送信部(111,110)と、を備えている。【選択図】図1

Description

本発明は、電子機器、撮像装置及び通信装置に関する。
従来より、各種の携帯端末が提案されており、最近では顔の近傍に装着する携帯端末も提案されている(例えば、特許文献1参照)。
米国特許出願公開第2013/0044042号明細書
しかしながら、従来においては、顔の近傍に装着する端末とその他の機器との連携についてはほとんど考慮されていなかった。
本発明は上記の課題に鑑みてなされたものであり、ユーザの使い勝手の向上に寄与することが可能な電子機器、撮像装置及び通信装置を提供することを目的とする。
本発明の電子機器(10)は、外部機器(20)が撮像した画像をユーザの目の近傍に表示可能な表示部(102)と、前記ユーザの視線を検出する視線検出部(108)と、前記視線検出部の検出結果に応じた情報を前記外部機器に送信する送信部(111,110)と、を備えている。
この場合において、前記送信部は、前記外部機器の焦点検出に関する情報を送信することとしてもよい。
本発明の電子機器は、外部機器(20)が撮像した画像をユーザの目の近傍に表示可能な表示部(102)と、前記ユーザの特定の動作を検出する検出部(111,107)と、前記検出部が前記ユーザの特定の動作を検出したタイミングに応じた情報を前記外部機器に送信する送信部(111,110)と、を備えている。
この場合において、前記送信部は、前記外部機器が画像を撮像する姿勢を特定するための情報を送信することとしてもよい。また、前記検出部は、前記ユーザの目の特定の動作を検出することとしてもよい。
本発明の電子機器は、外部機器(20)の撮像領域の情報を入力する第1入力部(111)と、ユーザの視線に関する情報を入力する第2入力部(111)と、前記外部機器の撮像領域の情報と、前記ユーザの視線に関する情報とを前記ユーザの目の近傍に表示する表示部(102)と、を備えている。
この場合において、前記外部機器の撮像領域の情報と、前記ユーザの視線に関する情報とに基づいて、前記外部機器を制御する情報を前記外部機器に送信する送信部(111,110)を備えていてもよい。また、前記表示部は、前記外部機器が撮像した画像に前記外部機器の撮像領域の情報と、前記ユーザの視線に関する情報とを合成した画像を表示することとしてもよい。
また、電子機器は、前記ユーザを認証する認証部(109)を備えていてもよい。この場合、前記外部機器の認証結果と、前記認証部の認証結果とが一致した場合に、前記外部機器との通信を許可する制御部(111)を備えていてもよい。また、前記表示部は、前記外部機器の認証結果に関する表示を行うこととしてもよい。
本発明の撮像装置(20)は、本発明の電子機器と通信する通信部(207)と、ユーザを認証する認証部(210)と、画像を撮像する撮像部(201)と、を備えている。
この場合において、前記認証部の認証結果と、前記電子機器の認証部の認証結果とが一致した場合に、前記通信部による通信を許可する制御部(211)を備えていてもよい。
本発明の撮像装置は、本発明の電子機器と通信する通信部(207)と、画像を撮像する撮像部(201)と、を備え、前記撮像部は、前記電子機器の前記送信部から送信された情報に基づいた処理を実行する。
本発明の通信装置(30)は、本発明の電子機器のユーザの認証結果を入力する第1認証結果入力部(32、34)と、撮像装置(20)のユーザの認証結果を入力する第2認証結果入力部(32、34)と、前記第1認証結果入力部が入力した認証結果と、前記第2認証結果入力部が入力した認証結果とが一致した場合に、前記電子機器と前記撮像装置との間の通信を許可する制御部(34)と、を備えている。
本発明の通信装置(30)は、電子機器から前記ユーザの視線に関する情報を入力する第1情報入力部(32、34)と、撮像装置の撮像領域の情報を入力する第2情報入力部(32、34)と、前記撮像装置の撮像領域の情報と、前記ユーザの視線に関する情報とを比較する比較部(34)と、を備えている。
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
本発明の電子機器、撮像装置及び通信装置は、ユーザの使い勝手の向上に寄与することができるという効果を奏する。
第1の実施形態に係る撮像システムの構成を示す図である。 装着装置の斜視図である。 図3(a)は、撮像装置の正面図であり、図3(b)は、撮像装置の背面図である。 装着装置において実行される準備処理を示すフローチャートである。 撮像装置において実行される準備処理を示すフローチャートである。 第1の実施形態の連携撮影処理を示すフローチャートである。 第1の実施形態におけるユーザの状態を示す図である。 ユーザの実視界と、表示部の表示可能範囲内に表示されているライブビュー画像の、ユーザによる見え方を示す図である。 ユーザの注視箇所の検出について示す図である。 撮像素子において設定されている焦点検出を行う矩形エリアを示す図である。 矩形エリアの情報(合焦箇所)をライブビュー画像に重ねて表示した状態を示す図である。 変形例(その1)において、ユーザの実視界に犬が存在しており、装着装置の表示部の表示可能範囲にライブビュー画像として犬の画像が表示された状態を示す図である。 図13(a)は、ユーザの注視している箇所が犬の顔の範囲外にある場合を示す図であり、図13(b)は、ユーザの注視している箇所が犬の顔の範囲内にある場合を示す図である。 図14(a)は、犬の顔の拡大画像を表示した状態を示す図であり、図14(b)は、視線検出後、ライブビュー画像を表示した状態を示す図である。 図15(a)は、変形例(その2)において、ユーザの実視界に複数の主要被写体が存在しており、装着装置の表示部の表示可能範囲にライブビュー画像が表示された状態を示す図であり、図15(b)は、装着装置の表示部の表示可能範囲に猫及び犬の顔部分が表示された状態を示す図である。 第1の実施形態において、サーバを利用する例を示す図である。 第2の実施形態に係る装着装置を示す斜視図である。 図17の装着装置を装着したユーザによる見え方を示す図である。 第2の実施形態の連携撮影処理を示すフローチャートである。 表示可能範囲内に撮像装置の撮影範囲が含まれる場合を示す図である。 図21(a)は、表示可能範囲内に撮像装置の撮影範囲が含まれない場合を示す図であり、図21(b)は、図21(a)の場合のライブビュー画像の表示例を示す図である。 図22(a)は、ライブビュー画像が所定大きさ以下である場合を示す図であり、図22(b)は、図22(a)の場合のライブビュー画像の表示例を示す図である。 コンタクトレンズ型の表示装置をユーザが装着した場合の、表示例を示す図である。 第3の実施形態の連携撮影処理を示すフローチャートである。 図25(a)は、第3の実施形態におけるユーザの状態を示す図であり、図25(b)は、第3の実施形態における撮像装置の動きを示す図である。 図26(a)、図26(b)は、図24の処理を説明するための図である。 第3の実施形態の変形例を示す図である。 第4の実施形態の連携撮影処理を示すフローチャートである。 図29(a)、図29(b)は、図28の処理を説明するための図(その1)である。 図30(a)、図30(b)は、図28の処理を説明するための図(その2)である。
《第1の実施形態》
以下、第1の実施形態について、図1〜図11に基づいて、詳細に説明する。図1には、第1の実施形態に係る撮像システム100の構成がブロック図にて示されている。
図1に示すように、撮像システム100は、装着装置10と、撮像装置20と、を備える(利用する)。
(装着装置10)
装着装置10は、ユーザが身体(顔)に装着する端末であり、一例として、眼鏡型の形状を有する。装着装置10は、図1に示すように、撮像部101と、表示部102と、操作部103と、マイク104と、スピーカ105と、方位センサ106と、瞳撮像部107と、視線検出部108と、人物認証部109と、通信部110と、制御部111と、記憶部112と、を備える。なお、図2には、装着装置10が斜視図にて示されている。図2に示すように、装着装置10は、眼鏡型のフレーム120を備えている。なお、図1において図示され、図2において図示されていない装着装置10の構成は、フレーム120の内部や、フレーム120の一部に設けられているものとする。
撮像部101は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部101は、図2に示すようにフレーム120の端部近傍(ユーザの右目近傍)に設けられている。このため、ユーザが装着装置10を装着した状態では、ユーザが向いている(見ている)方向の画像を撮像することができる。
表示部102は、フレーム120内部又はフレーム120近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有する。表示部102は、制御部111の制御の下、各種情報を表示する。なお、表示部102の表示可能範囲は、一例として、図8に示すような範囲(ユーザの実視界の右上の範囲)であるものとする。
操作部103は、フレーム120に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部111に送信する。なお、撮像部101、表示部102、操作部103などについては、例えば米国公開特許2013/0044042号にもその詳細が開示されている。
マイク104は、フレーム120に設けられ、ユーザが発した音声を収集する。マイク104が収集した音声は、不図示の音声認識部により音声認識され、音声認識結果は、制御部111に送信される。制御部111は、音声認識結果に基づく処理(例えば、コマンドの実行処理など)を実行する。なお、制御部111が音声認識を実行してもよい。
スピーカ105は、例えば、フレーム120に設けられ、制御部111の制御の下、音声を出力する音声出力装置である。なお、スピーカ105としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置10を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
方位センサ106は、たとえば地磁気に基づいて、装着装置10が向いている方向を検出する。本実施形態では、方位センサ106は、装着装置10の撮像部101が向いている方向(撮像方向)、すなわち、装着装置10を装着したユーザが向いている(見ている)方向を検出し、制御部111に出力する。
瞳撮像部107は、図2に示すように、装着装置10を装着するユーザの右目近傍の位置に設けられ、制御部111の制御の下、ユーザの右目の瞳を撮像する。瞳撮像部107で撮像された画像は、制御部111に送信され、後述する虹彩認証や視線検出に用いられる。なお、瞳撮像部107は、ユーザの左目の瞳を撮像してもよい。
視線検出部108は、瞳撮像部107で撮像された画像に基づいて、装着装置10を装着したユーザの視線方向を検出する。なお、視線検出は、例えば、赤外線照射部と、赤外線受光部と、を有する装置を用いて行うこととしてもよい。この場合、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光した受光結果に基づいて、ユーザの視線方向を検出する。
人物認証部109は、瞳撮像部107で撮像された画像に基づいて、虹彩認証を行う。具体的には、人物認証部109は、ユーザの虹彩の画像とユーザの情報(ユーザID)とを関連付けて保持する虹彩認証DB(記憶部112に格納されている)と、撮像された虹彩の画像とを用いて認証を行う。なお、虹彩認証は、例えば特許第5360931号に開示されている。
通信部110は、他の機器と無線通信(携帯電話回線や無線LAN(Local Area Network)等を用いた通信)や近接通信(例えば、例えばBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標))などを行う。本第1の実施形態では、通信部110は、撮像装置20との間で近接通信を行うものとする。なお、通信部110は、ユーザ(人体)を介して通信する人体通信を行ってもよい。この場合、フレーム120のユーザと接触する部分に人体通信用の電極を配置すればよい。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがあり、いずれの方式を用いることも可能である。
制御部111は、装着装置10全体を統括的に制御する。制御部111は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。制御部111が実行する処理の詳細については後述する。
記憶部112は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部101が撮像した画像データや、表示部102に表示する表示データ、人物認証部109が利用する虹彩認証DBなどを記憶する。
(撮像装置20)
撮像装置20は、例えば、カメラや、撮像機能を有する携帯電話、スマートフォン、タブレット型端末などである。本実施形態では、撮像装置20は、カメラであるものとして説明を行う。なお、図3(a)には、撮像装置20の正面図が、図3(b)には、撮像装置20の背面図が示されている。撮像装置20は、一眼レフカメラ、ミラーレスカメラ、およびコンパクトカメラのいずれであってもよいが、本実施形態では、図3(a)及び図3(b)に示すように、コンパクトカメラであるものとする。
撮像装置20は、図1及び図3(a)、図3(b)に示すように、撮像部201、表示部202、操作部203、マイク204、スピーカ205、記憶部206、通信部207、方位センサ208、指紋センサ209、人物認証部210、レンズ駆動部212、焦点検出部213、及び制御部211を備える。
撮像部201は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。
表示部202は、例えば、LCD(Liquid Crystal Display)であり、撮像部201のレンズと反対側の面に設けられる。表示部202は、撮像装置20に対する各種の設定情報や、撮像装置20を操作するための操作メニュー、アイコンなどを表示する。また、表示部202は、撮像部201が撮像するライブビュー画像(スルー画像)や、後述する記憶部206に記録されている静止画像や動画像を表示する。
操作部203は、ユーザから撮像装置20に対する操作を受け付ける操作部材であって、図3(a)、図3(b)に示す、レリーズスイッチ203A、動画撮像スイッチ203B、メニュースイッチ203C、十字スイッチ(マルチセレクター)203D、削除スイッチ203E、及びズームレバー203F等を含む(図3(a),図3(b)参照)。レリーズスイッチ203Aは、上面に設けられており、例えば、静止画像の撮像を指示する場合にユーザによって操作される(押される)。動画撮像スイッチ203Bは、動画の撮像を指示する場合にユーザによって操作される(押される)。メニュースイッチ203Cは、表示部202に、撮像条件を設定するための操作メニュー等を表示させる場合にユーザによって操作される。十字スイッチ203Dは、中央部のOKスイッチと、周辺部の上下左右のスイッチとを有し、ユーザは、表示部202に表示された操作メニューから、十字スイッチ203Dを操作することによってあるメニューを選択し、撮像条件の設定を行う。削除スイッチ203Eは、撮像装置20が撮像した画像を再生する再生モードにある場合に、十字スイッチ203Dの操作により選択された画像を削除するためのスイッチである。ズームレバー203Fは、ズーム位置を変更するためのレバーであり、ユーザが、ズームレバー203Fを動かすと撮像部201内のレンズを駆動して、ズーム位置を変更する。
なお、操作部203は、表示部202上に設けられ、又は表示部202内に組み込まれたタッチパネルを備えていてもよい。この場合、タッチパネルは、表示部202の表面に対するユーザの接触操作を検出し、種々の情報入力を受け付ける。すなわち、ユーザは、表示部202に表示された操作メニューやアイコンに触れる動作を行うことで、撮像装置20を操作することができる。
マイク204は、表示部202の反対側の面に設けられ、静止画や動画を撮影したときの音声を入力する音声入力装置である。スピーカ205は、静止画のデータや動画のデータに関連付けられている音声データに基づいて音声を出力する音声出力装置である。スピーカ205は、例えば、表示部202と同一の面に設けられる。
記憶部206は、例えば、撮像装置20に着脱可能な記憶媒体であるSDカードに接続するコネクタを有し、SDカードに静止画のデータや動画のデータを記憶させる。また、記憶部206は、内部メモリを有し、該内部メモリに後述する指紋認証DBを格納する。
通信部207は、他の機器と無線通信(携帯電話回線や無線LAN(Local Area Network)等を用いた通信)や近接通信を行う。本実施形態では、通信部207は、装着装置10との間で近接通信を行うものとする。なお、通信部207は、他の機器との間で人体通信を行うこととしてもよい。
方位センサ208は、たとえば地磁気に基づいて、撮像部201が向いている方向を検出し、検出結果を制御部211に出力する。
指紋センサ209は、図3(a)、図3(b)に示すように、ユーザが撮像を行う際に指が触れるレリーズスイッチ203Aや動画撮像スイッチ203Bの表面に設けられる。指紋センサ209は、ユーザの指紋を検出し、検出結果を制御部211に送信する。
人物認証部210は、指紋情報とユーザの情報(ユーザID)とを関連付けて記憶する指紋認証DB(記憶部206に記憶されている)と、指紋センサ209による検出結果とを用いて、ユーザ認証を行う。人物認証部210による認証結果は、制御部211に送信される。
レンズ駆動部212は、例えばモータやアクチュエータ等を備え、フォーカシングを行うために撮像部201に含まれるレンズ(フォーカスレンズ)を駆動する。レンズ駆動部212は、制御部211により駆動制御される。
焦点検出部213は、撮像部201に含まれる撮像素子から出力される画像信号のコントラスト値に基づいて合焦判定を行う。焦点検出部213の判定結果は、制御部211に送信される。制御部211は、例えば、図10に示す11箇所の矩形エリアの少なくとも1つを焦点検出する位置として決定し、決定した矩形エリアに対応する画像信号のコントラスト値に基づいて、オートフォーカスを実行する。なお、焦点検出部213は、コントラスト検出方式に限らず、位相差検出方式などのその他の方式を用いることとしてもよい。
制御部211は、撮像装置20全体を統括的に制御する。制御部211は、CPU、RAM、ROM等を備える。
(撮像システム100の処理)
次に、図4〜図6のフローチャートに沿って、その他図面を適宜参照しつつ、本第1の実施形態における撮像システム100の処理について詳細に説明する。
図4は、装着装置10において実行される準備処理を示すフローチャートであり、図5は、撮像装置20において実行される準備処理を示すフローチャートである。図4、図5の準備処理は、装着装置10を装着したユーザによって撮像装置20が保持された場合に、連携撮影モードを実行するための通信を開始する処理である。
(装着装置10による準備処理)
まず、装着装置10による準備処理について、図4のフローチャートに沿って説明する。図4の処理では、装着装置10の制御部111は、ステップS10において、装着装置10がユーザによって装着されたか否かを判断する。なお、制御部111は、ユーザによって装着装置10が装着されたか否かを、例えば、フレーム120の内側に設けられた接触センサの検出結果から判断することとすればよい。ユーザが装着装置10を装着すると、制御部111は、ステップS12に移行する。
ステップS12に移行すると、制御部111は、瞳撮像部107に指示を出してユーザの瞳の画像を撮像し、撮像した画像から虹彩の画像を取得する。次いで、ステップS14では、制御部111は、人物認証部109に指示を出し、虹彩の画像を用いた認証を行わせ、該認証の結果、虹彩の画像が虹彩認証DBに含まれていたか否かを判断する。なお、虹彩認証DBは、前述したように記憶部112に格納されている、虹彩の画像とユーザの情報(ユーザID)とを関連付けて記憶するデータベースである。このステップS14の判断が否定された場合には、ステップS16に移行し、肯定された場合には、ステップS18に移行する。
ステップS16に移行した場合、すなわち、虹彩の画像が虹彩認証DBに含まれていなかった場合には、制御部111は、新規のユーザIDを発行し、虹彩の画像を虹彩認証DBに登録する。その後は、制御部111は、ステップS20に移行する。なお、新規のユーザIDは、ランダムに選択された英数字の組み合わせであるものとする。
一方、ステップS18に移行すると、制御部111は、虹彩認証DBから装着装置10を装着しているユーザのユーザIDを取得する。その後は、制御部111は、ステップS20に移行する。
ステップS16又はS18を経て、ステップS20に移行すると、制御部111は、撮像装置20からユーザIDを要求されるまで待機する。そして、撮像装置20からユーザIDを要求されたタイミングで、ステップS22に移行し、制御部111は、通信部110を介して、ユーザIDを撮像装置20に送信する。
(撮像装置20による準備処理)
次に、撮像装置20による準備処理について、図5のフローチャートに沿って説明する。図5の処理では、撮像装置20の制御部211は、ステップS110において、指紋読み取り可能となるまで待機する。この場合、制御部211は、ユーザの指が指紋センサ209に触れるまで待機し、触れられた段階で、ステップS112に移行する。
ステップS112に移行すると、制御部211は、指紋センサ209を用いた指紋読み取りを実行する。次いで、ステップS114では、制御部211は、人物認証部210に指示を出し、指紋読み取り結果(指紋情報)が指紋認証DBに含まれていたか否かを判断する。なお、ステップS114で用いる指紋認証DBは、前述したように記憶部206に格納されている、指紋情報とユーザの情報(ユーザID)とを関連付けて記憶するデータベースである。このステップS114の判断が否定された場合には、ステップS116に移行し、肯定された場合には、ステップS118に移行する。
ステップS116に移行した場合、すなわち、指紋情報が指紋認証DBに含まれていなかった場合には、制御部211は、仮のユーザIDを発行し、指紋情報を指紋認証DBに登録する。なお、仮のユーザIDは、ランダムに選択された英数字の組み合わせであり、前述した図4のステップS16で発行されるユーザIDとは異なるものである。その後は、制御部211は、ステップS120に移行する。
一方、ステップS118に移行すると、制御部211は、指紋認証DBから撮像装置20を装着しているユーザのユーザIDを取得する。その後は、制御部211は、ステップS120に移行する。
ステップS116又はS118を経て、ステップS120に移行すると、制御部211は、通信部207を介した近接通信により、装着装置10(制御部111)に対して図4のステップS16又はステップS18で取得されたユーザIDの送信を要求する。
次いで、ステップS122では、制御部211は、装着装置10からユーザIDを受信するまで待機する。この場合、装着装置10において図4のステップS22が実行されたタイミングで、ステップS124に移行する。ステップS124に移行すると、制御部211は、装着装置10から受信したユーザIDと、ステップS116又はステップS118で受信したユーザIDとが一致するか否かを判断する。このステップS124の判断が肯定された場合、すなわち、装着装置10を装着し、撮像装置20を保持しているユーザが、登録されたユーザである場合には、ステップS126に移行する。ステップS126では、制御部211は、装着装置10との連携撮影モードを実行するための通信を開始する。なお、ステップS126では、制御部211は、通信が開始された旨を表示部202に表示してもよい。また、ステップS126では、制御部211は、制御部111を介して、通信が開始された旨を表示部102に表示してもよい。ステップS126の後は、図5の全処理を終了する。
これに対し、ステップS124の判断が否定された場合、すなわち、ユーザIDが一致しなかった場合には、制御部211は、ステップS128に移行する。ステップS128に移行すると、制御部211は、装着装置10から受信したのは図4のステップS16で取得した新規のユーザIDであるか否かを判断する。ここでの判断が否定された場合、すなわち、装着装置10を装着しているユーザと撮像装置20とが異なる場合には、装着装置10との連携撮影モードを実行するための通信ができないとして、制御部211は、ステップ130において、表示部202にその旨のメッセージを表示する。なお、ステップS130では、制御部211は、制御部111を介して、メッセージを表示部102に表示してもよい。一方、ステップS128の判断が肯定された場合、すなわち、受信したユーザIDが図4のステップS16で取得した新規のユーザIDであった場合には、制御部211は、ステップS132に移行し、ステップS116で発行された仮のユーザIDを新規のユーザIDで書き換えるとともに、連携撮影モードを実行するための通信を開始する。なお、ステップS132では、制御部211は、新規のユーザIDが設定された旨や通信が開始された旨を表示部202(及び/又は表示部102)に表示してもよい。ステップS130又はS132の処理が行われた後は、図5の全処理を終了する。
以上のように、図4、図5の処理が行われることで、正規のユーザが装着装置10を装着し、撮像装置20を保持した場合に、連携撮影モードを実行するための通信が開始されることになる。また、新規のユーザが装着装置10を装着し、撮像装置20を保持した場合にも、新規のユーザIDを発行した後、連携撮影モードを実行するための通信が開始されることになる。
なお、装着装置10と撮像装置20とが人体通信する場合には、図4、図5の処理を省略し、装着装置10と撮像装置20との間の人体通信が成立し、虹彩認証又は指紋認証に成功した段階で、連携撮影モードを実行するための通信を開始するようにしてもよい。なお、本実施形態では、図4、図5の処理に代えて、装着装置10と、撮像装置20との間でNFC(Near field communication:近距離無線通信)を用いたペアリングや人体通信を用いたペアリングを行った段階で、連携撮影モードを実行するための通信を開始するようにしてもよい。
(連携撮影処理)
次に、図6のフローチャートに沿って、本第1の実施形態の撮像システム100による連携撮影処理について説明する。なお、図6の処理の前提として、図4、図5の処理が実行されたことで、連携撮影モードを実行するための通信が開始されているものとする。また、ユーザによる操作部103又は203への入力により、装着装置10と撮像装置20とが連携撮影モードに設定されているものとする。そして、ユーザは、一例として、図7に示すように、撮像装置20を身体の前で構えているものとする。
図6の処理では、まず、撮像装置20の制御部211が、ステップS140において、ライブビュー画像の送信を開始する。その後は、ステップS142において、ユーザによってレリーズスイッチ203Aが半押しされるまで待機する。
一方、装着装置10では、制御部111は、ステップS40において、ライブビュー画像を受信するまで待機する。したがって、撮像装置20側においてステップS140の処理が行われたタイミングで、制御部111は、ステップS42に移行する。
ステップS42に移行すると、制御部111は、表示部102上にライブビュー画像を表示する。図8は、ユーザの実視界と、表示部102の表示可能範囲内に表示されているライブビュー画像の、ユーザによる見え方を示している。図8に示すように、ユーザの実視界の右上にライブビュー画像が表示される。
次いで、ステップS44では、制御部111は、視線検出部108を介して、ユーザの視線検出を行う。この場合、視線検出部108は、ユーザが図8のライブビュー画像のどの位置を注視しているかを検出する。なお、ここでは、図9に示す円の領域をユーザが注視していたため、該円の領域をユーザが注視していた領域として検出する。
次いで、ステップS46では、制御部111は、撮像装置20側から半押し情報を受信したか否かを判断するが、ここでの判断が否定された場合には、ステップS44に戻り、再度ユーザの視線検出を行う。一方、ステップS46の判断が肯定された場合には、ステップS48に移行する。
ところで、撮像装置20側では、ステップS140の後、ステップS142において、制御部211は、ユーザによりレリーズスイッチが半押しされるまで待機しているので、ユーザによりレリーズスイッチが半押しされると、ステップS144に移行する。
ステップS144に移行すると、制御部211は、半押しがされたことを示す半押し情報を装着装置10の制御部111に対して送信する。このようにして、ステップS144の処理が行われると、装着装置10側では、ステップS46の判断が肯定されるので、制御部111はステップS48に移行する。ステップS48に移行すると、制御部111は、ライブビュー画像のうちユーザが注視している箇所の情報を送信する。ここでは、制御部111は、図9の円の領域の位置情報(ライブビュー画像内での座標情報)を撮像装置20の制御部211に対して送信する。なお、制御部111は、ステップS48の後は、ステップS44に戻る。
一方、撮像装置20側では、ステップS144の後、ステップS146において、ユーザが注視している箇所の情報を受信するまで待機しているので、装着装置10においてステップS48の処理が行われたタイミングで、制御部211はステップS148に移行する。
ステップS148に移行すると、制御部211は、レンズ駆動部212及び焦点検出部213を制御して、ユーザが注視している箇所の情報に基づいて、合焦動作を行う。この場合、制御部211は、注視している箇所を示す円の領域に基づいて、撮像画像のどの位置にフォーカスをあわせるかを決定する。撮像部101に含まれる撮像素子においては、図10に示すように、複数(11箇所)の焦点検出を行う矩形エリアが設定されているものとする。図10において、制御部211は、例えば、注視している箇所(破線円の領域)と重なる範囲が最も大きい矩形エリア(図10において太線にて示す領域)をフォーカスを合わせる位置として決定する。なお、これに限らず、例えば、注視している箇所(円の領域)と重なる全ての矩形エリアをフォーカスを合わせる位置として決定したり、注視している箇所の中心(円の領域の中心)が含まれる矩形エリアをフォーカスを合わせる位置として決定することもできる。制御部211は、レンズ駆動部212を介してフォーカスレンズを駆動し、決定した矩形エリアに対応する画像信号のコントラスト値に基づいて、オートフォーカスを実行する。
なお、制御部211は、決定した矩形エリアの情報(ライブビュー画像内における合焦箇所の座標情報)を装着装置10の制御部111に送信してもよい。この場合、制御部111は、図11に示すように、受信した矩形エリアの情報(合焦箇所)をライブビュー画像に重ねて表示部102に表示してもよい。このようにすることで、ユーザは、フォーカスを合わせる位置を確認した上で、画像を撮像することができるようになる。なお、図9のユーザの注視箇所の表示と図11の矩形エリア(フォーカスを合わせる位置)の表示においては、表示色などの表示形態を異ならせてもよい。
次いで、ステップS150では、制御部211は、ユーザによってレリーズスイッチ203Aが全押しされたか否かを判断する。ここでの判断が肯定された場合には、ステップS154において、制御部211は、撮像部201を用いた撮像動作を実行する。これにより、ユーザが注視していた箇所にフォーカスが合った状態で画像を撮像することができる。その後は、ステップS142に戻る。
一方、ステップS150の判断が否定された場合には、ステップS152に移行し、制御部211は、レリーズスイッチ203Aの半押しが解除されたか否かを判断する。ここでの判断が否定された場合、すなわち、レリーズスイッチ203Aの半押しが維持されている場合には、ステップS150に戻るが、肯定された場合、すなわち、半押しが解除された場合には、ステップS142に戻る。
その後は、連携撮影モードが解除されるまで、装着装置10の制御部111は、ステップS44〜S48の処理・判断を繰り返し、撮像装置20の制御部211は、ステップS142〜S154の処理・判断を繰り返す。
以上、詳細に説明したように、本第1の実施形態によると、表示部102は、撮像装置20が撮像したライブビュー画像をユーザの目の近傍に表示し、視線検出部108は、ライブビュー画像を表示したときのユーザの視線を検出する。そして、制御部111は、通信部110を介して視線検出部108の検出結果に応じた情報(ユーザが注視している箇所の情報)を撮像装置20に送信する。これにより、撮像装置20では、ユーザが注視している箇所の情報に基づいた合焦動作を行うことで、ユーザが注視している箇所にフォーカスを合わせた状態で画像を撮像することが可能となる。
また、本第1の実施形態の撮像装置20は、装着装置10から送信されてきたユーザの視線の情報に基づいて撮像を行うことで、ユーザが所望する画像を撮像することができる。
また、本第1の実施形態では、装着装置10は、ユーザを認証する人物認証部109を備えており、撮像装置20の制御部211は、撮像装置20の人物認証部210の認証結果と、人物認証部109の認証結果が一致した場合に、連携撮影モードを実行するための通信を開始する。これにより、適切なユーザが装着装置10を装着し、撮像装置20を保持した場合に、連携撮影モードを実行することが可能となる。
また、本第1の実施形態では、通信ができない場合に、表示部102又は202に、通信不可のメッセージを表示する(S130)ので、ユーザは、表示部102又は202を参照することで、連携撮影モードを実行できないことを認識することが可能となる。
また、本第1の実施形態では、ライブビュー画像が装着装置10の表示部102に表示されるので、撮像装置20に表示部202を設けなくてもよくなる。これにより、撮像装置20の製造コストや部品点数の削減、使用電力の低減などを図ることが可能となる。
なお、上記第1の実施形態では、図5のステップS124〜S132の処理・判断(装着装置10の認証結果と撮像装置20の認証結果の照合処理)を撮像装置20の制御部211が実行する場合について説明したが、これに限らず、装着装置10の制御部111が実行することとしてもよい。
(変形例(その1))
ここで、上記第1の実施形態の変形例(その1)について、図12〜図14に基づいて、説明する。本変形例(その1)においては、撮像装置20の制御部211は、画像認識技術を用いて、ライブビュー画像内の主要被写体を検出する。例えば、図12に示すように、ユーザの実視界に犬が存在しており、装着装置10の表示部102の表示可能範囲にライブビュー画像として犬の画像が表示されていたとする(図6のS42)。この場合、制御部211は、画像認識技術を用いて、ライブビュー画像の中から犬の顔の範囲を検出しておく。
そして、ユーザがレリーズスイッチを半押しし(図6のステップS142:肯定)、装着装置10の制御部111が、ライブビュー画像のうち、ユーザが注視している箇所の情報(座標情報)を撮像装置20の制御部211に送信すると(図6のS48)、制御部211は、ユーザが注視している箇所が犬の顔の範囲内であるか否かを判断する。ここで、図13(a)に示すようにユーザが注視している箇所が犬(主要被写体)の顔の範囲内になかった場合には、ライブビュー画像を変更せずに、第1の実施形態と同様、制御部211は、合焦動作(図6のS148)や撮像動作(図6のS148)を実行する。
一方、図13(b)に示すように、ユーザが注視している箇所が犬(主要被写体)の顔の範囲内にあった場合には、制御部211は、犬の顔を含む所定大きさ範囲をライブビュー画像から切り出し、装着装置10の制御部111に対して送信する。すなわち、制御部211は、犬の顔の拡大画像を制御部111に送信する。制御部111は、図14(a)に示すように、表示部102に表示するライブビュー画像を拡大画像に切り替え、再度、視線検出を実行する。この場合、拡大画像上で視線検出を行うため、ユーザの視線が犬の目に向けられているのか、鼻に向けられているのかなどを細かく検出することができる。したがって、撮像装置20の制御部211は、ユーザの好みに合わせて、適切なフォーカス合わせを行うことが可能となる。
制御部211は、フォーカス合わせを行ったタイミングで、図14(b)に示すようなライブビュー画像を再度装着装置10の制御部111に送信する。この場合、制御部111は、表示部102の表示を図14(a)から図14(b)に切り替える。これにより、ユーザは、撮像装置20の撮像範囲(構図)及び合焦箇所を確認したうえで、撮像を行うことが可能となる。
なお、上記変形例(その1)では、ライブビュー画像として、最初に図12に示す画像を表示する場合について説明したが、これに限らず、最初から図14(a)に示す画像を表示するようにしてもよい。
なお、ライブビュー画像から犬(主要被写体)の顔を含む所定大きさ範囲を切り出す処理は、ライブビュー画像を受信した装着装置10の制御部111が行うこととしてもよい。
(変形例(その2))
次に、上記第1の実施形態の変形例(その2)について図15に基づいて説明する。本変形例(その2)では、ライブビュー画像内に主要被写体が複数含まれている場合について説明する。
本変形例(その2)においては、撮像装置20の制御部211は、画像認識技術を用いて、ライブビュー画像内の複数の主要被写体を検出する。例えば、図15(a)に示すように、ユーザの実視界に犬及び猫が存在しており、装着装置10の表示部102の表示可能範囲にライブビュー画像として犬及び猫の画像が表示されていたとする(図6のS42)。この場合、制御部211は、画像認識技術を用いて、ライブビュー画像の中から犬の顔の範囲及び猫の顔の範囲を検出する。
そして、ユーザがレリーズスイッチを半押した場合には、撮像装置20の制御部211は、犬の顔を含む所定大きさ範囲及び猫の顔を含む所定大きさ範囲をライブビュー画像から切り出し、装着装置10の制御部111に対して送信する。制御部111は、図15(b)に示すように、表示部102に表示するライブビュー画像を犬の顔部分の画像及び猫の顔部分の画像に切り替え、視線検出部108を介して視線検出し、視線検出結果を制御部211に送信する。この場合、制御部211は、ユーザの視線が犬の目に向けられているのか、犬の鼻に向けられているのか、猫の目に向けられているのか、猫の鼻に向けられているのか、等を細かく検出することができる。したがって、撮像装置20の制御部211は、ユーザの好みに合わせて、適切なフォーカス合わせを行うことが可能となる。
制御部211は、フォーカス合わせを行ったタイミングで、図15(a)に示すようなライブビュー画像を再度装着装置10の制御部111に送信する。この場合、制御部111は、表示部102の表示を図15(b)から図15(a)に切り替える。これにより、ユーザは、撮像装置20の撮像範囲(構図)を確認したうえで、撮像を行うことが可能となる。
なお、上記変形例(その2)においても、図15(a)のライブビュー画像上でユーザの視線検出を行い、ユーザの視線が、主要被写体(犬や猫の顔)に向いている場合に、図15(b)に示すような表示を行うようにしてもよい。
なお、上記第1の実施形態及び変形例では、装着装置10と撮像装置20が直接通信する場合について説明したが、これに限らず、図16に示すように、装着装置10と撮像装置20は、サーバ30を介して通信することとしてもよい。サーバ30は、制御部34と通信部32とを有する。図16のようにサーバ30を利用する場合には、例えば、図5のステップS124〜S132の処理・判断(装着装置10の認証結果と撮像装置20の認証結果の照合処理)などをサーバ30の制御部34が行うこととしてもよい。この場合、制御部34は、通信部32を介して各装置の認証結果を取得するようにすればよい。また、図16のようにサーバ30を利用する場合には、例えば、図6の処理において、ユーザが注視している箇所に基づいてフォーカス合わせを行う位置を決定する処理などをサーバ30の制御部34が行うこととしてもよい。
なお、上記第1の実施形態では、装着装置10における人物認証においては、虹彩情報(虹彩の画像)を用いる場合について説明したが、これに限らず、その他の生体情報(例えば、網膜情報など)を用いることとしてもよい。なお、撮像装置20における人物認証においては、指紋情報を用いる場合について説明したが、これに限らず、その他の生体情報(静脈パターン)などを用いることとしてもよい。
《第2の実施形態》
次に、第2の実施形態について、図17〜図23に基づいて、詳細に説明する。本第2の実施形態では、装着装置10が、図2に代えて、図17に示すような構成を有している。装着装置10を装着したユーザは、図18に示す表示可能範囲において、表示部102が投影した画像を視認できるとともに、外界像をシースルーで視認することができるようになっている。表示部102は、プロジェクタ、及びプロジェクタからの投影像をユーザの目に導くためのプリズムを有する。
なお、本第2の実施形態では、表示部102の表示可能範囲(図18の矩形範囲)は、一例として、35mm判換算で焦点距離85mmのレンズが装着された撮像装置で撮像可能な範囲であるものとする。なお、本第2の実施形態の装着装置と同様の構成については、例えば、特開2013−200553号公報に開示されている。
その他の装着装置10の構成及び、撮像装置20の構成等については、上述した第1の実施形態と同様となっている。
次に、図19のフローチャートに沿って、その他図面を適宜参照しつつ、本第2の実施形態における連携撮影モードでの装着装置10及び撮像装置20の処理について、詳細に説明する。なお、図19のフローチャートでは、図6の処理と異なる処理を太線枠にて示している。以下においては、図6の処理と異なる処理を中心に説明する。なお、本第2の実施形態においても、ユーザは、一例として、図7に示すように、撮像装置20を身体の前で構えているものとする。
本第2の実施形態の連携撮影処理(図19)では、まず、撮像装置20の制御部211が、ライブビュー画像の送信を開始すると(ステップS140)、装着装置10の制御部111は、ステップS43Aにおいて、撮像装置20の撮影範囲を特定する。具体的には、制御部111は、装着装置10の撮像部101で撮像されている画像と、ライブビュー画像とを比較し、撮像装置20の撮影範囲がユーザの実視界のどの範囲に相当するのかを特定する。
次いで、ステップS43Bでは、制御部111は、撮像装置20の撮影範囲を表示部102上に表示することが可能か否かを判断する。例えば、図20に示すように、表示可能範囲内に撮像装置20の撮影範囲が含まれる場合(撮影範囲が、例えば35mm判換算で焦点距離100mmのレンズが装着された撮像装置で撮影可能な範囲である場合)には、表示部102に撮像装置20の撮影範囲を表示できるので、ステップS43Bの判断は肯定される。一方、図21(a)に示すように、表示可能範囲内に撮像装置20の撮影範囲が含まれない場合(撮影範囲が、例えば35mm判換算で焦点距離50mmのレンズが装着された撮像装置で撮影可能な範囲である場合)には、ステップS43Bの判断は否定される。なお、撮像装置20の撮影範囲の一部が表示可能範囲から外れる場合にも、ステップS43Bの判断は否定される。
ステップS43Bの判断が肯定され、ステップS43Cに移行すると、制御部111は、撮像装置20の撮影範囲が所定大きさよりも小さいか否かを判断する。なお、所定大きさとは、例えば、面積にして、表示部102の表示可能範囲の半分又は1/3程度の大きさであるものとする。ここでの判断が否定された場合、すなわち、撮像装置20の撮影範囲が所定大きさ以上である場合には、ステップS43Dに移行し、制御部111は、撮像装置20の撮影範囲を表示部102上に表示する。例えば、表示部102の表示可能範囲内には、図20に示すように、撮像装置20の撮影範囲が表示される。
次いで、ステップS44では、制御部111は、視線検出部108を介して、ユーザの視線検出を行う。この場合、視線検出部108は、ユーザが図20の撮像装置20の撮影範囲内のどの位置を注視しているかを検出する。なお、ここでは、図20に示す円の領域をユーザが注視していたため、該円の領域をユーザが注視していた箇所として検出する。そして、次のステップS46では、制御部111は、撮像装置20側から半押し情報を受信したか否かを判断するが、ここでの判断が否定された場合には、ステップS43Bに戻る。
一方、図21(a)に示すように、撮像装置20の撮影範囲を表示できず、ステップS43Bの判断が否定された場合には、ステップS43Eに移行する。ステップS43Eでは、制御部111は、図21(b)に示すようにライブビュー画像を表示部102上に表示する。そして、ステップS44では、制御部111は、視線検出部108を介して、ユーザの視線検出を行う。この場合、視線検出部108は、ユーザが図21(b)のライブビュー画像のどの位置を注視しているかを検出する。なお、ここでは、図21(b)に示す円の領域をユーザが注視していたため、該円の領域をユーザが注視していた箇所として検出する。
また、図22(a)に示すように、撮像装置20の撮影範囲が所定大きさよりも小さく、ステップS43Cの判断が肯定された場合にも、制御部111は、ステップS43Eに移行する。ステップS43Eでは、制御部111は、図22(b)に示すようにライブビュー画像を表示部102上に表示する。この場合、ライブビュー画像が拡大表示された状態となる。そして、ステップS44では、制御部111は、視線検出部108を介して、ユーザの視線検出を行う。この場合、視線検出部108は、ユーザが図22(b)のライブビュー画像のどの位置を注視しているかを検出する。なお、ここでは、図22(b)に示す円の領域をユーザが注視していたため、該円の領域をユーザが注視していた箇所として検出する。
図19のその他の処理は、第1の実施形態(図6)と同様となっている。
以上、詳細に説明したように、本第2の実施形態によると、図17に示すような装着装置10を用いた場合でも、第1の実施形態と同様の効果を得ることができる。また、本第2の実施形態では、撮像装置20の撮影範囲を見やすく表示することができるため、ユーザは、撮影範囲を容易に認識することができる。また、ライブビュー画像を大きく表示することで、視線検出の精度を向上することも可能である。
なお、上記第2の実施形態では、図22(a)のように撮像装置20の撮影範囲が所定大きさよりも小さい場合に、図22(b)に示すようにライブビュー画像を表示部102上に拡大表示する場合について説明したが、これに限られるものではない。例えば、図22(a)のように、撮像装置20の撮影範囲を表示部102上に表示するようにしてもよい。
なお、上記第1、第2の実施形態では、装着装置10に表示部102が設けられている場合について説明したが、これに限らず、例えば、表示部102に代えて、コンタクトレンズ型の表示装置をユーザが装着するようにしてもよい。この場合、表示装置の表示範囲は、ユーザの実視野をほぼカバーすることができるので、図23に示すように、撮像装置20の撮影範囲が広い場合(撮影範囲が、例えば35mm判換算で焦点距離21mmのレンズが装着された撮像装置で撮影可能な範囲である場合)でも、撮像装置20の撮影範囲を表示することが可能となる。なお、図23の場合でも、撮像装置20の撮影範囲が所定大きさよりも小さい場合には、図22(a)と同様、ライブビュー画像を拡大表示し、視線検出を行うようにしてもよい。
なお、上記第1、第2の実施形態では、例えば、装着装置10の撮像部101により撮像された画像を表示部102に表示し、表示部102に表示された画像のうちユーザがどの位置を注視したかを検出することとしてよい。
なお、上記第1、第2の実施形態の装着装置10において、表示部102を右目及び左目に対応して2つ設け、一方に撮像装置20のライブビュー画像、他方に装着装置10の撮像部101で撮像された画像を表示させることとしてもよい。そして、視線検出(S44)の際には、ユーザがいずれか一方の目で(片目をつぶった状態で)画像のどの位置を注視したかを検出するようにしてもよい。
なお、上記第2の実施形態では、撮像装置20のライブビュー画像を装着装置10に送信し、装着装置10がライブビュー画像に基づいて撮像装置20の撮影範囲を特定し、表示する場合について説明したが、これに限られるものではない。例えば、撮像装置20の焦点距離の情報を装着装置10に送信し、装着装置10が受信した焦点距離の情報に基づいて撮像装置20の撮影範囲を特定し、表示することとしてもよい。
≪第3の実施形態≫
次に、第3の実施形態に係る撮像システムについて、図24〜図26に基づいて説明する。なお、本第3の実施形態の撮像システムの構成は、第1,2の実施形態(図1)と同様であるので、説明は省略するものとする。
(連携撮影処理)
以下、本第3の実施形態の撮像システムにより実行される連携撮影処理について、図24のフローチャートに沿って説明する。なお、本実施形態では、第2の実施形態と同様の装着装置10を装着したユーザは、図25(a)に示すように、身体の前で撮像装置20を構えた状態で、図25(b)に示すように撮像装置20の姿勢(撮像方向)を変更するものとする。なお、図24の処理が行われる前提として、図4、図5の準備処理が行われ、装着装置10と撮像装置20との間における連携撮影モードを実行するための通信が開始されているものとする。なお、表示部102に代えて、コンタクトレンズ型の表示装置をユーザが装着することとしてもよい。
図24の処理では、撮像装置20の制御部211は、ステップS160において、ユーザから連携撮影モードの設定要求があるまで待機する。同様に、装着装置10の制御部111は、ステップS60において、ユーザから連携撮影モードの設定要求があるまで待機する。この場合、ユーザから連携撮影モードの設定要求が操作部103や203から入力されると、ステップS162及びS62に移行する。
ステップS162では、制御部211は、装着装置10の制御部111に対するライブビュー画像の送信を開始する。一方、装着装置10では、制御部111は、ステップS62において撮像装置20側からライブビュー画像を受信するまで待機しているので、撮像装置20側においてステップS162が実行されたタイミングで、ステップS64に移行する。
ステップS64に移行すると、制御部111は、表示部102にライブビュー画像の表示を開始し、次のステップS66において、連携撮影モード開始メッセージを表示部102に表示する。なお、ステップS64とステップS66の順番は逆であってもよい。ここで、連携撮影モード開始メッセージを見たユーザは、図25(b)に示すように、撮像装置20の撮像方向を変更する動作(往復動作)を開始するものとする。なお、ライブビュー画像は、撮像装置20側から送信され続けるため、ユーザが撮像装置20の撮像方向を変更している間も、表示部102のライブビュー画像は更新され続ける。図26(a)、図26(b)には、ユーザが撮像方向を変更している間に表示部102に表示されるライブビュー画像の一例が示されている。
次いで、ステップS68では、制御部111は、ユーザによる所定の動作を検出するまで待機する。ここでの所定の動作とは、ユーザが撮像を実行すべきと判断した場合に行う予め定めた動作であり、例えば、所定回数のまばたきなどであるものとする。ユーザは、ライブビュー画像を見て、撮像したい構図になったタイミング(例えば、図26(b)に示すような構図になったタイミング)で、所定回数のまばたきを実行するものとする。
制御部111は、瞳撮像部107の撮像画像からユーザが所定回数まばたきをしたことを検出した場合に、ステップS70に移行する。そして、ステップS70では、制御部111は、通信部110を介して、撮像装置20の制御部211に対して撮像指示を送信する。以上により、制御部111による図24の処理は終了する。
一方、撮像装置20においては、ステップS162の後、ステップS164において、装着装置10側から撮像指示を受信するまで待機している。したがって、装着装置10側において前述したステップS70の処理が実行されたタイミングで、制御部211は、ステップS166に移行する。
ステップS166に移行すると、制御部211は、撮像指示を受信したタイミングにおける撮像装置20の撮像方向を、方位センサ208から取得する。次いで、ステップS168では、方位センサ208から検出結果(撮像方向)を取得し、現在の撮像方向がステップS166で撮像した撮像方向となるまで待機する。なお、ステップS166とステップS168の間の時間が短い場合には、ステップS166の直後にステップS168の判断は肯定されるが、ステップS166とステップS168の間の時間が長い、又はユーザが撮像装置20を動かす速度が速い場合には、ステップS166の後、撮像装置20の撮像方向がステップS166で取得した撮像方向と再度一致した段階で、ステップS168の判断は肯定されることになる。
ステップS168の判断が肯定された場合、ステップS170に移行し、制御部211は、撮像部201に指示を出し、画像を撮像する。これにより、撮像部201は、図26(b)のようなユーザが撮像したい画像を撮像することができる。以上により、制御部211による図24の全処理が終了する。
その後は、制御部111,211は、図24の処理を繰り返してもよいし、連携撮影モードが解除されるまで、ステップS64以降及びステップS164以降の処理を繰り返してもよい。
以上、詳細に説明したように、本第3の実施形態によると、表示部102が、撮像装置20の撮像部201が撮像したライブビュー画像をユーザの目の近傍に表示し、制御部111は、瞳撮像部107の撮像結果に基づいて、ユーザの特定の動作(例えば所定回数のまばたき)を検出する。そして、制御部111は、通信部110を介して、ユーザの特定の動作を検出したタイミングに応じた情報(撮像指示)を撮像装置20に対して送信する。これにより、本実施形態では、ユーザがライブビュー画像を見て適切な撮像方向であると判断した場合に、特定の動作を行うことで、制御部111から撮像装置20に対して撮像指示が送信されるので、撮像装置20においては、適切な撮像方向の画像を撮像することが可能となる。これにより、ユーザは、撮像装置20の表示部202を見ながらレリーズスイッチ203Aを押すという動作を行わなくても、適切な撮像方向の画像撮像することができるため、表示部202を見づらい場合や、レリーズスイッチ203Aを押しづらい場合などにおいて、撮像装置20の使い勝手を向上することができる。
また、本第3の実施形態の撮像装置20は、装着装置10から送信されてきたユーザの特定の動作を検出したタイミングに応じた情報に基づいて撮像を行うことで、ユーザが所望する画像を撮像することができる。
また、本第3の実施形態においては、撮像装置20に表示部202を設けなくてもよくなるため、撮像装置20の製造コストや部品点数の削減、使用電力の低減などを図ることが可能となる。
なお、上記第3の実施形態では、制御部111は、撮像装置20の撮像方向を変化させるユーザの所定の動作を検出した場合に、撮像指示を制御部211に対して送信する場合について説明したが、これに限られるものではない。例えば、制御部111は、撮像装置20の撮像倍率をテレとワイドとの間で変化させているユーザが所定の動作を行ったことを検出した場合に、撮像指示を制御部211に対して送信するようにしてもよい。これにより、ユーザが表示部102においてライブビュー画像を見ながら、適切な撮像倍率になったと判断したときに所定の動作を行うことで、撮像装置20では、適切な撮像倍率での撮像が行われることになる。
なお、上記第3の実施形態では、制御部111は、ユーザの所定の動作として、所定回数のまばたきを検出する場合について説明したが、これに限らず、その他の目の動作を検出するようにしてもよい。その他の目の動作としては、瞳孔の変化等を採用することができる。また、制御部111は、目以外の動作(例えば、操作部103に対する入力動作)を検出してもよい。
なお、上記第3の実施形態では、ユーザが撮像装置20の撮像方向を変更する場合について説明したが、これに限られるものではない。例えば、図27に示すように、撮像装置20を保持し、撮像装置20の撮像方向を所定角度範囲で変更可能な駆動機構42を有する保持装置40(三脚や雲台など)を用いてもよい。この場合、ユーザが撮像装置20から離れた位置にいても、ユーザは、撮像装置20が所望の撮像方向を撮像したときに所定の動作を行うことで、所望の撮像方向の画像を簡易に撮像することが可能となる。
なお、本第3の実施形態においても、第1の実施形態と同様、図16のようなサーバ30を含む構成を採用してもよい。この場合、図24の処理の一部をサーバ30の制御部34が行ってもよい。
≪第4の実施形態≫
次に、第4の実施形態に係る撮像システムについて、図28〜図30に基づいて説明する。なお、本第4の実施形態の撮像システムの構成は、第1の実施形態(図1)と同様であるので、説明は省略するものとする。
(連携撮影処理)
以下、本第4の実施形態の撮像システムにより実行される連携撮影処理について、図28のフローチャートに沿って説明する。なお、本実施形態では、装着装置10を装着したユーザは、図7のように、身体の前で撮像装置20を構えるものとする。ただし、本第4の実施形態では、表示部102の表示可能範囲は、図23で説明したのと同様、ユーザの実視野の範囲とほぼ同一の範囲であるものとする。なお、表示部102に代えて、コンタクトレンズ型の表示装置をユーザが装着することとしてもよい。なお、図28の処理が行われる前提として、図4、図5の準備処理が行われ、装着装置10と撮像装置20との間における連携撮影モードを実行するための通信が開始されているものとする。
図28の処理では、撮像装置20の制御部211は、ステップS180において、ユーザから連携撮影モードの設定要求があるまで待機する。同様に、装着装置10の制御部111は、ステップS80において、ユーザから連携撮影モードの設定要求があるまで待機する。この場合、ユーザから連携撮影モードの設定要求が操作部103や203に入力されると、ステップS182及びS82に移行する。
装着装置10では、ステップS82において、制御部111は、撮影したい範囲の中心を見るよう表示部102上にメッセージを表示する。例えば、表示部102には、“撮影したい箇所を一定時間注視してください”などのメッセージを表示する。次いで、ステップS84では、制御部111は、瞳撮像部107の画像に基づいてユーザの視線が定まるまで待機する。ユーザの視線が定まると、ステップS86に移行し、制御部111は、瞳撮像部107、視線検出部108を介してユーザの視線検出を行う。
次いで、ステップS88では、制御部111は、ステップS86の視線検出結果に基づいて、ユーザが撮影したい範囲の中心を表示部102に表示する。具体的には、図29(a)に示すように、ユーザが撮影したい範囲の中心を十字印で表示する。なお、十字印は、ユーザが見ている風景の上に重なるように(重畳して)表示される。ここで、ユーザが顔を動かすと、風景と十字印との位置関係がズレてしまう。したがって、制御部111は、方位センサ106の検出結果からユーザの顔が所定以上動いたことを検出した場合には、ステップS82からやり直すようにしてもよい。
次いで、ステップS90では、制御部111は、撮像装置20に撮像可能範囲の送信を要求する。
一方、撮像装置20では、ステップS180が肯定された後、制御部211は、撮像可能範囲の送信要求が撮像装置20からあるまで(ステップS182が肯定されるまで)、あるいは撮像指示が撮像装置20から送信されてくるまで(ステップS186が肯定されるまで)待機している。したがって、装着装置10側においてステップS90の処理が行われたタイミングで、ステップS182の判断が肯定され、ステップS184に移行する。
ステップS184に移行すると、制御部211は、撮像部201の撮像可能範囲を送信する。具体的には、撮像部201によって撮像されているライブビュー画像を装着装置10の制御部111に送信する。
ところで、装着装置10側では、ステップS90の後、ステップS92において、撮像可能範囲を受信するまで待機している。したがって、撮像装置20側においてステップS184の処理が実行されたタイミングで、制御部111は、ステップS94に移行する。
ステップS94に移行すると、制御部111は、撮像可能範囲を表示する。具体的には、制御部111は、撮像部101で撮像されている画像(視野画像)を取得し、該画像と、ステップS92で受信した撮像可能範囲(ライブビュー画像)とを比較することで、撮像可能範囲がユーザの視界のどの範囲に相当するかを算出する。そして、制御部111は、算出した範囲の枠を、撮像可能範囲として表示部102に表示する。この場合、表示部102には、図29(b)に示すように、ステップS88で表示された撮影したい範囲の中心(十字印)と、撮像可能範囲を示す枠と、撮像可能範囲の中心(×印)とがユーザが見ている風景の上に重なるように(重畳して)表示される。
ユーザは、表示部102の表示(図29(b)の表示)を見ることで、撮影したい範囲の中心(十字印)と撮像可能範囲の中心(×印)とを合わせるように、撮像装置20の撮像方向を変更することができる。
ステップS94の後は、制御部111は、ステップS96に移行し、撮影可能範囲と撮影したい範囲の中心とが一致したか、すなわち十字印と×印とが一致したか否かを判断する。ここでの判断が否定された場合には、ステップ90に戻り、ステップS96の判断が肯定されるまで、ステップS90〜S96の処理・判断を繰り返す。このステップS90〜S96の繰り返しの間、ユーザが撮像装置20の撮像方向を変更すれば、表示部102上で撮像可能範囲が移動する。また、ユーザが撮像装置20の撮像倍率を変更すれば、表示部102上で撮像可能範囲の大きさが変更される。
そして、ユーザによる撮像装置20の撮像方向の変更により、図30(a)に示すように、撮像可能範囲の中心と撮影したい範囲の中心とが一致した場合には、ステップS96の判断が肯定され、制御部111は、ステップS98に移行する。ステップS98に移行すると、制御部111は、撮像指示を撮像装置20の制御部211に対して送信し、図28の全処理を終了する。
一方、撮像装置20では、装着装置10の制御部111から撮像指示を受信すると、ステップS186の判断が肯定されて、ステップS188に移行する。そして、ステップS188では、制御部111は、撮像部101を用いて撮像を実行する。これにより、撮像部101では、図30(b)に示すような、ユーザが撮影したい範囲の画像を撮像することが可能である。
なお、図28の処理では、撮影したい範囲と撮像可能範囲とが一致した場合に撮像が行われる場合について説明したが、これに限らず、制御部211は、ユーザが所定の動作を行った場合、例えばレリーズスイッチ203Aを押した場合や、操作部103に対して操作を行った場合、所定回数まばたきをした場合などにおいて撮像を行うこととしてもよい。
以上詳細に説明したように、本第4の実施形態によると、制御部111は、撮像装置の撮像領域の情報(撮像可能範囲)と、ユーザの視線に関する情報(撮影したい範囲)を取得し、表示部102を介して取得した情報をユーザの目の近傍に表示する。これにより、ユーザは、撮像可能範囲や撮影したい範囲を確認し、必要に応じて撮像装置20の撮像方向を変更等した後に、撮像装置20を用いた撮像を行うことが可能となる。これにより、ユーザは、表示部202を見づらい状況などにおいても、ユーザが所望する画像を簡易に撮像することが可能である。
また、本第4の実施形態の撮像装置20は、装着装置10から送信されてきた撮像指示に基づいて撮像を行うことで、ユーザが所望する画像を撮像することができる。
また、本第4の実施形態においては、撮像装置20に表示部202を設けなくてもよくなるため、撮像装置20の製造コストや部品点数の削減、使用電力の低減などを図ることが可能となる。
また、本第4の実施形態では、制御部111は、撮像装置20の撮像領域の情報と、ユーザの視線に関する情報とに基づいて、すなわち、撮像可能範囲と、撮影したい範囲とが一致した場合に、撮像装置20を制御する情報を通信部110を介して撮像装置20に送信する。これにより、ユーザはレリーズボタンを押すなどの操作を行わなくても、ユーザが所望する画像を撮像することが可能となる。
なお、上記第4の実施形態では、表示部102に、撮影したい範囲の中心、撮像可能範囲の枠及び中心を表示する場合について説明したが、これに限られるものではない。例えば、撮影したい範囲の中心、撮像可能範囲の枠及び中心を装着装置10の撮像部101が撮像した画像に付加(合成)した画像を、表示部102に表示するようにしてもよい。このようにしても、上記第4の実施形態と同様の効果を得ることができる。
なお、上記第4の実施形態では、制御部111は、表示部102上に、ユーザが撮像装置20を動かす方向や動かす量を矢印(ベクトル)等により表示してもよい。これにより、ユーザは、直感的に撮像装置20の撮像方向を調整することが可能となる。
なお、上記第4の実施形態では、ユーザが撮像装置20の撮像方向を変更する場合について説明したが、これに限られるものではない。例えば、図27に示すような、撮像装置20を保持し、撮像装置20の撮像方向を所定角度範囲で変更可能な駆動機構42を有する保持装置40(三脚や雲台など)を用いてもよい。この場合、保持装置40は、図29(b)の撮影したい範囲の中心と撮像可能範囲の中心とが一致するように、撮像装置20の撮像方向を駆動機構42を用いて変更し、撮像を行うようにすればよい。これにより、自動的にユーザの所望する画像を撮像することが可能となる。
なお、上記第4の実施形態においても、第1の実施形態と同様、図16のようなサーバ30を含む構成を採用してもよい。この場合、図28の処理の一部をサーバ30の制御部34が行ってもよい。また、サーバ30の制御部34は、装着装置10からユーザが撮影したい範囲を取得するとともに、撮像装置20から撮像可能範囲を取得し、これらの範囲を比較して、比較結果を装着装置10や撮像装置20、上述した保持装置に出力するようにしてもよい。
なお、上記各実施形態では、撮像装置20が操作部203を有する場合について説明したが、これに限らず、特に第3、第4の実施形態では、操作部203がなくてもよい。
また、上記各実施形態では、風景を撮影する場合について説明したが、これに限らず、例えば、人物と会話しながら、会話している間に人物を撮影するのに用いてもよい。この場合、撮像装置20を顔の前で構えなくても撮像ができるため、会話している人物の自然な表情を撮像することが可能となる。
なお、装着装置10の一部機能(撮像部101や表示部102、瞳撮像部107など)をフレーム120に設け、他の機能をスマートフォンや携帯電話、腕時計型の端末などに持たせるようにしてもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 装着装置
20 撮像装置
30 サーバ
32 通信部
34 制御部
102 表示部
107 瞳撮像部
108 視線検出部
109 人物認証部
110 通信部
111 制御部
201 撮像部
207 通信部
210 人物認証部
211 制御部

Claims (16)

  1. 外部機器が撮像した画像をユーザの目の近傍に表示可能な表示部と、
    前記ユーザの視線を検出する視線検出部と、
    前記視線検出部の検出結果に応じた情報を前記外部機器に送信する送信部と、を備えたことを特徴とする電子機器。
  2. 前記送信部は、前記外部機器の焦点検出に関する情報を送信することを特徴とする請求項1に記載の電子機器。
  3. 外部機器が撮像した画像をユーザの目の近傍に表示可能な表示部と、
    前記ユーザの特定の動作を検出する検出部と、
    前記検出部が前記ユーザの特定の動作を検出したタイミングに応じた情報を前記外部機器に送信する送信部と、を備えたことを特徴とする電子機器。
  4. 前記送信部は、前記外部機器が画像を撮像する姿勢を特定するための情報を送信することを特徴とする請求項3に記載の電子機器。
  5. 前記検出部は、前記ユーザの目の特定の動作を検出することを特徴とする請求項3又は4に記載の電子機器。
  6. 外部機器の撮像領域の情報を入力する第1入力部と、
    ユーザの視線に関する情報を入力する第2入力部と、
    前記外部機器の撮像領域の情報と、前記ユーザの視線に関する情報とを前記ユーザの目の近傍に表示する表示部と、を備えたことを特徴とする電子機器。
  7. 前記外部機器の撮像領域の情報と、前記ユーザの視線に関する情報とに基づいて、前記外部機器を制御する情報を前記外部機器に送信する送信部を備えたことを特徴とする請求項6に記載の電子機器。
  8. 前記表示部は、前記外部機器が撮像した画像に前記外部機器の撮像領域の情報と、前記ユーザの視線に関する情報とを合成した画像を表示することを特徴とする請求項6又は7に記載の電子機器。
  9. 前記ユーザを認証する認証部を備えたことを特徴とする請求項1〜8のいずれか一項に記載の電子機器。
  10. 前記外部機器の認証結果と、前記認証部の認証結果とが一致した場合に、前記外部機器との通信を許可する制御部を備えたことを特徴とする請求項9に記載の電子機器。
  11. 前記表示部は、前記外部機器の認証結果に関する表示を行うことを特徴とする請求項10に記載の電子機器。
  12. 請求項1〜11のいずれか一項に記載の電子機器と通信する通信部と、
    ユーザを認証する認証部と、
    画像を撮像する撮像部と、を備えたことを特徴とする撮像装置。
  13. 前記認証部の認証結果と、前記電子機器の認証部の認証結果とが一致した場合に、前記通信部による通信を許可する制御部を備えたことを特徴とする請求項12に記載の撮像装置。
  14. 請求項1,3,7のいずれか一項に記載の電子機器と通信する通信部と、
    画像を撮像する撮像部と、を備え、
    前記撮像部は、前記電子機器の前記送信部から送信された情報に基づいた処理を実行することを特徴とする撮像装置。
  15. 請求項1〜11のいずれか一項に記載の電子機器のユーザの認証結果を入力する第1認証結果入力部と、
    撮像装置のユーザの認証結果を入力する第2認証結果入力部と、
    前記第1認証結果入力部が入力した認証結果と、前記第2認証結果入力部が入力した認証結果とが一致した場合に、前記電子機器と前記撮像装置との間の通信を許可する制御部と、を備えたことを特徴とする通信装置。
  16. 請求項6に記載の電子機器から前記ユーザの視線に関する情報を入力する第1情報入力部と、
    撮像装置の撮像領域の情報を入力する第2情報入力部と、
    前記撮像装置の撮像領域の情報と、前記ユーザの視線に関する情報とを比較する比較部と、を備えたことを特徴とする通信装置。

JP2014037377A 2014-01-17 2014-02-27 電子機器、撮像装置及び通信装置 Pending JP2015162822A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014037377A JP2015162822A (ja) 2014-02-27 2014-02-27 電子機器、撮像装置及び通信装置
PCT/JP2015/051133 WO2015108161A1 (ja) 2014-01-17 2015-01-16 電子機器、撮像装置及び通信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014037377A JP2015162822A (ja) 2014-02-27 2014-02-27 電子機器、撮像装置及び通信装置

Publications (1)

Publication Number Publication Date
JP2015162822A true JP2015162822A (ja) 2015-09-07

Family

ID=54185640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014037377A Pending JP2015162822A (ja) 2014-01-17 2014-02-27 電子機器、撮像装置及び通信装置

Country Status (1)

Country Link
JP (1) JP2015162822A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133280A (ja) * 2018-01-29 2019-08-08 株式会社リコー 情報処理システム、情報処理方法、及びプログラム
US10664991B2 (en) 2016-07-20 2020-05-26 Fujifilm Corporation Attention position recognizing apparatus, image pickup apparatus, display apparatus, attention position recognizing method and program
JP2021029011A (ja) * 2019-08-09 2021-02-25 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664991B2 (en) 2016-07-20 2020-05-26 Fujifilm Corporation Attention position recognizing apparatus, image pickup apparatus, display apparatus, attention position recognizing method and program
JP2019133280A (ja) * 2018-01-29 2019-08-08 株式会社リコー 情報処理システム、情報処理方法、及びプログラム
JP7052382B2 (ja) 2018-01-29 2022-04-12 株式会社リコー 情報処理システム、情報処理方法、及びプログラム
JP2021029011A (ja) * 2019-08-09 2021-02-25 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体
JP7286469B2 (ja) 2019-08-09 2023-06-05 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体

Similar Documents

Publication Publication Date Title
KR102494698B1 (ko) 카메라의 초점을 변경하는 방법 및 장치
KR20150133056A (ko) 이동 단말기 및 그것의 제어방법
KR101595957B1 (ko) 이동 단말기 및 제어 시스템
KR20170035237A (ko) 이동 단말기 및 그 제어방법
KR20160006053A (ko) 글래스 타입 단말기 및 그것의 제어방법
KR102240639B1 (ko) 글래스 타입 단말기 및 그것의 제어 방법
KR20190008610A (ko) 이동 단말기 및 그 제어 방법
KR20150087606A (ko) 이동 단말기 및 그 제어 방법
KR20180023310A (ko) 이동 단말기 및 그 제어방법
KR102181208B1 (ko) 이동 단말기 및 그것의 제어 방법
JP2014138275A (ja) 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
KR20180040409A (ko) 이동 단말기 및 그 제어방법
KR20160125674A (ko) 이동 단말기 및 그 제어 방법
KR102154528B1 (ko) 이동 단말기 및 그 제어 방법
KR20160017463A (ko) 이동 단말기 및 그 제어 방법
KR20180028701A (ko) 휴대용 카메라 및 그 제어방법
JP2015162822A (ja) 電子機器、撮像装置及び通信装置
KR20180020734A (ko) 이동단말기 및 그 제어 방법
CN113364945A (zh) 电子装置、控制方法和计算机可读介质
KR20160070529A (ko) 웨어러블 디바이스
KR20170082228A (ko) 이동 단말기 및 그 제어방법
US11442244B2 (en) Imaging device
KR20150084485A (ko) 이동 단말기 및 이의 제어 방법
JP2015136030A (ja) 撮像装置及び電子機器
KR20170085358A (ko) 이동 단말기 및 그 제어방법