JP6799063B2 - 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム - Google Patents

注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム Download PDF

Info

Publication number
JP6799063B2
JP6799063B2 JP2018528440A JP2018528440A JP6799063B2 JP 6799063 B2 JP6799063 B2 JP 6799063B2 JP 2018528440 A JP2018528440 A JP 2018528440A JP 2018528440 A JP2018528440 A JP 2018528440A JP 6799063 B2 JP6799063 B2 JP 6799063B2
Authority
JP
Japan
Prior art keywords
line
sight
video
attention
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018528440A
Other languages
English (en)
Other versions
JPWO2018016209A1 (ja
Inventor
杉本　雅彦
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018016209A1 publication Critical patent/JPWO2018016209A1/ja
Application granted granted Critical
Publication of JP6799063B2 publication Critical patent/JP6799063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、映像中のユーザにより注目された部分の位置を確実に認識することを可能にする注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラムに関する。
ユーザの視線を検出することによりユーザの視線が向けられている被写体を認識する技術が知られている。
特許文献１には、ユーザの視線が同一の被写体に一定時間にわたって向けられていると判定した場合に、その被写体を撮影することが記載されている。
特許文献２には、ユーザの視線位置の検出結果と被写体距離の測定結果とに基づいて画像切り出し処理を行う際に、視線位置の検出誤差に因る切り出しミスを防ぐため、被写体の実寸法情報、及び被写体の実寸法情報と処理範囲との対応関係を予め設定しておき、被写体の実寸法に見合った処理範囲を求めることが記載されている。
特許文献３には、ライブビュー画像内の画像認識により検出した被写体（例えば犬の顔及び猫の顔）の部分を切り出して拡大表示し、拡大表示された部分に対するユーザの視線位置（例えば犬の目の位置）を検出してフォーカスを合わせることが記載されている。
特許文献４には、ユーザの視線位置に応じて焦点検出領域を選択し、その焦点検出領域のデフォーカス量の変化状況に基づいて被写体が動体であるか否かを判別し、被写体が動体であるか否かにより、視線検出動作の回数を切り換えることが記載されている。
特開２００４−６４４０９号公報 特開２００１−１１６９８５号公報 特開２０１５−１６２８２２号公報 特開平７−１９９０４２号公報
しかしながら、ユーザにより注目された位置を確実に認識することは、実際には困難である。なぜなら、人は、注目位置に一定時間連続して視線を向けるとは、限らないからである。
人が注目位置を見続けようと意識した場合でも、視線位置は一般に無意識のうちに変動する。そのため、視線検出の結果をそのまま使用して注目位置を認識した場合、不適切な位置を注目位置として認識する可能性がある。
特許文献１に記載の発明は、ユーザの視線が同一の被写体に一定時間にわたって向けられているか否かを判定するにすぎないため、ユーザの視線位置が不安定である場合（例えばユーザが注目した被写体から視線を一時的に外した場合）、ユーザにより注目された被写体を撮影できるとは限らない。
特許文献２に記載の発明は、視線位置の検出誤差を考慮して、要するに画像の切り出し範囲のサイズを被写体の実寸法に対応するサイズよりも多少大きく設定する構成であり、ユーザの注目位置の認識精度が向上するわけではない。
特許文献３に記載の発明は、ライブビュー画像内の被写体の部分を切り出して拡大表示するために画像認識技術を用いる構成であり、視線位置が安定しているか否かの判断結果及び画像認識結果に基づいて注目位置を認識するわけではないため、ユーザの視線位置が不安定である場合には、ユーザの注目位置を認識できない場合があると考えられる。
特許文献４に記載の発明は、デフォーカス量の変化状況に基づいて被写体が動体であるか否かを判別して視線検出動作の回数を切り換える構成であり、ユーザの視線位置が不安定である場合には、ユーザの注目位置を認識できない可能性がある。
以上のように、特許文献１〜４には視線解析の結果及び映像解析の結果の両方に基づいてユーザの注目位置を認識することの具体的な開示及び示唆がなく、特許文献１〜４に記載の技術を用いてもユーザの視線位置が不安定である場合にはユーザの注目位置を確実に認識することは困難である、と考えられる。
本発明は、映像中のユーザにより注目された部分の位置を確実に認識することを可能にする注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラムを提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る注目位置認識装置は、ユーザの視線位置の検出と視線位置が安定しているか否かの判断とをユーザの視線解析として行う視線解析部と、映像を取得する映像取得部と、取得された映像の映像解析を行う映像解析部と、視線解析の結果及び映像解析の結果に基づいて、映像中のユーザにより注目された部分の位置である注目位置を認識する注目位置認識部と、を備える。
本態様によれば、ユーザの視線位置の検出と視線位置が安定しているか否かの判断とがユーザの視線解析として行われ、かつ取得された映像の映像解析が行われ、視線解析の結果及び映像解析の結果の両方に基づいて映像中の注目位置が認識されるので、映像中の注目位置が確実に認識されることになる。
本発明の第２の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が安定していると判断された場合、検出された視線位置を注目位置として採用する。本態様によれば、視線位置が安定していると判断された場合には、その視線位置が注目位置として採用されることにより、映像中の注目位置が確実に認識されることになる。
本発明の第３の態様に係る注目位置認識装置では、映像解析部は、映像が安定しているか否かを判断し、注目位置認識部は、視線位置が不安定であると判断された場合、映像が安定しているか否かの判断結果に基づいて、注目位置を認識する。本態様によれば、視線位置が不安定であると判断された場合には、映像が安定しているか否かの判断結果に基づいて注目位置が認識されるので、映像中の注目位置が確実に認識されることになる。
本発明の第４の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が不安定であると判断され、かつ映像が安定していると判断された場合、検出された視線位置を時系列でフィルタリングして注目位置として採用する。本態様によれば、視線位置が不安定かつ映像が安定していると判断された場合、検出された視線位置が時系列でフィルタリングされて注目位置として採用されることにより、映像中の注目位置が確実に認識されることになる。
本発明の第５の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が不安定であると判断され、かつ映像が安定していると判断された場合、映像解析の結果に基づいて映像中の注目部分を推定し、映像中の推定した注目部分の位置を注目位置として採用する。本態様によれば、視線位置が不安定かつ映像が安定していると判断された場合、映像に基づいて注目部分が推定され、映像中の推定した注目部分の位置が注目位置として採用されることにより、映像中の注目位置が確実に認識されることになる。
本発明の第６の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が不安定であると判断され、かつ映像が不安定であると判断された場合、検出された視線位置の動きと映像中の動きとを比較して、検出された視線位置を注目位置として採用するか否かを判定する。本態様によれば、視線位置が不安定かつ映像が不安定と判断された場合、検出された視線位置の動きと映像中の動きとが比較されて、検出された視線位置を注目位置として採用するか否かが判定されるので、映像中の注目位置が確実に認識されることになる。
本発明の第７の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が不安定であると判断され、かつ映像が不安定であると判断された場合、映像解析の結果に基づいて映像中の注目部分を推定し、検出された視線位置の動きと映像中の推定した注目部分の動きとを比較して、検出された視線位置を注目位置として採用するか否かを判定する。本態様によれば、視線位置が不安定かつ映像が不安定と判断された場合、映像に基づいて注目部分が推定され、検出された視線位置の動きと映像中の推定した注目部分の動きとが比較されて、検出された視線位置を注目位置として採用するか否かが判定されるので、映像中の注目位置が確実に認識されることになる。
本発明の第８の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が不安定であると判断された場合、検出された視線位置の動きと映像中の動きとを比較して、検出された視線位置を注目位置として採用するか否かを判定する。本態様によれば、視線位置が不安定である場合でも、視線位置の動きと映像中の推定した注目部分の動きとに相関性がある場合、映像中の注目位置を確実に認識することが可能になる。
本発明の第９の態様に係る注目位置認識装置では、注目位置認識部は、視線位置が安定していると判断された場合、視線位置が不安定であると判断された場合よりも、視線解析の結果の重みを大きくして注目位置を認識する。
本発明の第１０の態様に係る撮像装置は、前述の注目位置認識装置を備え、被写体を撮像する撮像部を、映像取得部として用いる。
本発明の第１１の態様に係る撮像装置は、視線解析の結果と撮像により得られた映像の解析結果とに基づいて認識された注目位置を用いて、自動焦点調節、自動露出、及び自動色バランス補正のうち少なくとも一つを行う。
本発明の第１２の態様に係る表示装置は、前述の注目位置認識装置と、映像を表示する表示部と、を備える。
本発明の第１３の態様に係る注目位置認識方法は、ユーザの視線位置の検出と視線位置が安定しているか否かの判断とをユーザの視線解析として行うステップと、映像を取得するステップと、取得された映像の映像解析を行うステップと、視線解析の結果及び映像解析の結果に基づいて、映像中のユーザにより注目された部分の位置である注目位置を認識するステップと、を含む。
本発明の第１４の態様に係るプログラムは、ユーザの視線位置の検出と視線位置が安定しているか否かの判断とをユーザの視線解析として行うステップと、映像を取得するステップと、取得された映像の映像解析を行うステップと、視線解析の結果及び映像解析の結果に基づいて、映像中のユーザにより注目された部分の位置である注目位置を認識するステップと、をコンピュータに実行させる。
本発明によれば、映像中のユーザにより注目された部分の位置を確実に認識することが可能になる。
図１は、本発明に係る注目位置認識装置の基本構成例を示すブロック図である。 図２は、時間の経過に伴って映像における視線位置が変動した一例を示す。 図３は、静止被写体の映像例を示す図である。 図４は、図３の映像例における第１の視線位置検出結果例を示す図である。 図５は、図３の映像例における第２の視線位置検出結果例を示す図である。 図６は、動く被写体の映像例を示す図である。 図７は、図６の映像例における視線位置検出結果例を示す図である。 図８は、図６の映像例における視線位置の動きと映像中の動きとの相関性の説明に用いる説明図である。 図９は、パンニングの映像例を示す図である。 図１０は、本発明に係る注目位置認識方法を適用した基本的な処理の流れを示すフローチャートである。 図１１は、注目位置認識ステップの第１実施例を示すフローチャートである。 図１２は、注目位置認識ステップの第２実施例を示すフローチャートである。 図１３は、注目位置認識ステップの第３実施例を示すフローチャートである。 図１４は、注目位置認識ステップの第４実施例を示すフローチャートである。 図１５は、注目位置認識ステップの第５実施例を示すフローチャートである。 図１６は、本発明を適用した撮像装置の構成例を示すブロック図である。 図１７は、本発明を適用したスマートフォンの外観を示す斜視図である。 図１８は、本発明を適用したスマートフォンの構成例を示すブロック図である。 図１９は、本発明の注目位置認識装置を適用した表示装置の構成例を示すブロック図である。 図２０は、図１９の表示装置の一例の外観を示す斜視図である。
以下、添付図面に従って、本発明に係る注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラムを実施するための形態について説明する。
＜基本構成例＞
図１は、本発明に係る注目位置認識装置の基本構成例を示すブロック図である。
注目位置認識装置１０は、ユーザの目の動きを示す情報を取得する視線取得部１２と、映像を取得する映像取得部１４と、取得された映像を表示する表示部１６と、ユーザの操作を受け付ける操作部１８と、ユーザの視線位置の検出とユーザの視線位置が安定しているか否かの判断とをユーザの視線解析として行う視線解析部２２と、取得された映像の映像解析を行う映像解析部２４と、視線解析部２２の視線解析の結果及び映像解析部２４の映像解析の結果を用いて、映像中の注目位置を認識する注目位置認識部２６と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部３０とを備える。
本明細書において、「注目位置」は、映像中のユーザにより注目された部分の位置である。例えば、デジタルカメラ等の撮像デバイスによりユーザの視野内に存在する被写体を撮像した場合、ユーザにより注目された実空間の注目被写体（「主要被写体」ともいう）に対応する映像中の注目被写体像（「主要被写体像」ともいう）が、「映像中のユーザにより注目された部分」に相当する。非撮像の映像においては、表示部１６に表示された映像中のユーザにより注目された部分（「注目対象物」又は「注目オブジェクト」ともいう）が、「映像中のユーザにより注目された部分」である。撮像デバイスにより撮像して得られた映像を表示部１６に表示し、その表示部１６に表示された映像中のユーザにより注目された部分を判断し、「映像中のユーザにより注目された部分」としてもよい。
視線取得部１２は、視線解析部２２でユーザの視線を解析するために必要なユーザの目の動きを示す情報として、例えばユーザの顔画像を取得する。視線取得部１２として、例えば可視光を撮像するカメラ（以下「可視光カメラ」という）を用いる場合、可視光カメラによりユーザの顔を撮像することにより、例えば目頭の位置と虹彩の位置との対応関係を示す画像が、ユーザの目の動きを示す情報として取得される。視線取得部１２として、例えば赤外光を撮像するカメラ（以下「赤外光カメラ」という）を用いる場合、赤外光カメラにより赤外光をユーザの顔に照射した状態でユーザの顔を撮像することにより、例えば角膜反射点の位置と瞳孔の位置との対応関係を示す画像が、ユーザの目の動きを示す情報として取得される。
映像取得部１４は、映像を取得するデバイスであり、例として、撮像デバイス、通信デバイス、記録媒体インタフェースデバイスが挙げられる。映像取得部１４として、撮像デバイスを用いる場合、その撮像デバイスによってユーザの視野内の被写体を撮像した映像が取得される。映像取得部１４として、通信デバイスを用いる場合、外部から映像が取得される。映像取得部１４として、記録媒体インタフェースデバイスを用いる場合、記録媒体から映像が取得される。「映像」は、例えば、一定のフレームレートの動画である。連写された複数の静止画像でもよい。「映像」を構成する複数の静止画像の時間間隔は、一定時間間隔でなくてもよい。
表示部１６は、液晶表示デバイスなどの表示デバイスによって構成される。
操作部１８は、ユーザの操作を受け付けるデバイスである。例えば、表示部１６の表示画面に重ね合されたタッチパネルによって、操作部１８が構成される。
視線解析部２２、映像解析部２４、及び注目位置認識部２６は、ＣＰＵ（central processing unit）によって構成することができる。複数のＣＰＵによって構成してもよい。ＣＰＵは、コンピュータの一形態である。
視線解析部２２は、ユーザの視線位置を検出する機能（視線位置検出機能）のほか、ユーザの視線位置が時系列で安定しているか否かを判断する機能（視線位置安定性判断機能）を有する。機能の具体例は後述する。
映像解析部２４は、映像が時系列で安定しているか否かを判断する機能（映像安定性判断機能）を有する。機能の具体例は後述する。
本例の注目位置認識部２６は、視線解析部２２により視線位置が安定していると判断された場合、視線解析部２２により検出された視線位置を、注目位置として採用する。また、本例の注目位置認識部２６は、視線解析部２２により視線位置が不安定であると判断された場合、映像解析部２４による映像が安定しているか否かの判断結果に基づいて、映像中の注目位置を認識する。尚、注目位置の認識態様には各種あり、後に詳説する。
記憶部３０は、非一時的記憶デバイスを含んで構成される。本例の記憶部３０は、一時的記憶デバイスであるＲＡＭ（random access memory）と、非一時的記憶デバイスであるＲＯＭ（read only memory）及びＥＥＰＲＯＭ（electrically erasable programmable read only memory）とを含んで構成される。非一時的記憶デバイスとして、注目位置認識装置１０の本体から着脱自在なリムーバブル記憶デバイス（例えばメモリカード）を用いてもよい。光ディスク、磁気ディスク等の非一時的記憶デバイスを用いてもよい。
＜視線位置の安定性判断例＞
本明細書で、視線位置の「安定」とは、「映像中のユーザの視線位置が時系列で安定している」ことをいう。視線解析部２２は、視線位置安定性判断機能として、映像中のユーザの視線位置が時系列で安定しているか否かを判断する。以下、視線解析部２２による判断例を、説明する。
図２は、時間ｔの経過に伴って映像ＩＭＧにおける視線位置ＳＰが変動した一例を示す。人は、映像ＩＭＧ中の注目部分（「関心領域」ともいう）を、一定時間（例えば３秒間）以上、見続けるとは限らない。図２に示すように、時刻ｔ１〜ｔＮにわたる映像ＩＭＧ（ｔ１）〜ＩＭＧ（ｔＮ）において、実空間の注目被写体（例えば動物の顔）に対応する注目部分ＲＯＩ（注目被写体像）から、視線位置ＳＰが一時的に離れた時刻（本例ではｔ２）が存在する。このように視線位置ＳＰが注目部分ＲＯＩから離れることを考慮する。
視線位置の安定性の第１の判断態様として、視線位置ＳＰが映像ＩＭＧ中の所定範囲内に所定時間連続して存在したか否かを判定し、所定時間以上連続して存在した場合に「安定性有り」と判断する態様がある。ここで、「所定範囲」及び「所定時間」は、固定である場合に限定されず、可変の設定された範囲又は時間とすることができる。例えば図２において、時刻ｔ３〜ｔＮの間にユーザの視線位置ＳＰが注目部分ＲＯＩに存在していた場合、時刻ｔ３〜ｔＮにわたる時間よりも短い時間が「所定時間」として設定されていれば、「安定性有り」と判断される。本判断態様は、判断処理が簡易である点で好ましいが、視線位置変動の個人差が視線位置安定性の判断結果（安定／不安定）に影響し易い。しかしながら、後述のように、注目位置認識部２６において、視線解析の結果及び映像解析の結果の両方に基づいて注目位置を認識することにより、注目位置の認識精度を向上させることが可能である。
視線位置の安定性の第２の判断態様として、視線位置ＳＰの変動量の絶対値（動きベクトルの大きさ）を所定時間にわたって積分し、積分値が閾値以下である場合に「安定性有り」と判断する態様がある。ここで、「所定時間」及び「閾値」は、固定である場合に限定されず、可変の設定された値とすることができる。例えば図２において、時刻ｔ２の視線位置ＳＰ（ｔ２）が注目部分ＲＯＩから外れているが、時刻ｔ１〜ｔＮにわたる視線位置ＳＰ（ｔ１）〜ＳＰ（ｔＮ）の変動量の絶対値の積分値が閾値以下であれば、「安定性有り」と判断される。本判断態様は、視線位置変動に対して判断結果が安定する。このように、視線位置が一時的に大きく変動しても、所定時間の大部分において視線位置が安定している場合には「安定性有り」と判断することが、好ましい。積分値は、例えば、映像ＩＭＧにおける視線位置ＳＰ（ｔ１）〜ＳＰ（ｔＮ）の座標（ｘ、ｙ）の変動量の絶対値（動きベクトルの大きさ）を積分して算出することができる。映像ＩＭＧを複数の分割ブロックに分割し、映像ＩＭＧにおける視線位置ＳＰ（ｔ１）〜ＳＰ（ｔＮ）の分割ブロック間の移動量の絶対値（ブロック数）の積分値を算出し、閾値と比較してもよい。
尚、視線位置の安定性の判断態様は、前述の第１の判断態様及び第２の判断態様に限定されない。例えば、一定時間（例えば３秒間）のうち、映像中の所定範囲（例えば顔画像部分）に視線位置ＳＰが存在した時間の割合が、閾値（例えば８０％）以上であれば「安定性有り」と判断し、その映像中の所定範囲の位置を注目位置と認識してもよい。
＜映像の安定性判断例＞
本明細書で映像の「安定」とは、「映像が時系列で安定している」ことをいう。つまり、映像中の要素（例えば被写体像）の動きが所定時間にわたって無い、又は映像中の要素の所定時間にわたる動きが小さい（閾値以下である）場合、「映像が安定している」ということができる。ここで、「所定時間」及び「閾値」は、固定である場合に限定されず、可変の設定された値とすることができる。映像解析部２４は、映像安定性判断機能として、映像が時系列で安定しているか否かを判断する。以下、映像解析部２４による判断例を、説明する。尚、本発明において、本機能は必須ではなく、オプションとして実装できる。
映像の安定性の第１の判断態様として、映像中の動きベクトルを検出し、その動きベクトルの大きさを所定時間にわたって積分し、積分値が閾値以下である場合に「安定性有り」と判断する態様がある。ここで、「所定時間」及び「閾値」は、固定である場合に限定されず、可変の設定された値とすることができる。本態様によれば、映像が全体的に安定しているか否かを判断することができる。
映像の安定性の第２の判断態様として、映像中の注目部分の候補（例えば被写体像）を画像処理により検出し、各候補の時系列の動き量に基づいて、映像の安定性を判断する態様がある。本態様では、映像のうちユーザにより注目される可能性が高い部分（例えば被写体像）に限定して、映像安定性を判断することができる。
尚、映像の安定性の判断態様は、前述の第１の判断態様及び第２の判断態様に限定されない。例えば、映像のうちで重要な所定範囲（例えば映像の中央部分）のみで安定性を判断する態様でもよい。ここで、「所定範囲」は、固定である場合に限定されず、可変の設定された範囲とすることができる。
＜注目部分推定機能＞
映像解析部２４は、映像中の注目部分を推定するために必要な情報として、映像中の各部分の特徴量を算出する機能を有する。ここで「映像中の各部分」は、撮像により被写体を撮像して得られた映像では「被写体像」でよく、非撮像の映像では映像を構成する要素でよい。尚、本発明において本機能は必須ではなく、オプションとして実装できる。「映像中の各部分」を、以下では「対象物」（オブジェクト）ということもある。
注目部分の推定は、公知の顕著性（saliency）の算出結果を用いて行うことができる。映像解析部２４は、例えば顕著性マップを生成する。本例での顕著性は、映像取得部１４により取得された映像中の各部分（対象物）が、視覚的に、ユーザの注意を引く程度をいう。映像解析部２４は、例えば、映像中の各部分の明るさ、色等の局所的な複数種類の特徴量を算出し、それらの特徴量を重み付けて顕著性を算出する。尚、映像から算出する特徴量は、特に明るさ及び色には、限定されない。ただし、映像中のあらゆる部分のあらゆる特徴量を算出することは処理負荷が大きくなるので、好ましくない。視線解析部２２の視線解析結果に基づいて、映像中の顕著性の算出領域を限定することが、好ましい。更には、映像シーン、注目部分の種類等の条件に応じて、顕著性のパラメータとして算出する特徴量の種類を限定することが、好ましい。
尚、本発明における注目部分の推定は、顕著性の算出結果を用いる場合には特に限定されない。例えば、予め決められた種類の被写体像（例えば顔画像）の検出結果を用いてもよい。
＜注目位置認識例＞
注目位置認識部２６による注目位置認識の具体例を説明する。
まず、ユーザが静止被写体を注目した場合について、説明する。図３に示す映像ＩＭＧ１が取得され、その映像ＩＭＧ１には三つの静止した被写体像ＯＢＪ１１、ＯＢＪ１２、ＯＢＪ１３が含まれているものとする。尚、動画中の１フレームのみを映像ＩＭＧ１として図示した。
図４は、図３の映像ＩＭＧ１における第１の視線位置検出結果例を示す図であり、図中の黒点は視線位置ＳＰを表している。このように時系列の視線位置ＳＰの分布が一つの被写体像ＯＢＪ１１の範囲内に集中した場合、視線解析部２２により視線位置が安定していると判断することができる。注目位置認識部２６は、視線位置が安定しているため、視線解析部２２の視線位置の検出結果に基づいて、被写体像ＯＢＪ１１が、映像ＩＭＧ１中のユーザにより注目されている部分であると認識することができる。
図５は、図３の映像ＩＭＧ１における第２の視線位置検出結果例を示す図であり、図中の黒点は視線位置ＳＰを表している。一定時間における視線位置ＳＰの変動量の絶対値の積分値が大きい場合、視線解析部２２により視線位置が不安定であると判断される。その一方で、映像ＩＭＧ１中で被写体像ＯＢＪ１１、ＯＢＪ１２及びＯＢＪ１３が静止しているため、映像解析部２４により映像が安定していると判断される。このような場合、注目位置認識部２６は、検出された視線位置をそのまま注目位置として採用するのではなくて、視線解析の結果及び映像解析の結果の両方に基づいて注目位置を認識することができる。
次に、ユーザが動く被写体を注目した場合について、説明する。図６に示す映像ＩＭＧ２が取得され、その映像ＩＭＧ２には動く被写体像ＯＢＪ２が含まれているものとする。尚、映像ＩＭＧ２は動画であり、映像ＩＭＧ２中で被写体像ＯＢＪ２が動く。
図７は、図６の映像ＩＭＧ２における視線位置検出結果例を示す説明図であり、図中の黒点は視線位置ＳＰを表している。視線解析部２２により視線位置が不安定であると判断される。また、映像ＩＭＧ２中で被写体像ＯＢＪ２が動くため、映像解析部２４により映像が不安定であると判断することができる。このような場合、注目位置認識部２６は、視線位置ＳＰの時系列の動きと映像ＩＭＧ２中の動き（本例では被写体像ＯＢＪ２の動き）との相関性を判断する。図８は、視線位置ＳＰの動きベクトルＭＶ１と映像ＩＭＧ２中の動きベクトルＭＶ２とを示す。本例の注目位置認識部２６は、二つの動きベクトルＭＶ１、ＭＶ２の方向及び大きさを比較することにより、視線位置の動きと映像中の動きとの相関性を判断し、相関性が有ると判断した場合には、検出された視線位置を注目位置として採用する。映像中の動きから算出した位置（例えば映像中の被写体像ＯＢＪ２の動きの中心位置）を、注目位置として採用してもよい。視線位置、及び映像に基づく算出位置のうち、いずれを注目位置として選択するのか、操作部１８により選択指示の入力を受け付ける構成としてもよい。
静止被写体に対してパンニング（panning）で撮像を行った場合には、図９に示すように、映像ＩＭＧ３中で被写体像ＯＢＪ３が動く。この場合、視線解析部２２により一般に視線位置が不安定であると判断され、映像解析部２４により映像が不安定であると判断され、注目位置認識部２６により視線位置ＳＰの動きと映像ＩＭＧ３中の被写体像ＯＢＪ３の動きとに相関性が有ると判断される。
＜フローチャートの説明＞
図１０は、本発明に係る注目位置認識方法を適用した基本的な処理の流れを示すフローチャートである。本処理は、図１の記憶部３０を構成する非一時的記憶デバイスに記憶されたプログラムに従って、実行される。
まず、視線取得部１２により、ユーザの視線（ユーザの目の動きを示す情報である）を取得し、かつ映像取得部１４により、映像を取得する（ステップＳ２）。
次に、視線解析部２２により、ユーザの視線位置の検出と、検出された視線位置が時系列に安定しているか否かの判断（視線位置安定性判断）とを、ユーザの視線解析として行う（ステップＳ４）。視線解析の結果は記憶部３０に記憶される。
次に、映像解析部２４により、取得された映像に対する映像解析を行う（ステップＳ６）。映像解析の結果は記憶部３０に記憶される。
次に、注目位置認識部２６により、視線解析部２２の視線解析の結果及び映像解析部２４の映像解析の結果の両方に基づいて、映像中のユーザにより注目された部分の位置である注目位置を認識する（ステップＳ８）。以下では、ステップＳ８を「注目位置認識ステップ」という。
次に、認識された注目位置に基づいて、各種の処理を行う（ステップＳ１０）。注目位置に基づく各種の処理例は、後述する。
図１１は、注目位置認識ステップ（図１０のステップＳ８）の第１実施例を示すフローチャートである。
まず、視線解析部２２の視線解析結果を取得する（ステップＳ１２）。本例では、視線解析部２２により生成された、視線位置の検出結果を示す情報と、視線位置の安定性の判断結果を示す情報とを、記憶部３０から取得する。
次に、映像解析部２４の映像解析結果を取得する（ステップＳ１４）。本例では、映像解析部２４により生成された、映像の安定性の判断結果を示す情報を、記憶部３０から取得する。
次に、視線解析部２２により視線位置が時系列で安定していると判断されたか否かを判定する（ステップＳ１６）。
視線解析部２２により視線位置が時系列で安定していると判断された場合（ステップＳ１６でＹＥＳの場合）、注目位置認識部２６は、視線解析部２２により検出された視線位置を、映像中の注目位置として採用する（ステップＳ１８）。
視線解析部２２により視線位置が時系列で不安定であると判断された場合（ステップＳ１６でＮＯの場合）、映像解析部２４により映像が時系列で安定していると判断されたか否かを判定する（ステップＳ２０）。
視線解析部２２により視線位置が時系列で不安定であると判断され、かつ映像解析部２４により映像が時系列で安定していると判断された場合（ステップＳ２０でＹＥＳの場合）、注目位置認識部２６は、視線解析部２２により検出された視線位置を、時系列でフィルタリングし（ステップＳ２２）、注目位置として採用する（ステップＳ２４）。フィルタリングには、例えばローパスフィルタを用いることができる。
視線解析部２２により視線位置が時系列で不安定であると判断され、かつ映像解析部２４により映像が時系列で不安定であると判断された場合（ステップＳ２０でＮＯの場合）、注目位置認識部２６は、視線解析部２２により検出された視線位置の動きと、映像解析部２４により検出された映像中の動きとに、相関性が有るか否かを判定する（ステップＳ２６）。つまり、注目位置認識部２６は、検出された視線位置の動きと、検出された映像中の動きとを比較して、検出された視線位置を注目位置として採用するか否かを判定する。視線位置の動きと映像中の動きとが似ている場合、例えば視線位置の動きベクトルと映像中の動きベクトルとで差異（大きさの差及び方向の差）が閾値以下である場合、「相関性が有る」と判断される。差異が閾値を超える場合、「相関性が無い」と判断される。
視線位置の動きと映像中の動きとに相関性が有ると判断された場合（ステップＳ２６でＹＥＳの場合）、注目位置認識部２６により、検出された視線位置を、注目位置として採用する（ステップＳ２８）。
視線位置の動きと映像中の動きとに相関性が無いと判断された場合（ステップＳ２６でＮＯの場合）、注目位置を非特定とする（ステップＳ３０）。本例では注目位置をヌル（null）とする。
図１２は、注目位置認識ステップ（図１０のステップＳ８）の第２実施例を示すフローチャートである。尚、図１１に示した第１実施例と同じステップには、同じ符号を付してあり、既に説明した内容を以下では省略する。
ステップＳ１２〜Ｓ２０及びステップＳ２６〜Ｓ３０は、第１実施例と同様である。ただし、本例では、ステップＳ１４（映像解析結果取得）において、映像解析部２４により生成された顕著性の算出結果を示す情報を、記憶部３０から取得する。
視線位置が時系列で不安定であると判断され、かつ映像が時系列で安定していると判断された場合（ステップＳ２０でＹＥＳの場合）、本例の注目位置認識部２６は、映像解析結果に基づいて映像中の注目部分を推定し、映像中の推定された注目部分の位置を注目位置として採用する（ステップＳ１０２）。例えば、図１０のステップＳ６（映像解析）において、映像解析部２４により、映像中の各部分の顕著性を示す顕著性マップを作成しておく。注目位置認識部２６は、映像中の顕著性が最も高い部分を注目部分と推定し、その映像中の注目部分の位置を注目位置として採用する。
図１３は、注目位置認識ステップ（図１０のステップＳ８）の第３実施例を示すフローチャートである。尚、図１２に示した第２実施例と同じステップには、同じ符号を付してあり、既に説明した内容を以下では省略する。
ステップＳ１２〜Ｓ２０及びステップＳ１０２は、第２実施例と同様である。本例でも、ステップＳ１４（映像解析結果取得）において、映像解析部２４により生成された顕著性の算出結果を示す情報を、記憶部３０から取得する。
視線位置が時系列で不安定であると判断され、かつ映像が時系列で不安定であると判断された場合（ステップＳ２０でＮＯの場合）、本例の注目位置認識部２６は、映像解析結果に基づいて映像中の注目部分を推定し、かつ視線解析部２２により検出された視線位置の動きと映像中の推定された注目部分の動きとに相関性が有るか否かを判定する（ステップＳ２０２）。例えば、図１０のステップＳ６（映像解析）において、映像解析部２４により、映像中の各部分の顕著性を示す顕著性マップを作成しておく。注目位置認識部２６は、映像中の顕著性が最も高い部分を注目部分と推定し、その推定された注目部分の動きと、検出された視線位置の動きとを比較して、その視線位置を注目位置として採用するか否かを判定する。視線位置の動きと注目部分の動きとが似ている場合、例えば視線位置の動きベクトルと映像中の注目部分の動きベクトルとで差異（大きさの差及び方向の差）が閾値以下である場合、「相関性が有る」と判断される。差異が閾値を超える場合、「相関性が無い」と判断される。
視線位置の動きと注目部分の動きとに相関性が有ると判断された場合（ステップＳ２０２でＹＥＳの場合）、注目位置認識部２６により、検出された視線位置を、注目位置として採用する（ステップＳ２８）。視線位置の動きと注目部分の動きとに相関性が無いと判断された場合（ステップＳ２０２でＮＯの場合）、注目位置を非特定とする（ステップＳ３０）。
図１４は、注目位置認識ステップ（図１０のステップＳ８）の第４実施例を示すフローチャートである。尚、図１１に示した第１実施例と同じステップには、同じ符号を付してあり、既に説明した内容を以下では省略する。
ステップＳ１２〜Ｓ１８は、第１実施例と同様である。
視線位置が時系列で不安定であると判断された場合（ステップＳ１６でＮＯの場合）、本例の注目位置認識部２６は、視線解析部２２により検出された視線位置の動きと、映像解析部２４により検出された映像中の動きとに、相関性が有るか否かを判定する（ステップＳ２６）。本ステップＳ２６と、ステップＳ２８及びＳ３０は、第１実施例と同様である。
図１５は、注目位置認識ステップ（図１０のステップＳ８）の第５実施例を示すフローチャートである。尚、図１３に示した第３実施例と同じステップには、同じ符号を付してあり、既に説明した内容を以下では省略する。
ステップＳ１２〜Ｓ１８は、第３実施例と同様である。
視線位置が時系列で不安定であると判断された場合（ステップＳ１６でＮＯの場合）、本例の注目位置認識部２６は、映像解析結果に基づいて映像中の注目部分を推定し、視線解析部２２により検出された視線位置の動きと、映像中の推定された注目部分の動きとに、相関性が有るか否かを判定する（ステップＳ２０２）。本ステップＳ２０２と、ステップＳ２８及びＳ３０は、第３実施例と同様である。
尚、本発明における注目位置認識部２６は、上述の実施例１〜５を行う場合に限定されない。例えば、注目位置認識部２６は、視線位置が安定していると判断された場合、視線位置が不安定であると判断された場合よりも、視線解析の結果の重みを大きくして注目位置を認識する構成としてよい。
＜撮像装置の構成例＞
図１６は、本発明に係る注目位置認識装置を適用した撮像装置の構成例を示すブロック図である。尚、図１に示した注目位置認識装置１０と同じ構成要素には、同じ符号を付してあり、既に説明した内容を以下では省略する。
本例の撮像装置１００は、被写体を撮像する撮像部１０２と、撮像部１０２を制御する撮像制御部１０４とを含んで構成される。撮像部１０２は、撮像素子と、その撮像素子に被写体像を結像する撮像光学系とを含んで構成される。例えばデジタルカメラの要部によって構成することができる。撮像部１０２は、図１の映像取得部１４として用いることができる。
撮像制御部１０４は、注目位置認識部２６により認識された注目位置を用いて、自動焦点調節、自動露出、及び自動色バランス補正（例えば自動ホワイトバランス補正）のうち少なくとも一つを行う。例えば、認識された注目位置に基づいて、焦点検出の検出領域を決定し、自動焦点検出を行う。
本例の映像解析部２４は、撮像部１０２の撮像により得られた映像に対して映像解析を行う。
本例の視線取得部１２は、撮像装置１００の正面側（被写体に対向する側）とは反対側である背面側（ユーザの顔に対向する側）に設けられる。撮像装置１００にファインダを設け、そのファインダに視線取得部１２を設けてもよい。
＜スマートフォンの構成例＞
図１７は、本発明に係る注目位置認識装置を適用したスマートフォンの一例の外観図である。図１７に示すスマートフォン２００は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示パネル２２１と、操作パネル２２２とが一体となった表示入力部２２０を備えている。また、筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。尚、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図１８は、図１７に示すスマートフォン２００の構成例を示すブロック図である。図１８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ(global positioning system)受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２０１とを備える。また、スマートフォン２００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部２１０は、主制御部２０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部２２０は、主制御部２０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。
表示パネル２２１は、ＬＣＤ(liquid crystal display)、ＯＬＥＤ（organic light emitting diodes）ディスプレイなどを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン型入力装置によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指やペン型入力装置によって操作すると、操作に起因して発生する検出信号を主制御部２０１に出力する。次いで、主制御部２０１は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。
図１７に示すように、スマートフォン２００の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
尚、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２０１にて処理可能な音声データに変換して主制御部２０１に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図１７に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。
操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１７に示すように、操作部２４０は、スマートフォン２００の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部２５０は、主制御部２０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。尚、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）などの格納媒体（コンピュータ読み取り可能な非一時的有形媒体）を用いて実現される。
外部入出力部２６０は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：universal serial bus）など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（local area network）、ブルートゥース（bluetooth）（登録商標）、ＲＦＩＤ（radio frequency identification）、赤外線通信（infrared data association：ＩｒＤＡ）（登録商標）、ＵＷＢ（ultra wide band）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（memory card）やＳＩＭ(subscriber identity module)／ＵＩＭ(user identity module)カード、オーディオビデオＩ／Ｏ（input/output）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（personal digital assistant）、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部２７０は、主制御部２０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度を含む位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２０１の指示に従って、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。この検出結果は、主制御部２０１に出力されるものである。
電源部２９０は、主制御部２０１の指示に従って、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部２０１は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２０１は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアに従って主制御部２０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するWebブラウジング機能などがある。
また、主制御部２０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２０１が、上述画像データを復号し、この復号の結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。
更に、主制御部２０１は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部２０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部２０１は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上述アイコンに対する操作や、上述ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部２０１は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部２０１は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部２４１は、ＣＭＯＳ（complementary metal oxide semiconductor）撮像センサやＣＣＤ（charge coupled device）撮像センサなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(joint photographic coding experts group)などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図１７に示すにスマートフォン２００において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。尚、複数のカメラ部２４１が搭載されている場合には、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。
本例のスマートフォン２００と図１の注目位置認識装置１０の基本構成例との対比を説明する。例えば、カメラ部２４１を視線取得部１２として用い、無線通信部２１０を映像取得部１４として用い、表示パネル２２１を表示部１６として用い、操作パネル２２２を操作部１８として用い、主制御部２０１を視線解析部２２、映像解析部２４及び注目位置認識部２６として用い、記憶部２５０を記憶部３０として用いることができる。カメラ部２４１を、ユーザの顔に対向させる第１のカメラと、ユーザの視野内の被写体に対向させる第２のカメラとによって構成し、第１のカメラを視線取得部１２として用い、第２のカメラを映像取得部１４として用いてもよい。
＜表示装置の構成例＞
図１９は、本発明に係る注目位置認識装置を適用した表示装置の構成例を示すブロック図である。尚、図１に示した注目位置認識装置１０と同じ構成要素には、同じ符号を付してあり、既に説明した内容を以下では省略する。
本例の表示装置３００は、データベース３５０から通信により映像を取得する通信部３０２を備える。通信部３０２は、ネットワークＮＷを介してデータベース３５０と通信を行う通信デバイスによって構成することができる。通信デバイスは、有線通信デバイス又は無線通信デバイスを用いることができる。つまり、通信部３０２は、映像解析部２４の解析対象である映像を通信により取得する。
図２０は、図１９の表示装置３００の外観図である。図２０に示すように、本例の表示装置３００のユーザ対向側（ユーザの顔に対向する側である）には、視線取得部１２とタッチパネルディスプレイ３０４とが設けられている。タッチパネルディスプレイ３０４は、表示部１６及び操作部１８を構成する。また、本例の表示装置３００のユーザ対向側には、ユーザまでの距離を測定する距離測定部３０６と、ユーザの音声を入力する音声入力部３０８と、ユーザに対して音声を出力する音声出力部３１０とが、設けられている。距離測定部３０６は、例えば、赤外光を発光してユーザで反射された反射光を受光し、発光してから受光するまでの時間に応じた距離情報を取得する距離測定デバイスによって構成することができる。音声入力部３０８は、マイクによって構成することができる。音声出力部３１０は、スピーカによって構成することができる。
本例の表示装置３００は、人と対話可能なロボットであり、表示部１６に映像を表示して、その表示された映像中のユーザにより注目された部分（注目部分）の位置を認識し、対話内容を決定することができる。
以上のように、本発明は、ユーザの視野内の被写体を撮像して得られた映像中のユーザにより注目された部分（注目被写体像）の位置を認識する場合のほか、非撮像の映像中のユーザにより注目された部分（注目対象物）の位置を認識する場合にも適用することができる。撮像して得られた映像を表示し、その表示された映像中の注目部分の位置を認識する場合に適用してもよいことは、言うまでもない。
以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
１０ 注目位置認識装置
１２ 視線取得部
１４ 映像取得部
１６ 表示部
１８ 操作部
２２ 視線解析部
２４ 映像解析部
２６ 注目位置認識部
３０ 記憶部
１００ 撮像装置
１０２ 撮像部
１０４ 撮像制御部
２００ スマートフォン
２０１ 主制御部
２０２ 筐体
２１０ 無線通信部
２２０ 表示入力部
２２１ 表示パネル
２２２ 操作パネル
２３０ 通話部
２３１ スピーカ
２３２ マイクロホン
２４０ 操作部
２４１ カメラ部
２５０ 記憶部
２５１ 内部記憶部
２５２ 外部記憶部
２６０ 外部入出力部
２７０ ＧＰＳ受信部
２８０ モーションセンサ部
２９０ 電源部
３００ 表示装置
３０２ 通信部
３０４ タッチパネルディスプレイ
３０６ 距離測定部
３０８ 音声入力部
３１０ 音声出力部
３５０ データベース
ＩＭＧ、ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、 映像
ＭＶ１、ＭＶ２ 動きベクトル
ＮＷ ネットワーク
ＯＢＪ１１、ＯＢＪ１２、ＯＢＪ１３、ＯＢＪ２、ＯＢＪ３ 被写体像
ＲＯＩ 注目部分
ＳＰ 視線位置
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (13)

  1. ユーザの視線位置の検出と前記視線位置が安定しているか否かの判断とを前記ユーザの視線解析として行う視線解析部と、
    映像を取得する映像取得部と、
    前記取得された映像の映像解析を行う映像解析部と、
    前記視線解析の結果及び前記映像解析の結果に基づいて、前記映像中の前記ユーザにより注目された部分の位置である注目位置を認識する注目位置認識部と、
    を備え、
    前記注目位置認識部は、前記視線位置が不安定であると判断され、かつ前記映像が安定していると判断された場合、前記検出された視線位置を時系列でフィルタリングして前記注目位置として採用する注目位置認識装置。
  2. 前記注目位置認識部は、前記視線位置が不安定であると判断され、かつ前記映像が不安定であると判断された場合、前記検出された視線位置の動きと前記映像中の動きとを比較して、前記検出された視線位置を前記注目位置として採用するか否かを判定する、
    請求項１に記載の注目位置認識装置。
  3. 前記注目位置認識部は、前記視線位置が不安定であると判断され、かつ前記映像が不安定であると判断された場合、前記映像解析の結果に基づいて前記映像中の注目部分を推定し、前記検出された視線位置の動きと前記映像中の前記推定した注目部分の動きとを比較して、前記検出された視線位置を前記注目位置として採用するか否かを判定する、
    請求項１に記載の注目位置認識装置。
  4. ユーザの視線位置の検出と前記視線位置が安定しているか否かの判断とを前記ユーザの視線解析として行う視線解析部と、
    映像を取得する映像取得部と、
    前記取得された映像の映像解析を行う映像解析部と、
    前記視線解析の結果及び前記映像解析の結果に基づいて、前記映像中の前記ユーザにより注目された部分の位置である注目位置を認識する注目位置認識部と、
    を備え、
    前記注目位置認識部は、前記視線位置が安定していると判断された場合、前記検出され
    た視線位置を前記注目位置として採用し、
    前記注目位置認識部は、前記視線位置が不安定であると判断された場合、前記検出された視線位置の動きと前記映像中の動きとを比較して、前記検出された視線位置を前記注目位置として採用するか否かを判定する、
    注目位置認識装置。
  5. ユーザの視線位置の検出と前記視線位置が安定しているか否かの判断とを前記ユーザの視線解析として行う視線解析部と、
    映像を取得する映像取得部と、
    前記取得された映像の映像解析を行う映像解析部と、
    前記視線解析の結果及び前記映像解析の結果に基づいて、前記映像中の前記ユーザにより注目された部分の位置である注目位置を認識する注目位置認識部と、
    を備え、
    前記注目位置認識部は、前記視線位置が安定していると判断された場合、前記検出された視線位置を前記注目位置として採用し、
    前記注目位置認識部は、前記視線位置が安定していると判断された場合、前記視線位置が不安定であると判断された場合よりも、前記視線解析の結果の重みを大きくして前記注目位置を認識する、
    注目位置認識装置。
  6. 請求項１から５のうちいずれか一項に記載の注目位置認識装置を備え、
    被写体を撮像する撮像部を、前記映像取得部として用いる撮像装置。
  7. 前記視線解析の結果と前記撮像により得られた前記映像の解析結果とに基づいて認識された前記注目位置を用いて、自動焦点調節、自動露出、及び自動色バランス補正のうち少なくとも一つを行う、
    請求項６に記載の撮像装置。
  8. 請求項１から５のうちいずれか一項に記載の注目位置認識装置と、
    前記映像を表示する表示部と、
    を備える表示装置。
  9. ユーザの視線位置の検出と前記視線位置が安定しているか否かの判断とをユーザの視線解析として行うステップと、
    映像を取得するステップと、
    前記取得された映像の映像解析を行うステップと、
    前記視線解析の結果及び前記映像解析の結果に基づいて、前記映像中の前記ユーザにより注目された部分の位置である注目位置を認識するステップと、
    を含み、
    前記注目位置を認識するステップは、前記視線位置が不安定であると判断され、かつ前記映像解析を行うステップによって前記映像が安定していると判断された場合、前記検出された視線位置を時系列でフィルタリングして前記注目位置として採用することを含む、注目位置認識方法。
  10. ユーザの視線位置の検出と前記視線位置が安定しているか否かの判断とをユーザの視線解析として行うステップと、
    映像を取得するステップと、
    前記取得された映像の映像解析を行うステップと、
    前記視線解析の結果及び前記映像解析の結果に基づいて、前記映像中の前記ユーザにより注目された部分の位置である注目位置を認識するステップと、
    を含み、
    前記注目位置を認識するステップは、前記視線位置が不安定であると判断された場合、前記検出された視線位置の動きと前記映像中の動きとを比較して、前記検出された視線位置を前記注目位置として採用するか否かを判定することを含む、注目位置認識方法。
  11. ユーザの視線位置の検出と前記視線位置が安定しているか否かの判断とをユーザの視線解析として行うステップと、
    映像を取得するステップと、
    前記取得された映像の映像解析を行うステップと、
    前記視線解析の結果及び前記映像解析の結果に基づいて、前記映像中の前記ユーザにより注目された部分の位置である注目位置を認識するステップと、
    を含み、
    前記注目位置を認識するステップは、前記視線位置が安定していると判断された場合、前記視線位置が不安定であると判断された場合よりも、前記視線解析の結果の重みを大きくして前記注目位置を認識することを含む、注目位置認識方法。
  12. 請求項９から１１のいずれか１項に記載の注目位置認識方法をコンピュータに実行させるプログラム。
  13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
JP2018528440A 2016-07-20 2017-06-05 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム Active JP6799063B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016142484 2016-07-20
JP2016142484 2016-07-20
PCT/JP2017/020842 WO2018016209A1 (ja) 2016-07-20 2017-06-05 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018016209A1 JPWO2018016209A1 (ja) 2019-05-16
JP6799063B2 true JP6799063B2 (ja) 2020-12-09

Family

ID=60992020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018528440A Active JP6799063B2 (ja) 2016-07-20 2017-06-05 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム

Country Status (4)

Country Link
US (1) US10664991B2 (ja)
JP (1) JP6799063B2 (ja)
CN (1) CN109478334B (ja)
WO (1) WO2018016209A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7030545B2 (ja) * 2018-01-26 2022-03-07 キヤノン株式会社 被写体認識装置
JP7353811B2 (ja) * 2019-06-17 2023-10-02 キヤノン株式会社 電子機器およびその制御方法
JP7433788B2 (ja) * 2019-07-03 2024-02-20 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム
JP2021012238A (ja) * 2019-07-03 2021-02-04 キヤノン株式会社 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP7467114B2 (ja) * 2019-12-27 2024-04-15 キヤノン株式会社 撮像装置およびその制御方法
JP7490372B2 (ja) * 2020-01-21 2024-05-27 キヤノン株式会社 撮像制御装置及びその制御方法
JP2021131443A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
JP7463155B2 (ja) * 2020-03-25 2024-04-08 キヤノン株式会社 撮像制御装置およびその制御方法
WO2021205979A1 (ja) * 2020-04-09 2021-10-14 ソニーグループ株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP2021180446A (ja) * 2020-05-15 2021-11-18 キヤノン株式会社 撮像制御装置、撮像装置、撮像装置の制御方法、プログラム
JP2023006771A (ja) * 2021-06-30 2023-01-18 キヤノン株式会社 制御装置およびその制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5392091A (en) 1991-08-27 1995-02-21 Nikon Corporation Exposure calculating apparatus
JP3163668B2 (ja) * 1991-08-27 2001-05-08 株式会社ニコン 被写体認識装置およびカメラ
JPH07184089A (ja) 1993-12-21 1995-07-21 Canon Inc ビデオカメラ
JPH07199042A (ja) 1993-12-28 1995-08-04 Canon Inc 視線検出機能付カメラ
US6388707B1 (en) 1994-04-12 2002-05-14 Canon Kabushiki Kaisha Image pickup apparatus having means for appointing an arbitrary position on the display frame and performing a predetermined signal process thereon
JPH089237A (ja) * 1994-06-17 1996-01-12 Canon Inc 画像信号処理装置
JP2001116985A (ja) 1999-10-21 2001-04-27 Canon Inc 被写体認識機能を有するカメラおよび被写体認識方法
JP2004064409A (ja) 2002-07-29 2004-02-26 Mazda Motor Corp 情報記録装置、情報記録方法及び情報記録用プログラム
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
CN101620359A (zh) * 2008-07-04 2010-01-06 华晶科技股份有限公司 眼睛视线判断的方法
EP2515206B1 (en) * 2009-12-14 2019-08-14 Panasonic Intellectual Property Corporation of America User interface apparatus and input method
JP6257198B2 (ja) * 2013-07-22 2018-01-10 キヤノン株式会社 光学機器、その制御方法、および制御プログラム
US9445005B2 (en) 2013-07-22 2016-09-13 Canon Kabushiki Kaisha Optical device capable of selecting focus detection point, method of controlling the same, and storage medium
WO2015056466A1 (ja) * 2013-10-16 2015-04-23 オリンパスイメージング株式会社 表示装置、画像生成装置、表示方法およびプログラム
JP2015162822A (ja) 2014-02-27 2015-09-07 株式会社ニコン 電子機器、撮像装置及び通信装置
US9958938B2 (en) * 2014-01-24 2018-05-01 Sony Corporation Gaze tracking for a mobile device
EP3103058A1 (de) * 2014-02-04 2016-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hough-prozessor
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
JP6329635B2 (ja) * 2014-02-25 2018-05-23 アイベリファイ インコーポレイテッド 視線追跡
CN104729485B (zh) * 2015-03-03 2016-11-30 北京空间机电研究所 一种基于车载全景影像与街景地图匹配的视觉定位方法

Also Published As

Publication number Publication date
US20190147618A1 (en) 2019-05-16
US10664991B2 (en) 2020-05-26
CN109478334A (zh) 2019-03-15
WO2018016209A1 (ja) 2018-01-25
JPWO2018016209A1 (ja) 2019-05-16
CN109478334B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
JP6799063B2 (ja) 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
EP2549741B1 (en) Image capturing apparatus and image-capture control program product
US9912859B2 (en) Focusing control device, imaging device, focusing control method, and focusing control program
US9235916B2 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
US8730335B2 (en) Imaging apparatus and imaging system
US9094597B2 (en) Imaging apparatus and imaging system
US8928770B2 (en) Multi-subject imaging device and imaging method
US9794472B2 (en) Imaging device and focusing control method
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
EP3381180B1 (en) Photographing device and method of controlling the same
US20120307080A1 (en) Imaging apparatus and imaging system
US9547217B2 (en) Device and, method for controlling a focusing operation
US11257201B2 (en) Computer-implemented method and system for preventing sight deterioration caused by prolonged use of electronic visual displays in low-light conditions
CN113454706B (zh) 显示控制装置、摄像装置、显示控制方法
US9948828B2 (en) Image sensing apparatus and method of controlling operation of same
JP2014216830A (ja) 画像追尾装置、画像追尾方法及びプログラム
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
US9955059B2 (en) Electronic device, method, and computer program product
JP7138199B2 (ja) 顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラム
KR20150041279A (ko) 이동 단말기 및 그 제어 방법
CN117597655A (zh) 显示画面控制方法、装置、电子设备及可读储存介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R150 Certificate of patent or registration of utility model

Ref document number: 6799063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250