JP2016038343A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2016038343A
JP2016038343A JP2014163067A JP2014163067A JP2016038343A JP 2016038343 A JP2016038343 A JP 2016038343A JP 2014163067 A JP2014163067 A JP 2014163067A JP 2014163067 A JP2014163067 A JP 2014163067A JP 2016038343 A JP2016038343 A JP 2016038343A
Authority
JP
Japan
Prior art keywords
information processing
subject
unit
processing apparatus
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014163067A
Other languages
English (en)
Inventor
山崎　知洋
Tomohiro Yamazaki
知洋 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014163067A priority Critical patent/JP2016038343A/ja
Priority to PCT/JP2015/067731 priority patent/WO2016021313A1/ja
Priority to US15/328,778 priority patent/US10520430B2/en
Publication of JP2016038343A publication Critical patent/JP2016038343A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】スペックルパターンを有効活用する。
【解決手段】情報処理装置は、光出力部および取得部を具備する情報処理装置である。この情報処理装置が具備する光出力部は、撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力するものである。また、情報処理装置が具備する取得部は、撮像範囲に含まれる被写体における複数の位置に当てられた複数の光の散乱により形成されたスペックルパターンを複数の位置毎に取得するものである。
【選択図】図４

Description

本技術は、情報処理装置に関する。詳しくは、スペックルパターンを扱う情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、物体に当てた光の散乱を利用して各種解析をする技術が提案されている。例えば、位相のそろった光（コヒーレンス性の強い光（例えば、レーザ光））を粗面に当て、その散乱光により生じる粒状の模様（スペックルパターン（speckle pattern））を取得して各種解析をする技術が提案されている（例えば、特許文献１参照。）。例えば、スペックルパターンを取得してその振動を解析することにより、その粗面から生じる音データを取得することができる。
米国特許出願公開第２０１０／０２２６５４３号明細書
上述の従来技術によれば、スペックルパターンの振動に基づいて音データを取得することができる。このため、例えば、遠くに存在する特定対象物の音データを取得することができる。ここで、遠くに存在する複数の特定対象物についても音データを取得することができれば、音データをさらに有効活用することができると考えられる。すなわち、複数の位置において発生するスペックルパターンを取得して各種解析に用いることができれば、スペックルパターンをさらに有効活用することができると考えられる。
本技術はこのような状況に鑑みて生み出されたものであり、スペックルパターンを有効活用することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力部と、上記複数の位置に当てられた上記複数の光の散乱により形成された上記スペックルパターンを上記複数の位置毎に取得する取得部とを具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力し、複数の位置に当てられた複数の光の散乱により形成されたスペックルパターンを複数の位置毎に取得するという作用をもたらす。
また、この第１の側面において、上記光出力部は、光源から出力される１つの光を回折光学素子により上記複数の光として出力するようにしてもよい。これにより、光源から出力される１つの光を回折光学素子により複数の光として出力するという作用をもたらす。
また、この第１の側面において、上記光出力部は、レーザアレイを光源として複数のレーザ光を出力するようにしてもよい。これにより、レーザアレイを光源として複数のレーザ光を出力するという作用をもたらす。
また、この第１の側面において、上記光出力部は、上記レーザアレイとして面発光レーザアレイを用いるようにしてもよい。これにより、面発光レーザアレイを光源として複数のレーザ光を出力するという作用をもたらす。
また、この第１の側面において、上記光出力部は、上記レーザアレイから波長が異なる複数のレーザ光を出力し、上記取得部は、色情報を取得することが可能な撮像素子を用いて上記スペックルパターンを取得するようにしてもよい。これにより、レーザアレイから波長が異なる複数のレーザ光を出力し、色情報を取得することが可能な撮像素子を用いてスペックルパターンを取得するという作用をもたらす。
また、この第１の側面において、上記光出力部は、上記レーザアレイから偏光方向が異なる複数のレーザ光を出力し、上記取得部は、偏光情報を取得することが可能な撮像素子を用いて上記スペックルパターンを取得するようにしてもよい。これにより、レーザアレイから偏光方向が異なる複数のレーザ光を出力し、偏光情報を取得することが可能な撮像素子を用いてスペックルパターンを取得するという作用をもたらす。
また、この第１の側面において、上記光出力部は、上記複数の光を変調して上記光源から出力するようにしてもよい。これにより、複数の光を変調して光源から出力するという作用をもたらす。
また、この第１の側面において、上記撮像範囲における全部または一部に上記複数の位置が配置されるようにしてもよい。これにより、撮像範囲における全部または一部に複数の位置が配置されるという作用をもたらす。
また、この第１の側面において、上記取得されたスペックルパターンに基づいて上記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部をさらに具備するようにしてもよい。これにより、取得されたスペックルパターンに基づいて、被写体に関する音データおよび距離情報のうちの少なくとも１つを取得するという作用をもたらす。
また、この第１の側面において、上記被写体を撮像して画像データを生成する撮像部と、上記取得されたスペックルパターンに基づいて上記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部とをさらに具備し、上記制御部は、上記取得された音データおよび距離情報のうちの少なくとも１つに基づいて上記撮像部に対するオートフォーカス制御を行うようにしてもよい。これにより、取得された音データおよび距離情報のうちの少なくとも１つに基づいて、撮像部に対するオートフォーカス制御を行うという作用をもたらす。
また、この第１の側面において、上記被写体を撮像して画像データを生成する撮像部と、上記取得されたスペックルパターンに基づいて上記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部とをさらに具備し、上記制御部は、上記取得された音データおよび距離情報のうちの少なくとも１つに基づいて上記撮像部に対する露出制御を行うようにしてもよい。これにより、取得された音データおよび距離情報のうちの少なくとも１つに基づいて、撮像部に対する露出制御を行うという作用をもたらす。
また、この第１の側面において、物質の振動に基づいて上記情報処理装置の周囲の音データを取得する音取得部と、上記取得されたスペックルパターンに基づいて上記被写体に関する音データを取得し、当該音データと上記音取得部により取得された音データとに基づいて、上記情報処理装置および上記被写体間の距離を算出する制御部とをさらに具備するようにしてもよい。これにより、取得されたスペックルパターンに基づいて被写体に関する音データを取得し、この音データと音取得部により取得された音データとに基づいて、情報処理装置および被写体間の距離を算出するという作用をもたらす。
また、本技術の第２の側面は、撮像範囲に含まれる被写体に当てられた光の散乱により形成されたスペックルパターンに基づいて取得された上記被写体に関する音データと、物質の振動に基づいて取得された上記被写体に関する音データとに基づいて、上記情報処理装置および上記被写体間の距離を算出する制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、スペックルパターンに基づいて取得された音データと、物質の振動に基づいて取得された音データとに基づいて、情報処理装置および被写体間の距離を算出するという作用をもたらす。
また、本技術の第３の側面は、撮像範囲に含まれる被写体における複数の位置に当てられた光の散乱により形成されたスペックルパターンに基づいて上記複数の位置から生じた音を上記複数の位置毎に取得して出力させる制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像範囲に含まれる被写体における複数の位置に当てられた光の散乱により形成されたスペックルパターンに基づいて、複数の位置から生じた音を複数の位置毎に取得して出力させるという作用をもたらす。
また、この第３の側面において、上記制御部は、上記複数の位置のうちから所望の位置を選択する選択操作が受け付けられた場合には、当該選択された位置から生じた音のみを取得して出力させるようにしてもよい。これにより、複数の位置のうちから所望の位置を選択する選択操作が受け付けられた場合には、その選択された位置から生じた音のみを取得して出力させるという作用をもたらす。
本技術によれば、スペックルパターンを有効活用することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における情報処理装置１００の使用例を示す図である。 本技術の実施の形態における撮像部１２０の内部構成例を示す図である。 本技術の実施の形態における撮像部２００の内部構成例を示す図である。 本技術の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。 本技術の実施の形態における光出力部１１０から複数の光を出力するための構成例を示す図である。 本技術の実施の形態における光出力部１１０から複数の光を出力するための構成例を示す図である。 本技術の実施の形態における面発光レーザアレイ１１５の光源の配置例を示す図である。 本技術の実施の形態における面発光レーザアレイ１１５の光源の配置例を示す図である。 本技術の実施の形態における情報処理装置１００から出力されるレーザ光と被写体との関係例を示す図である。 本技術の実施の形態における情報処理装置１００から出力されるレーザ光と被写体との関係例を示す図である。 本技術の実施の形態における情報処理装置１００から出力されるレーザ光と被写体との関係例を示す図である。 本技術の実施の形態における情報処理装置１００による動画記録処理の処理手順の一例を示すフローチャートである。 本技術の実施の形態における情報処理装置１００による動画再生処理の処理手順の一例を示すフローチャートである。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．実施の形態（複数の位置において発生するスペックルパターンを取得する例）
＜１．実施の形態＞
［情報処理装置の使用例］
図１は、本技術の実施の形態における情報処理装置１００の使用例を示す図である。
情報処理装置１００は、光出力部１１０からコヒーレンス性の強い光（例えば、レーザ光）を人物１０に対して出力し、その散乱光により形成されるスペックルパターンを撮像部１２０により取得するものである。そして、情報処理装置１００は、その取得されたスペックルパターンの振動に基づいて、各種情報（例えば、音データ、距離情報）を取得することができる。
ここで、コヒーレンス性の強い光として、例えば、指向性の強い光を使用することができる。このため、情報処理装置１００から比較的離れている物体が発する特定の音についても取得することができる。例えば、情報処理装置１００および人物１０間の距離が比較的離れている場合でも、光出力部１１０から指向性の強いレーザ光を人物１０の喉の部分に向けて出力することにより、人物１０が発する音（声）を取得することができる。
また、音取得部１５０は、物質（例えば、空気、水）の振動に基づいて、情報処理装置１００の周囲の音を取得する。このように、音取得部１５０により取得された音に関する情報（音データ）と、撮像部１２０により取得されたスペックルパターンとに基づいて、情報処理装置１００は、距離情報を取得することができる。
具体的には、音取得部１５０により取得された音データと、撮像部１２０により取得されたスペックルパターンに基づいて取得される音データとの比較結果に基づいて、情報処理装置１００から被写体１０までの距離（被写体距離）を算出することができる。
ここで、撮像部１２０により取得されたスペックルパターンに基づいて音データを取得する場合には、光出力部１１０から出力された光の散乱光を利用する。また、光の速度ｃ１は、２．９９×１０８ｍ／ｓである。このため、撮像部１２０により取得されたスペックルパターンに基づいて取得される音データについては、被写体１０が音を発してから、その音が情報処理装置１００に到達するまでの時間（遅延時間ｄｔ１）は、略０（すなわち、ｄｔ１≒０）とすることができる。
一方、音取得部１５０により音データを取得する場合には、被写体１０が発した音に応じた空気の振動に基づいて、音取得部１５０が音データを取得することになる。また、音の速度ｃ２は、３４０ｍ／ｓである。このため、音取得部１５０により取得された音データについては、被写体１０が音を発してから、その音が情報処理装置１００に到達するまでの時間（遅延時間ｄｔ２）は、０よりも大きい値となる。
具体的には、被写体１０および情報処理装置１００間の距離をｚ（ｍ）とする場合には、被写体１０および情報処理装置１００間の距離ｚを音の速度ｃ２で除算することにより遅延時間ｄｔ２を算出することができる。すなわち、ｄｔ２＝ｚ／ｃ２である。このため、被写体１０および情報処理装置１００間の距離については、次の式１を用いて算出することができる。
ｚ＝ｃ２×ｄｔ２ …式１
ここで、遅延時間ｄｔ２については、音取得部１５０により取得された音データと、撮像部１２０により取得されたスペックルパターンに基づいて取得される音データとの比較結果に基づいて、算出することができる。すなわち、ある音を被写体１０が発した時刻（ｄｔ１）と、その音が情報処理装置１００に到達するまでの時間（ｄｔ２）との差分に基づいて、被写体１０および情報処理装置１００間の距離ｚを算出することができる。
ここで、音取得部１５０により取得された音データと、撮像部１２０により取得されたスペックルパターンに基づいて取得される音データとの一致を判定する判定方法について説明する。例えば、制御部１９０（図４に示す）は、音取得部１５０により取得された音データから特徴量を抽出し、撮像部１２０により取得されたスペックルパターンに基づいて取得される音データから特徴量を抽出する。そして、制御部１９０は、これらの抽出された各特徴量を比較することにより類似度を算出する。そして、制御部１９０は、その算出された類似度が閾値を超えた場合には、その類似度が閾値を超えた２つの音は同一の音であると判定する。
例えば、各音データが、Ａ／Ｄ（Analog/Digital）変換処理によりサンプリングされ、デジタルデータに変換される。また、このデジタルデータに対して、適当な時間間隔で周波数分析等の処理が施され、スペクトルやその他の音声の音響的特徴を表すパラメータに変換される。これにより、音声に関する時系列の特徴量が抽出される。そして、その抽出された時系列の特徴量のマッチング処理が行われ、このマッチング処理の結果として判定結果が出力される。なお、音声の解析方法および認識方法については、他の公知の各種方法を用いるようにしてもよい。
このように、レーザ光等のコヒーレンス性の強い光を粗面に当て、その散乱光により形成されるスペックルパターンの振動に基づいて、音データを取得することができる。このように、指向性の強い光を使うため、遠くにいる特定対象物の音データを取得することができる。また、情報の同時性を維持し、情報量の低下を防止しつつ、複数の対象物の音データを同時に取得することができれば、便利である。すなわち、複数の位置において発生するスペックルパターンを取得して各種解析に用いることができれば、スペックルパターンをさらに有効活用することができると考えられる。
そこで、本技術の実施の形態では、スペックルパターンを有効活用する例を示す。
［撮像部の構成例］
図２は、本技術の実施の形態における撮像部１２０の内部構成例を示す図である。図２では、２つの光学系１２３、１２４を備える撮像部の一例を示す。
図３は、本技術の実施の形態における撮像部２００の内部構成例を示す図である。図３では、図２に示す撮像部１２０の変形例を示す。具体的には、１つの光学系２０３およびハーフミラー２０４を備える撮像部の一例を示す。
図２に示す撮像部１２０は、スペックル用撮像素子１２１と、被写体用撮像素子１２２と、光学系１２３、１２４とを備える。
スペックル用撮像素子１２１は、光学系１２３を介して入射される光を受光して画像データを生成する撮像素子である。また、被写体用撮像素子１２２は、光学系１２４を介して入射される光を受光して画像データを生成する撮像素子である。なお、これらの撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子を用いることができる。なお、スペックル用撮像素子１２１は、特許請求の範囲に記載の取得部の一例である。
光学系１２３、１２４は、被写体からの光を集光する複数のレンズ（例えば、ズームレンズ、フォーカスレンズ）により構成される。また、光学系１２３により集光された被写体からの光がスペックル用撮像素子１２１に入射される。また、光学系１２４により集光された被写体からの光が被写体用撮像素子１２２に入射される。
ここで、被写体用撮像素子１２２は、記録対象となる画像データを生成するのに対し、スペックル用撮像素子１２１は、光出力部１１０から出力された光の散乱光のスペックルパターン２０の画像データを生成する点が異なる。
ここで、被写体１０のスペックルパターン２０は、被写体１０の前（情報処理装置１００側）に形成される。このため、被写体１０およびスペックルパターン２０の焦点位置は、異なることになる。そこで、被写体１０の画像と、スペックルパターン２０の画像（スペックル像）とを同時に取得する場合には、情報処理装置１００は、異なる焦点位置とするための光学系を備える必要がある。図２では、情報処理装置１００が、異なる光学系１２３、１２４を備える例を示す。また、図３では、情報処理装置１００が、１つの光学系２０３およびハーフミラー２０４を備え、ハーフミラー２０４を用いて１つの光学系２０３により集光された光の焦点位置をずらす例を示す。
例えば、表面が粗面な物体（例えば、人物の皮膚）にレーザ光を照射すると、その反射によりスペックルパターンが形成される。すなわち、その物体の表面における各位置からのレーザ光の散乱光が重なり合う。このように、位相が異なる光が重なり合うことにより、スペックルパターンが形成される。
また、物体から反射されたレーザ光がその物体から離れるに従って広がるため、その物体よりも情報処理装置１００側に形成されるスペックルパターンを取得することが好ましい。例えば、情報処理装置１００および対象物間が５ｍである場合には、その対象物から１ｍ程度離れている位置に形成されるスペックルパターンを取得して用いることができる。
また、スペックルパターンは、波のような情報であり、この動きを振動として捉え、この振動を信号に変換して用いる。例えば、物体上で動いた部分（例えば、声を出したときの喉の部分）から反射されたレーザは、スペックルパターン上を移動する。この移動を振動として捉えることができる。また、取得されたスペックルパターンは、物体の変異、音声解析、振動解析等に使用することができる。例えば、取得されたスペックルパターンに基づいて音データを取得する場合には、取得されたスペックルパターンの振動と、音データを特定するための振動情報とのマッチング処理により、音データを取得することができる。
図３に示す撮像部２００は、スペックル用撮像素子２０１と、被写体用撮像素子２０２と、光学系２０３と、ハーフミラー２０４とを備える。
スペックル用撮像素子２０１および被写体用撮像素子２０２は、図２に示すスペックル用撮像素子１２１および被写体用撮像素子１２２に対応する。
光学系２０３は、被写体からの光を集光する複数のレンズ（例えば、ズームレンズ、フォーカスレンズ）により構成される。
ハーフミラー２０４は、光学系２０３により集光された光の一部を透過して被写体用撮像素子２０２に入射させるとともに、残りの一部を反射してスペックル用撮像素子２０１に入射させる半透過型のミラーである。すなわち、ハーフミラー２０４は、光学系２０３により集光された光のうち、被写体１０からの光を透過して被写体用撮像素子２０２に入射させる。また、ハーフミラー２０４は、光学系２０３により集光された光のうち、光出力部１１０から出力された光（例えば、レーザ光）の散乱光（スペックルパターン２１に対応する光）を反射してスペックル用撮像素子２０１に入射させる。
［情報処理装置の構成例］
図４は、本技術の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
情報処理装置１００は、光出力部１１０と、撮像部１２０と、信号処理部１３０と、記憶部１４０と、音取得部１５０と、操作受付部１６０と、表示部１７０と、音声出力部１８０と、制御部１９０とを備える。
光出力部１１０は、制御部１９０の制御に基づいて、コヒーレンス性の強い光（例えば、レーザ光）を出力するものである。光出力部１１０による光の出力例については、図５および図６を参照して詳細に説明する。
撮像部１２０は、制御部１９０の制御に基づいて、対象物を撮像して画像データを生成するものであり、生成された画像データを信号処理部１３０に出力する。具体的には、撮像部１２０は、スペックル用撮像素子１２１および被写体用撮像素子１２２を備える。なお、撮像部１２０は、図２および図３に示すように、光学系（例えば、光学系１２３、１２４、２０３）を備えるが、図４では、光学系の図示を省略する。
ここで、スペックル用撮像素子１２１により生成される画像データのサイズは、被写体用撮像素子１２２により生成される画像データのサイズよりも小さくすることができる。例えば、被写体用撮像素子１２２により生成される画像データのサイズを、フルＨＤ（High Definition）（１９２０×１０８０画素）とすることができる。この場合に、例えば、スペックル用撮像素子１２１により生成される画像データのサイズを、ＶＧＡ（Video Graphics Array）（６４０×４８０画素）、または、ＶＧＡ程度に小さくすることができる。
また、スペックル用撮像素子１２１により生成される画像データは、音データを取得するために用いるため、被写体用撮像素子１２２により生成される画像データのフレームレートよりも密にする必要がある。例えば、被写体用撮像素子１２２により生成される画像データのフレームレートを３０ｆｐｓ（frame per second）乃至６０ｆｐｓとすることができる。この場合に、例えば、スペックル用撮像素子１２１により生成される画像データのフレームレートを、数千ｆｐｓ乃至数万ｆｐｓ程度とすることができる。
信号処理部１３０は、制御部１９０の制御に基づいて、撮像部１２０により生成された画像データについて各種信号処理を施すものであり、信号処理が施された画像データを記憶部１４０に記録する。
具体的には、信号処理部１３０は、スペックル用信号処理部１３１および被写体用信号処理部１３２を備える。被写体用信号処理部１３２は、被写体用撮像素子１２２により生成された画像データ（例えば、動画データ）について各種信号処理を施す。そして、被写体用信号処理部１３２は、その信号処理が施された画像データを、制御部１９０に出力するとともに、画像コンテンツ（例えば、動画ファイル）として記憶部１４０に記録する。
スペックル用信号処理部１３１は、スペックル用撮像素子１２１により生成された画像データ（スペックルパターンの画像データ）について各種信号処理を施す。そして、スペックル用信号処理部１３１は、その信号処理が施された画像データを、制御部１９０に出力するとともに、同時に生成された画像コンテンツ（例えば、動画ファイル）に関連付けて付随情報として記憶部１４０に記録する。
記憶部１４０は、制御部１９０の制御に基づいて、各情報を記憶する記録媒体である。例えば、記憶部１４０には、被写体用撮像素子１２２により生成されて被写体用信号処理部１３２により信号処理が施された画像データが画像コンテンツ（例えば、動画ファイル）として記憶される。また、例えば、記憶部１４０には、スペックル用撮像素子１２１により生成されてスペックル用信号処理部１３１により信号処理が施された画像データ（スペックルパターンの画像データ）が、その画像コンテンツに関連付けて付随情報として記憶される。
音取得部１５０は、情報処理装置１００の周囲の音に関する情報（音データ）を取得するものであり、取得された音データを制御部１９０に出力する。例えば、音取得部１５０は、物質（例えば、空気、水）の振動に基づいて、情報処理装置１００の周囲の音に関する情報（音データ）を取得することができる。なお、音取得部１５０は、例えば、マイクロフォンにより実現される。
操作受付部１６０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御情報（操作情報）を制御部１９０に出力する。なお、操作受付部１６０は、例えば、ボタン、スイッチ等の操作部材により実現される。
表示部１７０は、制御部１９０の制御に基づいて、各種画像を表示するものである。表示部１７０は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示パネルにより実現される。
なお、操作受付部１６０および表示部１７０の少なくとも一部を一体として構成するようにしてもよい。例えば、操作受付部１６０および表示部１７０を、導電性を有する物体（例えば、人物の指）の接触または近接を、静電容量の変化に基づいて検出する静電式（静電容量方式）のタッチパネルとして構成することができる。
音声出力部１８０は、制御部１９０の制御に基づいて、音データを出力するものである。音声出力部１８０は、例えば、スピーカにより実現される。
制御部１９０は、制御プログラムに基づいて、情報処理装置１００における各部を制御するものである。例えば、制御部１９０は、撮像動作を制御して、撮像部１２０により生成される各画像データを記憶部１４０に順次記録させる。また、例えば、制御部１９０は、記憶部１４０に記憶されている画像コンテンツについて再生処理を行う。
また、例えば、制御部１９０は、スペックルパターンの画像データに基づいて、撮像範囲に含まれる被写体に関する音データを生成して取得する。
また、例えば、制御部１９０は、スペックルパターンの画像データに基づいて取得された被写体に関する音データと、音取得部１５０により取得された音データとに基づいて、情報処理装置１００およびその被写体に含まれる対象物間の距離を算出する。なお、制御部１９０は、音データおよび距離情報のうちの少なくとも１つを取得するようにしてもよい。
［レーザ光の出力例］
図５および図６は、本技術の実施の形態における光出力部１１０から複数の光を出力するための構成例を示す図である。なお、図５および図６では、説明の容易のため、各構成については簡略化して示す。
図５には、回折光学素子１１２を用いて光出力部１１０の光源１１１から出力されるレーザ光を複数のレーザ光とする例を示す。
回折光学素子１１２は、光の回折現象を利用して、回折光学素子に入射するレーザ光を制御するものである。例えば、図５に示すように、光源１１１から出力されたレーザ光４１が回折光学素子１１２に入射されると、レーザ光４１が光の回折現象により複数の方向に出力される。そして、レーザ光群４２として被写体３０に入射される。このように、回折光学素子１１２を用いることにより、光源１１１から出力された１つのレーザ光４１を複数のレーザ光（レーザ光群４２）とすることができる。
図６には、面発光レーザアレイ１１５を用いて光出力部１１０から出力されるレーザ光を複数のレーザ光とする例を示す。
例えば、面発光レーザアレイ１１５は、発光面における複数の光源からレーザ光を出力するものである。そして、発光面における複数の光源から出力された複数のレーザ光がレーザ光群５１として被写体に入射される。
［光源の配置例］
ここで、面発光レーザアレイ１１５において隣接する複数の光源から出力されるレーザ光の反射光を測定する場合を想定する。この場合には、隣接する複数の光源から出力されるレーザ光の反射光の領域（スペックルパターン上の領域）では、重複する部分が生じることも想定される。このように、重複する部分が生じた場合でも、その重複部分の測定を正確に行うことが重要である。
そこで、面発光レーザアレイ１１５において、異なる波長のレーザ光を出力する光源が隣接するように、各光源を配置する例を図７に示す。また、面発光レーザアレイ１１５において、異なる偏光方向（偏光角度）のレーザ光を出力する光源が隣接するように、各光源を配置する例を図８に示す。
図７および図８は、本技術の実施の形態における面発光レーザアレイ１１５の光源の配置例を示す図である。なお、図７および図８では、説明の容易のため、面発光レーザアレイ１１５における光源のうちの一部の配置例を示す。また、図７および図８では、光源を矩形で模式的に示す。
図７に示すように、面発光レーザアレイ１１５において、異なる波長のレーザ光を出力する光源が隣接するように、各光源を配置することができる。なお、図７では、光源を表す矩形内に、波長の種類を表す文字を付して示す。
例えば、第１波長のレーザ光を出力する第１光源と、第２波長のレーザ光を出力する第２光源とが対角上に配置され、第３波長のレーザ光を出力する２つの第３光源が他の対角上に配置される光源群を１単位とする。図７では、その１単位を点線の矩形１１６で囲んで示す。すなわち、点線の矩形１１６において、赤（Ｒ）のレーザ光を出力する第１光源と、青（Ｂ）のレーザ光を出力する第２光源とが対角上に配置され、赤外線（ＩＲ）のレーザ光を出力する２つの第３光源が他の対角上に配置される。そして、その１単位が格子状に配置されるように、各光源を配置することができる。
また、図７に示すように、面発光レーザアレイ１１５において、異なる波長のレーザ光を出力する光源を配置する場合には、撮像部１２０のスペックル用撮像素子１２１として、色情報を取得することが可能な撮像素子を用いるようにする。例えば、各色に対応するカラーフィルタを備える撮像素子を用いることができる。
また、図８に示すように、面発光レーザアレイ１１５において、異なる偏光方向（偏光角度）のレーザ光を出力する光源が隣接するように、各光源を配置することができる。
例えば、第１偏光方向のレーザ光を出力する第１光源と、第２偏光方向のレーザ光を出力する第２光源とが対角上に配置され、第３偏光方向のレーザ光を出力する第３光源と、第４偏光方向のレーザ光を出力する第４光源とが他の対角上に配置される。この光源群を１単位とする。図８では、その１単位を点線の矩形１１７で囲んで示す。また、図８では、偏光方向を矢印で模式的に示す。そして、その１単位が格子状に配置されるように、各光源を配置することができる。
また、図８に示すように、面発光レーザアレイ１１５において、異なる偏光方向のレーザ光を出力する光源を配置する場合には、撮像部１２０のスペックル用撮像素子１２１として、偏光情報を取得することが可能な撮像素子を用いるようにする。例えば、各偏光方向に対応する偏光子アレイを備える撮像素子を用いることができる。
また、光出力部１１０は、隣接する複数のレーザ光の反射光の領域（スペックルパターン上の領域）における重複部分の測定を正確に行うため、光源から出力される光（１または複数の光）を変調して出力するようにしてもよい。この場合には、隣接するレーザ光同士が異なる種類となるように変調する。例えば、光源から出力される光の振幅を変調して出力することができる。また、例えば、光源から出力される光の周波数を変調して出力することができる。
このように、撮像部１２０の被写体用撮像素子１２２の撮像範囲における全部または一部に、光出力部１１０からの光の出力先の複数の位置が配置される。
［複数のレーザ光と被写体との関係例］
図９乃至図１１は、本技術の実施の形態における情報処理装置１００から出力されるレーザ光と被写体との関係例を示す図である。
図９には、演劇の舞台で３人（人物３０１乃至３０３）が会話をしている場面を撮影している場合の例を示す。図９のａには、被写体用撮像素子１２２の撮像範囲に含まれる画像３００を示す。また、図９のｂには、光出力部１１０から出力されるレーザ光の出力位置を示す標識（黒塗りの丸３１１乃至３１３を含む）を画像３００に重ねて表示する場合の表示例を示す。
このように、被写体用撮像素子１２２の撮像範囲に含まれる被写体（画像３００）に、光出力部１１０から複数のレーザ光を出力することにより、複数の部分についてスペックルパターンの画像を取得することができる。例えば、黒塗りの丸３１１に対応するレーザ光により人物３０１の音声を取得することができる。同様に、黒塗りの丸３１２に対応するレーザ光により人物３０２の音声を取得することができ、黒塗りの丸３１３に対応するレーザ光により人物３０３の音声を取得することができる。このように、同時に複数の対象物の音声を取得することができる。
図１０には、学校の発表会で１クラスの児童（人物３２１を含む）が歌を歌っている場合の例を示す。図１０のａには、被写体用撮像素子１２２の撮像範囲に含まれる画像３２０を示す。また、図１０のｂには、光出力部１１０から出力されるレーザ光の出力位置を示す標識（黒塗りの丸３２２を含む）を画像３２０に重ねて表示する場合の表示例を示す。
例えば、情報処理装置１００を用いて動画の撮影を行っている人物（親）の子供を人物３２１とする。この場合に、その親は、他の人物の音声を下げて、自分の子供（人物３２１）の音声のみを大きくすることができる。例えば、黒塗りの丸３２２に対応するレーザ光に基づいて取得される音声（人物３２１の音声）を大きくすることができる。例えば、タッチパネルで構成されている表示部１７０に、図１０のｂに示す画像３２０が表示されている場合を想定する。この場合に、人物３２１の音声のみを大きくして記録することを希望するときには、黒塗りの丸３２２の部分をユーザがタッチ操作を行う。このタッチ操作が操作受付部１６０により受け付けられた場合には、制御部１９０は、そのタッチ操作が行われた位置の黒塗りの丸３２２に対応するレーザ光に基づいて取得される音声（人物３２１の音声）を大きくして記憶部１４０に記録することができる。
また、例えば、記憶部１４０に記憶されている画像コンテンツを再生する場合についても同様に、希望する人物の音声（例えば、人物３２１の音声）を大きくすることができる。例えば、タッチパネルで構成されている表示部１７０に、図１０のｂに示す画像３２０が表示されている場合を想定する。この場合に、人物３２１の音声のみを大きくして再生することを希望するときには、黒塗りの丸３２２の部分をユーザがタッチ操作を行う。このタッチ操作が操作受付部１６０により受け付けられた場合には、制御部１９０は、そのタッチ操作が行われた位置の黒塗りの丸３２２に対応するレーザ光に基づいて取得される音声（人物３２１の音声）を大きくして音声出力部１８０から出力させることができる。
図１１には、情報処理装置１００を監視カメラとして使用する場合の例を示す。図１１のａには、被写体用撮像素子１２２の撮像範囲に含まれる画像３３０を示す。また、図１１のｂには、光出力部１１０から出力されるレーザ光の出力位置を示す標識（黒塗りの丸）を画像３３０に重ねて表示する場合の表示例を示す。
例えば、歩道を歩く人物を撮像範囲に含むように、情報処理装置１００が設置された場合を想定する。この場合には、図１１に示すように、その歩道を移動する複数の人物が画像３３０に含まれることになる。また、この場合には、図１０と同様に、撮影時または再生時において、希望する人物の音声を大きくすることができる。
ここで、図１１では、手前側（情報処理装置１００側）に存在する人物と、奥側（情報処理装置１００の反対側）に存在する人物との距離（情報処理装置１００からの距離）が大きく異なる例を示す。このような場合には、手前側の人物から反射されたレーザ光に基づくスペックルパターンと、奥側の人物から反射されたレーザ光に基づくスペックルパターンとの合焦位置が異なる。しかしながら、このような場合でも、所定範囲内に存在する複数の物体（例えば、人物）から反射されたレーザ光に基づくスペックルパターンについては、フォーカスが多少ずれていても解析等に用いることは可能である。そこで、図１１に示す例では、例えば、中央付近に存在する物体のスペックルパターンにフォーカスを合わせて、各スペックルパターンの画像データを生成して用いることができる。なお、所定範囲は、例えば、情報処理装置１００からの距離が５ｍから２０ｍの範囲である。ただし、ここで示す所定範囲は、一例であり、情報処理装置１００の性能等に応じて適宜設定することが可能である。
なお、図９乃至図１１では、被写体用撮像素子１２２の撮像範囲において、光出力部１１０から出力されるレーザ光の出力位置を格子状とする例を示したが、他の配置とするようにしてもよい。また、被写体用撮像素子１２２の撮像範囲における特定部分（例えば、中央部分）に、複数のレーザ光の出力位置を集中させるようにしてもよい。このように、複数のレーザ光の出力位置を密にすることにより、その特定部分から取得する音情報の精度を高めることができる。
また、スペックルパターンの振動に基づいて取得された各種情報（例えば、音データ、距離情報）を用いて撮像制御を行うことができる。例えば、撮像範囲に含まれる人物の音データが、スペックルパターンの振動に基づいて取得された場合を想定する。この場合には、制御部１９０は、その音データが取得された位置（撮像範囲における位置）をＡＦ（Auto Focus）エリアに設定する制御を行うことができる。また、制御部１９０は、その音データが取得された位置（撮像範囲における位置）をＡＥ（Auto Exposure）エリアに設定する制御を行うことができる。この場合には、例えば、顔検出機能を用いて、その音データが取得された位置（撮像範囲における位置）から人物の顔が検出されたことを条件に、ＡＦエリアの設定やＡＥエリアの設定等を行うようにしてもよい。また、他の物体検出機能を用いて特定物体（例えば、猫、犬、自動車、電車）の検出を条件とするようにしてもよい。
また、例えば、撮像範囲に含まれる人物の距離情報が、スペックルパターンの振動に基づいて算出された場合を想定する。この場合には、制御部１９０は、その距離情報が算出された位置（撮像範囲における位置）をＡＦエリアに設定する制御を行うことができる。また、制御部１９０は、その距離情報が算出された位置（撮像範囲における位置）をＡＥ（Auto Exposure）エリアに設定する制御を行うことができる。この場合についても、物体検出機能を用いて特定物体（例えば、猫、犬、自動車、電車）の検出を、ＡＦエリアの設定やＡＥエリアの設定等の条件とするようにしてもよい。
このように、制御部１９０は、スペックルパターンの振動に基づいて取得された音データと、算出された距離情報のうちの少なくとも１つに基づいて撮像部１２０に対するオートフォーカス制御や露出制御を行うことができる。また、このように撮像制御を行うことにより、例えば、音声を発している人物にＡＦ、ＡＥを合わせ続けることができる。
［情報処理装置の動作例］
図１２は、本技術の実施の形態における情報処理装置１００による動画記録処理の処理手順の一例を示すフローチャートである。図１２では、動画の記録時に距離情報を算出する例を示す。
最初に、制御部１９０は、動画の記録開始操作が行われたか否かを判断する（ステップＳ９０１）。動画の記録開始操作が行われていない場合には（ステップＳ９０１）、監視を継続して行う。
動画の記録開始操作が行われた場合には（ステップＳ９０１）、光出力部１１０は、制御部１９０の制御に基づいて、光の出力を開始する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の光出力手順の一例である。
続いて、撮像部１２０の被写体用撮像素子１２２および信号処理部１３０の被写体用信号処理部１３２は、制御部１９０の制御に基づいて、被写体の画像データの生成を開始する（ステップＳ９０３）。同様に、撮像部１２０のスペックル用撮像素子１２１および信号処理部１３０のスペックル用信号処理部１３１は、制御部１９０の制御に基づいて、スペックルパターンの画像データの生成を開始する（ステップＳ９０４）。なお、ステップＳ９０４は、特許請求の範囲に記載の取得手順の一例である。また、音取得部１５０は、制御部１９０の制御に基づいて、音データの取得を開始する（ステップＳ９０５）。なお、図１２では、被写体の画像データの生成、スペックルパターンの画像データの生成、音データの取得を順次行う例を示すが、これらの各処理については、同時に行うようにしてもよく、順序を入れ替えて行うようにしてもよい。
続いて、制御部１９０は、スペックルパターンの画像データと、音取得部１５０により取得された音データとに基づいて、距離情報を算出する（ステップＳ９０６）。続いて、制御部１９０は、被写体の画像データと、スペックルパターンの画像データと、算出された距離情報とを関連付けて記憶部１４０に記録させる（ステップＳ９０７）。
なお、図１２では、スペックルパターンの画像データを記録する例を示すが、スペックルパターンの画像データに基づいて音データを生成し、この音データをスペックルパターンの画像データに関連付けて記録するようにしてもよい。また、スペックルパターンの画像データに基づいて生成された音データと、音取得部１５０により取得された音データとを関連付けて記録するようにしてもよい。この場合に、何れか一方の音データを用いて、他方の音データを補正して記録するようにしてもよい。
続いて、制御部１９０は、動画の記録終了操作が行われたか否かを判断する（ステップＳ９０８）。動画の記録終了操作が行われていない場合には（ステップＳ９０８）、ステップＳ９０３に戻る。一方、動画の記録終了操作が行われた場合には（ステップＳ９０８）、動画記録処理の動作を終了する。
このように、光出力部１１０は、撮像部１２０の撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する。また、撮像部１２０のスペックル用撮像素子１２１は、複数の位置に当てられた複数の光の散乱により形成されたスペックルパターンの画像データを複数の位置毎に取得する。
［情報処理装置の動作例］
図１３は、本技術の実施の形態における情報処理装置１００による動画再生処理の処理手順の一例を示すフローチャートである。
最初に、制御部１９０は、動画の再生開始操作が行われたか否かを判断する（ステップＳ９１１）。動画の再生開始操作が行われていない場合には（ステップＳ９１１）、監視を継続して行う。
動画の再生開始操作が行われた場合には（ステップＳ９１１）、制御部１９０は、その再生開始操作により指定された動画コンテンツおよびこれに関連付けられている各情報を記憶部１４０から取得する（ステップＳ９１２）。なお、動画コンテンツに関連付けられている各情報は、例えば、スペックルパターンの画像データ、音データ、距離情報である。
続いて、制御部１９０は、その動画コンテンツに含まれる画像データに基づいて画像を表示部１７０に表示させる（ステップＳ９１３）。この場合に、制御部１９０は、その画像データの記録時に光出力部１１０から出力されたレーザ光の出力位置を示す標識（例えば、図９のｂに示す黒塗りの丸３１１乃至３１３）を、表示対象となる画像に重ねて表示させる。例えば、図９のｂ、図１０のｂ、図１１のｂに示すように、各標識が表示される。
また、制御部１９０は、その動画コンテンツに関連付けられているスペックルパターンの画像データに基づいて音データを生成して音声出力部１８０から出力させる（ステップＳ９１３）。なお、動画コンテンツに音データが関連付けられている場合には、その音データを音声出力部１８０から出力させるようにしてもよい。
続いて、制御部１９０は、標識の選択操作が行われたか否かを判断する（ステップＳ９１４）。標識の選択操作が行われていない場合には（ステップＳ９１４）、ステップＳ９１６に進む。
標識の選択操作が行われた場合には（ステップＳ９１４）、制御部１９０は、その選択操作により選択された標識に対応する位置から発生している音を大きくする設定を行う（ステップＳ９１５）。すなわち、制御部１９０は、その選択操作により選択された標識に対応する位置に出力されたレーザ光のスペックルパターンに基づいて生成される音データを大きくする設定を行う（ステップＳ９１５）。
続いて、制御部１９０は、動画の再生終了操作が行われたか否かを判断する（ステップＳ９１６）。動画の再生終了操作が行われていない場合には（ステップＳ９１６）、ステップＳ９１３に戻る。一方、動画の再生終了操作が行われた場合には（ステップＳ９１６）、動画再生処理の動作を終了する。
このように、制御部１９０は、撮像部１２０の撮像範囲に含まれる被写体における複数の位置に当てられた光の散乱により形成されたスペックルパターンの画像データに基づいて、複数の位置から生じた音を複数の位置毎に取得して出力させることができる。また、制御部１９０は、複数の位置のうちから所望の位置を選択する選択操作が受け付けられた場合には、その選択された位置から生じた音のみを取得して出力させることができる。
このように、本技術の実施の形態では、例えば、レーザ光の集光点を多点化して撮像範囲の全部（または、一部）をカバーすることにより、複数の位置において発生するスペックルパターンを取得することができる。これにより、複数の対象物の音データを同時に取得することができる。また、レーザ光が当たっている対象物のうち、所望の対象物の音データのみを、撮影時または撮影後（例えば、再生時）に容易に抜き出すことができる。
このように、本技術の実施の形態によれば、スペックルパターンを有効活用することができる。また、マルチスポット光マイクを実現することができる。
なお、本技術の実施の形態では、被写体の画像データを生成する撮像部と、スペックルパターンの画像データを生成する撮像部とを１つの情報処理装置に備える例を示した。ただし、被写体の画像データを生成する撮像部と、スペックルパターンの画像データを生成する撮像部とを異なる装置に備えるようにしてもよい。この場合には、ぞれぞれの装置により生成された画像データをそれぞれの装置内で関連付けて記録することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）
撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力部と、
前記複数の位置に当てられた前記複数の光の散乱により形成された前記スペックルパターンを前記複数の位置毎に取得する取得部と
を具備する情報処理装置。
（２）
前記光出力部は、光源から出力される１つの光を回折光学素子により前記複数の光として出力する前記（１）に記載の情報処理装置。
（３）
前記光出力部は、レーザアレイを光源として複数のレーザ光を出力する前記（１）に記載の情報処理装置。
（４）
前記光出力部は、前記レーザアレイとして面発光レーザアレイを用いる前記（３）に記載の情報処理装置。
（５）
前記光出力部は、前記レーザアレイから波長が異なる複数のレーザ光を出力し、
前記取得部は、色情報を取得することが可能な撮像素子を用いて前記スペックルパターンを取得する
前記（３）または（４）に記載の情報処理装置。
（６）
前記光出力部は、前記レーザアレイから偏光方向が異なる複数のレーザ光を出力し、
前記取得部は、偏光情報を取得することが可能な撮像素子を用いて前記スペックルパターンを取得する
前記（３）または（４）に記載の情報処理装置。
（７）
前記光出力部は、前記複数の光を変調して前記光源から出力する前記（２）から（４）のいずれかに記載の情報処理装置。
（８）
前記撮像範囲における全部または一部に前記複数の位置が配置される前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
前記取得されたスペックルパターンに基づいて前記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部をさらに具備する前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記被写体を撮像して画像データを生成する撮像部と、
前記取得されたスペックルパターンに基づいて前記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部とをさらに具備し、
前記制御部は、前記取得された音データおよび距離情報のうちの少なくとも１つに基づいて前記撮像部に対するオートフォーカス制御を行う
前記（１）から（８）のいずれかに記載の情報処理装置。
（１１）
前記被写体を撮像して画像データを生成する撮像部と、
前記取得されたスペックルパターンに基づいて前記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部とをさらに具備し、
前記制御部は、前記取得された音データおよび距離情報のうちの少なくとも１つに基づいて前記撮像部に対する露出制御を行う
前記（１）から（８）のいずれかに記載の情報処理装置。
（１２）
物質の振動に基づいて前記情報処理装置の周囲の音データを取得する音取得部と、
前記取得されたスペックルパターンに基づいて前記被写体に関する音データを取得し、当該音データと前記音取得部により取得された音データとに基づいて、前記情報処理装置および前記被写体間の距離を算出する制御部と
をさらに具備する前記（１）から（８）のいずれかに記載の情報処理装置。
（１３）
撮像範囲に含まれる被写体に当てられた光の散乱により形成されたスペックルパターンに基づいて取得された前記被写体に関する音データと、物質の振動に基づいて取得された前記被写体に関する音データとに基づいて、前記情報処理装置および前記被写体間の距離を算出する制御部を具備する情報処理装置。
（１４）
撮像範囲に含まれる被写体における複数の位置に当てられた光の散乱により形成されたスペックルパターンに基づいて前記複数の位置から生じた音を前記複数の位置毎に取得して出力させる制御部を具備する情報処理装置。
（１５）
前記制御部は、前記複数の位置のうちから所望の位置を選択する選択操作が受け付けられた場合には、当該選択された位置から生じた音のみを取得して出力させる前記（１４）に記載の情報処理装置。
（１６）
撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力手順と、
前記複数の位置に当てられた前記複数の光の散乱により形成された前記スペックルパターンを前記複数の位置毎に取得する取得手順と
を具備する情報処理方法。
（１７）
撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力手順と、
前記複数の位置に当てられた前記複数の光の散乱により形成された前記スペックルパターンを前記複数の位置毎に取得する取得手順と
をコンピュータに実行させるプログラム。
１００ 情報処理装置
１１０ 光出力部
１１１ 光源
１１２ 回折光学素子
１１５ 面発光レーザアレイ
１２０ 撮像部
１２１ スペックル用撮像素子
１２２ 被写体用撮像素子
１２３、１２４ 光学系
１３０ 信号処理部
１３１ スペックル用信号処理部
１３２ 被写体用信号処理部
１４０ 記憶部
１５０ 音取得部
１６０ 操作受付部
１７０ 表示部
１８０ 音声出力部
１９０ 制御部
２００ 撮像部
２０１ スペックル用撮像素子
２０２ 被写体用撮像素子
２０３ 光学系
２０４ ハーフミラー

Claims (17)

  1. 撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力部と、
    前記複数の位置に当てられた前記複数の光の散乱により形成された前記スペックルパターンを前記複数の位置毎に取得する取得部と
    を具備する情報処理装置。
  2. 前記光出力部は、光源から出力される１つの光を回折光学素子により前記複数の光として出力する請求項１記載の情報処理装置。
  3. 前記光出力部は、レーザアレイを光源として複数のレーザ光を出力する請求項１記載の情報処理装置。
  4. 前記光出力部は、前記レーザアレイとして面発光レーザアレイを用いる請求項３記載の情報処理装置。
  5. 前記光出力部は、前記レーザアレイから波長が異なる複数のレーザ光を出力し、
    前記取得部は、色情報を取得することが可能な撮像素子を用いて前記スペックルパターンを取得する
    請求項３記載の情報処理装置。
  6. 前記光出力部は、前記レーザアレイから偏光方向が異なる複数のレーザ光を出力し、
    前記取得部は、偏光情報を取得することが可能な撮像素子を用いて前記スペックルパターンを取得する
    請求項３記載の情報処理装置。
  7. 前記光出力部は、前記複数の光を変調して前記光源から出力する請求項３記載の情報処理装置。
  8. 前記撮像範囲における全部または一部に前記複数の位置が配置される請求項１記載の情報処理装置。
  9. 前記取得されたスペックルパターンに基づいて前記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部をさらに具備する請求項１記載の情報処理装置。
  10. 前記被写体を撮像して画像データを生成する撮像部と、
    前記取得されたスペックルパターンに基づいて前記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部とをさらに具備し、
    前記制御部は、前記取得された音データおよび距離情報のうちの少なくとも１つに基づいて前記撮像部に対するオートフォーカス制御を行う
    請求項１記載の情報処理装置。
  11. 前記被写体を撮像して画像データを生成する撮像部と、
    前記取得されたスペックルパターンに基づいて前記被写体に関する音データおよび距離情報のうちの少なくとも１つを取得する制御部とをさらに具備し、
    前記制御部は、前記取得された音データおよび距離情報のうちの少なくとも１つに基づいて前記撮像部に対する露出制御を行う
    請求項１記載の情報処理装置。
  12. 物質の振動に基づいて前記情報処理装置の周囲の音データを取得する音取得部と、
    前記取得されたスペックルパターンに基づいて前記被写体に関する音データを取得し、当該音データと前記音取得部により取得された音データとに基づいて、前記情報処理装置および前記被写体間の距離を算出する制御部と
    をさらに具備する請求項１記載の情報処理装置。
  13. 撮像範囲に含まれる被写体に当てられた光の散乱により形成されたスペックルパターンに基づいて取得された前記被写体に関する音データと、物質の振動に基づいて取得された前記被写体に関する音データとに基づいて、前記情報処理装置および前記被写体間の距離を算出する制御部を具備する情報処理装置。
  14. 撮像範囲に含まれる被写体における複数の位置に当てられた光の散乱により形成されたスペックルパターンに基づいて前記複数の位置から生じた音を前記複数の位置毎に取得して出力させる制御部を具備する情報処理装置。
  15. 前記制御部は、前記複数の位置のうちから所望の位置を選択する選択操作が受け付けられた場合には、当該選択された位置から生じた音のみを取得して出力させる請求項１４記載の情報処理装置。
  16. 撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力手順と、
    前記複数の位置に当てられた前記複数の光の散乱により形成された前記スペックルパターンを前記複数の位置毎に取得する取得手順と
    を具備する情報処理方法。
  17. 撮像範囲に含まれる被写体における複数の位置に、スペックルパターンを発生させるための複数の光を出力する光出力手順と、
    前記複数の位置に当てられた前記複数の光の散乱により形成された前記スペックルパターンを前記複数の位置毎に取得する取得手順と
    をコンピュータに実行させるプログラム。
JP2014163067A 2014-08-08 2014-08-08 情報処理装置、情報処理方法およびプログラム Pending JP2016038343A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014163067A JP2016038343A (ja) 2014-08-08 2014-08-08 情報処理装置、情報処理方法およびプログラム
PCT/JP2015/067731 WO2016021313A1 (ja) 2014-08-08 2015-06-19 情報処理装置、情報処理方法およびプログラム
US15/328,778 US10520430B2 (en) 2014-08-08 2015-06-19 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014163067A JP2016038343A (ja) 2014-08-08 2014-08-08 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2016038343A true JP2016038343A (ja) 2016-03-22

Family

ID=55263591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014163067A Pending JP2016038343A (ja) 2014-08-08 2014-08-08 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10520430B2 (ja)
JP (1) JP2016038343A (ja)
WO (1) WO2016021313A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136984A (ja) * 2019-02-22 2020-08-31 東芝Ｉｔコントロールシステム株式会社 画像撮像装置および画像撮像方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL239113A (en) * 2015-06-01 2016-12-29 Elbit Systems Land & C4I Ltd A system and method for determining audio characteristics from a body
WO2018187653A2 (en) * 2017-04-06 2018-10-11 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Laser speckle reduction and photo-thermal speckle spectroscopy
US11182915B2 (en) * 2017-07-12 2021-11-23 Gentex Corporation Visual, depth and micro-vibration data extraction using a unified imaging device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62156563A (ja) * 1985-12-27 1987-07-11 Omron Tateisi Electronics Co 速度および距離測定装置
JPH0755464A (ja) * 1993-08-13 1995-03-03 Nikon Corp レーザ測量システム
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
JP2001133320A (ja) * 1999-11-01 2001-05-18 Mitsubishi Heavy Ind Ltd 振動計測装置
JP4071730B2 (ja) * 2004-03-26 2008-04-02 株式会社東芝 振動解析装置及び振動解析方法
US7205521B2 (en) * 2003-07-31 2007-04-17 Avage Technologies Ecbu Ip (Singapore) Pte. Ltd. Speckle based sensor for three dimensional navigation
JP4392011B2 (ja) * 2006-08-22 2009-12-24 本田技研工業株式会社 摺動面評価方法及び摺動面評価装置
US7775113B2 (en) * 2006-09-01 2010-08-17 Audiozoom Ltd. Sound sources separation and monitoring using directional coherent electromagnetic waves
IL184868A0 (en) 2007-07-26 2008-03-20 Univ Bar Ilan Motion detection system and method
JP5280258B2 (ja) * 2009-03-16 2013-09-04 株式会社トプコン 測量システム
JP2013518673A (ja) * 2010-02-02 2013-05-23 ネルコー ピューリタン ベネット エルエルシー 連続発光の光音響分光法
US8755036B2 (en) * 2010-03-11 2014-06-17 Optical Physics Company Active imaging system and method
JP2013179466A (ja) * 2012-02-28 2013-09-09 Nikon Corp 撮像装置
JP6103179B2 (ja) * 2012-09-13 2017-03-29 株式会社リコー 距離測定装置
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136984A (ja) * 2019-02-22 2020-08-31 東芝Ｉｔコントロールシステム株式会社 画像撮像装置および画像撮像方法
JP7319057B2 (ja) 2019-02-22 2023-08-01 東芝Ｉｔコントロールシステム株式会社 画像撮像装置および画像撮像方法

Also Published As

Publication number Publication date
US10520430B2 (en) 2019-12-31
WO2016021313A1 (ja) 2016-02-11
US20170227459A1 (en) 2017-08-10

Similar Documents

Publication Publication Date Title
US11412108B1 (en) Object recognition techniques
WO2016021313A1 (ja) 情報処理装置、情報処理方法およびプログラム
RU2523083C2 (ru) Устройство съемки изображений, устройство обработки изображений и способ обработки изображений для формирования вспомогательной информации для снятого изображения
JP5623915B2 (ja) 撮像装置
JP6159097B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2007316497A5 (ja)
JP2011221989A (ja) 画像処理装置、電子カメラ、画像処理プログラム
JP2013145980A (ja) 撮像装置、その制御方法、画像処理装置、画像生成方法、プログラム
US9062969B1 (en) Surface distance determination using reflected light
JP2008028951A (ja) 撮像装置、撮像方法、プログラム、及び記憶媒体
US8890953B1 (en) Optical-based scene detection and audio extraction
WO2013171840A9 (ja) 撮像装置及び撮像装置の制御方法
TW201404132A (zh) 攝像裝置在對焦時的提示聲音之處理方法
KR102072491B1 (ko) 입사광파의 수렴도 가변 방식을 이용한 홀로그램 재생영상 측정 장치, 이를 이용한 홀로그램 재생영상 측정 방법, 그 방법을 수행하기 위한 기록매체
JP6361927B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6087719B2 (ja) 画像処理装置及び画像処理方法
JP2018017876A (ja) 撮像装置及びその制御方法、及び画像処理装置及び方法
JP6761230B2 (ja) 画像処理装置、その制御方法、プログラム及び撮像装置
US10003735B2 (en) Calculation device and image pickup device using calculation device and calculation method
WO2019047983A1 (zh) 图像处理方法及装置、电子装置和计算机可读存储介质
JP6391086B2 (ja) ディジタルホログラフィによる音場３次元画像計測方法および音再生方法
JP5325012B2 (ja) 歌唱者画像撮影機能を有するカラオケシステム
KR102072485B1 (ko) 광원의 순차 점등 방식을 이용한 홀로그램 재생영상 측정 장치, 이를 이용한 홀로그램 재생영상 측정 방법, 그 방법을 수행하기 위한 기록매체
JP2019056759A5 (ja)
JP2011215221A (ja) カラオケ歌唱者映像及び歌唱音声記録システム