JP6357884B2 - 位置特定装置およびオーディオ装置 - Google Patents
位置特定装置およびオーディオ装置 Download PDFInfo
- Publication number
- JP6357884B2 JP6357884B2 JP2014114350A JP2014114350A JP6357884B2 JP 6357884 B2 JP6357884 B2 JP 6357884B2 JP 2014114350 A JP2014114350 A JP 2014114350A JP 2014114350 A JP2014114350 A JP 2014114350A JP 6357884 B2 JP6357884 B2 JP 6357884B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- terminal
- image
- model
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
- H04R2205/024—Positioning of loudspeaker enclosures for spatial sound reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Stereophonic System (AREA)
Description
本発明は、聴取位置に対するスピーカの位置を特定する位置特定装置に関する。
従来、5.1チャンネル等のマルチチャンネルオーディオ信号を入力し、複数のスピーカから各チャンネルの音を出力することにより、サラウンド音場を形成するオーディオ装置が知られている。
このようなサラウンド音場を適切に実現するためには、リスニングルーム内の適切な位置(推奨位置)に複数のスピーカを配置する必要がある。そこで、各スピーカから出た音を複数のマイクで収音することで各スピーカの位置を算出し、算出結果に基づいて各スピーカに供給するオーディオ信号を補正することにより、所望の音場を形成する技術が知られている(例えば、特許文献1を参照)。
しかし、スピーカの位置を特定するためには、複数のマイクを用いるか、1個のマイクを移動させて複数回測定する必要がある。
また、音を出力して測定するには、時間がかかるという課題もある。
そこで、本発明は、マイクを用いずにスピーカの位置を特定することができる位置特定装置を提供することを目的とする。
本発明の位置特定装置は、撮像手段と、撮像方位を検出する方位検出手段と、を備えている。また、位置特定装置は、前記撮像手段が撮像した画像データから、スピーカの画像を認識する認識手段と、前記スピーカの画像から、スピーカの機種を特定する機種特定手段と、スピーカの機種毎の縮尺データを登録した機種データベースから、前記機種特定手段が特定した機種の縮尺データを読み出し、前記スピーカの画像と対比することで、当該スピーカとの距離を算出する距離算出手段と、前記方位検出手段の検出した撮像方位、および前記距離算出手段が算出した各スピーカの距離に基づいて、スピーカの配置を算出するスピーカ配置算出手段と、を備えている。
このように、位置特定装置は、パターンマッチング等の手法により、撮像した画像データからスピーカの機種を特定する。そして、撮像したスピーカの画像の大きさから距離を推定する。
物体との距離と、撮像した画像の大きさと、は反比例の関係にある。したがって、撮像したスピーカのフレーム内の大きさ(例えば幅)と距離の関係を縮尺データとして機種データベースに登録しておけば、実際に撮像したスピーカの画像のフレーム内の大きさと対比することで、距離を求めることができる。例えば、あるスピーカ機種Aについて、1m離れた位置で撮像すると、フレーム内に占めるスピーカ画像の幅の割合が50%となる場合に、当該スピーカ機種Aの係数A1=0.5とする。そして、例えば撮像したスピーカ画像のフレーム内の割合がR=25%であればスピーカとの距離Dは、D=A1/R=0.5/0.25=2mとなる。
位置特定装置は、このようにしてスピーカとの距離を求め、さらに磁気センサやジャイロセンサ等を用いて、スピーカの画像を撮像した時に自装置が向いている方位を特定し、自装置(すなわち聴取位置)とスピーカとの配置を算出する。
このようにして、本発明の位置特定装置は、マイクを用いずにスピーカの位置を特定することができる。
算出したスピーカの配置は、オーディオ装置におけるオーディオ信号の補正に用いられる。例えば、全てのスピーカからの音が同じ音量で聴取位置に到達するように、各スピーカに供給するオーディオ信号の音量を調整する。また、例えば全てのスピーカからの音が同じタイミングで到達するように、各スピーカに供給するオーディオ信号の遅延量を調整する。また、聴取位置から見たスピーカの方向が理想的な位置からずれている場合、複数のスピーカに同じ音を所定の分配比率で供給することで、仮想的にスピーカの位置を理想的な位置に近づけることができる。
特に、音量については、特定したスピーカの機種に基づいて、スピーカ間の能率差による音量差を補正することが好ましい。例えば、基準となるスピーカAの能率が90dBであり、他のスピーカBの能率が87dBである場合、スピーカBに供給するオーディオ信号のレベルを3dB上昇させることで、聴取位置における音量差をなくすことができる。
本発明の位置特定装置は、マイクを用いずにスピーカの位置を特定することができる。
(第1実施形態)
図1は、本発明の位置特定装置を備えたオーディオシステムの構成を示す概略図である。オーディオシステムは、オーディオ装置10、端末20、および複数のスピーカ(スピーカ21C、スピーカ21L、スピーカ21R、スピーカ21SL、およびスピーカ21SR)を備えている。
図1は、本発明の位置特定装置を備えたオーディオシステムの構成を示す概略図である。オーディオシステムは、オーディオ装置10、端末20、および複数のスピーカ(スピーカ21C、スピーカ21L、スピーカ21R、スピーカ21SL、およびスピーカ21SR)を備えている。
オーディオ装置10は、部屋Rの所定位置(例えば聴取位置Sの前方)に設置されている。スピーカ21Cは、聴取位置Sの前方に設置され、スピーカ21Lは、聴取位置Sの左前方に設置され、スピーカ21Rは、聴取位置Sの右前方に設置され、スピーカ21SLは、聴取位置Sの左後方に設置され、スピーカ21SRは、聴取位置Sの右後方に設置されている。これらスピーカは、オーディオ装置10に接続されている。
聴取位置Sには、端末20が設置されている。端末20は、例えばスマートフォン等の情報処理装置であり、ユーザが携帯するデバイスである。端末20は、本発明の位置特定装置に対応し、聴取位置Sにおいてユーザが当該端末20を持ちながら各スピーカの画像を撮像することで、聴取位置に対する各スピーカの配置を算出する。算出したスピーカの配置に関する情報は、オーディオ装置10に送信され、オーディオ信号の補正に用いられる。
図2は、オーディオ装置10の構成を示すブロック図である。オーディオ装置10は、入力部1、信号処理部2、出力部3、通信部4、および制御部5を備えている。
入力部1は、HDMIやS/PDIF等のデジタルオーディオ信号を入力するインタフェースを有し、外部からデジタルオーディオ信号を入力する。また、入力部1は、アナログオーディオ信号の入力インタフェースを有し、アナログオーディオ信号が入力された場合にデジタルオーディオ信号に変換するADCの機能を内蔵していてもよい。なお、入力されるデジタルオーディオ信号のチャンネル数は、モノラルであってもよいし、ステレオであってもよいし、さらに多数のチャンネル(例えば5.1チャンネル)が入力される態様であってもよい。
入力部1に入力されたオーディオ信号は、信号処理部2に入力される。信号処理部2は、DACからなり、入力されたオーディオ信号の補正を行う。例えば、全てのスピーカから出力された音が同じ音量で聴取位置Sに到達するように、各スピーカに供給するオーディオ信号の音量を調整する。また、例えば全てのスピーカから出力された音が同じタイミングで到達するように、各スピーカに供給するオーディオ信号の遅延量を調整する。あるいは、聴取位置Sから見たスピーカの方向が理想的な位置からずれている場合、理想的な位置に近い2つのスピーカに同じ音を所定の分配比率で供給することで、仮想的に理想的な位置にスピーカが配置されているように音像を定位させる。
信号処理部2で補正されたオーディオ信号は、出力部3を介して各スピーカに出力される。なお、図2においては、代表して1チャンネルだけの信号系統を示しているが、実際には各チャンネルについてそれぞれ信号処理がなされ、チャンネル毎のオーディオ信号が出力部3から出力される。
通信部4は、無線LAN等の通信機能を介して端末20と通信を行う。この例では、通信部4は、端末20から聴取位置Sに対する各スピーカの配置を示す情報を受信する。制御部5は、通信部4を介して各スピーカの配置を示す情報を受信し、信号処理部2の補正パラメータを設定する。補正パラメータは、各チャンネルのオーディオ信号のゲイン、遅延量等である。
図3(A)は、端末20の構成を示すブロック図であり、図3(B)は、端末20の正面図であり、図3(C)は、端末20の背面図である。
端末20は、制御部101、アウトカメラ102、インカメラ103、姿勢検出部104、方位検出部105、操作部106、通信部107、および表示部108を備えている。
制御部101は、ROM(不図示)等の媒体に記憶されている動作用プログラムを読み出し、端末20の動作を統括的に制御する。制御部101は、当該動作用プログラムにより、本発明の認識手段、方位検出手段、機種特定手段、距離算出手段、およびスピーカ配置算出手段を構成する。
アウトカメラ102は、本発明の撮像手段に相当する。アウトカメラ102は、端末20の背面に設けられ、ユーザが所望する画像を撮像するためのカメラである。インカメラ103は、端末20の正面に設けられ、ユーザ自身を撮像するためのカメラである。
制御部101は、インカメラ103で撮像した画像から、顔画像を検出し、検出した顔画像の中から目の画像を抽出することで、ユーザの視線を検出する。視線検出の手法は、例えば特開2010−161655号公報、特開2008−32828号公報等で開示されている手法を用いる。例えば目の中心に瞳の画像がある状態の場合、視線が中心方向であるとし、目の左側に瞳がある状態の場合、視線が左方向であるとする。
なお、図3(B)および図3(C)の例では、端末20として携帯型の情報処理装置について示しているが、端末20は、例えば図9(A)および図9(B)に示すような眼鏡の形状をした装着型の情報処理装置とする態様も可能である。図9(A)および図9(B)に示すように、眼鏡形状の端末の場合、アウトカメラ102は、ユーザの顔が向いている方向を撮像し、インカメラ103は、ユーザの目を撮像し、視線検出に用いられる。眼鏡形状の端末において視線検出する手法は、例えば特開2012−8290号公報に開示されている。この場合、表示部108は、眼鏡のレンズ部分に画像を投影するヘッドマウントディスプレイとして機能する。ただし、眼鏡形状の端末の場合、ユーザの顔が向いている方向を撮像することができるため、表示部108の構成は必須ではない。
図3(A)に戻り、端末20の構成について説明する。姿勢検出部104は、例えばジャイロセンサまたは加速度センサからなり、自装置の姿勢(筐体のどの面がどの方向をむいているか)を検出する。方位検出部105は、例えば地磁気センサからなり、自装置がどの方位を向いているか(例えば筐体の上面が向いている方位)を検出する。制御部101は、姿勢検出部104を用いて検出した自装置の姿勢と、方位検出部105を用いて検出した方位と、に基づいて、アウトカメラ102がどの方位を向いているか、すなわち撮像方位を検出する。これにより、本発明の方位検出手段が実現される。
表示部108は、端末20の正面に設けられ、各種画像を表示する。ここでは、表示部108は、アウトカメラ102で撮像した画像を表示する。ユーザは、表示部108に表示される画像を確認することで、アウトカメラ102で撮像した画像を確認することができる。また、表示部108には、タッチパネルが設けられ、ユーザインタフェースである操作部106の機能を兼ねている。
ユーザは、聴取位置Sにおいて端末20を操作し、アウトカメラ102で各スピーカの画像を撮像する。この例では、ユーザが聴取位置Sにおいて各スピーカの画像を撮像することで、聴取位置に対する各スピーカの配置を算出する。
図4(A)は、アウトカメラ102で撮像した画像の例を示す図である。この例では、ユーザは、聴取位置Sの左前方に設置されたスピーカ21Lを撮像している。
図5は、制御部101の動作を示すフローチャートである。ユーザが操作部106を操作し、スピーカ配置を算出するためのアプリケーションプログラムを起動させると、制御部101は、アウトカメラ102を起動させる(s11)。すると、図4(A)に示すように、表示部108にアウトカメラ102の撮像した画像が表示される。
ユーザは、表示部108に表示された画像から、スピーカの画像を指定する(s12)。表示部108にタッチパネルが設けられている場合には、ユーザは、スピーカの画像をタッチ操作することでスピーカの画像を指定することができる。また、制御部101がインカメラ103を用いてユーザの視線を検出する場合には、制御部101は、所定時間以上ユーザがスピーカの画像に視線を向けている、すなわちユーザがスピーカの画像を注視していると判定した場合に、スピーカの画像を指定したものと判断する。なお、制御部101は、アウトカメラ102で撮像した画像から、パターンマッチング等の手法によりスピーカ機種を特定する動作を行う場合、当該特定の機種のスピーカの画像が抽出された時点でスピーカの画像が指定されたものと判断してもよい。
また、制御部101は、表示部108に「左フロントスピーカを指定してください」等の案内表示を行い、ユーザにスピーカの画像を指定させる旨を促してもよい。さらに、スピーカの画像が指定された場合に、「これでいいですか?」等の確認案内を行ってもよい。確認案内を行う場合、制御部101は、再度スピーカの画像が指定された場合に、当該スピーカの画像が指定されたと判断する。視線を検出する場合には、特定の目の動き(例えばウインク等)がなされた場合に、再度スピーカの画像が指定されたと判断する。
制御部101は、スピーカの画像が指定されると、機種データベースを参照して、パターンマッチング等の手法により、スピーカの機種を特定する(s13)。機種データベースは、自装置のROMまたはサーバに蓄積されている。
図6は、機種データベースを示す図である。機種データベースは、スピーカ機種毎にスピーカの画像、変換係数、および能率が記載されている。機種データベースは、端末の種類毎(すなわち撮像するカメラの種類毎)に用意されている。スピーカの画像は、パターンマッチングを行う場合に参照される画像データである。制御部101は、機種データベースの各スピーカの画像と、撮像したスピーカの画像と、を対比して、スピーカの機種を特定する。ただし、機種を1種類に特定できない場合は、複数の候補を選出して表示部108に表示し、ユーザが選択するようにしてもよい。
変換係数は、撮像されたスピーカの画像の大きさから、スピーカとの距離を求めるための係数であり、本発明の縮尺データに相当する。スピーカとの距離と、撮像したスピーカの画像の大きさと、は反比例の関係にある。機種データベースには、端末20のアウトカメラ102で各スピーカを撮像した場合に、フレーム内に占めるスピーカ画像の幅の割合と距離との関係を予め求めた係数が記載されている。例えば、スピーカS001は、距離1mを基準として、当該1m離れた位置で撮像した場合に、フレーム内に占めるスピーカ画像の幅の割合Rが50%(フレームの横幅の約半分を占める)であるとする。この場合、当該スピーカS001の係数A1=0.5とする。
制御部101は、特定したスピーカの機種の変換係数を読み出し、撮像したスピーカ画像から、スピーカとの距離を算出する(s14)。例えば、スピーカの機種が上記のようにスピーカS001と特定され、実際に撮像したスピーカS001のフレーム内の割合R=25%であれば、スピーカとの距離Dは、D=A1/R=0.5/0.25=2mとなる。
制御部101は、以上のようにして距離を算出する処理を、聴取位置Sの周囲に設置されている全てのスピーカについて行ったか否かを判断する(s15)。例えば、制御部101は、アプリケーションプログラムを起動したときに、ユーザからスピーカの数(ステレオ、5チャンネル、7チャンネル等)の指定を受け付け、受け付けたスピーカの全てについて距離を算出したか否かを判断する。
その後、制御部101は、アウトカメラ102がスピーカ画像を撮像したときの方位に基づいてスピーカの設置されている方位を算出し、自装置(すなわち聴取位置S)とスピーカとの配置を算出する(s16)。算出結果は、各スピーカの方位および距離に関する情報からなる。
以上のようにして、端末20は、マイクを用いずにスピーカの位置を特定することができる。算出した各スピーカの方位および距離に関する情報は、通信部107を介してオーディオ装置10に送信される。オーディオ装置10の制御部5は、通信部4を介して当該情報を受信し、信号処理部2の補正パラメータを設定する。
例えば、制御部5は、全てのスピーカからの音が同じ音量で聴取位置に到達するように、各チャンネルのオーディオ信号のゲインを設定する。また、受信したスピーカの配置に関する情報において、各スピーカの能率(図6の機種データベースに記載されたもの)が含まれている場合、制御部5は、スピーカ間の能率差による音量差を補正する。例えば、基準となるスピーカS001の能率が90dBであり、スピーカS002の能率が87dBである場合、スピーカS002に供給するオーディオ信号のレベルを3dB上昇させることで音量差を補正することができる。
また、制御部5は、例えば全てのスピーカからの音が同じタイミングで到達するように、各スピーカに供給するオーディオ信号の遅延量を調整する。例えば、基準となるスピーカ(最も遠いスピーカ)との距離差が1mであれば、音速が340ms/sの場合には約3msの遅延を付与する。
あるいは、制御部5は、聴取位置Sから見たスピーカの方向が理想的な位置からずれている場合、理想的な位置に近い2つのスピーカに同じ音を所定の分配比率で供給することで、仮想的に理想的な位置にスピーカが配置されているように音像を定位させる。例えば、図7(A)に示すように、スピーカ21Lが理想的な位置から左側にずれている場合、フロントLチャンネルのオーディオ信号をスピーカ21Cおよびスピーカ21Lに供給することで、理想的なフロントLチャンネルスピーカの位置である仮想音源51VlからLチャンネルの音が聴取位置Sに到達するように補正を行う。
また、図7(B)に示すように、例えばスピーカ21Cとスピーカ21Rの間隔が狭い場合、スピーカ21Cとスピーカ21Rにオーディオ信号を分配して仮想音源を生成すると、不適切な位置に仮想音源51VRを定位させてしまう。したがって、この場合、スピーカ21Rおよびスピーカ21SRにフロントRチャンネルのオーディオ信号を分配することで、適切な位置に仮想音源51VR’を定位させることができる。
このように、オーディオ装置10は、スピーカの配置に関する情報を得ることで、理想的な仮想音源の位置に定位させることができる。
以上のようにして、本実施形態のオーディオシステムでは、ユーザが端末20を用いて各スピーカを撮像するだけで、スピーカの配置を算出することができ、オーディオ信号の補正を行うことができる。
なお、本実施形態では、端末20の制御部101がスピーカの配置を算出する例を示したが、一部の処理をサーバ等の他装置に実行させることも可能である。
図8は、サーバ100の構成を示すブロック図である。サーバ100は、制御部501、通信部502、およびデータベース503を備えている。データベース503には、上述の機種データベースが記憶されている。
制御部501は、通信部502を介して、端末20で撮像された画像データおよび当該画像データを撮像したときの撮像方位に関する情報を受信する。制御部501は、端末20から受信した画像データから、スピーカの画像を認識し、スピーカの機種を特定する。そして、制御部501は、機種データベースから特定した機種の変換係数を読み出して、当該スピーカとの距離を算出する。最後に、制御部501は、撮像方位に関する情報および算出した各スピーカの距離に基づいて、スピーカの配置を算出する。算出結果は、端末20に送信してもよいし、オーディオ装置10に送信してもよい。
(第2実施形態)
次に、図10(A)は、第2実施形態に係る認識システムの構成図である。第2実施形態に係る認識システムは、他の者がユーザ自身を注視しているか(認識しているか)否かを報知するものである。
次に、図10(A)は、第2実施形態に係る認識システムの構成図である。第2実施形態に係る認識システムは、他の者がユーザ自身を注視しているか(認識しているか)否かを報知するものである。
従来は、他の者がユーザ自身を注視しているか否かをユーザ自身が知ることは困難であった。しかし、例えば、車等を運転中にすれ違うまたは交差する相手が、自身を認識しているかどうかは事故予防にとって重要な要素である。また、例えばある会員同士でのパーティ等では、相互の関心状況を積極的に知ることが重要となる場合がある。この場合、他の者が自身を注視していることを知ることができれば、相手が自分自身に関心が高いと知る(または相手に対して関心が高いと知らせる)ことができる。
そこで、第2実施形態に係る認識システムでは、他の者がユーザ自身を注視しているか(認識しているか)否かを報知するものである。
図10(B)においては、ユーザAが自動車を運転しながら交差点に差し掛かった場合において、他の自動車の運転者であるユーザBがユーザAを認識しているか否かをユーザAに対して報知する例を示す。
ユーザAが使用する端末20AおよびユーザBが使用する端末20Bは、それぞれ図9に示したような眼鏡型の端末であり、各ユーザに装着されている。ただし、端末は、スマートフォン等の携帯型の端末であってもよいし、自動車に備え付けられた端末(例えばルームミラーと一体になった端末)等であってもよい。
図11に示すように、例えば端末20Aは、端末20BのユーザBがユーザAの視界に入った場合に、表示部108にユーザBがユーザAを注視している旨(例えば「4秒前にあなたを見ています」等)を表示する。端末20Aが眼鏡型の端末であれば、眼鏡のレンズ部分のうち、端末20Bの位置に対応する部分に当該表示を行う。
以下、このような報知を行うための端末20Aおよびサーバ100の動作について説明する。図12(A)および図12(B)は、端末20Aおよびサーバ100の動作を示すフローチャートである。端末の動作は、図12(A)および図12(B)では、端末20Aについて説明するが、端末20B等の他の端末についても同様である。
ユーザが本実施形態に係る報知を行うためのアプリケーションプログラムを起動させると、図12(A)に示すように、端末20Aは、まず自装置に内蔵されたGPS(不図示)を起動する(s31)。端末20Aは、自装置の識別情報(例えばMACアドレス)、GPSを介して取得した位置情報(例えば緯度および経度)、ジャイロセンサの姿勢情報および地磁気センサの方位情報をサーバ100に送信する(s32)。サーバ100は、各端末から各種情報を受信する(s41)。サーバ100は、ジャイロセンサの姿勢情報および地磁気センサの方位情報に基づいて、ユーザの視線方位(すなわち視界)を算出する(s42)。そして、サーバ100は、各端末の位置および視界に関する情報をデータベースに登録する(s43)。
なお、サーバ100は、データベースに登録した各種情報を各端末に配信してもよい。特に、各端末の位置情報を配信することで、各端末において、例えば地図画像に他端末の位置を表示することができる。
一方、端末20Aは、図12(B)に示すように、定期的に(例えば1秒毎に)他のユーザを注視しているか否かを判断する(s33)。例えば、インカメラ103を用いてユーザの視線を検出する場合には、端末20Aは、所定時間以上(例えば1秒以上)ユーザが特定の方位に視線を向けている場合に、他のユーザを注視していると判断する。端末20Aは、ユーザが特定の方位に視線を向けていると判断した場合に、他のユーザを注視している旨を示す情報をサーバ100に送信する(s34)。
サーバ100は、端末20Aから他のユーザを注視している旨を示す情報を受信した場合(s44)、登録したデータベースにおける端末20Aの視界および位置情報を読み出し(s45)、端末20Aの視界内に存在する他の端末のうち、注視している端末を選出して、当該選出した端末を注視対象端末としてデータベースに登録する(s46)。端末20Aの視界内に複数の他の端末が存在する場合は、例えば、最も端末20Aに近い端末を選出する。通常、ユーザは、自身に一番近い者を注視している場合が多く、自身より遠い者は近い者の後ろに隠れていることが多いためである。なお、視界は、高さ方向を考慮してもよい。この場合、平面視して視界内に存在する端末であっても、高さ方向で視界から外れている場合は当該端末は選出の対象外となる。
これにより、端末20AのユーザAが注視している端末をデータベースに蓄積することができる。図13(A)および図13(B)は、注視情報データベースを示す図である。注視情報は、ユーザ毎(端末毎)に、注視した端末の識別情報(MACアドレス)と注視したときの時刻情報が記載されている。図13(A)に示すように、ユーザA(端末20A)の注視情報は、端末20AのMACアドレスと、注視した他の端末のMACアドレスおよび時刻情報と、が対応付けられて記憶されている。
一方、図14に示すように、サーバ100は、定期的に(例えば1秒毎に)データベースを参照して、各端末の視界内に他の端末が入ったか否かを判断する(s47)。ここでは、例えば端末20Aの視界内に端末20Bに入ったものとする。この場合、サーバ100は、データベースにおける端末20Bの注視情報(図13(B)に示したデータベース)を参照し、端末20AのMACアドレスを抽出する(s48)。ただし、サーバ100は、現在の時刻から所定時間(例えば5秒)以内の時刻情報についてのみ抽出し、過去の注視情報については無視する。自動車等の運転では各ユーザが移動し続けるため、他の者が自身を認識しているか否かは、現在の情報が重要であり、過去に認識していたか否かは重要ではないためである。サーバ100は、端末20Aを注視した情報が存在する場合、当該注視情報を端末20Aに送信する(s49)。
端末20Aは、サーバ100から注視情報を受信し(s35)、ユーザAに報知する(s36)。例えば、図11に示すように、表示部108において、端末20Bの方位にユーザBがユーザAを注視している旨(例えば「4秒前にあなたを見ています」等)を表示する。あるいは、音声により報知を行ってもよい。
これにより、ユーザAは、他の自動車の運転者であるユーザBがユーザAを認識しているか否かを知ることができる。なお、サーバ100がデータベースに登録した各種情報を各端末に配信している場合には、例えば地図画像に他端末の位置を表示することができるため、仮に地図画像上に端末20Bの位置が表示されながらも端末20Bの方位にユーザBがユーザAを注視している旨が表示されない場合には、ユーザBがユーザAを認識していない、と判断することができる。
以上のようにして、第2実施形態に係る認識システムでは、他の者がユーザ自身を注視しているか(認識しているか)否かを報知することができる。
1…入力部
2…信号処理部
3…出力部
4…通信部
5…制御部
10…オーディオ装置
20…端末
100…サーバ
101…制御部
102…アウトカメラ
103…インカメラ
104…姿勢検出部
105…方位検出部
106…操作部
107…通信部
108…表示部
2…信号処理部
3…出力部
4…通信部
5…制御部
10…オーディオ装置
20…端末
100…サーバ
101…制御部
102…アウトカメラ
103…インカメラ
104…姿勢検出部
105…方位検出部
106…操作部
107…通信部
108…表示部
Claims (3)
- 撮像手段と、
前記撮像手段の撮像方位を検出する方位検出手段と、
を備えた位置特定装置であって、
前記撮像手段が撮像した画像データから、スピーカの画像を認識する認識手段と、
前記スピーカの画像から、スピーカの機種を特定する機種特定手段と、
スピーカの機種毎の縮尺データを登録した機種データベースから、前記機種特定手段が特定した機種の縮尺データを読み出し、前記スピーカの画像と対比することで、当該スピーカとの距離を算出する距離算出手段と、
前記方位検出手段の検出した撮像方位、および前記距離算出手段が算出した各スピーカの距離に基づいて、スピーカの配置を算出するスピーカ配置算出手段と、
を備えた位置特定装置。 - 請求項1に記載の位置特定装置と通信する通信手段を備えたオーディオ装置であって、
前記スピーカ配置算出手段が算出したスピーカの配置に関する情報を受信し、当該スピーカの配置に関する情報に基づいて、各スピーカに供給するオーディオ信号の音量および遅延量を補正するオーディオ信号補正部と、
を備えたオーディオ装置。 - 前記オーディオ信号補正部は、前記機種特定手段が特定したスピーカの機種に基づいて、スピーカ間の能率差による音量差を補正する請求項2に記載のオーディオ装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014114350A JP6357884B2 (ja) | 2014-06-02 | 2014-06-02 | 位置特定装置およびオーディオ装置 |
US15/315,265 US9774978B2 (en) | 2014-06-02 | 2015-06-02 | Position determination apparatus, audio apparatus, position determination method, and program |
CN201580029001.1A CN106465030A (zh) | 2014-06-02 | 2015-06-02 | 位置确定设备、音频设备、位置确定方法和程序 |
EP15803982.6A EP3151588B1 (en) | 2014-06-02 | 2015-06-02 | Position determination apparatus, audio apparatus, position determination method, and program |
PCT/JP2015/065853 WO2015186686A1 (ja) | 2014-06-02 | 2015-06-02 | 位置特定装置、オーディオ装置、位置特定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014114350A JP6357884B2 (ja) | 2014-06-02 | 2014-06-02 | 位置特定装置およびオーディオ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015228625A JP2015228625A (ja) | 2015-12-17 |
JP6357884B2 true JP6357884B2 (ja) | 2018-07-18 |
Family
ID=54766756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014114350A Active JP6357884B2 (ja) | 2014-06-02 | 2014-06-02 | 位置特定装置およびオーディオ装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9774978B2 (ja) |
EP (1) | EP3151588B1 (ja) |
JP (1) | JP6357884B2 (ja) |
CN (1) | CN106465030A (ja) |
WO (1) | WO2015186686A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6550473B2 (ja) | 2015-12-21 | 2019-07-24 | シャープ株式会社 | スピーカの配置位置提示装置 |
JP6607220B2 (ja) * | 2017-03-17 | 2019-11-20 | ヤマハ株式会社 | スピーカ位置特定システム、スピーカ位置特定装置、及びスピーカ位置特定方法 |
JP6904031B2 (ja) | 2017-04-13 | 2021-07-14 | ヤマハ株式会社 | スピーカ位置検出システム、スピーカ位置検出装置、及びスピーカ位置検出方法 |
CN107484069B (zh) * | 2017-06-30 | 2019-09-17 | 歌尔智能科技有限公司 | 扬声器所处位置的确定方法及装置、扬声器 |
US10306394B1 (en) | 2017-12-29 | 2019-05-28 | Samsung Electronics Co., Ltd. | Method of managing a plurality of devices |
US10587979B2 (en) * | 2018-02-06 | 2020-03-10 | Sony Interactive Entertainment Inc. | Localization of sound in a speaker system |
US11785411B2 (en) * | 2018-08-08 | 2023-10-10 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
CN109348359B (zh) * | 2018-10-29 | 2020-11-10 | 歌尔科技有限公司 | 一种音响设备及其音效调整方法、装置、设备、介质 |
US11895466B2 (en) * | 2020-12-28 | 2024-02-06 | Hansong (Nanjing) Technology Ltd. | Methods and systems for determining parameters of audio devices |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000354300A (ja) | 1999-06-11 | 2000-12-19 | Accuphase Laboratory Inc | マルチチャンネルオーディオ再生装置 |
JP2001054300A (ja) * | 1999-08-06 | 2001-02-23 | Meidensha Corp | モータ制御装置におけるモータのトルクリップル補償方式 |
JP4586443B2 (ja) | 2004-07-16 | 2010-11-24 | トヨタ自動車株式会社 | 情報提供装置 |
JP2007043320A (ja) * | 2005-08-01 | 2007-02-15 | Victor Co Of Japan Ltd | 測距装置、音場設定方法、及びサラウンドシステム |
JP4616786B2 (ja) | 2006-03-31 | 2011-01-19 | 株式会社デンソーアイティーラボラトリ | 情報提供装置 |
JP5120020B2 (ja) | 2008-03-28 | 2013-01-16 | 日本電気株式会社 | 画像付音声通信システム、画像付音声通信方法およびプログラム |
JP5187517B2 (ja) * | 2008-11-27 | 2013-04-24 | 株式会社デンソーアイティーラボラトリ | 情報提供装置、情報提供方法およびプログラム |
JP2012104871A (ja) * | 2010-11-05 | 2012-05-31 | Sony Corp | 音響制御装置及び音響制御方法 |
US20120113224A1 (en) * | 2010-11-09 | 2012-05-10 | Andy Nguyen | Determining Loudspeaker Layout Using Visual Markers |
JP2013058991A (ja) | 2011-09-09 | 2013-03-28 | Sony Corp | 音声出力制御装置および音声処理方法 |
JP5915206B2 (ja) * | 2012-01-31 | 2016-05-11 | ヤマハ株式会社 | 音場制御装置 |
KR102114219B1 (ko) * | 2013-10-10 | 2020-05-25 | 삼성전자주식회사 | 오디오 시스템 및 오디오 출력 방법, 그리고 스피커 장치 |
-
2014
- 2014-06-02 JP JP2014114350A patent/JP6357884B2/ja active Active
-
2015
- 2015-06-02 CN CN201580029001.1A patent/CN106465030A/zh active Pending
- 2015-06-02 EP EP15803982.6A patent/EP3151588B1/en active Active
- 2015-06-02 US US15/315,265 patent/US9774978B2/en active Active
- 2015-06-02 WO PCT/JP2015/065853 patent/WO2015186686A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3151588B1 (en) | 2019-05-01 |
EP3151588A4 (en) | 2018-02-28 |
JP2015228625A (ja) | 2015-12-17 |
EP3151588A1 (en) | 2017-04-05 |
US20170201847A1 (en) | 2017-07-13 |
WO2015186686A1 (ja) | 2015-12-10 |
US9774978B2 (en) | 2017-09-26 |
CN106465030A (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6357884B2 (ja) | 位置特定装置およびオーディオ装置 | |
EP3922048B1 (en) | Audio spatialization and reinforcement between multiple headsets | |
US10142618B2 (en) | Imaging apparatus and imaging method | |
JP6610258B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US11234096B2 (en) | Individualization of head related transfer functions for presentation of audio content | |
CN113841425A (zh) | 用于个性化音频增强的音频简档 | |
US11234092B2 (en) | Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset | |
KR20160001178A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
CN104077585B (zh) | 图像校正方法、装置及终端 | |
US11644894B1 (en) | Biologically-constrained drift correction of an inertial measurement unit | |
KR20230040347A (ko) | 개별화된 사운드 프로파일들을 사용하는 오디오 시스템 | |
JP7405083B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020154569A (ja) | 表示装置、表示制御方法、及び表示システム | |
CN117981347A (zh) | 用于对虚拟声源进行空间化的音频*** | |
JP2020041897A (ja) | 再生装置 | |
WO2021112161A1 (ja) | 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体 | |
JP7384222B2 (ja) | 情報処理装置、制御方法及びプログラム | |
JP2017011454A (ja) | ウェアラブルデバイス | |
JP4327822B2 (ja) | 音声伝送装置、音声伝送方法及びプログラム | |
CN117470225A (zh) | 导航方法、装置、电子设备及存储介质 | |
JP2018056907A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180604 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6357884 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |