JP6400566B2 - ユーザインターフェースを表示するためのシステムおよび方法 - Google Patents

ユーザインターフェースを表示するためのシステムおよび方法 Download PDF

Info

Publication number
JP6400566B2
JP6400566B2 JP2015505869A JP2015505869A JP6400566B2 JP 6400566 B2 JP6400566 B2 JP 6400566B2 JP 2015505869 A JP2015505869 A JP 2015505869A JP 2015505869 A JP2015505869 A JP 2015505869A JP 6400566 B2 JP6400566 B2 JP 6400566B2
Authority
JP
Japan
Prior art keywords
electronic device
sector
microphone
user interface
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015505869A
Other languages
English (en)
Other versions
JP2015520884A5 (ja
JP2015520884A (ja
Inventor
キム、レ−ホン
ビッサー、エリック
トン、ピョン・ラム
トマン、ジェレミー・パトリック
シャウ、ジェフリー・クリントン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015520884A publication Critical patent/JP2015520884A/ja
Publication of JP2015520884A5 publication Critical patent/JP2015520884A5/ja
Application granted granted Critical
Publication of JP6400566B2 publication Critical patent/JP6400566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/186Determination of attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/08Mouthpieces; Microphones; Attachments therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • User Interface Of Digital Computer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Description

関連出願の相互参照
[0001]本出願は、「SYSTEMS AND METHODS FOR MAPPING COORDINATES」に関して、2012年10月12日に出願した米国仮特許出願第61/713,447号、「SYSTEMS AND METHODS FOR MAPPING COORDINATES」に関して、2012年10月15日に出願した米国仮特許出願第61/714,212号、「SYSTEMS,METHODS,AND APPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL」に関して、2012年4月13日に出願した米国仮出願第61/624,181号、「SYSTEMS,METHODS,AND APPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL」に関して、2012年5月4日に出願した米国仮出願第61/642,954号、および「SYSTEMS,METHODS,AND APPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL」に関して、2012年11月14日に出願した米国仮出願第61/726,336号に関し、これらの優先権を主張するものである。
[0002]本開示は全般に、電子デバイスに関する。より詳細には、本開示は、ユーザインターフェースを表示するためのシステムおよび方法に関する。
[0003]最近の数十年で、電子デバイスの使用が一般的になった。特に、電子技術の進歩は、ますます複雑で有用な電子デバイスのコストを低減した。コスト低減および消費者の需要により、電子デバイスが現代社会において事実上ユビキタスになるほど、電子デバイスの使用が激増した。電子デバイスの使用が拡大するにつれて、電子デバイスの新たな改善された機能に対する需要も拡大した。より具体的には、機能をより高速に、より効率的に、またはより高品質に実行する電子デバイスが追い求められることが多い。
[0004]いくつかの電子デバイス(たとえば、携帯電話、スマートフォン、コンピュータなど)はオーディオまたは音声信号を使用する。これらの電子デバイスは、記憶または送信のために音声信号を符号化し得る。たとえば、携帯電話は、マイクロフォンを使用してユーザの声または音声を捕捉する。マイクロフォンは、音響信号を電子信号に変換する。この電子信号は、次いで、別のデバイス(たとえば、携帯電話、スマートフォン、コンピュータなど)への送信のため、再生のため、または記憶のためにフォーマット(たとえば、符号化)され得る。
[0005]ノイズの多いオーディオ信号は特定の課題を引き起こし得る。たとえば、競合するオーディオ信号は、所望のオーディオ信号の品質を低下させ得る。この説明からわかるように、電子デバイスのオーディオ信号品質を改善するシステムおよび方法が有益であり得る。
[0006]電子デバイス上にユーザインターフェースを表示するための方法が記述されている。この方法は、ユーザインターフェースを提示することを含む。ユーザインターフェースは座標系を含む。座標系は、センサデータに基づく物理座標に対応する。この方法はまた、座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供することを含む。この方法はさらに、少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供することを含む。
[0007]この方法は、少なくとも1個のマイクロフォンによって捕捉された少なくとも1つのオーディオ信号の方向を表示することを含み得る。少なくとも1個のオーディオ信号は音声信号を含み得る。この方法は、少なくとも1つのオーディオ信号に対応するアイコンを表示することを含み得る。アイコンを表示することは、ターゲットオーディオ信号に関するアイコンおよび/または干渉オーディオ信号に関するアイコンを表示することを含み得る。
[0008]この方法は、少なくとも1つのセクタ内に示されたオーディオ信号を渡すことを含み得る。この方法は、少なくとも1つのセクタ内に示されないオーディオ信号を減衰することを含み得る。この方法は、1個または複数の画像センサからの画像データを示すことを含み得る。この方法は、1つまたは複数のセクタに基づいて、画像を渡すことを含み得る。
[0009]この方法は、少なくとも1つのセクタに対応する少なくとも1つのタッチポイントを表示することを含み得る。この方法はまた、少なくとも1つのタッチポイントに対応するタッチ入力を受信することを含み得る。この方法はさらに、タッチ入力に基づいて、少なくとも1つのセクタを編集することを含み得る。
[0010]この方法は、ユーザインターフェースの少なくとも一部を基準面と整合させることを含み得る。基準面は水平であり得る。ユーザインターフェースの少なくとも一部を整合させることは、2次元極座標プロットを3次元表示空間にマッピングすることを含み得る。
[0011]物理座標は地球座標であり得る。物理座標は、地球座標とは無関係な物理的空間を表し得る。座標系は、電子デバイス方向とは無関係な方向を維持し得る。
[0012]この方法は、オーディオ署名を認識することを含み得る。この方法はまた、データベース内のオーディオ署名を調べることを含み得る。この方法はさらに、オーディオ署名に対応する識別情報を取得することを含み得る。この方法は、加えて、ユーザインターフェース上に識別情報を表示することを含み得る。識別情報は、オーディオ署名に対応する人物の画像であり得る。この方法は、固定モードと編集可能なモードとを提供することを含み得る。この方法は、選択されたセクタをパディングすることを含み得る。
[0013]セクタ選択機能およびセクタ編集機能のうちの少なくとも1つは、シングルタッチ入力および/またはマルチタッチ入力に基づいて動作し得る。セクタ選択機能は、複数のセクタの同時の選択を可能にし得る。セクタ編集機能は、シングルタッチ入力またはマルチタッチ入力に基づいてセクタを調整することを可能にし得る。セクタ選択機能は、1つまたは複数のスワイプ入力に基づき得る。1つまたは複数のスワイプ入力は、円領域を示すことができる。1つまたは複数のスワイプ入力は、単一のスワイプであり得る。
[0014]電子デバイスも記述される。電子デバイスはディスプレイを含む。ディスプレイは、ユーザインターフェースを提示する。ユーザインターフェースは座標系を含む。座標系は、センサデータに基づく物理座標に対応する。ディスプレイは、座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供する。このディスプレイはまた、少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供する。
[0015]ユーザインターフェースを表示するためのコンピュータプログラム製品も記述される。コンピュータプログラム製品は、命令を有する非一時的有形コンピュータ可読媒体を含む。命令は、電子デバイスにユーザインターフェースを提示させるためのコードを含む。ユーザインターフェースは座標系を含む。座標系は、センサデータに基づく物理座標に対応する。命令はまた、電子デバイスに座標系の少なくとも1つのセクタの選択を可能に
するセクタ選択機能を提供させるためのコードを含む。命令はさらに、電子デバイスに少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供させるためのコードを含む。
[0016]ユーザインターフェースを表示するための装置も記述される。装置は、ユーザインターフェースを提示するための手段を含む。ユーザインターフェースは座標系を含む。座標系は、センサデータに基づく物理座標に対応する。装置はまた、座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供するための手段を含む。装置は、加えて、少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供するための手段を含む。
[0017]1つのマルチマイクロフォンハンドセットの複数の図。 [0018]マイクロフォンペアに対する平面波伝搬の遠距離モデルを示す図。 [0019]直線アレイ内の複数のマイクロフォンペアを示す図。 [0020]4つの異なる到来方向(DOA)に関する、折り返さない(unwrapped)位相遅延帯に対する周波数のプロットを示す図。 [0021]図3Aに示した、同じ4つの異なる到来方向(DOA)に関する、折り返された(wrapped)位相遅延帯に対する周波数のプロットを示す図。 [0022]2つのDOA候補に関して測定された位相遅延値および計算された値の一例を示す図。 [0023]テレビジョンスクリーンの上部ふちに沿って配置されたマイクロフォンの直線アレイを示す図。 [0024]フレームに関するDOA差異を計算する一例を示す図。 [0025]DOA推定値を計算する一例を示す図。 [0026]各周波数に関するDOA推定値を識別する一例を示す図。 [0027]所与の周波数に関する最善のマイクロフォンペアと最善のDOA候補とを識別するための計算された尤度を使用する一例を示す図。 [0028]尤度計算の一例を示す図。 [0029]バイアス除去の一例を示す図。 [0030]バイアス除去の別の例を示す図。 [0031]フレームおよび周波数に関して推定されたDOAにおけるソースアクティビティ(source activity)尤度をプロットするアングログラム(anglogram)の一例を示す図。 [0032]スピーカーフォンアプリケーションの一例を示す図。 [0033]マイクロフォンアレイの平面内の360°範囲へのペアワイズDOA推定値のマッピングを示す図。 [0034]DOA推定値内のあいまいさを示す図。 DOA推定値内のあいまいさを示す図。 [0035]観測れたDOAの記号とx−y平面の象限との間の関係を示す図。 [0036]ソースがマイクロフォンの面の上部に配置された一例を示す図。 ソースがマイクロフォンの面の上部に配置された一例を示す図。 ソースがマイクロフォンの面の上部に配置された一例を示す図。 ソースがマイクロフォンの面の上部に配置された一例を示す図。 [0037]非直交軸に沿ったマイクロフォンペアの一例を示す図。 [0038]直交x軸およびy軸に関するDOA推定値を取得するための、図13Aのアレイの使用の一例を示す図。 [0039]2つの異なるDOAの例に関する異なるアレイのマイクロフォンにおける平行波面の到来同士の間の関係を示す図。 [0040]2対のマイクロフォンアレイに関するペアワイズ正規化ビーム形成/ヌルビーム形成(BFNF)の例を示す図。 2対のマイクロフォンアレイに関するペアワイズ正規化ビーム形成/ヌルビーム形成(BFNF)の例を示す図。 [0041]2対のマイクロフォンアレイを示す図。 [0042]ペアワイズ正規化最小分散無歪応答(minimum variance distortionless respopnse)(MVDR)BFNFの一例を示す図。 [0043]行列AHAが悪条件でない、周波数に関するペアワイズBFNFの一例を示す図。 [0044]ステアリングベクトル(steering vectors)の例を示す図。 [0045]本明細書で説明するソース方向(source direction)推定値の積分方法の一例のフローチャート。 [0046]本明細書で説明するDOA推定値、ソース区別(source discrimination)、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 本明細書で説明するDOA推定値、ソース区別、およびソース追跡の実際的な結果の例を示す図。 [0047]電話設計を示す図。 対応する視覚化ディスプレイを有する様々なモードでのそのような設計の使用を示す図。 対応する視覚化ディスプレイを有する様々なモードでのそのような設計の使用を示す図。 対応する視覚化ディスプレイを有する様々なモードでのそのような設計の使用を示す図。 [0048]一般的構成による方法M10に関するフローチャート。 [0049]タスクT10の実装形態T12を示す図。 [0050]タスクT10の実装形態T14を示す図。 [0051]方法M10の実装形態M20に関するフローチャート。 [0052]方法M20の実装形態M25に関するフローチャート。 [0053]方法M10の実装形態M30に関するフローチャート。 [0054]方法M30の実装形態M100に関するフローチャート。 [0055]方法M100の実装形態M110に関するフローチャート。 [0056]一般的構成による装置A5のブロック図。 [0057]装置A5の実装形態A10のブロック図。 [0058]装置A10の実装形態A15のブロック図。 [0059]一般的構成による装置MF5のブロック図。 [0060]装置MF5の実装形態MF10のブロック図。 [0061]装置MF10の実装形態MF15のブロック図。 [0062]デバイスの平面内に到来する3次元方向を表すためのデバイスの使用を例示する図。 [0063]軸の平面外部に位置する点音源(point source)に対して非直交軸を有するマイクロフォンアレイのそれぞれの応答を表す混同する円錐域(cones of confusion)の交差を例示する図。 [0064]図37Bの円錐域の交差の線を例示する図。 [0065]オーディオ前処理段階のブロック図。 [0066]オーディオ前処理段階の3チャネル実装形態のブロック図。 [0067]到来方向を示すための手段を含む装置の実装形態のブロック図。 [0068]直線アレイからのDOA推定値の1次元性によって生じるあいまいさの一例を示す図。 [0069]混同する円錐域の一例を示す図。 [0070]3つのソースが直線マイクロフォンアレイを有するデバイスに対して異なるそれぞれの方向に配置されたスピーカーフォン用途におけるソース混乱(source confusion)の一例を示す図。 [0071]直交軸を有する2対のマイクロフォンペアを含む2Dマイクロフォンアレイを示す図。 [0072]タスクを含む一般的構成による方法のフローチャート。 [0073]ディスプレイ上に示されたDOA推定値の一例を示す図。 [0074]1−D推定値の記号とアレイ軸によって定義された平面の対応する象限との間の対応の一例を示す図。 [0075]1−D推定値の記号とアレイ軸によって定義された平面の対応する象限との間の対応の別の例を示す図。 [0076]タプル(sign(θx)、sign(θy))の4つの値と平面の象限との間の対応を示す図。 [0077]代替のマッピングによる360度ディスプレイを示す図。 [0078]図41Aに類似するが、ソースがx−y平面の上部に配置された、より一般的な事例を示す一例を示す図。 [0079]その軸がx−y平面を定義する2−Dマイクロフォンアレイおよびx−y平面の上部に配置されたソースの別の例を示す図。 [0080]点音源がアレイ軸によって定義された平面から上昇した、そのような一般的な事例の一例を示す図。 [0081]アレイ平面内の角度への(θx,θy)の変換の導出を示す図。 アレイ平面内の角度への(θx,θy)の変換の導出を示す図。 アレイ平面内の角度への(θx,θy)の変換の導出を示す図。 アレイ平面内の角度への(θx,θy)の変換の導出を示す図。 [0082]射影pおよび仰角の一例を示す図。 [0083]代替のマッピングを適用することによって取得されるプロットを示す図。 [0084]共通の点音源に対して非直交軸xおよびrを有する直線マイクロフォンアレイの応答に関連する混同する円錐域の交差の一例を示す図。 [0085]円錐域の交差のラインを示す図。 [0086]マイクロフォンアレイの一例を示す図。 [0087]図46Aに示したアレイからの観測値(θx,θy)を有する直交軸xおよびyに関するx−y平面内の結合された方向の推定値を取得する一例を示す図。 [0088]射影の一例を示す図。 [0089]射影ベクトルの次元から値を判断する一例を示す図。 [0090]射影ベクトルの次元から値を判断する別の例を示す図。 [0091]タスクのインスタンスを含む別の一般的構成による方法のフローチャート。 [0092]サブタスクを含むタスクの実装形態のフローチャート。 [0093]図47Aに対応する機能を実行するための構成要素を備えた装置の一例を示す図。 [0094]図47Aに対応する機能を実行するための手段を含む装置の一例を示す図。 [0095]タスクを含む方法の一実装形態のフローチャート。 [0096]別の方法の実装形態に関するフローチャート。 [0097]方法の別の実装形態のフローチャート。 [0098]ディスプレイ平面に対して推定された仰角の表示の一例を示す図。 [0099]タスクを含む別の方法のそのような実装形態のフローチャート。 [00100]回転の前のディスプレイの例を示す図。 回転の後のディスプレイの例を示す図。 [00101]回転の前のディスプレイの他の例を示す図。 回転の後のディスプレイの他の例を示す図。 [00102]デバイス座標系Eがワールドワールド座標系と整合される一例を示す図。 [00103]デバイスが回転される一例と方向に対応する行列Fとを示す図。 [00104]デバイスのディスプレイ平面上へのワールド基準面上のDOAの射影の透視マッピングを示す図。 [00105]ワールド基準面上に射影されたDOAのマッピングされたディスプレイの一例を示す図。 [00106]方法のそのような別の実装形態のフローチャート。 [00107]リニアスライダポテンショメータ(linear slider potentiometer)と、ロッカースイッチと、ホイールまたはノブとを含むインターフェースの例を示す図。 [00108]ユーザインターフェースの一例を示す図。 [00109]ユーザインターフェースの別の例を示す図。 [00110]ユーザインターフェースの別の例を示す図。 [00111]方向センサがデバイスの方向を追跡するために使用される、さらなる例を示す図。 方向センサがデバイスの方向を追跡するために使用される、さらなる例を示す図。 [00112]ソース位置をマッピングするためのシステムおよび方法が実施され得る電子デバイスの一構成を例示するブロック図。 [00113]ソース位置をマッピングするための方法の一構成を例示する流れ図。 [00114]ソース位置をマッピングするためのシステムおよび方法が実施され得る電子デバイスのより特定の構成を例示するブロック図。 [00115]ソース位置をマッピングするための方法のより特定の構成を例示する流れ図。 [00116]マッピングに基づいて演算を実行するための方法の一構成を例示する流れ図。 [00117]マッピングに基づいて演算を実行するための方法の別の構成を例示する流れ図。 [00118]ユーザインターフェースを電子デバイス上に表示するためのシステムおよび方法が実施され得るユーザインターフェースの一構成を例示するブロック図。 [00119]ユーザインターフェースを電子デバイス上に表示するための方法の一構成を例示する流れ図。 [00120]ユーザインターフェースを電子デバイス上に表示するためのシステムおよび方法が実施され得るユーザインターフェースの一構成を例示するブロック図。 [00121]ユーザインターフェースを電子デバイス上に表示するための方法のより特定の構成を例示する流れ図。 [00122]少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェースの例を示す図。 [00123]少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェースの別の例を示す図。 [00124]少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェースの別の例を示す図。 [00125]少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェースの別の例を示す図。 [00126]少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェースの別の例を示す図。 [00127]ユーザインターフェースのセクタ選択機能の一例を示す図。 [00128]ユーザインターフェースのセクタ選択機能の別の例を示す図。 [00129]ユーザインターフェースのセクタ選択機能の別の例を示す図。 [00130]ユーザインターフェースのセクタ選択機能のより多くの例を示す図。 [00131]ユーザインターフェースのセクタ選択機能のより多くの例を示す図。 [00132]セクタを編集するための方法の一構成を例示する流れ図。 [00133]ユーザインターフェースのセクタ編集機能の例を示す図。 [00134]ユーザインターフェースのセクタ編集機能のより多くの例を示す図。 [00135]ユーザインターフェースのセクタ編集機能のより多くの例を示す図。 [00136]ユーザインターフェースのセクタ編集機能のより多くの例を示す図。 [00137]ユーザインターフェースのセクタ編集機能のより多くの例を示す図。 [00138]電子デバイス方向とは無関係に方向付けされた座標系を有するユーザインターフェースの一例を示す図。 [00139]電子デバイス方向とは無関係に方向付けされた座標系を有するユーザインターフェースの別の例を示す図。 [00140]電子デバイス方向とは無関係に方向付けされた座標系を有するユーザインターフェースの別の例を示す図。 [00141]電子デバイス方向とは無関係に方向付けされた座標系を有するユーザインターフェースの別の例を示す図。 [00142]電子デバイス方向とは無関係に方向付けされた座標系を有するユーザインターフェースのより多くの例を示す図。 [00143]電子デバイス方向とは無関係に方向付けされた座標系を有するユーザインターフェースの別の例を示す図。 [00144]ユーザインターフェースを電子デバイス上に表示するためのシステムおよび方法が実施され得るユーザインターフェースの別の構成を例示するブロック図。 [00145]ユーザインターフェースを電子デバイス上に表示するための方法の別の構成を例示する流れ図。 [00146]データベースに結合されたユーザインターフェースの一例を示す図。 [00147]ユーザインターフェースを電子デバイス上に表示するための方法の別の構成を例示する流れ図。 [00148]ソース位置をマッピングするためのシステムおよび方法が実施され得るワイヤレス通信デバイスの一構成を例示するブロック図。 [00149]電子デバイスにおいて利用され得る様々な構成要素を例示する図。 [00150]ユーザインターフェースの別の例を示す図。
[00151]第3世代パートナーシッププロジェクト(3GPP:3rd Generation Partnership Project)は、グローバルに適用可能な第3世代(3G)モバイルフォン仕様を定義することを目的とする電気通信協会のグループ間のコラボレーションである。3GPPロングタームエボリューション(LTE:Long Term Evolution)は、ユニバーサルモバイルテレコミュニケーションズシステム(UMTS:Universal Mobile Telecommunications System)モバイルフォン規格を改善することを目的とした3GPPプロジェクトである。3GPPは、次世代のモバイルネットワーク、モバイルシステムおよびモバイルデバイスのための仕様を定義し得る。
[00152]場合によっては、本明細書で開示するシステムおよび方法は、3GPPリリース8(Rel−8)、3GPPリリース9(Rel−9)、3GPPリリース10(Rel−10)、LTE、LTEアドバンスト(LTE−A)、モバイル通信用グローバルシステム(GSM(登録商標):Global System for Mobile Communications)、汎用パケット無線サービス(GPRS:General Packet Radio Service)、GSM進化型高速データレート(EDGE:Enhanced Data Rates for GSM(登録商標) Evolution)、時分割ロングタームエボリューション(TD−LTE:Time Division Long-Term Evolution)、時分割同期符号分割多元接続(TD−SCDMA:Time Division Syncronous Code Division Multiple Access)、周波数分割多重ロングタームエボリューション(FDD−LTE:Frequency-Division Duplexing Long-Term Evolution)、UMTS、GSM EDGE無線アクセスネットワーク(GERAN:GSM EDGE Radio Access Network)、全地球測位システム(GPS)など、1つまたは複数の仕様の点で説明される場合があることに留意されたい。しかしながら、本明細書で説明する概念の少なくとも一部は、他のワイヤレス通信システムに適用され得る。たとえば、電子デバイスという用語は、ユーザ機器(UE)を指すために使用される場合がある。さらに、基地局という用語は、ノードB、進化型ノードB(eNB)、ホーム進化型ノードB(HeNB)などのうちの少なくとも1つを指すために使用される場合がある。
[00153]その文脈によって明確に限定されない限り、「信号」という用語は、本明細書では、ワイヤ、バス、または他の伝送媒体上に表されたメモリ位置(もしくは、メモリ位置のセット)の状態を含む、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されない限り、「発生させること(generating)」という用語は、本明細書では、計算すること(computing)または別様に生成すること(producing)など、その通常の意味のいずれをも示すために使用される。その文脈によって明確に限定されない限り、「計算すること(calculating)」という用語は、本明細書では、複数の値から計算すること(computing)、評価すること、推定すること、および/または選択することなど、その通常の意味のいずれをも示すのに使用される。その文脈によって明確に限定されない限り、「取得すること(obtaining)」という用語は、計算すること(calculating)、導出すること、(たとえば、外部デバイスから)受信すること、および/または(たとえば、記憶要素のアレイから)検索することなど、それの通常の意味のいずれをも示すのに使用される。その文脈によって明確に限定されない限り、「選択すること(selecting)」という用語は、2つ以上のセットのうちの少なくとも1つ、およびすべてよりも少数を識別すること、指示すること、適用すること、ならびに/または使用することなど、その通常の意味のいずれをも示すのに使用される。その文脈によって明確に限定されない限り、「判断すること(determining)」という用語は、決定すること(deciding)、確立すること(establishing)、終結すること(concluding)、計算すること、選択すること、および/または評価することなど、その通常の意味のいずれをも示すのに使用される。「備える(comprising)」という用語は、本明細書と特許請求の範囲とにおいて使用される場合、他の要素または演算を除外するものではない。「に基づく」(「AはBに基づく」など)という用語は、(i)「から導出される」(たとえば、「BはAのプリカーサー(precursor)である」)、(ii)「少なくとも〜に基づく」(たとえば、「Aは少なくともBに基づく」)、および特定の文脈で適当な場合に、(iii)「に等しい」(たとえば、「AはBに等しい」または「AはBと同じである」)という場合を含む、それの通常の意味のいずれをも示すのに使用される。同様に、「に応答して」という用語は、「少なくとも〜に応答して」を含む、その通常の意味のいずれをも示すために使用される。別段に規定されていない限り、「A、BおよびCのうちの少なくとも1つ」および「A、BおよびCのうちの1つまたは複数」という用語は、「Aおよび/もしくはBならびに/またはC」を示す。
[00154]マルチマイクロフォンオーディオ感知デバイスのマイクロフォンの「位置」への言及は、文脈によって別段に規定されていない限り、マイクロフォンの音響的に敏感な面の中心の位置を示す。「チャネル」という用語は、特定の文脈に応じて、時々、信号経路を示すのに使用され、また他のときには、そのような経路によって搬送される信号を示すのに使用される。別段に規定されていない限り、「一連」という用語は、2つ以上のアイテムのシーケンスを示すのに使用される。「対数」という用語は、10を底とする対数を示すのに使用されるが、他の底へのそのような演算の拡張は本開示の範囲内である。「周波数成分」という用語は、(たとえば、高速フーリエ変換によって生成される)信号の周波数領域表現のサンプル(または「ビン」)、あるいは信号のサブバンド(たとえば、バーク尺度またはメル尺度サブバンド)など、信号の周波数または周波数帯域のセットのうちの1つを示すのに使用される。
[00155]別段に規定されていない限り、特定の機能を有する装置の動作のいかなる開示も、類似の機能を有する方法を開示する(その逆も同様)ことをも明確に意図され、特定の構成による装置の動作のいかなる開示も、類似の構成による方法を開示する(その逆も同様)ことをも明確に意図される。「構成」という用語は、その特定の文脈によって示されるように、方法、装置、および/またはシステムに関して使用され得る。「方法」、「処理」、「プロセス」、および「技法」という用語は、具体的な文脈によって別段に規定されていない限り、一般的に、互換的に使用される。複数のサブタスクを有する「タスク」もまた一方法である。「装置」および「デバイス」という用語も、特定の文脈によって別段に規定されていない限り、一般的に、互換的に使用される。「要素」および「モジュール」という用語は、一般に、より大きい構成の一部分を示すのに使用される。その文脈によって明確に限定されない限り、「システム」という用語は、本明細書では、「共通の目的を果たすために相互作用する要素のグループ」を含む、その通常の意味のいずれをも示すのに使用される。
[00156]文書の一部分の参照による任意の組込みは、その部分内で言及された用語または変数の定義が、文書中の他の場所に現れ、ならびに組み込まれた部分で参照される任意の図に現れた場合、そのような定義を組み込んでいることも理解されたい。定冠詞によって最初に導入されない限り、請求要素を修正するのに使用される順序を示す用語(たとえば、「第1の」、「第2の」、「第3の」など)は、それ自体、別のものに関する請求要素の優先順位または順序を示しておらず、請求要素を、(順序を示す用語の使用を別にすれば)同じ名前を有する別の請求要素から区別しているだけである。その文脈によって明確に限定されない限り、「複数」および「セット」という用語の各々は、本明細書では、1よりも大きい整数量を示すのに使用される。
A.到着方向を推定するためのシステム、方法、および装置
[00157]マルチチャネル信号を処理する方法は、複数の位相差を取得するために、マルチチャネル信号の複数の異なる周波数成分の各々に関して、マルチチャネル信号の第1の対のチャネルの各々内の周波数成分の位相間の差を計算することを含む。この方法はまた、複数の候補方向の各々に関して、候補方向と複数の位相差に基づくベクトルとの間の誤差を推定することを含む。この方法はまた、複数の候補方向の中から、推定された誤差のうち最低値に対応する候補方向を選択することを含む。この方法では、第1の対のチャネルの各々は、第1の対のマイクロフォンのうちの対応する1つによって生成される信号に基づき、異なる周波数成分のうちの少なくとも1つは、第1の対のマイクロフォン同士の間の距離の2倍未満の波長を有する。
[00158]放出された音場の近距離領域および遠距離領域内で、波面はそれぞれ球状と平面であると仮定され得る。近距離は、音声受音機(たとえば、マイクロフォンアレイ)から1波長未満離れている空間の領域として定義され得る。この定義の下で、領域の境界までの距離は、周波数に反比例して変化する。たとえば、200、700、および2000ヘルツの周波数では、1波長境界までの距離は、それぞれ約170、49、および17センチメートルである。代わりに、近距離/遠距離境界がマイクロフォンアレイから特定の距離(たとえば、アレイのマイクロフォンからまたはアレイの重心から50センチメートル、あるいはアレイのマイクロフォンからまたはアレイの重心から1メートルもしくは1.5メートル)にあると見なすことが有用な場合がある。
[00159]次に、図を参照しながら様々な構成について説明し、この場合、同様の参照番号は機能的に同様の要素を示し得る。本明細書で全般に説明され図に示されるシステムおよび方法は、多種多様な異なる構成で構成および設計され得る。したがって、図に表されるいくつかの構成についての以下のより詳細な説明は、特許請求される範囲を限定するものではなく、システムおよび方法を代表するものにすぎない。図に示される1つもしくは複数の機能および/または要素は、少なくとも1つの他の図に示される少なくとも1つの機能および/または要素と組み合わせられ得る。
[00160]図1は、その軸がデバイスの前面の左右方向にある第1のマイクロフォン対MV10−1、MV10−3と、その軸が前面および背面方向(すなわち、前面に対して直交な)第2のマイクロフォン対MV10−1、MV10−2とを含むマルチマイクロフォンハンドセットH100(たとえば、マルチマイクロフォンデバイス)の一例を示す。そのような構成は、ユーザがいつデバイスの前面で(たとえば、ブラウズトークモード(browse-talk mode))で話しているかを判断するために使用され得る。前面および背面の対は、左右の対が一般に独力で解決できない前面方向と背面方向との間のあいまいさを解決するために使用され得る。いくつかの実装形態では、ハンドセットH100は、1つもしくは複数の拡声器LS10、L20L、LS20R、タッチスクリーンTS10、レンズL10、および/または1つもしくは複数の追加のマイクロフォンME10、MR10を含み得る。
[00161]図1に示すハンドセットに加えて、マルチマイクロフォンアレイを含み、かつ本明細書で説明するような方法を実行するように実施され得るオーディオ感知デバイスの他の例としては、ポータブルコンピューティングデバイス(たとえば、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、ウルトラポータブルコンピュータ、タブレットコンピュータ、モバイルインターネットデバイス、スマートブック、スマートフォンなど)、オーディオまたはビデオ会議デバイスと、およびディスプレイスクリーン(たとえば、コンピュータモニタ、テレビジョンセット)がある。
[00162]図1に示すデバイスは、方向の示度を取得するために、各周波数ビンに関するマイクロフォンチャネル間の差(たとえば、位相差)を測定することと、推定された方向がすべてのビンと矛盾しないかを判断するために、すべてのビンの方向示度を平均化することとによって、ソース信号の到来方向(DOA)を判断するように構成され得る。追跡のために利用可能であり得る周波数ビンの範囲は、一般に、マイクロフォン対に関する空間的エイリアシング周波数(spatial aliasing frequency)によって制約される。この上限は、信号の波長がマイクロフォン間の距離dの二倍である周波数と定義され得る。そのような方式は、1メートルを超えるソースDOAの正確な追跡をサポートすることができず、一般に、低DOA分解能だけをサポートし得る。その上、デバイスを面上に配置することは前面または背面のマイクロフォンを効果的に遮断するため、あいまいさを解決するために前面および背面の対に依存することは、マイクロフォン配置形状に対するかなりの制約であり得る。そのような方式はまた、一般に、追跡のために1つだけの固定された対を使用する。
[00163]マルチマイクロフォンデバイスが(たとえば、電話会議のためにテーブルの上に、車の座席の上になど)任意に配置され、個々の話者の音声を追跡および/または強調し得るような、汎用スピーカーフォンアプリケーションアプリケーションを提供することが望まれ得る。そのような方式は、利用可能なマイクロフォンの任意の方向に対する任意のターゲット話者位置に対処することが可能であり得る。また、そのような方式が同時の複数話者追跡/分離機能を提供することが望まれ得る。残念ながら、現在の最新技術は、シングルマイクロフォン方式である。
[00164]遠距離アプリケーションにおけるソース追跡をサポートすることが望まれ得、それはマルチマイクロフォンデバイスに関して知られていない方向および大きな距離のソースを追跡するための解決策を提供するために使用され得る。そのようなアプリケーションにおけるマルチマイクロフォンデバイスは、テレビジョンまたはセットトップボックスに取り付けられたアレイを含み得、それは、電話通信をサポートするために使用され得る。例としては、Kinectデバイス(Microsoft Corp.,Redmond,WA)のアレイ、ならびにSkype(Microsoft Skype Division)およびSamsung Electronics(Seoul,KR)からのアレイがある。大きなソース対デバイス距離に加えて、そのようなアプリケーションはまた、一般に、不良な信号対干渉雑音比(SINR)および室内反響を受ける。
[00165]背景雑音および反響下で十分に頑強な、同時の複数の音の事象に関して、音声信号の各フレームに関する3次元到来方向(DOA)を推定する方法を提供することは難題である。頑強さは信頼性が高い周波数ビンの数を最大化することによって取得され得る。マイクロフォン形状に対する特定の制約が回避され得るような、任意に成形されたマイクロフォンアレイ形状に適していることがそのような方法に対して望まれ得る。本明細書で説明されるペアワイズ1D方式は、任意の形状に適切に組み込まれることが可能である。
[00166]本明細書で開示するシステムおよび方法は、そのような汎用スピーカーフォンアプリケーションアプリケ―ションまたは遠距離アプリケ―ションに関して実施され得る。そのような方式は、マイクロフォン配置制約なしに動作するように実施され得る。そのような方式はまた、(たとえば、より大きいマイクロフォン間距離を有するマイクロフォン対の使用をサポートすることによって)上はナイキスト周波数まで、および下はより低い周波数に至るまで利用可能な周波数ビンを使用して、ソースを追跡するために実施され得る。追跡のために単一の対に限定するのではなく、そのような方式は、すべての利用可能な対の間で最善の対を選択するために実施され得る。そのような方式は、3メートルから5メートル以上までの距離の遠距離シナリオにおいてすら、ソース追跡をサポートして、より高いDOA分解能を提供するために使用され得る。他の潜在的な機能は、アクティブなソースの正確な2D表現を取得することを含む。最善の結果のために、各ソースがスパース広帯域音源(sparse broadband audio source)であり、各周波数ビンがわずか1つのソースによってほぼ支配されていることが望まれ得る。
[00167]図33Aは、タスクT10、T20、およびT30を含む一般的構成による方法M10に関するフローチャートを示す。タスクT10は、(たとえば、各チャネルが対応するマイクロフォンによって生成される信号に基づく)マルチチャネル信号のチャネルの対同士の間の差を計算する。複数のK個の候補方向の中の各々に関して、タスクT20は、計算された差に基づく、対応する方向の誤差を計算する。K個の方向の誤差に基づいて、タスクT30は候補方向を選択する。
[00168]方法M10は、マルチチャネル信号を一連のセグメントとして処理するように構成され得る。典型的なセグメント長は約5または10ミリ秒から約40または50ミリ秒にわたり、セグメントは、重複する(たとえば、隣接するセグメントと25%または50%だけ重複する)ことも重複しないこともある。1つの特定の例では、マルチチャネル信号は、各々10ミリ秒の長さを有する一連の重複しないセグメント、すなわち、「フレーム」に分割される。別の特定の例では、各フレームは20ミリ秒の長さを有する。また、方法M10によって処理されるセグメントは、異なる演算によって処理されるより大きいセグメントのセグメント(すなわち、「サブフレーム」)であり得、またはその逆も同様である。
[00169]チャネル同士の間の差の例としては、利得差または利得比、到来時差、および位相差がある。たとえば、タスクT10は、チャネルの対応する利得値同士の間の差または比率(たとえば、大きさもしくはエネルギーの差)として、対のチャネル同士の間の差を計算するために実施され得る。図33Bは、タスクT10の実装形態T12を示す。
[00170]タスクT12は、(たとえば、信号の複数のサブバンドの各々に関する)時間領域でまたは(たとえば、高速フーリエ変換(FFT)、離散コサイン変換(DCT)、もしくは修正DCT(MDCT)領域など、変換領域における信号の複数の周波数成分の各々に関する)周波数領域でマルチチャネル信号のセグメントの利得の測定値を計算するために実施され得る。そのような利得測定値の例としては、限定はしないが、以下、すなわち、合計の大きさ(たとえば、サンプル値の絶対値の和)、(たとえば、サンプル当たりの)平均の大きさ、二乗平均平方根(RMS)振幅、中央値の大きさ、最大振幅、ピークエネルギー、総エネルギー(たとえば、サンプル値の平方和)、および(たとえば、サンプル当たりの)平均エネルギーがある。
[00171]利得差技法を用いて正確な結果を取得するために、2つのマイクロフォンチャネルの応答が互いに対して較正されることが望ましい場合がある。利得測定値の計算がマルチチャネル信号のオーディオ周波数成分に限定されるように、マルチチャネル信号に低域フィルタを適用することが望ましい場合がある。
[00172]タスクT12は、対数領域における各チャネルに関しての対応する利得測定値(たとえば、デシベルでの値)同士の間の差として、または、同等に、線形領域における利得測定値同士の間の比として計算するために実施され得る。較正マイクロフォン対の場合、ソースが各マイクロフォンから等距離である(すなわち、対の横方向に配置されている)ことを示すために、ゼロの利得差をとることができ、ソースが、一方のマイクロフォンにより接近している(すなわち、対の一方の縦方向に配置されている)ことを示すために、大きい正の値をもつ利得差をとることができ、ソースが他方のマイクロフォンにより接近している(すなわち、対の他方の縦方向に配置されている)ことを示すために、大きい負の値をもつ利得差をとることができる。
[00173]別の例では、図33AからのタスクT10は、差を判断するためにチャネルに関して相互相関を実行する(たとえば、マルチチャネル信号のチャネル同士の間の遅れに基づいて、到来時間差を計算する)ために施され得る。
[00174]さらなる一例では、タスクT10は、(たとえば、信号の特定の周波数成分における)各チャネルの位相同士の間の差として対のチャネル同士の間の差を計算するために実施される。図33Cは、タスクT10のそのような実装形態T14を示す。下で議論するように、そのような計算は、複数の周波数成分の中の各々に関して実行され得る。
[00175]マイクロフォン対の軸に関する特定の到来方向(DOA)における点音源から直接にマイクロフォンの対によって受信された信号に対して、位相遅延は、各周波数成分に関して異なり、マイクロフォン同士の間の間隔にも依存する。特定の周波数成分(すなわち、「ビン」)における位相遅延の観測された値は、複素FFT係数の実数項に対する複素FFT係数の虚数項の比率の逆タンジェント(アークタンジェントとも呼ばれる)として計算され得る。
[00176]図2Aに示すように、特定の周波数fにおける少なくとも1つのマイクロフォンMC10、MC20に関するソースS01に関する位相遅延値Δφfは、
として、遠距離(すなわち、平面波)仮定下でソースDOAに関係し得、ここで、dは、マイクロフォンMC10、MC20の間の距離(メートル)、θは、アレイ軸に直交する方向に対する到来の角度(ラジアン)を示し、fは、周波数(Hz)を示し、cは、音速(メートル毎秒)を示す。以下で記述されるように、本明細書で記述されるDOA推定原理は、(たとえば、図2Bに示す)直線アレイ内の複数のマイクロフォン対に拡張され得る。反響を伴わない、理想的な単一点音源の場合、周波数Δφfに対する位相遅延の比率は、すべての周波数にわたって同じ値
を有することになる。以下でより詳細に議論するように、マイクロフォン対に対するDOA、θは、(たとえば、円錐域の軸がアレイの軸であるように)空間内の円錐域の表面を定義する1次元の測定値である。
[00177]そのような方式は、一般に、マイクロフォン対に関する空間的エイリアシング周波数によって実際には制限され、それは、信号の波長がマイクロフォン同士の間の距離dの二倍である周波数として定義され得る。空間的エイリアシングは、位相ラッピングを引き起こし、それは、特定のマイクロフォン対に関して信頼できる位相遅延測定値を提供するために使用され得る周波数の範囲に上限を課す。
[00178]図3Aは、4つの異なるDOA D10、D20、D30、D40に関する、折り返さない位相遅延に対する周波数のプロットを示す。図3Bは、同じDOA D10、D20、D30、D40に関する、折り返された位相遅延に対する周波数のプロットを示し、この場合、(すなわち、第1のラッピングが生じるまで)各プロットの初期部は太字で示される。測定された位相を折り返さないことによって、位相遅延測定値の有用な周波数範囲の拡大を試みることは一般に信頼性がない。
[00179]タスクT20は、位相差の点で方向の誤差を計算するために実施され得る。たとえば、タスクT20は、K個のDOA候補のインベントリの各々に関して、周波数fにおける方向の誤差を、観測された位相差とDOA候補に対応する位相差との間の平方差eph_f_k=(Δφob_f−Δφk_f)2(あるいは、絶対差eph_f_k=|Δφob_f−Δφk_f|)として、計算するために実施され得る、ここで、1<k<Kである。
[00180]位相を折り返さない代わりに、提案される方式は、測定された(たとえば、折り返された)位相遅延をDOA候補のインベントリの各々に関する折り返された位相遅延の事前計算された値と比較する。図4Aは、(雑音のある)測定された位相遅延値MPD10、およびインベントリの2個のDOA候補に関する位相遅延値PD10、PD20の角度に対する周波数プロット(実線および破線)を含むそのような一例を示し、この場合、位相はpiから-piの範囲に折り返される。次いで、各DOA候補θiに関する対応する方向の誤差を計算して、これらの方向の誤差の中の最低値に対応するDOA候補値を識別することによって、観測された信号に最も整合するDOA候補が判断され得る。そのような方向の誤差は、たとえば、第k番目のDOA候補に関する位相遅延値Δφk_fと観測された位相遅延値Δφob_fとの間の誤差eph_kとして計算され得る。一例では、誤差eph_kは、周波数成分の所望の範囲または他のセットFに関して
として、すなわち、Fに関して観測された位相遅延値と候補位相遅延値との間の平方差の和
として表現される。各DOA候補、θkに関する位相遅延値ΔΦk_fは、cおよびdの知られている値、ならびに周波数成分の所望の範囲fに従って、実行時間前に(たとえば、設計または製造の間に)計算されて、デバイスの使用の間にストレージから取り出されることが可能である。そのような事前計算されたインベントリは、所望の角度の範囲および分解能(たとえば、1度、2度、5度、6度、10度、もしくは12度など、均一分解能、または所望の不均一分解能)、ならびに(やはり均一または不均一であってよい)所望の周波数範囲および分解能をサポートするように構成され得る。
[00181]雑音に対する頑強さを高めるために、可能な限り多くの周波数ビンにわたって方向の誤差(たとえば、eph_f、eph_k)を計算することが望まれ得る。たとえば、誤差計算が空間的エイリアシング周波数を超える周波数ビンからの項を含むことが望まれ得る。実際的な応用では、最大周波数ビンは、利用可能なメモリ、計算上の複雑さ、高周波数での剛体(たとえば、その環境内のオブジェクト、デバイスのハウジング)による強い反射などを含み得る、他の要因によって限定され得る。
[00182]音声信号は、一般に、時間周波数領域内でスパースである。ソースが周波数領域内で独立する場合、2つのソースは同時に追跡され得る。ソースが時間領域内で独立する場合、2つのソースは同じ周波数で追跡され得る。アレイが、任意の時点で区別されることになる異なるソース方向の数に少なくとも等しい、いくつかのマイクロフォンを含むことが望まれ得る。マイクロフォンは、(たとえば、セルラー電話もしくは専用の会議デバイスに関して一般的であるように)全方向性であり得、または(セットトップボックスなどのデバイスに関して一般的であるように)方向性であり得る。
[00183]そのようなマルチチャネル処理は、一般に、たとえば、スピーカーフォンアプリケーションに関するソース追跡に適用可能である。そのような技法は、受信されたマルチチャネル信号のフレームに関するDOA推定値を計算するために使用され得る。そのような方式は、各周波数ビンにおいて、位相遅延によって示される、観測された角度に対する各候補角度に関する誤差を計算することができる。その周波数ビンにおけるターゲット角は、最低誤差を有する候補である。一例では、次いで、その候補に関する可能性のある測定値を得るために、誤差が周波数ビンにわたって合計される。別の例では、すべての周波数ビンにわたって最も頻繁に発生するターゲットDOA候補のうちの1つまたは複数が、所与のフレームに関する1つのDOA推定値(または、複数のDOA推定値)として識別される。
[00184]そのような方法は、(たとえば、1つ未満のフレームの遅延を伴う)同時追跡結果を取得するために適用され得る。遅延は、FFTサイズおよび重複の程度に依存する。たとえば、50%の重複と16キロヘルツ(kHz)のサンプリング周波数とを有する512ポイントFFTの場合、結果として生じる256サンプル遅延は16ミリ秒に対応する。そのような方法は、一般に、最高で2から3メートルのソースアレイ距離まで、または最高で5メートルまでさえ、ソース方向の区別をサポートするために使用され得る。
[00185]誤差はまた、分散(たとえば、個々の誤差が予測される値からそれる程度)と見なされてもよい。(たとえば、FFTを適用することによって)時間領域受信信号を周波数領域に変換することは、各ビン内のスペクトルを平均化する効果を有する。サブバンド表現(たとえば、メル尺度またはバーク尺度)が使用される場合、この平均化はなお一層明らかになる。加えて、(たとえば、一次無限インパルス応答フィルタなど、再帰的スムーザ(recursive smoother)を適用することによって)DOA推定値に関して時間領域平滑化を実行することが望まれ得る。(たとえば、二分木などの検索方策を使用すること、および/または、1つもしくは複数の前のフレームからのDOA候補選択など、知られている情報を適用することによって、)誤差計算演算の計算上の複雑さを削減することが望まれ得る。
[00186]方向の情報は位相遅延に関して測定され得るが、一般に、ソースDOAを示す結果を得ることが所望される。結果として、位相遅延ではなく、DOAの点から、K個のDOA候補のインベントリの各々に関して、周波数fにおける方向の誤差を計算するためにタスクT20を実施することが望ましい場合がある。
[00187]DOAに関する方向の誤差の式は、周波数fにおける折り返された遅延(たとえば、
など、信号のDOA、θの関数Ψf_wrとして、観測された位相遅延Δφob_f)を表現することによって導出され得る。この式は、位相折り返しによるニア不連続性(near discontinuities)を除いて、
など、DOAの関数に応じた、折り返さない位相遅延に関する、対応する式に等しい。方向の誤差eph_f_kは、次いで、eph_f_k=|Ψf_wr(θob)−Ψf_wr(θk)|≡|Ψf_un(θob)−Ψf_un(θk)|またはeph_f_k=(Ψf_wr(θob)-Ψf_wr(θk))2≡(Ψf_un(θob)-Ψf_un(θk))2など、観測されたDOA、θobと候補DOA、θkとに関して表現されることが可能であり、式中、周波数fにおいて観測された位相遅延と候補位相遅延との間の差は、周波数fにおいて観測されたDOA、θob_fおよび候補DOA、θkに関して、
として表現される。Fにわたる方向の誤差eph_kは、次いで、
として、観測されたDOAθobおよび候補DOA、θkに関して表現され得る。
[00188]本発明者らは、周波数fにおいて観測されたDOAθob_fとDOA候補
との間の差の式を取得するために使用される以下の一次近似:
を得るために、この結果に、テイラー級数展開を実行する。この式は、位相遅延
ではなく、DOA(eDOA_f_k、DOA_k)に関する方向の誤差を表現するために、折り返さない位相遅延に対する観測された折り返された位相遅延の仮定される等値を用いて(たとえば、タスクT20で)使用されることが可能であり、式中、
の値は
と定義される。
[00189]縦方向(θ=+/−90°)においてゼロでの割り算を回避する目的で、代わりに、以下のように、二次近似を使用して、そのような展開を実行するために、タスクT20を実施することが望まれ得る。
式中、A=(πfd sinθk)/c、B=(−2πfd cosθk)/c、およびC=−(Ψf_un(θob)−Ψf_un(θk))である。上の一次例にあるように、この式は、観測された折り返された位相遅延値と候補の折り返された位相遅延値の関数に応じて、DOAに関する方向の誤差を表現するために、折り返さない位相遅延に対して観測された折り返された位相遅延の仮定される等値を用いて使用され得る。
[00190]図5A〜5Cは、複数のフレーム502を示す。図5Aに示すように、受信された信号の所与のフレームに関する、観測されたDOAと候補DOAとの間の差に基づく方向の誤差は、受信されたマイクロフォン信号(たとえば、∀f∈F)の複数の周波数fの各々において、かつ複数のDOA候補θkの各々に関して、そのような様式で(たとえば、タスクT20によって)計算され得る。(一次IIRまたは再帰フィルタとしても知られている)es(n)=βes(n+1)+(1−β)e(n)などの式に従って、各方向の誤差eに関する時間平滑化演算を実行するために、タスクT20を実施することが望まれ得、ここで、es(n−1)は、前のフレームに関して平滑化された方向の誤差を示し、es(n)は、方向の誤差の現在の非平滑化値を示し、es(n)は、方向の誤差の現在の平滑化値を示し、βは、その値がゼロ(平滑化無し)から1(更新無し)に及ぶ範囲から選択され得る平滑化係数である。平滑化係数βの典型的な値は、0.1と、0.2と、0.25と、0.3と、0.4と、0.5とを含む。タスクT20のそのような実装形態が、異なる周波数成分に対応する方向の誤差を平滑化するために、βの同じ値を使用することは典型的ではあるが、必要とは限らない。同様に、タスクT20のそのような実装形態が、異なる候補方向に対応する方向の誤差を平滑化するために、βの同じ値を使うことは典型的ではあるが、必要とは限らない。図5Bに示すように、所与のフレームに関するDOA推定値は、方向の誤差(たとえば、eph_kまたはeDOA_k)を取得するために、フレーム内のすべての周波数ビンにわたって各候補に関して平方差を合計して、最低誤差を有するDOA候補を選択することによって判断され得る。あるいは、図5Cに示すように、そのような差は、各周波数において最も整合する(すなわち、最低平方差)DOA候補を識別するために使用され得る。フレームに関するDOA推定値は、次いで、すべての周波数ビンにわたって最も頻度の高いDOAとして判断され得る。
[00191]方向の誤差に基づいて、タスクT30は周波数成分に関する候補方向を選択する。たとえば、タスクT30は、タスクT20によって生成されたK個の方向の誤差の中の最低の方向の誤差に関連する候補方向を選択するために実施され得る。別の例では、タスクT30は、各方向の誤差に基づく尤度を計算して、最高尤度に関連する候補方向を選択するように実施される。
[00192]図6Bに示すように、誤差項604は、各候補角度606Iと、各フレーム608kとに関する周波数のセットFの各々に関して計算され得る。計算されたDOA差または誤差項604に関してソースアクティビティの尤度を示すことが望ましい場合がある。そのような尤度Lの一例は、特定のフレーム、周波数、および角度に関して、
として表現され得る。
[00193]この式の場合、特定の周波数での極めて良い一致は、対応する尤度が他のすべての尤度に対して支配的であり得る。この感受性を削減するために、以下の式にあるように、規制項λを含めることが望まれ得る。
[00194]周波数のセットFに関する和が雑音によって支配されたビンからの結果を含み得るほどに、音声は時間と周波数の両方においてスパースになる傾向がある。以下の式にあるように、バイアス項βを含めることが望ましい場合がある。
周波数および/または時間にわたって変化し得るバイアス項は、仮定される雑音分布(たとえば、ガウス)に基づき得る。加えて、またはその代わりに、バイアス項は、(たとえば、ノイズオンリー初期フレームからの)初期の雑音推定値に基づき得る。加えて、またはその代わりに、バイアス項は、たとえば、音声アクティビティ検知モジュールによって示されるように、ノイズオンリーフレームからの情報に基づいて動的に更新され得る。図7および図8は、それぞれ、バイアスを除去する前および後の尤度のプロットの例を示す。図7では、信号のフレーム番号710と、到来角712と、振幅714とが例示される。同様に、図8では、信号のフレーム番号810と、到来角812と、振幅814とが例示される。
[00195]ターゲット優勢な周波数のビンだけが推定値に寄与するので、周波数特定の尤度の結果は、雑音および反響に対して頑強であるフレームごとのDOA推定値
を取得するための(図8に示すような)(フレーム、角度)平面上に射影され得る。この和では、誤差が大きな項は、ゼロに近い値を有し、したがって、推定値に対する重要性はより低くなり得る。いくつかの周波数ビンのなかで、1つの方向の音源が優勢である場合、それらの周波数ビンにおける誤差値は、その角度に関してゼロに近くあり得る。また、他の周波数ビンのなかで別の方向の音源が優勢である場合、それらの他の周波数ビンにおける誤差値は、その他の角度に関してよりゼロに近くあり得る。
[00196]尤度結果はまた、(たとえば、音声アクティビティ検知に関する)方向のメンバーシップ(membership)に基づいて、周波数ビンごとの尤度情報を示すように、図9の下部パネル918内で示すように(フレーム、周波数)平面上に射影され得る。下部パネル918は、各周波数およびフレームに関して、推定されたDOAに関する対応する尤度(たとえば、
)を示す。この尤度は、音声アクティビティの尤度を示すために使用され得る。加えて、またはその代わりに、そのような情報は、たとえば、その到来方向に従って、フレームおよび/もしくは周波数成分を分類することによって、受信された信号の時間ならびに/または周波数選択的マスキングをサポートするために使用され得る。
[00197]図9の下部パネル918内に示すように、アングログラム表現は、スペクトログラム表現に類似する。図9の上部パネル916に示すように、スペクトログラムは、各フレームにおいて、各周波数成分の大きさをプロットすることによって取得され得る。アングログラムは、各フレームにおいて、各周波数において現在のDOA候補の尤度をプロットすることによって取得され得る。
[00198]図33Dは、タスクT100と、T200と、T300とを含む方法M10の実装形態M20のフローチャートを示す。そのような方法は、たとえば、マルチチャネル信号の複数Fの周波数成分の各々に関して、マルチチャネル信号のあるチャネル対からの情報に基づいて、ソース信号の候補到来方向を選択するために使用され得る。複数Fの周波数成分の中の各々に関して、タスクT100は、チャネルの対同士の間の差を計算する。タスクT100は、たとえば、複数Fの周波数成分の中の各々に関して、タスクT10(たとえば、タスクT12またはT14)の対応するインスタンスを実行するために実施され得る。
[00199]複数Fの周波数成分の中の各々に関して、タスクT200は、複数の方向の誤差を計算する。タスクT200は、各周波数成分に関してK個の方向の誤差を計算するために実施され得る。たとえば、タスクT200は、複数Fの周波数成分の中の各々に関してタスクT20の対応するインスタンスを実行するために実施され得る。あるいは、タスクT200は、周波数成分のうちの1つまたは複数の中の各々に関してK個の方向の誤差を計算して、周波数成分の中の異なる1つまたは複数の周波数成分の中の各々に関して(たとえば、Kを超える、またはK未満の)異なる数の方向の誤差を計算するために実施され得る。
[00200]複数Fの周波数成分の中の各々に関して、タスクT300は、候補方向を選択する。タスクT300は、複数Fの周波数成分の中の各々に関してタスクT30の対応するインスタンスを実行するために実施され得る。
[00201]発声された音声(たとえば、母音)のエネルギースペクトルは、ピッチ周波数の高調波で局所的ピークを有する傾向がある。一方、背景雑音のエネルギースペクトルは、比較的構造化されない傾向がある。結果として、ピッチ周波数の高調波での入力チャネルの成分は、他の成分よりも高い信号対雑音比(SNR)を有すると予想され得る。推定ピッチ周波数の倍数に対応する周波数成分だけを考慮するように方法M20を構成することが望まれ得る。
[00202]典型的なピッチ周波数は、男性話者の場合、約70〜100Hz、女性話者の場合、約150〜200Hzに及ぶ。現在のピッチ周波数は、(たとえば、一次マイクロフォンチャネル内の)隣接するピッチピーク同士の間の距離としてピッチ期間を計算することによって推定され得る。入力チャネルのサンプルは、(たとえば、サンプルエネルギーとフレーム平均エネルギーとの間の比率に基づく)そのエネルギーの測定、および/またはサンプルの近傍が知られているピッチピークの同様の近傍とどの程度良好に相関するかという測定に基づいて、ピッチピークとして識別され得る。ピッチ推定手順は、たとえば、www.3gpp.orgにおいてオンラインで入手可能なEVRC(強化型可変速コーデック)文書C.S0014−Cの第4.6.3項(4−44頁から4−49頁)で説明される。(ピッチ期間、すなわち「ピッチラグ」の推定値の形の)ピッチ周波数の現在の推定値は、一般に、音声符号化および/または復号(たとえば、符号励振線形予測(CELP:code-excited linear prediction)およびプロトタイプ波形補間(PWI:prototype waveform interpolation)など、ピッチ推定値を含むコーデックを使用する音声通信)を含む応用ですでに利用可能であろう。
[00203]たとえば、計算されたチャネル差(たとえば、位相差)の少なくとも25%、50%、または75%が推定されたピッチ周波数の倍数に対応するようにタスクT100を構成することが望まれ得る。同じ原理が、他の所望の高調波信号にも適用され得る。関連する方法では、タスクT100は、チャネル対の少なくともサブバンドの周波数成分の各々に関する位相差を計算するように実施され、タスクT200は、推定されたピッチ周波数の倍数に対応する位相差だけに基づいて、方向の誤差を計算するために実施される。
[00204]図34Aは、タスクT400を含む方法M20の実装形態M25に関するフローチャートを示す。そのような方法は、たとえば、マルチチャネル信号のあるチャネル対からの情報に基づいて、ソース信号の到来方向を示すために使用され得る。タスクT300によって生成されたF個の候補方向の選択に基づいて、タスクT400は到来方向を示す。たとえば、タスクT400は、到来方向として、F個の候補方向の中で最も頻繁に選択された候補方向を示すために実施され得る。ソース信号が周波数内で独立する事例の場合、タスクT400は、1つを超える到来方向を示すために(たとえば、1つを超えるソースの中の各々に関する方向を示すために)実施され得る。方法M25は、マルチチャネル信号のフレームのシーケンスの各々に関して、1つまたは複数の到来方向を示すために経時的に反復され得る。
[00205]空間的エイリアシングは、広い間隔を有するマイクロフォン対の場合、低周波数で開始するため、そのような対は、一般に、高周波数には適さない。しかしながら、本明細書で説明するDOA推定方式は、位相折り返しが始まる周波数を超える、最高でナイキスト周波数(すなわち、サンプリングレートの半分)まですら、位相遅延測定の使用を可能にする。空間的エイリアシング制約を緩和することによって、そのような方式は、より大きなマイクロフォン間間隔を有するマイクロフォン対を使用することを可能にする。大きなマイクロフォン間距離を有するアレイは、一般に、小さなマイクロフォン間距離を有するアレイよりも、低周波数でより良好な方向性を提供するため、より大きなアレイを使用することは、一般に、有用な位相遅延測定の範囲を、同様に、より低い周波数に広げる。
[00206]本明細書で説明するDOA推定原理は、(たとえば、図2Bに示す)直線アレイの複数のマイクロフォン対MC10a、MC10b、MC10cまで拡張され得る。遠距離シナリオに関するそのような応用の一例は、(たとえば、図4Bに示す)テレビジョンTV10または他の大型ビデオディスプレイスクリーンのふちに沿って配置されたマイクロフォンMC10a〜eの直線アレイである。図2Bおよび図4Bの例にあるように、マイクロフォン同士の間に不均一(たとえば、対数的)間隔を有するようにそのようなアレイを構成することが望ましい場合がある。
[00207]遠距離ソースの場合、直線アレイの複数のマイクロフォン対は、本質的に同じDOAを有することになる。したがって、1つのオプションは、アレイ内の2つ以上の対からのDOA推定値の平均としてDOAを推定することである。しかしながら、平均化方式は、対のうちの1つの不整合によってすら影響を受け得、これはDOA推定精度を低下させ得る。あるいは、異なる周波数帯域に関して異なるマイクロフォン対が選択され得るように、アレイのマイクロフォンの2つ以上の対の中から、各周波数に関する最善のマイクロフォン対(たとえば、その周波数で最低誤差eiを提示する対)を選択することが望まれ得る。マイクロフォン対の空間的エイリアシング周波数において、誤差は大きくなる。結果として、そのような方式は、周波数がそのラッピング周波数に近いとき、マイクロフォン対を自動的に回避し、したがって、DOA推定値において関連する不確実さを回避する傾向にある。より高い周波数ビンに対して、マイクロフォンの間のより短い距離を有する対は、一般に、より良好な推定値を提供し、自動的に有利であり得る、一方で、より低い周波数ビンに対して、マイクロフォンの間のより長い距離を有する対は、一般に、より良好な推定値を提供することになり、自動的に有利であり得る。図2Bに示した4個のマイクロフォンの例では、マイクロフォンの6つの異なる対(すなわち、
が可能である。
[00208]一例では、各軸に関する最善の対は、各周波数fに関してPxI値を計算することによって選択され、この場合、Pは対の数であり、Iはインベントリのサイズであり、各値epiは、(対pおよび周波数fに関して)観測された角度θpfと候補角度θifとの間の平方絶対差である。各周波数fに関して、最低誤差値epiに対応する対pが選択される。この誤差値はまた、(図6Aに示すように)周波数fにおける最善のDOA候補θifを示す。
[00209]図34Bは、タスクT10の実装形態T150とタスクT20の実装形態T250とを含む方法M10の実装形態M30に関するフローチャートを示す。方法M30は、たとえば、(たとえば、特定のフレームにおける)マルチチャネル信号の周波数成分に関する候補方向を示すために使用され得る。
[00210]マルチチャネル信号の複数のチャネル対Pの中の各々に関して、タスクT250は、複数の方向の誤差を計算する。タスクT250は、各チャネル対に関してK個の方向の誤差を計算するために実施され得る。たとえば、タスクT250は、複数のチャネル対Pの中の各々に関してタスクT20の対応するインスタンスを実行するために実施され得る。あるいは、タスクT250は、チャネル対のうちの1つまたは複数の中の各々に関してK個の方向の誤差を計算して、チャネル対の中の異なる1つまたは複数のチャネル対の中の各々に関して(たとえば、Kを超える、またはK未満の)異なる数の方向の誤差を計算するために実施され得る。
[00211]方法M30はまた、複数の方向の誤差に基づいて、候補方向を選択するタスクT35を含む。たとえば、タスクT35は、方向の誤差の中の最低方向の誤差に対応する候補方向を選択するために実施され得る。
[00212]図34Cは、タスクT100およびT150の実装形態T170と、タスクT200およびT250の実装形態T270と、タスクT35の実装形態T350とを含む方法M30の実装形態M100に関するフローチャートを示す。方法M100は、たとえば、(たとえば、特定のフレームにおける)マルチチャネル信号の複数Fの周波数成分の中の各々に関する候補方向を選択するために使用され得る。
[00213]複数Fの周波数成分の中の各々に関して、タスクT170は、複数の差Pを計算し、この場合、複数の差Pの中の各々は、マルチチャネル信号の異なるチャネル対に対応し、かつ21個のチャネル同士の間の差(たとえば、利得ベースまたは位相ベースの差)である。複数Fの周波数成分の中の各々に関して、タスクT270は、複数の対Pの中の各々に関する複数の方向の誤差を計算する。たとえば、タスクT270は、周波数成分の各々に関して、P個の対の各々に関するK個の方向の誤差、または各周波数成分に関する合計P×K個の方向の誤差を計算するために実施され得る。複数Fの周波数成分の間の各々に関して、かつ対応する複数の方向の誤差に基づいて、タスクT350は対応する候補方向を選択する。
[00214]図35Aは、方法M100の実装形態M110に関するフローチャートを示す。実装形態M110は、図34Aおよび図34Cのうちの少なくとも1つに関して説明した、対応する要素の例であり得るタスクT170、T270、T350、およびT400を含み得る。
[00215]図35Bは、誤差計算機200と選択器300とを含む、一般的構成による装置A5のブロック図を示す。誤差計算機200は、マルチチャネル信号のチャネル対同士の間の計算された差に関して、かつ複数Kの候補方向の中の各々に関して、(本明細書でタスクT20の実施形態を参照して説明したように)計算された差に基づく、対応する方向の誤差を計算するように構成される。選択器300は、(たとえば、本明細書でタスクT30の実装形態を参照して説明したように)対応する方向の誤差に基づいて候補方向を選択するように構成される。
[00216]図35Cは、差計算機100を含む装置A5の実装形態A10のブロック図を示す。装置A10は、たとえば、本明細書で説明するような方法M10、M20、M30、および/またはM100のインスタンスを実行するために実施され得る。計算機100は、(たとえば、本明細書でタスクT10の実施形態を参照して説明したように)マルチチャネル信号のチャネル対同士の間の差(たとえば、利得ベースまたは位相ベースの差)を計算するように構成される。計算機100は、たとえば、マルチチャネル信号の複数Fの周波数成分の中の各々に関するそのような差を計算するために実施され得る。そのような場合、計算機100はまた、サブバンドフィルタバンクを信号に適用するために、かつ/または差を計算する前に、各チャネルの周波数変換(たとえば、高速フーリエ変換(FFT)もしくは修正離散コサイン変換(MDCT))を計算するために実施され得る。
[00217]図35Dは、インジケータ400を含む装置A10の実装形態A15のブロック図を示す。インジケータ400は、(たとえば、本明細書でタスクT400の実装形態を参照して説明したように)選択器300によって生成された複数の候補方向の選択に基づいて到来方向を示すように構成される。装置A15は、たとえば、本明細書で説明するような方法M25および/またはM110のインスタンスを実行するように実施され得る。
[00218]図36Aは、一般的構成による装置MF5のブロック図を示す。装置MF5は、マルチチャネル信号のチャネル対同士の間の計算された差に関して、かつ複数Kの候補方向の中の各々に関して、(本明細書でタスクT20の実装形態を参照して説明したように)計算された差に基づく、対応する方向の誤差または適合性測度を計算するための手段F20を含む。装置MF5はまた、(たとえば、本明細書でタスクT30の実装形態を参照して説明したように)対応する方向の誤差に基づいて候補方向を選択するための手段F30を含む。
[00219]図36Bは、(たとえば、本明細書でタスクT10の実装形態を参照して説明したように)マルチチャネル信号のチャネル対同士の間の差(たとえば、利得ベースまたは位相ベースの差)を計算するための手段F10を含む装置MF5の実装形態MF10のブロック図を示す。手段F10は、たとえば、マルチチャネル信号の複数Fの周波数成分の中の各々に関するそのような差を計算するように実施され得る。そのような場合、手段F10はまた、サブバンド解析を実行するため、かつ/または差を計算する前に、各チャネルの周波数変換(たとえば、高速フーリエ変換(FFT)もしくは修正離散コサイン変換(MDCT))を計算するための手段を含むように実施され得る。装置MF10は、たとえば、本明細書で説明するような方法M10、M20、M30、および/またはM100のインスタンスを実行するように実施され得る。
[00220]図36Cは、(たとえば、タスクT400の実装形態を参照して説明したように)手段F30によって生成された複数の候補方向の選択に基づいて、到来方向を示すための手段F40を含む装置MF10の実装形態MF15のブロック図を示す。装置MF15は、たとえば、本明細書で説明するように、方法M25および/またはM110のインスタンスを実行するように実施され得る。
[00221]マイクロフォン対によって受信された信号は、マイクロフォン対の軸に関して、180度までの範囲にわたって推定されたDOAを提供するために、本明細書で説明するように処理され得る。所望の角度スパン(angular span)および分解能は、(たとえば、均一(線形)または不均一(非線形)、選択された当該セクタに限定されるなど)その範囲内で任意であってよい。加えて、またはその代わりに、所望の周波数範囲および分解能は、(たとえば、線形、対数的、メル尺度、バーク尺度など)任意であってよい。
[00222]図2Bに示したようなモデルでは、マイクロフォン対からの0および+/−90度の間の各DOA推定値は、その対の軸に対して直交である平面に対する角度を示す。そのような推定値は、対の軸周囲の円錐形を記述し、この円錐形の表面に沿ったソースの実際の方向は不確定である。たとえば、単一のマイクロフォン対からのDOA推定値は、ソースがマイクロフォン対の前にあるか、あるいは後にあるか(または、上にあるか、もしくは下にあるか)を示さない。したがって、周波数の範囲にわたってDOA推定性能を改善するために、直線アレイ内で2個を超えるマイクロフォンが使用されるが、直線アレイによってサポートされるDOA推定の範囲は、一般に、180度に限定される。
[00223]本明細書で説明するDOA推定原理はまた、マイクロフォンの2次元(2D)アレイに拡張され得る。たとえば、2Dアレイは、ソースDOA推定の範囲を最高で完全な360°まで拡張する(たとえば、レーダ走査および生体医学走査などの応用におけるのと類似の範囲を提供する)ために使用され得る。そのようなアレイは、たとえば、1つまたは複数のソースに対する電話の任意の配置に関してすら良好な性能をサポートするためにスピーカーフォンアプリケーションにおいて使用され得る。
[00224]2Dアレイの複数のマイクロフォン対は、一般に、遠距離の点音源に関してすら同じDOAを共有しないことになる。たとえば、(たとえば、z軸内の)アレイの平面に対するソース高さは、2D追跡において重要な役割を果たし得る。図10Aは、マイクロフォン軸によって定義されるx−y平面が、電話が配置される表面(たとえば、テーブルトップ)に平行なスピーカーフォンアプリケーションの一例を示す。この例では、ソース1001は、x軸1010に沿っているが、z軸1014の方向にオフセットである位置から話している(たとえば、話者の口がテーブルトップ上にある)人物である。マイクロフォンアレイによって定義されるx−y平面に関して、ソース1001の方向は、図10Aに示すように、x軸1010に沿っている。y軸1012に沿ったマイクロフォン対は、x−z平面からゼロ度として、ソースのDOAを推定する。しかしながら、x−y平面より上のスピーカの高さのために、x軸に沿ったマイクロフォン対は、ソースのDOAを、x軸1010に沿うのではなく、x軸1010から30°(すなわち、y−z平面から60度)と推定する。図11Aおよび図11Bは、このDOA推定値と関連する混同する円錐域CY10の2つのビューを示し、これは、マイクロフォン軸に関して推定されたスピーカの方向にあいまいさを生じさせる。図37Aは、デバイスH100の平面(たとえば、ディスプレイ面および/またはマイクロフォンアレイ軸によって定義される平面)から上昇した点音源3720の別の例(すなわち、話者の口)を示す。
[00225]式中、θ1およびθ2が、それぞれ、対1および2に関して推定されたDOAである、
などの式は、DOAのすべての対を3個のマイクロフォンが配置された面内の360°範囲に射影するために使用され得る。そのような射影は、高さの差にかかわらず、マイクロフォンアレイ周囲の360°の範囲にわたってアクティブなスピーカの方向を追跡することを可能にするために使用され得る。x−y平面に図10AのDOA推定(00,600)を射影するための上の式の適用することは、方向の推定
を生成し、それは、図10Bに示すような270°の結合された方向の推定値1022(たとえば、方位角)にマップされ得る。
[00226]一般的な使用事例では、ソースは、マイクロフォン軸上に射影されない方向に配置される。図12A〜図12Dは、ソースS01がマイクロフォンMC10、MC20、MC30の面の上部に配置された一例を示す。この例では、ソース信号のDOAは点(x,y,z)=(5,2,5)を通過し、図12Aは、+z方向から見たx−y平面を示す。図12Bおよび図12Dは、マイクロフォンMC30の方向から見たx−z平面を示し、図12Cは、マイクロフォンMC10の方向から見たy−z平面を示す。図12Aの影付き領域は、y軸マイクロフォン対MC20〜MC30によって観測された、DOAθ1に関連する混同する円錐域CYを示し、図12Bの影付き領域は、x軸マイクロフォン対MC10〜MC20によって観測されたDOA S01 θ2に関連する混同する円錐域CXを示す。図12Cで、影付き領域は円錐域CYを示し、破線の円はソースを通りx軸に直交する平面と、円推域CXとの交線を示す。円錐域CYとその円との交点を示す円上の2つの点は、ソースの候補位置である。同様に、図12Dで、影付き領域は、円錐域CXを示し、破線の円は、ソースを通ってy軸に対して直交する平面と、円錐域CYとの交線を示し、円錐域CXとその円との交点を示す円上の2つの点は、ソースの候補位置である。この2D事例では、ソースがx−y面の上にあるかまたは下にあるかに関してあいまいさが残ることを理解されよう。
[00227]図12A〜図12Dに示す例の場合、x軸マイクロフォン対MC10〜MC20によって観測されたDOAは、
であり、y軸マイクロフォン対MC20〜MC30によって観測されたDOAは
である。これらの方向をx−y平面に射影するために式
を使用することは、xおよびy軸に対する所望の角度の大きさ(21.8°、68.2°)をそれぞれ生成し、それは、所与のソース位置(x,y,z)=(5,2,5)に対応する。観測された角度の信号は、図11Cに示すように、(たとえば、マイクロフォンMC10、MC20、およびMC30によって示される)ソースが配置されるx−y象限を示す。
[00228]実際に、上下の混同を除いて、2Dマイクロフォンアレイによって、ほぼ3D情報が与えられる。たとえば、マイクロフォン対MC10〜MC20およびMC20〜MC30によって観測された到来方向は、x−y平面に対するソースの上昇の角度の大きさを推定するためにも使用され得る。dがマイクロフォンMC20からソースまでのベクトルを示す場合、x軸、y軸、およびx−y平面上へのベクトルdの射影の長さは、それぞれ、dsin(θ2)、dsin(θ1)、および
として表現され得る。上昇の角度の大きさは、次いで、
として推定され得る。
[00229]図10A〜10B、および図12A〜12Dの特定の例におけるマイクロフォン対は直交する軸を有するが、直交しない軸を有するマイクロフォン対の場合、それらの直交しない軸に対するDOA推定値を射影するために、式
が使用され得、その点から、直交する軸に関して結合された方向の推定値の表現を得ることは容易であることに留意されたい。図37Bは、共通の点音源に対する(示される)直交しない軸を有するマイクロフォンアレイの応答に関連する混同する円錐域C1、C2の交差の一例を示す。図37Cは、これらの円錐域C1、C2の交線L1の線のうちの1つを示し、それは、3次元におけるアレイの軸に関する点音源の2つの可能な方向のうちの1つを定義する。
[00230]図13Aは、対MC20、MC30の軸1がx−y平面内にあり、かつ斜角θ0だけy軸に対して斜めのマイクロフォンアレイMC10、MC20、MC30の一例を示す。図13Bは、図13Aに示したマイクロフォンMC10、MC20、MC30のアレイからの観測値(θ1,θ2)を用いて、直交軸xおよびyに関するx−y平面内の結合された方向の推定値を取得する一例を示す。dがマイクロフォンMC20からソースまでのベクトルを示す場合、x軸および軸1上へのベクトルdの射影の長さは、それぞれ、dsin(θ2)、dsin(θ1)として表現され得る。ベクトル(x,y)は、x−y平面上へのベクトルdの射影を示す。xの推定値は知られており、その推定値は依然としてyの値を推定する。
[00231]yの推定は、軸1上へのベクトル(x,y)の射影p1=(dsinθ1sinθ0、dsinθ1cosθ0)を使用して実行され得る。ベクトル(x,y)とベクトルp1の差がp1に対して直交することに注目して、本発明者らは、
としてyを計算する。直交するxおよびy軸に対するx−y平面の所望の到来角度は、この場合、
としてそれぞれ表現され得る。
[00232]2DアレイへのDOA推定の展開は、一般に、スピーカーフォンアプリケーションに適切であり、スピーカーフォンアプリケーションアプリケーションにとって十分である。しかしながら、N次元アレイへのさらなる展開も可能であり、簡単な方法で実行され得る。1つのターゲットが優勢である追跡アプリケーションの場合、N次元を表すためにN個の対を選択することが望まれ得る。特定のマイクロフォン対に関して2D結果が取得されると、自由度を高めるために別の利用可能な対が利用され得る。たとえば、図12A〜12Dおよび図13A、図13Bは、x−y平面に射影されるソース方向の推定値を得るために、x−y平面の異なるマイクロフォン対から観測されたDOA推定値を使用することを例示する。同じように、x軸マイクロフォン対およびz軸マイクロフォン対(または、x−z平面の他の対)から観測されたDOA推定値は、x−z平面に射影されたソース方向の推定値、同様に、y−z平面、または3つ以上のマイクロフォンと交差する任意の他の平面に関する推定値を取得するために使用され得る。
[00233]異なる次元からのDOA誤差の推定値は、たとえば、
または
などの式を使用して、結合された尤度推定値を得るために使用されることが可能であり、ここで、θ0,iは、対iに関して選択されたDOA候補を示す。混同する円錐域のうちの1つだけに近く、したがって、ただ1つの混同する円錐に近く、それゆえに誤ったピークを示し得る推定値よりむしろ、異なる誤差の中の最大値を使用することは、両方の観測の混同する円錐域に近い推定値の選択を促すために望まれ得る。そのような結合された結果は、図8に示し、本明細書で説明する(フレーム、角度)平面、および/または図9の下部に示し、本明細書で説明する(フレーム、周波数)プロットを取得するために使用され得る。
[00234]本明細書で説明するDOA推定原理は、複数の話者の中からの選択をサポートするために使用され得る。たとえば、複数のソースの位置は、特定の話者の手動選択(たとえば、特定の対応するユーザを選択するために特定のボタンを押下すること)または特定の話者の(たとえば、話者の認識による)自動的選択と結合され得る。1つのそのようなアプリケーションでは、電話は、その所有者の音声を認識して、他のソースの方向に優先して、その音声に対応する方向を自動的に選択するように構成される。
[00235]マイクロフォンの1次元(1D)アレイの場合、ソースに関する到来方向DOA10は、たとえば、−90°から90°の範囲で容易に定義され得る。たとえば、アレイの様々なマイクロフォンによって生成される信号の中の位相差に関して、(たとえば、図13Cの事例1および2に示す)角度の範囲にわたる到来方向DOA10に関して閉形式解を得ることは容易である。
[00236]任意の相対的な位置で2個を超えるマイクロフォンを含むアレイ(たとえば、共通の軸を持たないアレイ)の場合、上で説明した1次元原理の単純な展開、たとえば、2次元の2対事例では(θ1,θ2)、3次元の3対事例では(θ1,θ2,θ3)を使用することが望ましい場合がある。主な問題は、対にされた1D到来方向DOA10推定値をそのように結合するために、空間フィルタリングをどのように適用するかである。たとえば、アレイの様々なマイクロフォンによって生成される信号の中の位相差に関して、(たとえば、図13Cの事例3および4に示す)共通の軸を持たないアレイに関する角度の範囲にわたる到来方向DOA10に関する閉形式解を取得することは、困難であるか、または非現実的であり得る。
[00237]図14Aは、頑強な1D DOA推定に基づく、空間的に選択的フィルタリングに関する単純な1次元(1D)ペアワイズのビーム形成ヌル形成(BFNF)BF10構成の一例を示す。この例では、表記
は、各対
が、それぞれのソースおよびマイクロフォン対に関するステアリングベクトル(楕円はソース1およびマイクロフォン対1に関するステアリングベクトルを示す)を表すように、マイクロフォン対番号i、対内のマイクロフォン番号j、およびソース番号kを示し、λが規制係数を示す。ソースの数は、マイクロフォン対の数以下である。そのような構成は、DOAを定義するために、マイクロフォンのすべてを一度に使用する必要を回避する。
[00238]本発明者らは、各対に関するステアリングベクトルを拡大することによって、図14Aに示すビーム形成器/ヌル形成器(BFNF)BF10を適用することができる。この図では、AHは、Aの共役転置を示し、xは、マイクロフォンチャネルを示し、yは空間フィルタリングされたチャネルを示す。図14Aに示す疑似逆演算A+=(AHA)-1Hを使用することは、非正方行列の使用を可能にする。たとえば、図15Aに例示する、3個のマイクロフォンMC10、MC20,MC30事例(すなわち、2個のマイクロフォン対)の場合、追加の行が行列を非正方となるように、行の数は、3の代わりに、2*2=4である。
[00239]図14Aに示す方式は頑強な1D DOA推定に基づいているため、マイクロフォン形状の完全な知識は必要とされず、同時にすべてのマイクロフォンを使用するDOA推定も必要とされない。そのような方式は、本明細書で説明するアングログラムベースのDOA推定に使用するのに好適であるが、任意の他の1D DOA推定方法も使用され得る。図14Bは、空間的エイリアシング周波数(すなわち、マイクロフォン同士の間の距離の二倍の波長)における悪条件の反転を防ぐための(たとえば、分母による)正規化N10をやはり含む、図14Aに示すBFNF BF10の一例を示す。
[00240]図15Bは、従来の方式とは異なってステアリングベクトル(アレイマニホールドベクトル)が取得される、ペアワイズ(PW)正規化MVDR(最小分散無歪応答)BFNF BF10の一例を示す。この場合、2個の対の間でマイクロフォン(たとえば、図15Aでx1,2およびx2,1とラベル付けされたマイクロフォン)を共有することによる共通チャネルが推定される。測定によって、またはシンク関数を使用した理論計算によって、雑音コヒーレンス行列(noise coherence matrix)Γが取得され得る。図14A、図14B、および図15Bの例は、N≦Mになるように、ソースの任意の数Nに一般化され得、ここで、Mはマイクロフォンの数である。
[00241]図16Aは、行列AHAが悪条件でない場合に使用され得るBFNF BF10の別の例を示し、それは、行列の行列式または条件数を使用して判断され得る。この例では、表記は図14Aの場合と同じであり、ソースの数Nは、マイクロフォン対Mの数以下である。行列が悪条件である場合、行列AHAが悪条件でない他の周波数ビンを空間フィルタリングするための方法を適用し続けるのに対して、ソースチャネルとして使用するために、その周波数ビンに関して1個のマイクロフォン信号を迂回することが望まれうる。このオプションは正規化のための分母を計算するための計算を省く。図14A〜16Aの方法は、各周波数ビンにおいて独立して適用され得るBFNF BF10技法を示す。ステアリングベクトルは、本明細書で説明する各周波数およびマイクロフォン対に関するDOA推定値を使用して構築される。たとえば、DOAθi、周波数f、およびマクロフォン番号m(1または2)に関する対pならびにソースn用のステアリングベクトルの各要素は、
と計算され得、ここで、lpは、対pのマイクロフォンの間の距離を示し、ωは、周波数ビン番号を示し、fsはサンプリング周波数を示す。図16Bは、図15Aに示すアレイのステアリングベクトルSV10a〜bの例を示す。
[00242]PWBFNF方式は、利用可能な自由度まで干渉の直接経路を抑圧(なめらかな軌道の仮定を伴わない瞬時抑圧、方向マスキングを使用した追加の雑音抑圧利得、帯域幅拡大を使用した追加の雑音抑圧利得)するために使用され得る。象限フレームワークのシングルチャネル後処理は、定常雑音および雑音基準処理のために使用され得る。
[00243]瞬時抑圧を取得すること、また音楽雑音などのアーティファクトの最小化を実現すことが望まれ得る。BFNFに関して利用可能な自由度を最大限に使用することが望まれ得る。1個のDOAがすべての周波数にわたって固定され得、または周波数にわたる若干不整合な整合は許され得る。現在のフレームだけが使用され得るか、またはフィードフォワードネットワーク(feed-forward network)が実施され得る。BFNFは、(たとえば、悪条件の周波数を除く)ナイキストレートまでの範囲ですべての周波数に関して設定され得る。(たとえば、アグレッシブネス(aggressiveness)のなめらかな自然の継ぎ目のない変化を得るために)自然マスキング方式が使用され得る。図31は、図21Bおよび図22に示すシナリオについてのターゲットおよび移動干渉物に関するDOA追跡の一例を示す。図31では、Dにおける固定源S10が示され、移動ソースS20も示される。
[00244]図17は、本明細書で説明する積分方法1700に関する一例のフローチャートを示す。この方法は、位相遅延推定のためのインベントリ整合タスクT10と、DOA誤差値を取得するための誤差計算タスクT20と、次元整合および/または対選択タスクT30と、選択されたDOA候補に関するDOA誤差をソースアクティビティ尤度推定値にマッピングするためのタスクT40とを含む。ペアワイズDOA推定結果はまた、1つもしくは複数のアクティブな話者を追跡するため、ペアワイズ空間フィルタリング演算を実行するため、ならびに/あるいは時間および/または周波数選択マスキングを実行するために使用され得る。アクティビティ尤度推定および/または空間フィルタリング演算はまた、シングルチャネル雑音抑圧動作をサポートするための雑音推定値を取得するために使用され得る。図18および図19は、図21Aに示す方向A−B−C−Dの中のソース(たとえば、人間の話者)の移動を追跡するための2Dマイクロフォン構成を使用して取得された観測値の一例を示す。図21Aに示すように、オーディオ信号を録音するために、3個のマイクロフォンMC10、MC20、MC30が使用され得る。この例では、図18は、y軸対MC20−MC30による観測値A〜Dを示し、この場合、距離dxは3.6センチメートルであり、図19は、x軸対MC10−MC20による観測値A〜Dを示し、この場合、距離dyは7.3センチメートルであり、DOA推定値のインベントリは、5度の分解能において−90度から+90度の範囲をカバーする。
[00245]ソースがマイクロフォン対の縦方向にあるとき、マイクロフォンの平面の上または下のソースの上昇は観測される角度を限定することを理解されよう。結果として、ソースがマイクロフォンの平面の外部にあるとき、実質的な縦方向は観測されないことは一般的である。図18および図19において、マイクロフォン平面に対するソースの上昇により、ソースが対応する縦方向(すなわち、x軸対MC10−MC20に関する方向A、およびy軸対MC20−MC30に関する方向B)を通過するにもかかわらず、観測される方向は−90度に達しないことを理解されよう。
[00246]図20は、ゼロから360度の範囲にわたるマイクロフォン平面内のDOA推定値を生成するために、図21Aに示すシナリオに関して、図18および図19に示すような、直交軸からの+/−90度の観測値A〜Dが結合される一例を示す。この例では、1度の分解能(one-degree resolution)が使用される。図22は、方向Dの別のソース(たとえば、静的な人間の話者)の存在下で、図21Bに示す方向A〜B〜Cの中でソース(たとえば、人間の話者)のマイクロフォンMC10、MC20、MC30による移動を追跡するために、2Dマイクロフォン構成を使用した、結合された観測値A〜Dの一例を示し、この場合、距離dxは3.6センチメートルであり、距離dyは7.3センチメートルである。
[00247]上で説明したように、DOA推定値は、尤度の和に基づいて計算され得る。(たとえば、図20に示すような)異なるマイクロフォン軸からの観測値を結合するとき、特に、1つを超える方向性ソース(たとえば、2人の話者、または話者と通訳)が存在し得る場合、尤度の和を計算する前に、各個々の周波数ビンに関する結合を実行することが望まれ得る。ソースのうちのわずか1つが各周波数ビンにおいて優勢であると仮定すると、各周波数成分に関して結合された観測値を計算することは、異なる対応する周波数における異なるソースの優勢同士の間の区別を維持する。観測値が結合される前に、観測値に関して異なるソースによって支配された周波数ビンに関する合計が実行される場合、この区別は失われる得、結合された観測値は、いずれの実際のソースの位置にも対応しない方向に誤ったピークを示し得る。たとえば、45度における第1のソースおよび225度における第2のソースの直交マイクロフォン対からの観測値を合計し、次いで、合計された観測値を結合することは、45度および225度における所望のピークに加えて、135度および315度における誤ったピークを生成し得る。
[00248]図23および図24は、電話がテーブルトップ上で静止している、図25に示すような、電話会議シナリオに関して結合された観測値の一例を示す。図25で、デバイスは3個のマイクロフォンMC10、MC20、MC30を含み得る。図23では、信号のフレーム番号2310と、到来角2312と、振幅2314とが例示される。アバウトフレーム(about frame)5500で、話者1は立ち上がり、話者1の移動はアバウトフレーム9000に明らかである。ニアフレーム(near frame)9500の話者3の移動も明らかである。図24の矩形は、このセクタの外から到来する周波数成分が拒否され得るか、もしくは減衰され得るか、またはさもなければ、選択されたセクタ内の方向から到来する周波数成分とは異なって処理され得るようなターゲットセクタ選択TSS10を示す。この例では、ターゲットセクタは、180〜270度の象限であり、マイクロフォン平面の4つの象限の中からユーザによって選択される。この例は、空調システムからの音響干渉も含む。
[00249]図26および図27は、図28Aに示すような動的シナリオに関して結合された観測値の一例を示す。図28Aで、デバイスは、第1の話者S10、第2の話者S20、および第3の話者S30の間に配置され得る。図26で、信号のフレーム番号2610と、到来角2612と、振幅2614とが例示される。このシナリオでは、話者1はアバウトフレーム800で受話器を取り、アバウトフレーム2200で受話器をテーブルトップ上に置く。電話がこのブラウズトーク位置にあるとき、角度スパンはより広いが、空間応答は、依然として、指定されたDOAの中心にあることを理解されよう。アバウトフレーム400の後の話者2の移動も明らかである。図24にあるように、図27の矩形は、ターゲットセクタTSS10として、180〜270度の象限のユーザ選択を示す。図29および図30は、図28Bに示すような、交通騒音を伴う動的シナリオに関して結合された観測値の一例を示す。図28Bで、電話は話者S10からオーディオ信号を受信することができる。図29で、信号のフレーム番号2910と、到来角2912と、振幅2914とが例示される。このシナリオでは、話者は、アバウトフレーム200と100との間で、そして再度、アバウトフレーム1400と2100との間で受話器を取り上げる。この例では、図30の矩形は、干渉セクタIS10として、270〜360度の象限のユーザ選択を示す。
[00250](VAD)本明細書で説明するアングログラムベースの技法は、様々な使用事例(たとえば、スピーカーフォン)において雑音抑圧のために適用され得る音声アクティビティ検出(VAD)をサポートするために使用され得る。セクタベースの方式として実施され得るそのような技法は、すべてのセクタの最大尤度(likelihood_max)に基づく「vadall」統計を含み得る。たとえば、最大値がノイズオンリーしきい値よりかなり大きい場合、vadall統計の値は1(あるいは、ゼロ)である。ノイズオンリー期間の間だけ、ノイズオンリーしきい値を更新することが望ましい場合がある。そのような期間は、たとえば、(たとえば、一次マイクロフォンチャネルからの)シングルチャネルVADおよび/または発話オンセットおよび/またはオフセットに基づく(たとえば、周波数成分のセットの各々に関するエネルギーの時間の導関数に基づく)VADによって示されることが可能である。
[00251]加えて、またはその代わりに、そのような技法は、各セクタの最大尤度に基づくセクタ毎の「vad[sector]」統計を含み得る。そのような統計は、シングルチャネルVADおよびオンセットオフセットVADが1であり、vadallが1であり、そのセクタに関する最大値がlikelihood_maxの一部(たとえば、95%)を超えるとき、1だけの値を有するように実施され得る。この情報は、最大尤度を有するセクタを選択するために使用され得る。適用可能なシナリオは、移動干渉物を伴うユーザ選択ターゲットセクタと、移動ターゲットを伴うユーザ選択干渉セクタとを含む。
[00252]瞬時追跡(PWBFNFパフォーマンス)と干渉セクタのあまりにも頻繁な切替えの防止との間のトレードオフを選択することが望まれ得る。たとえば、vadall統計を1つまたは複数の他のVAD統計と結合することが望ましい場合がある。vad[sector]は、干渉セクタを指定するため、および/または非定常雑音参照の更新をトリガするために使用され得る。たとえば、(たとえば、2012年5月24日に公開された米国特許出願公開第2012/0130713号に説明されるような)最小統計ベースの正規化技法を使用して、vadall統計および/またはvad[sector]統計を正規化することも望まれ得る。
[00253]本明細書で説明するアングログラムベースの技法は、方向マスキングをサポートするために使用され得、それは、様々な使用事例(たとえば、スピーカーフォン)において雑音抑圧のために適用され得る。そのような技法は、(たとえば、ターゲット象限を渡すため、および/または干渉象限を阻止するために)指向性マスキング技法を制御するためにDOA推定値を使用することによって、追加の雑音抑圧利得を得るために使用され得る。そのような方法は、反響を処理するために有用であり得、追加の6〜12dBの利得を生成し得る。アングログラムからのインターフェースは、(たとえば、各周波数ビンごとに角度に最大尤度を割り当てることによって)象限マスキングに関して提供され得る。アングログラムによって示される、ターゲット優位性に基づいて、マスキングアグレッシブネスを制御することが望まれ得る。そのような技法は、自然なマスキング応答(たとえば、アグレッシブネスのなめらかでで自然な継ぎ目のない変化)を取得するために設計され得る。
[00254]ソース追跡のために、かつ/または方向マスキングを用いたPW BFNFの展開のために、マルチビューユーザインターフェース(GUI)を提供することが望まれ得る。デスクトップハンズフリースピーカーフォン使用事例に適用され得る、3個のマイクロフォン(2対)の2次元(たとえば、360°)ソース追跡および拡張方式の様々な例が本明細書で提示される。しかしながら、デスクトップハンズフリー使用事例からハンドヘルドハンドフリー使用事例、またはさらにハンドセット使用事例に及ぶ使用事例の継ぎ目のないカバレッジを提供するために、普遍的方法を実行することが望まれうる。3個のマイクロフォン方式は、ハンドヘルドハンズフリー使用事例に関して使用され得るが、デバイスの背面の(すでに存在する場合)第4のマイクロフォンも使用することが望ましい場合がある。たとえば、少なくとも4個のマイクロフォン(3個のマイクロフォン対)が(x,y,z)次元を表すように利用可能であることが望ましい場合がある。図1に示す設計はこの機能を有し、3個の前面マイクロフォンMC10、MC20、MC30と、背面マイクロフォンMC40(影付き円)を備える図32Aに示す設計もこの機能を有する。
[00255]そのようなデバイスのディスプレイスクリーン上にアクティブソースの可視化を実現することが望まれうる。本明細書で説明する拡張の原則は、前面および背面のマイクロフォン対を使用することによって、2Dから3Dへの単純な拡張を得るように適用され得る。マルチビューGUIをサポートするために、加速度計、ジャイロメータ、近接センサ、および/または各保持パターンごとに2Dアングログラムによって与えられる尤度の分散など、様々な位置検出方法のうちのいずれかを利用することによって、ユーザの保持パターンを判断することができる。現在の保持パターンに応じて、適宜に、そのような保持パターンに対して2個の非同軸マイクロフォン対を切り替えることができ、ユーザが見ることを望む場合、対応する360°の2D表示をディスプレイ上に提供することも可能である。
[00256]たとえば、そのような方法は、デスクトップハンズフリー(たとえば、スピーカーフォン)モード、縦方向ブラウズトークモード、および横方向ブラウズトークモードを含み得るモード範囲の中での切替えをサポートするために実施され得る。図32Bは、3個の前面マイクロフォンMC10、MC20、MC30と、デバイスのディスプレイスクリーン上に対応する可視化とを有するデスクトップハンズフリーモードの一例を示す。図32Dは、2個の前面マイクロフォンMC10、MC20と、アクティブ化された背面マイクロフォンMC40(影付き円)と、対応するディスプレイとを有する、ハンドヘルドハンズフリー(縦方向)モードの一例を示す。図32Cは、前面マイクロフォンMC10、MC20の異なる対と、アクティブ化された1つの背面マイクロフォンMC40(影付き円)と、対応するディスプレイとを有する、ハンドヘルドハンズフリー(横方向)モードの一例を示す。いくつかの構成では、背面マイクロフォンMC40は、デバイスの背面に、前面マイクロフォンMC10のほぼ真裏に配置され得る。
[00257]ターゲットソースの工場を実現することが望ましい場合がある。本明細書で説明する拡張の原則は、やはり前面および背面のマイクロフォン対を使用することによって、2Dから3Dへの単純な拡張を得るように適用され得る。2つだけのDOA推定値(θ1,θ2)の代わりに、本発明者らは、合計で3つのDOA推定値に関する別の大きさから追加の推定値(θ1,θ2,θ3)を得ることができる。この場合、図14Aおよび14Bに示すようなPWBFNF係数行列は、(追加されたマイクロフォン対を用いて)4×2から6×2に拡大し、マスキング利得関数は、f(θ1)f(θ2)からf(θ1)f(θ2)f(θ3)に拡大する。上で説明した位置に敏感な選択を使用して、本発明者らは、ソース向上性能に関してモードの間の継ぎ目のない遷移を得るために、現在の保持パターンにかかわらず、すべての3個のマイクロフォン対を最適に使用することができる。当然、一度に3個を超える対が同様に使用され得る。
[00258](1人もしくは複数のユーザ、または他のソースの位置および追跡を参照して)本明細書で議論する方向の推定のためのマイクロフォンの各々は、全方向、双方向、または一方向(たとえば、カージオイド)である応答を有し得る。使用され得る様々なタイプのマイクロフォンは、(限定はしないが)圧電マイクロフォン、ダイナミックマイクロフォン、およびエレクトレットマイクロフォンを含む。マイクロフォンは、より一般的には、音声以外の放射または放出に敏感なトランスデューサとして実装され得ることに特に留意されたい。1つのそのような例では、マイクロフォンアレイは、1つもしくは複数の超音波トランスデューサ(たとえば、15、20、25、30、40、または50キロヘルツ以上よりも大きい音響周波数に敏感なトランスデューサ)を含むように実施される。
[00259]本明細書で開示する装置は、ハードウェア(たとえば、プロセッサ)とソフトウェアおよび/またはファームウェアとの組合せとして実装され得る。そのような装置はまた、タスクT10または異なる計算機100に入力するために、前処理されたマイクロフォン信号(たとえば、左マイクロフォン信号および右マイクロフォン信号のうちの対応するマイクロフォン信号)を生成するために、(たとえば、1つもしくは複数のマイクロフォンアレイのある実装形態の)マイクロフォンMC10およびMC20の各々によって生成される信号に関して、1つもしくは複数の事前処理演算を実行する、図38Aに示すようなオーディオ前処理段階AP10を含み得る。そのような前処理演算は、(限定はしないが)インピーダンス整合、アナログデジタル変換、利得制御、ならびに/あるいはアナログおよび/またはデジタル領域におけるフィルタ処理を含み得る。
[00260]図38Bは、アナログ前処理段階P10a、P10b、およびP10cを含むオーディオ前処理段階AP10の3チャネル実装形態AP20のブロック図を示す。一例では、段階P10a、P10b、およびP10cは各々、対応するマイクロフォン信号に対して(たとえば、50、100、または200Hzのカットオフ周波数を有する)高域フィルタリング処理演算を実行するように構成される。一般に、段階P10a、P10bおよびP10cは、各信号に対して同じ機能を実行するように構成されることになる。
[00261]オーディオ前処理段階AP10は、各マイクロフォン信号をデジタル信号として、すなわち、サンプルのシーケンスとして生成することが望まれ得る。オーディオ前処理段階AP20は、たとえば、各々が、対応するアナログ信号をサンプリングするように構成されたアナログデジタル変換器(ADC)C10a、C10b、およびC10cを含む。音響アプリケーションの典型的なサンプリングレートは、8kHz、12kHz、16kHz、および約8から約16kHzまでの範囲内の他の周波数を含むが、約44.1、48、または192kHzと同程度のサンプリングレートも使用され得る。一般に、変換器C10a、C10bおよびC10cは、各信号を同じレートでサンプリングするように構成されることになる。
[00262]この例では、オーディオ前処理段階AP20はまた、各々が、タスクT10または異なる計算機100に入力するために、左マイクロフォン信号AL10、中央マイクロフォン信号AC10、および右マイクロフォン信号AR10の対応するマイクロフォン信号を生成するために、対応するデジタル化されたチャネルに対して1つまたは複数の前処理演算(たとえば、スペクトル形成)を実行するように構成されるデジタル前処理段階P20a、P20b、およびP20cを含む。一般に、段階P20a、P20bおよびP20cは、各信号に対して同じ機能を実行するように構成されることになる。事前処理段階AP10は、音声通信(たとえば、電話呼)においてニアエンド音声信号を提供するためなど、コンテンツ使用のために、(たとえば、異なるサンプリングレートで、かつ/または異なるスペクトル形成を用いて)マイクロフォンのうちの少なくとも1つから信号の異なるバージョンを生成するように構成され得ることにも留意されたい。図38Aおよび図38Bは、それぞれ、2チャネルおよび3チャネル実装形態を示しているが、同じ原理が任意の数のマイクロフォンに拡張され得ることを理解されよう。
[00263]図39Aは、(たとえば、タスクT400の実装形態を参照して本明細書で説明する)手段F30によって生成される複数の候補方向の選択に基づいて、到来方向を示すための手段F40を含む装置MF10の実装形態MF15のブロック図を示す。装置MF15は、たとえば、本明細書で説明するように、方法M25および/またはM110のインスタンスを実行するように実施され得る。
[00264]マイクロフォン対またはマイクロフォンの他の直線アレイによって受信される信号は、アレイの軸を基準として角度を示す、推定されたDOAを提供するために、本明細書で説明するように処理され得る。(たとえば、方法M20、M25、M100、およびM110に関連して)上で説明したように、周波数範囲にわたってDOA推定性能を改善するために直線アレイ内で2個を超えるマイクロフォンが使用され得る。しかしながら、そのような場合ですら、直線(すなわち、1次元)アレイによってサポートされるDOA推定範囲は、一般に、180度に限定される。
[00265]図2Bは、1次元DOA推定がアレイの軸に対して直交である平面に対する(+90度から−90度の180度範囲内の)角度を示す測定モデルを示す。方法M200およびM300、ならびにタスクTB200の実装形態は、図2Bに示す状況を参照して下で記載されるが、そのような実装形態は、この状況に限定されず、(DOA推定値がマイクロフォンMC10の方向の軸、またはあるいは、マイクロフォンMC10から離れる方向の軸に対して0〜180度の角度を示す)他の状況を参照する、対応する実装形態が明示的に企図され、本明細書によって開示されることを認識されよう。
[00266]所望の角度スパンは、180度範囲内の任意であり得る。たとえば、DOA推定値は、その範囲内の選択された当該セクタに限定され得る。所望の角分解能も任意であってよい(たとえば、その範囲にわたって均一に分散されるか、または不均一に分布されてよい)。加えて、またはその代わりに、所望の周波数範囲は、任意であってよく(たとえば、音声範囲に限定されてよく)、かつ/または所望の周波数分解能は任意(たとえば、線形、対数的、メル尺度、バーク尺度など)であってよい。
[00267]図39Bは、直線アレイからのDOA推定値の1次元性から生じるあいまいさの一例を示す。この例では、(たとえば、選択器300によって生成される候補方向またはインジケータ400によって生成されるDOA推定値など)マイクロフォン対MC10、MC20からのDOA推定値は、アレイ軸を基準とした角度θを示す。この推定値は非常に正確であるとしても、しかしながら、そのソースがラインd1に沿って配置されるか、またはラインd2に沿って配置されるかを示さない。
[00268]その1次元性の結果として、直線マイクロフォンアレイからのDOA推定値は、空間内の任意の特定の方向ではなく、実際には、(マイクロフォンの応答が完全に全方向であると仮定して)空間内のアレイ軸の周囲の直円錐面を記述する。この(「混同する円錐域」とも呼ばれる)円錐面上のソースの実際の位置は不確定である。図39Cは、そのような表面の一例を示す。
[00269]図40は、3つのソース(たとえば、人間の話者の口)が直線マイクロフォンアレイを有するデバイスD100(たとえば、スマートフォン)に対して異なるそれぞれの方向に配置されたスピーカーフォンアプリケーションにおけるソース混同の一例を示す。この例では、ソース方向d1、d2、およびd3はすべて、マイクロフォンMC10の方向のアレイ軸に対する角度(θ+90度)でマイクロフォンMC20において定義された混同する円錐域上にたまたま存在する。すべての3つのソース方向がアレイ軸に対して同じ角度を有するため、マイクロフォン対は、各ソースに関して同じDOA推定値を生成し、それらを区別できない。
[00270]より高い次元性を有する推定値を提供するために、本明細書で説明するDOA推定原理をマイクロフォンの2次元(2D)アレイに拡張することが望ましい場合がある。図41Aは、直交軸を有する2つのマイクロフォン対を含む2Dマイクロフォンアレイを示す。この例では、第1の対MC10、MC20の軸はx軸であり、第2の対MC20、MC30の軸はy軸である。方法M10の実装形態のインスタンスは、第1の対が対応する1D DOA推定値θxを生成するために実行され得、方法M10の実装形態のインスタンスは、第2の対が対応する1D DOA推定値θyを生成するために実行され得る。マイクロフォン軸によって定義される面内に配置されたソースから到来する信号の場合、θxおよびθyによって記述される混同する円錐域は、その平面内の一意の方向を示すために、信号の到来方向dにおいて一致する。
[00271]図41Bは、タスクTB100a、TB100b、およびTB200を含む一般的構成による方法M200のフローチャートを示す。タスクTB100aは、マイクロフォンの第1の直線アレイの軸に対するマルチチャネル信号に関する第1のDOA推定値を計算し、タスクTB100aは、マイクロフォンの第2の直線アレイの軸に対するマルチチャネル信号に関する第2のDOA推定値を計算する。タスクTB100aおよびTB100bの各々は、たとえば、本明細書で説明するように、方法M10(たとえば、方法M20、M30、M100、またはM110)の実装形態のインスタンスとして実施され得る。第1および第2のDOA推定値に基づいて、タスクTB200は結合されたDOA推定値を計算する。
[00272]結合されたDOA推定値の範囲は、第1のDOA推定値および第2のDOA推定値のいずれかの範囲よりも大きい場合がある。たとえば、タスクTB200は、最高で360度までの範囲の角度としてDOAを示す、結合されたDOA推定値を生成するために、タスクTB100aおよびTB100bによって生成された、最高で180度までの個々の範囲を有する1D DOA推定値を結合するように実施され得る。タスクTB200は、1つの角度を他の角度からの情報(たとえば、信号情報)と結合するために、
など、マッピングを適用することによって、1D DOA推定値θx、θyをより大きな角度の範囲内の方向にマッピングするように実施され得る。図41Aに示すように、1D推定値(θx,θy)=(45°,45°)の場合、たとえば、TB200は、x軸に対して45度の結合された推定値θcを取得するために、そのようなマッピングを適用するために実施され得る。DOA推定値の範囲が、−90から+90度ではなく、0から180度である事例の場合、式(1)の軸極性(すなわち、正または負)条件は、試験用のDOA推定値が90度未満であるか、または90度を超えるかに関して表現されることになることを理解されよう。
[00273]360度範囲ディスプレイ上に結合されたDOA推定値θcを示すことが望ましい場合がある。たとえば、2次元極座標プロット上の角度としてDOA推定値を表示することが望ましい場合がある。2次元極座標プロットは、たとえば、レーダ走査および生体医学走査などの応用でよく知られている。図41Cは、そのようなディスプレイ上に示されたDOA推定値の一例を示す。この例では、ラインの方向はDOA推定値を示し、ラインの長さは、その方向から到来する成分の現在の強度を示す。この例に示すように、極座標プロットはまた、線形目盛または対数(たとえば、デシベル)目盛で方向成分の強度を示すために、1つまたは複数の同心円を含み得る。(たとえば、周波数の点で独立したソースに関して)一度に1つを超えるDOA推定値が利用可能である場合、各DOA推定値に関する対応するラインが表示され得る。あるいは、DOA推定値は、矩形座標系(たとえば、デカルト座標)上に表示され得る。
[00274]図42Aおよび図42Bは、それぞれ、1D推定値θxおよびθyの記号とアレイ軸によって定義される平面の対応する象限との間の一致を示す。図42Cは、タプル(sign(θx),sign(θy))の4つの値と平面の象限との間の対応を示す。図42Dは、(たとえば、y軸に対する)代替マッピングによる360度ディスプレイ
を示す。
[00275]図41Aは、θxおよびθyによって記述される混同する円錐域がこの面内の一意方向を示すように、ソースがマイクロフォン軸によって定義される平面内に配置された特殊事例を例示することに留意されたい。ほとんどの実際的な応用の場合、2Dアレイの非直線マイクロフォン対の混同する円錐域は、一般に、遠距離点音源に関してすら、アレイによって定義される平面内で一致しないことになると予測され得る。たとえば、アレイの平面に対するソース高さ(たとえば、z軸に沿ったソースの変位)は、2D追跡において重要な役割を果たし得る。
[00276]3次元空間の任意位置にあるソースから受信された信号に関する到来方向の正確な2D表現を生成することが望ましい場合がある。たとえば、タスクTB200によって生成された、結合されたDOA推定値が、DOAを含まない平面(たとえば、マイクロフォンアレイによって定義されるか、またはデバイスのディスプレイ面によって定義される平面)内のソース信号のDOAを示すことが望ましい場合がある。そのような表示は、たとえば、ソースに対するオーディオ感知デバイスの任意の配置ならびに/または(たとえば、スピーカーフォンおよび/もしくはソース追跡応用の場合、)デバイスならびにソースの任意の相対的な移動をサポートするために使用され得る。
[00277]図43Aは、図41Aに類似するが、ソースがx−y平面上に配置されたより一般的な事例を示す一例を示す。このような場合、アレイの混同する円錐域の交差部分は、2つの可能な到来方向、すなわち、x−y平面上に広がる方向d1と、x−y平面下に広がる方向d2とを示す。多くの応用では、このあいまいさは、方向d1が正確であり、第2の方向d2を無視することによって解決され得る。たとえば、デバイスがテーブルトップ上に配置されるスピーカーフォンアプリケーションの場合、デバイスの下に何のソースも配置されていないと仮定され得る。いずれの場合も、x−y平面上の方向d1およびd2の射影は同じである。
[00278](たとえば、式(1)または(2)にあるような)1D推定値θxおよびθyの360度の範囲へのマッピングは、ソースがマイクロフォン平面内に配置されているとき、適切なDOA表示を生成することができるが、そのマッピングは、ソースがその面内に配置されていない、より一般的な事例の場合、不正確な結果を生成する場合がある。たとえば、図41Bに示すようなθx=θyの場合、x−y平面内の対応する方向がx軸に対して45度であることを理解されよう。しかしながら、x,θy)=(30°,30°)に式(1)のマッピングを適用することは、平面上に射影されたソース方向に対応しない、x軸に対して30度の結合された推定値θcを作成する。
[00279]図43Bは、その軸がx−y平面を定義する2Dマイクロフォンアレイおよびx−y平面上に配置されたソースの別の例(たとえば、話者の口がテーブルトップ上にあるスピーカーフォンアプリケーション)を示す。x−y平面に関して、ソースは(x軸に対して90度の角度で)y軸に沿って配置される。x軸の対MC10、MC20は、y−z平面(すなわち、対の軸の側面)に対して、x−y面上に投射されたソース方向と一致するゼロ度のDOAを示す。ソースはy軸上に直接配置されるが、ソースはまた、30度の迎角だけz軸の方向にオフセットされる。x−y平面からのソースの上昇は、y軸対MC20、MC30に、90度ではなく、(すなわち、x−z平面に対して)60度のDOAを示させる。値(θx,θy)=(0°,60°)に式(1)のマッピングを適用することは、平面上に射影されたソース方向に対応しない、x軸に対して60度の結合された推定値θcを作成する。
[00280]典型的な使用事例では、ソースは、アレイ軸によって定義される平面またはアレイ軸の真上の平面のいずれでもない方向に配置されることになる。図43Cは、点音源(すなわち、話者の口)がアレイ軸によって定義される平面上に上昇した、そのような一般的な事例の一例を示す。その平面の外部にあるソース方向のアレイ平面内の正確な表示を得るためには、その平面内の対応するDOA推定値を得るために、1D DOA推定値をアレイ平面内の角度に変換するためのタスクTB200を実施することが望ましい場合がある。
[00281]図44A〜44Dは、アレイ平面内の角度への(θxθy)のそのような変換の導出を示す。図44Aおよび図44Bで、ソースベクトルdは、それぞれ、x軸上およびy軸上に射影される。これらの射影の長さ(それぞれ、d sinθx,d sinθy)は、図44Cに示すように、x−y平面上のソースベクトルdの射影pの大きさである。これらの大きさは、図44Dに示すように、DOA推定値(θx,θy)を、それぞれ、y軸に対する、およびx軸に対するx−y平面内のpの角度
に変換することを判断するに十分である。
ここで、εは、ゼロ除算エラーを回避するために含まれ得る小さな値である。(図43B、図43C、図44A〜Eを参照し、下で議論する46A〜Eをやはり参照すると、示すようなdの相対振幅は例示の便宜のためだけであり、dの振幅は、マイクロフォンアレイの振幅に対して、平波面の遠距離仮定が有効状態に留まるように十分大きくあるべきであることに留意されたい。)
[00282]タスクTB200は、そのような式に従って、DOA推定値をアレイ平面内の対応する角度に変換して、その平面内の結合されたDOA推定値θcを得るために、変換された角度に(たとえば、式(1)または(2)にあるような)マッピングを適用するために実施され得る。値θcは、(たとえば、式(1)および(2)に示すように)
と結合される
から判断され得るため、タスクTB200のそのような実装形態は、式(3)内に含まれるような
の(あるいは、
の計算を省略することができることに留意されたい。
の値がやはり所望される場合、
として計算され得る(
の場合も同様である)。
[00283]図43Cは、ソース信号のどのDOAが点(x,y,z)=(5,2,5)を通過するかの一例を示す。この場合、x軸マイクロフォン対MC10〜MC20によって観測されるDOAは
であり、y軸マイクロフォン対MC20〜MC30によって観測されるDOAは
である。これらの角度をx−y平面内の対応する角度に変換するために式(3)を使用することは、所与のソース位置(x,y)=(5,2)に対応する、変換されたDOA推定値
を生成する。
[00284]図41Bに示すように、値(θx,θy)=(30°,30°)に式(3)を適用することは、式(1)によって、x軸に対して45度の予測される値にマッピングされる、変換された推定値
を生成する。図43Bに示すように、値(θx,θy)=(0°,60°)に式(3)を適用することは、式(1)によって、x軸に対して90度の予測される値にマッピングされる、変換された推定値
を生成する。
[00285]タスクTB200は、2D直交アレイからのDOA推定値の任意のそのような対によって示される、DOAをそのアレイが配置された平面上に射影する目的で、上で説明した変換およびマッピングを適用するために実施され得る。そのような射影は、高さの差にかかわらず、アクティブなスピーカの追跡方向がマイクロフォンアレイ周囲の360°にわたることを可能にするために使用され得る。図45Aは、270度の結合された方向の推定値(たとえば、アジマス)を取得するために、
図43Bからの変換された推定値
に代替のマッピング
を適用することによって取得されるプロットを示す。この図では、同心円上のラベルは、相対的振幅をデシベルで示す。
[00286]タスクTB200はまた、結合されたDOA推定値の計算に先立って、観測されたDOA推定値に関する有効性検査を含めるために実施され得る。たとえば、(たとえば、2つの観測された推定値に関連する混同する円錐域が少なくとも1つのラインに沿って交差することになるのを確認するために)値(|θx|+|θy|)が90度に少なくとも等しいことを確認することが望ましい場合がある。
[00287]実際には、2DマイクロフォンアレイからそのようなDOA推定値によって提供される情報は、上下の混同を除いて、3次元でほぼ完全である。
たとえば、マイクロフォン対MC10〜MC20およびMC20〜MC30によって観測された到来方向は、x−y平面に対するソースの仰角の大きさを推定するためにも使用され得る。dがマイクロフォンMC20からソースまでのベクトルを示す場合、x軸、y軸、およびx−y平面上へのベクトルdの射影の長さは、それぞれ、(たとえば、図44A〜44Eで示すように)d sin(θ2)、d sin(θ1)、および
として表現され得る。仰角の大きさは、その場合、
として推定され得る。
[00288]いくつかの特定の例では、直線マイクロフォンアレイは直交軸を有するが、マイクロフォンアレイの軸が直交でない、より一般的な事例に関して、方法M200を実施することが望まれうる。図45Bは、共通の点音源に対して非直交軸xおよびrを有する直線マイクロフォンアレイの応答に関連する混同する円錐域の交差の一例を示す。図45Cは、3次元のアレイ軸に関して点音源の2つの可能な方向d1およびd2を定義する、これらの円錐域の交差のラインを示す。
[00289]図46Aは、対MC10〜MC20の軸がx軸であり、対MC20〜MC30の軸rがx−y面にあり、かつ斜角αだけy軸に対して斜めのマイクロフォンアレイMC10〜MC20〜MC30の一例を示す。図46Bは、図46Aに示したアレイからの観察値(θxθr)を有する直交軸xおよびyに関するx−y平面内の結合された方向の推定値を取得する一例を示す。dがマイクロフォンMC20からソースまでのベクトルを示す場合、x軸上へのベクトルd(dx)および軸r上へのベクトルd(dr)の射影の長さは、図46Bおよび図46Cに示すように、それぞれ、d sin(θx)およびd sin(θy)として表され得る。ベクトルp=(px,py)は、x−y平面上へのベクトルdの射影を示す。px=d sinθxの推定値は知られており、その推定値は依然としてpyの値を判断する。
[00290] 本発明者らは、αの値は範囲(−90℃,+90°)内であると仮定し、任意の他の値αを有するアレイはそのような事例に容易にマッピングされ得る。pyの値は、図46Dおよび図46Eに示すように、射影ベクトルdr=(d sinθr d sinα、d sinθrcosα)の大きさから判断され得る。ベクトルpとベクトルdrとの間の差がdrに対して直交であること(すなわち、内積<(p−dr)、dr>がゼロに等しいこと)に注目して、本発明者らは、
としてpyを計算する(これは、α=0の場合、py=d sinθrと簡単になる)。直交xおよびy軸に対するx−y平面内の所望の角度は、この場合、
としてそれぞれ表現され得る。
式(3)は、α=0である式(4)の特殊事例であることに留意されたい。射影pの大きさ(px,py)は、(たとえば、図44Eを参照して上で説明したのと同じように)x−y平面に対するソースの仰角仰角θhを推定するためにも使用され得る。
[00291]図47Aは、タスクTB100aおよびTB100bのインスタンスを含む一般的構成による方法M300のフローチャートを示す。方法M300は、到来方向を含まない平面(たとえば、アレイ軸によって定義される平面)内への到来方向の射影を計算するタスクTB200の実装形態TB300も含み得る。そのような様式では、2Dアレイは、ソースDOA推定値の範囲を線形の180度推定値から平面の360度推定値に拡張するために使用され得る。図47Cは、図47Aに対応する機能を実行するための構成要素(たとえば、第1のDOA推定器B100a、第2のDOA推定器B100b、および射影計算機B300)を備えた装置A300の一例を示す。図47Dは、図47Aに対応する機能を実行するための手段(たとえば、第1のアレイの軸に関して第1のDOA推定値を計算するための手段FB100a、第2のアレイの軸に関して第2のDOA推定値を計算するための手段FB100b、DOAを含まない平面上へのDOAの射影を計算るための手段FB300)を含む装置MF300の一例を示す。
[00292]図47Bは、サブタスクTB310およびTB320を含むタスクTB300の実装形態TB302のフローチャートを示す。タスクTB310は、第1のDOA推定値(たとえば、θx)を射影平面内の角度(たとえば、
)に変換する。たとえば、タスクTB310は、たとえば、式(3)または(4)に示すような変換を実行し得る。タスクTB320は、変換された角度を到来方向の射影を得るために、第2のDOA推定値からの情報(たとえば、記号情報)と結合する。たとえば、タスクTB320は、たとえば、式(1)または(2)に従って、マッピングを実行し得る。
[00293]上で説明したように、ソースDOA推定を2つの次元に拡張することは、(たとえば、アレイ平面上の領域を記述する測定範囲を提供するために)90度の範囲にわたるDOAの仰角仰角を推定することも含み得る。図48Aは、タスクTB400を含む方法M300のそのような実装形態M320のフローチャートを示す。タスクTB400は、(たとえば、図44Eを参照して本明細書で説明した)アレイ軸を含む平面を参照してDOAの仰角の推定値を計算する。方法M320はまた、3次元ベクトルを生成するために、射影されたDOA推定値を推定された仰角仰角と結合するために実施され得る。
[00294]2つ以上の直線マイクロフォンアレイを含む2Dアレイを有するオーディオ感知デバイス内の方法M300の実装形態を実行することが望まれ得る。そのような2Dアレイを含めるために実装され得、かつオーディオ記録および/または音声通信応用のためのそのような方法を実行するために使用され得るポータブルオーディオ感知デバイスの例としては、電話ハンドセット(たとえば、セルラー電話ハンドセット)、ワイヤードまたはワイヤレスヘッドセット(たとえば、Bluetooth(登録商標)ヘッドセット)、ハンドヘルドオーディオおよび/またはビデオレコーダ、オーディオおよび/またはビデオコンテンツを記録するように構成されたパーソナルメディアプレーヤ、携帯情報端末(PDA)または他のハンドヘルドコンピューティングデバイス、およびノートブックコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、または他のポータブルコンピューティングデバイスがある。ポータブルコンピューティングデバイスの種類は現在、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、ウルトラポータブルコンピュータ、タブレットコンピュータ、モバイルインターネットデバイス、スマートブック、およびスマートフォンなどの名称を有するデバイスを含む。そのようなデバイスは、ディスプレイスクリーンを含む上部パネルと、キーボードを含み得る下部パネルとを有し得、2つのパネルは、クラムシェルまたは他のヒンジ結合関係で接続され得る。そのようなデバイスは、上面上にタッチスクリーンディスプレイを含むタブレットコンピュータとして同様に実装され得る。
[00295](たとえば、方法M200の実装形態および方法M300の実装形態を参照して本明細書で説明するような)DOA推定を2Dアレイに展開することは、一般に、スピーカーフォンアプリケーションによく適しており、スピーカーフォンアプリケーションにとって十分である。しかしながら、そのような原理をN次元(N次元≧2)アレイにさらに展開することも可能であり、簡単な様式で実行され得る。たとえば、図41A〜46Eは、x−y平面内に射影されるソース方向の推定値を得るために、x−y平面内の異なるマイクロフォン対から観測されたDOA推定値を使用することを例示する。同じように、方法200または方法300のインスタンスは、x−z平面内に射影されたソース方向の推定値、同様に、y−z平面または3つ以上のマイクロフォンを交差させる任意の他の平面に関する推定値を取得するために、x軸マイクロフォン対およびz軸マイクロフォン対(または、x−z平面の他の対)から観測されたDOA推定値を結合するために実施され得る。2D射影された推定値は、次いで、3次元の推定されたDOAを取得するために結合され得る。たとえば、(x,y,z)空間内のベクトルとして、結合されたDOA推定値を取得するために、x−y面上に射影されたソースに関するDOA推定値は、x−z平面上に射影されるソースに関するDOA推定値と結合され得る。
[00296]1つのターゲットが優勢である追跡応用の場合、N個のそれぞれの次元を表すためにN個の直線マイクロフォンアレイ(たとえば、対)を選択することが望まれ得る。方法M200またはM300は、追加の自由度を提供するために、そのような直線アレイの特定の対を用いて取得された2D結果を他の平面内の1個以上の直線アレイの各々からのDOA推定値と結合するために実施され得る。
[00297]異なる次元からのDOA誤差の推定値は、たとえば、
または
などの式を使用して、結合された尤度推定値を取得するために使用され得る。
式中、θ0,iは、対iに関して選択されたDOA候補を示す。異なる誤差の中の最大値を使用することは、混同する円錐域のうちの1つだけに近く、したがって、誤ったピークを示す可能性がある推定値に優先して、両方の観測の混同する円錐域に近い推定値の選択を促すために望まれ得る。そのような結合された結果は、図8に示し、本明細書で説明する(フレーム、角度)平面、および/または図9の下部に示し、本明細書で説明する(フレーム、周波数)プロットを取得するために使用され得る。
[00298]図48Bは、タスクTB100cとタスクT400の実装形態T410とを含む方法M320の実装形態M325のフローチャートを示す。タスクTB100cは、第3のマイクロフォンアレイの軸に対する到来方向の第3の推定値を計算する。タスクTB410は、タスクTB100a、TB100b、およびTB100cからのDOA推定値からの情報に基づいて仰角仰角を推定する。
[00299]方法M200およびM300は、タスクTB100aが対応するマイクロフォンチャネル同士の間のあるタイプの差(たとえば、位相ベースの差)に基づいて、そのDOA推定値を計算して、タスクTB100b(または、タスクTB100c)が対応するマイクロフォンチャネル同士の間の別のタイプの差(たとえば、利得ベースの差)に基づいて、そのDOA推定値を計算するように実施され得ることに特に留意されたい。方法M325のそのような例の1つのアプリケーションでは、x−y平面を定義するアレイは、前面および背面の対(たとえば、マイクロフォンMC10、MC20、またはMC30に対してz軸に沿ったオフセットに配置された4個のマイクロフォン)を含めるように展開される。この対に関してタスクTB100cによって生成されるDOA推定値は、この方法が完全な球面測定範囲(たとえば、任意の平面内の360度)を提供するように、仰角仰角内の前面および背面のあいまいさを解決するためにタスクTB400において使用される。この場合、方法M325は、タスクTB100aおよびTB100bによって生成されるDOA推定値が位相差に基づき、タスクTB100cによって生成されるDOA推定値が利得差に基づくように実施され得る。(たとえば、1個のソースだけを追跡するための)特定の例では、タスクTB100cによって生成されるDOA推定値は2つの状態、すなわち、ソースが面の上にあることを示す第1の段階と、ソースが面の下にあることを示す第2の段階とを有する。
[00300]図49Aは、方法M300の実装形態M330のフローチャートを示す。方法M330は、計算された射影をオーディオ感知デバイスのユーザに表示するタスクTB500を示す。タスクTB500は、たとえば、計算された射影を(たとえば、図41C、42D,および45Aに示すような)極座標プロットの形でデバイスのディスプレイスクリーン上に表示するように構成され得る。図1に示すようなタッチスクリーンであってよい、そのようなディスプレイスクリーンの例としては、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、エレクトロウェティングディスプレイ、電気泳動ディスプレイ、および干渉変調器ディスプレイがある。そのようなディスプレイは、(たとえば、図49Bに示すような)推定される仰角の表示も含み得る。
[00301]タスクTB500は、デバイスの基準方向(たとえば、デバイスの主軸)に対して射影DOAを表示するように実施され得る。そのような場合、ソースの位置が変化しない場合ですら、デバイスが固定源に対して回転するにつれて、表示される方向は変化することになる。図50Aおよび図50Bは、それぞれ、そのような回転の前および後のそのようなディスプレイの例を示す。
[00302]あるいは、デバイスが固定源に対して回転するにつれて、示される方向が一定状態に留まるように、外部基準方向に対して射影されたDOAを表示するようにタスクTB500を実施することが望まれ得る。図51Aおよび図51Bは、それぞれ、そのような回転の前および後のそのようなディスプレイの例を示す。
[00303]タスクTB500のそのような実装形態をサポートするために、デバイスD100は、重力軸(たとえば、地球の表面に垂直な軸)または磁軸(たとえば、地球の磁軸)など、外部基準方向を参照して、デバイスの現在の空間方位を示す方向センサ(図示せず)を含むように構成され得る。方向センサは、ジャイロスコープおよび/または加速度計など、1つまたは複数の慣性センサを含み得る。ジャイロスコープは、1つの軸に関する方向、または2つもしくは3つの(一般に直交)軸の各々に関する方向の変化(たとえば、ピッチ、ロールおよび/またはツイストの変化)を検出するために角運動量の原理を使用する。マイクロ電気機械システム(MEMS)デバイスとして作製され得るジャイロスコープの例としては、振動ジャイロスコープがある。加速度計は、1つの軸に沿った加速度、あるいは2つまたは3つの(一般に直交)軸の各々に沿った加速度を検出する。加速度計も、MEMSデバイスとして作製され得る。ジャイロスコープと加速度計とを単一のセンサに組み合わせることも可能である。加えて、またはその代わりに、方向センサは、1つの軸に沿った磁界強度、または2つもしくは3つの(一般に直交)軸の各々に沿った磁界強度を測定する、1つもしくは複数の磁界センサ(たとえば、磁力計)を含み得る。一例では、デバイスD100は、(たとえば、地球の)磁軸に対するデバイスの現在の方向を示す磁場センサを含む。そのような場合、タスクTB500は、(たとえば、コンパスなど)その軸と整合するように回転されたグリッド上に射影されたDOAを表示するように実施され得る。
[00304]図49Cは、タスクTB600とタスクT500の実装形態T510とを含む方法M330のそのような実装形態M340のフローチャートを示す。タスクTB600は、外部基準軸(たとえば、重力軸または磁軸)を参照してオーディオ感知デバイスの方向を判断する。タスクTB510は、判断された方向に基づいて計算された射影を表示する。
[00305]タスクTB500は、アレイ面上に射影された角度としてDOAを表示するために実施され得る。多くのポータブルオーディオ感知デバイスの場合、DOA推定のために使用されるマイクロフォンは、ディスプレイ(たとえば、図1のマイクロフォンME10、MV10−1、およびMV10−3)と同じデバイスの表面に配置されることになるか、または互い(たとえば、図1のマイクロフォンME10、MR10、およびMV10−3)に対してよりも、その表面により近く配置されることになる。たとえば、タブレットコンピュータまたはスマートフォンの厚さは、一般に、ディスプレイ表面の寸法と比べて小さい。そのような場合、アレイ平面上に射影されるDOAとディスプレイ平面上に射影されるDOAとの間の誤差はごく小量であると予測される場合があり、アレイ平面上に射影されるDOAを表示するようにタスクTB500を構成することが許容され得る。
[00306]ディスプレイ平面がアレイ平面と著しく異なる場合、タスクTB500は、推定されたDOAをマイクロフォンアレイの軸によって定義される平面からディスプレイ表面の平面に射影するために実施され得る。たとえば、タスクTB500のそのような実装形態は、推定されたDOAに射影行列を適用する結果を表示することができ、この場合、射影行列は、ディスプレイの表面上のアレイ平面からの射影を記述する。あるいは、タスクTB300は、そのような射影を含めるように実施され得る。
[00307]上で説明したように、オーディオ感知デバイスは、外部基準方向を参照して、デバイスの現在の空間的方向を示す方向センサを含み得る。外部基準方向を参照してDOA推定値を示すために、本明細書で説明するDOA推定値をそのような方向情報と結合することが望まれ得る。図53Bは、タスクTB600のインスタンスとタスクTB300の実装形態TB310とを含む方法M300のそのような実装形態M350のフローチャートを示す。方法M350はまた、本明細書で説明するディスプレイタスクTB500のインスタンスを含めるように実装され得る。
[00308]図52Aは、デバイス座標系Eがワールドワールド座標系と整合される一例を示す。図52Aはやはり、(たとえば、方向センサによって示されるように)この方向に対応するデバイス方向行列Fを示す。図52Bは、(たとえば、ブラウズトークモードで使用する場合)デバイスが回転する一例と、この新しい方向に対応する(たとえば、方向センサによって示される)行列Fとを示す。
[00309]タスクTB310は、ワールドワールド座標系を参照して定義される任意の平面内にDOA推定値を射影するためにデバイス方向行列Fを使用するために実施され得る。1つのそのような例では、DOA推定値は、デバイス座標系内のベクトルgである。第1の動作で、ベクトルgは、デバイス方向行列Fを用いて内積によってワールドワールド座標系内のベクトルhに変換される。そのような変換は、たとえば、
などの式に従って、実行され得る。第2の動作で、ベクトルhは、射影
によってワールドワールド座標系を参照して定義される平面Pに射影され、式中、Aはワールドワールド座標系内の平面Pの基底行列である。
[00310]典型的な例では、平面Pは、ワールドワールド座標系(すなわち、「ワールド基準面」)のx−y平面と平行である。図52Cは、タスクTB500によって実行され得る、ワールド基準面へのDOA射影の、デバイスのディスプレイ平面上への透視マッピングを示し、この場合、ワールド基準面に対するディスプレイ平面の方向は、デバイス方向行列Fによって示される。図53Aは、ワールド基準面上に射影されたDOAのそのようなマッピングされたディスプレイの一例を示す。
[00311]別の例では、タスクTB310は、平面P内に射影された成分ベクトルgの中のより複雑でない内挿を使用して、DOA推定ベクトルgを平面P内に射影するように構成される。この場合、射影されたDOA推定ベクトルPgは、
以下のような式に従って、計算され得る。
式中、
は、デバイス座標系の基底ベクトルを示し、
θα,θβ,θγは、それぞれ、平面Pと
によって張られる平面との間の角度を示し、α、β、γは、そのそれぞれのコサイン(α2+β2+γ2)=1を示し、gx-y(p),gx-z(p)は、それぞれ、成分ベクトル
の平面Pへの射影を示す。α、β、およびγの中の最小値に対応する平面は、Pに最も近い平面であり、タスクTB310の代替実装形態は、この最小値を識別して、射影された成分ベクトルのうち対応する成分ベクトルをPgの近似として生成する。
[00312]異なるDOAを有するソース信号同士の間を区別するようにオーディオ感知デバイスを構成することが望まれ得る。たとえば、ある角度の通過範囲内の方向から到来する方向成分を通過させ、かつ/または、ある角度の停止範囲内の方向から到来する方向成分を阻止あるいは減衰するために、マルチチャネル信号上の方向的に選択可能なフィルタリング動作を実行するようにオーディオ感知デバイスを構成することが望まれ得る。
[00313]オーディオ感知デバイスのユーザが方向的に選択的な処理動作(たとえば、本明細書で説明するビーム形成動作)を構成するのを可能にするためのグラフィカルユーザインターフェースをサポートするために、本明細書で説明するディスプレイを使用することが望まれ得る。図54Aは、円の影のない部分が通過することになる方向範囲を示し、影付き部分が阻止されることになる方向範囲を示す、そのようなユーザインターフェースの一例を示す。円は、ユーザが選択された範囲を変更するために、その円の周囲に沿ってスライドさせることができるタッチスクリーン上の点を示す。タッチポイントは、一方の点を移動させることが、もう一方の点を同じ角度方向に、またはその代わりに、反対の角度方向に、等しい角度だけ移動させるようにリンクされ得る。あるいは、(たとえば、図54Bに示すように)タッチポイントは独立して選択可能であってもよい。(たとえば、図54Cに示すように)1つを超える角度の範囲の選択をサポートするために、タッチポイントの1つまたは複数の追加の対を提供することも可能である。
[00314]図54A〜Cに示すタッチポイントに代わるものとして、ユーザインターフェースは、通過/停止帯域位置および/もしくは幅を選択するためのユーザ入力を取得するために、他の物理的または仮想選択インターフェース(たとえば、スクリーン上のクリック可能アイコンまたは接触可能アイコン)を含み得る。そのようなインターフェースの例としては、図53Cに示すように、線形スライダポテンショメータ、(たとえば、上下、左右、右回り/左回りを示すためのバイナリ入力用の)ロッカースイッチ、およびホイールまたはノブがある。
[00315]オーディオ感知デバイスが、使用の間、固定状態に留まることが予測される(たとえば、スピーカーフォン使用のために、デバイスが平面上に配置される)使用事例では、デバイスに対して固定している選択された方向の範囲を示すことは十分であり得る。しかしながら、使用の間に、所望のソースに対するデバイスの方位が変化する場合、そのソースの方向から到来する成分はもはや許可され得ない。図55Aおよび図55Bは、方向センサがデバイスの方向を追跡するために使用されるさらなる例を示す。この場合、(方向センサによって示される)デバイスの方向変位は、デバイスの方向の変化にかかわらず、所望の方向応答が維持され得るように、ユーザによって選択される方向性フィルタリング構成を更新するために(かつ、対応する表示を更新するために)使用される。
[00316]アレイは、任意の1つの時点で区別されることになる異なるソース方向の数(たとえば、形成されることになるビームの数)に少なくとも等しい、いくつかのマイクロフォンを含むことが望まれ得る。マイクロフォンは、(たとえば、セルラー電話もしくは専用の会議デバイスに関して一般的であるように)全方向性であってよく、または(セットトップボックスなどのデバイスに関して一般的であるように)方向性であってもよい。
[00317]本明細書で説明するDOA推定原理は、複数の話者の中からの選択をサポートするために使用され得る。たとえば、複数のソースの位置は、特定の話者の手動選択(たとえば、特定の対応する話者もしくはアクティブなソース方向を選択するために特定のボタンを押下すること、または特定のスクリーン領域をタッチすること)あるいは(たとえば、話者認識による)特定の話者の自動的選択と結合され得る。1つのそのようなアプリケーションでは、オーディオ感知デバイス(たとえば、電話)は、その所有者の音声を認識して、他のソースの方向に優先して、その音声に対応する方向を自動的に選択するように構成される。
B.ソース位置をマッピングするためのシステムおよび方法
[00318]上で説明した機能、装置、方法、および/またはアルゴリズムのうちの1つもしくは複数は、本明細書で開示するシステムおよび方法に従って実施され得ることに留意されたい。本明細書で開示するシステムおよび方法のいくつかの構成は、継ぎ目のないオーディオ処理のためのマルチモーダルセンサ融合(sensor fusion)を説明する。たとえば、本明細書で説明するシステムおよび方法は、センサデータと3Dデバイス上に配置されたマイクロフォンのセットとを使用して、マイクロフォンによって捕捉された3D音源からの複数のDOA情報を物理的2D平面に射影することを可能にし、この場合、マイクロフォン信号は、2D物理平面内の音源の空間分解能を最大化する、マイクロフォンから取り出されたDOA情報に基づいて選択されることが可能であり、この場合、センサデータは、物理的2D平面に対する3Dデバイスの方向の基準を提供する。マルチマイクロフォンを備えた、加速度計、近接センサなどのセンサの融合から利益を享受し得る多くの使用例が存在する。一例(たとえば、「使用事例1」)は、頑強なハンドセットインテリジェントスイッチ(IS)を含み得る。別の例(たとえば、「使用事例2」)は、様々なスピーカーフォン保持パターン用の頑強なサポートを含み得る。別の例(たとえば、「使用事例3」)は、継ぎ目のないスピーカーフォンハンドセット保持パターンサポートを含み得る。さらに別の例(たとえば、「使用事例4」)は、アクティブソースのマルチビュー視覚化と配位パッシング(coordination passing)とを含み得る。
[00319]本明細書で説明するシステムおよび方法のいくつかの構成は、必要に応じて、事前取得可能なセンサデータを伴う所望の使用事例を区別するための、少なくとも1つの統計モデルを含み得る。利用可能なセンサデータは、マルチマイクロフォンデータにとともに追跡されることが可能であり、これらの使用事例のうちの少なくとも1つに関して利用され得る。本明細書で開示するシステムおよび方法のいくつかの構成は、加えて、またはその代わりに、少なくとも1つの使用事例に関して他のセンサデータ(たとえば、カメラデータ)とともにセンサデータを追跡することができる。
[00320]次に、図を参照しながら様々な構成について説明し、この場合、同様の参照番号は機能的に同様の要素を示し得る。本明細書で全般に説明され図に示されるシステムおよび方法は、多種多様な異なる構成で構成および設計され得る。したがって、図に表されるいくつかの構成についての以下のより詳細な説明は、特許請求される範囲を限定するものではなく、システムおよび方法を代表するものにすぎない。図に示される1つもしくは複数の機能および/または要素は、少なくとも1つの他の図に示される少なくとも1つの機能および/または要素と組み合わせられ得る。
[00321]図56は、ソース位置をマッピングするためのシステムおよび方法が実施され得る電子デバイス5602の一構成を示すブロック図である。本明細書で開示されるシステムおよび方法は、種々の電子デバイス5602に適用され得る。電子デバイス5602の例としては、携帯電話、スマートフォン、ボイスレコーダ、ビデオカメラ、オーディオプレーヤ(たとえば、Moving Picture Experts Group−1(MPEG−1)またはMPEG−2 Audio Layer3(MP3)プレーヤ)、ビデオプレーヤ、オーディオレコーダ、デスクトップコンピュータ、ラップトップコンピュータ、携帯情報端末(PDA)、ゲームシステムなどがある。電子デバイス5602の一種は、別のデバイスと通信し得る通信デバイスである。通信デバイスの例としては、電話、ラップトップコンピュータ、デスクトップコンピュータ、セルラーフォン、スマートフォン、ワイヤレスまたはワイヤードモデム、電子リーダー、タブレットデバイス、ゲームシステム、セルラー電話基地局またはノード、アクセスポイント、ワイヤレスゲートウェイおよびワイヤレスルータなどがある。
[00322]電子デバイス5602(たとえば、通信デバイス)は、国際電気通信連合(ITU)規格および/または米国電気電子技術者協会(IEEE)規格(たとえば、802.11a、802.11b、802.11g、802.11n、802.11acなど、802.11Wireless Fidelityまたは「Wi−Fi(登録商標)」規格)などの、いくつかの産業規格に従って動作し得る。通信デバイスが準拠し得る規格の他の例は、IEEE802.16(たとえば、Worldwide Interoperability for Microwave Access、すなわち「WiMAX(登録商標)」)、3GPP、3GPP LTE、3rd Generation Partnership Project2(3GPP2)、GSM、およびその他に準拠し得る(この場合、通信デバイスは、たとえば、ユーザ機器(UE)、NodeB、進化型NodeB(eNB)、モバイルデバイス、移動局、加入者局、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、および/または加入者ユニットなどと呼ばれる場合がある)。本明細書で開示されるシステムおよび方法のいくつかは、少なくとも1つの標準に関して説明され得るが、これは、それらのシステムならびに方法が多くのシステムおよび/または標準に適用可能であり得るので、本開示の範囲を限定すべきではない。
[00323]電子デバイス5602は、少なくとも1個のセンサ5604、マッパ5610、および/または動作ブロック/モジュール5614を含み得る。本明細書で使用する「ブロック/モジュール」という句は、特定の構成要素がハードウェア(たとえば、回路)、ソフトウェア、または両方の組合せで実装され得ることを示す。たとえば、動作ブロック/モジュール5614は、回路などのハードウェア構成要素、および/あるいは命令またはコードなどのソフトウェア構成要素などを用いて実装され得る。加えて、電子デバイス5602の構成要素または要素のうちの1つもしくは複数は、ハードウェア(たとえば、回路)、ソフトウェア、ファームウェア、またはそれらの組合せで実装され得る。たとえば、マッパ5610は、回路(たとえば、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FFPGA)、および/または1つもしくは複数のプロセッサなど)で実施され得る。
[00324]少なくとも1個のセンサ5604は、電子デバイス5602に関するデータを収集することができる。少なくとも1個のセンサ5604は、電子デバイス5602内に含まれること、および/または電子デバイス5602に結合されることが可能である。センサ5604の例としては、マイクロフォン、加速度計、ジャイロスコープ、コンパス、赤外線センサ、傾斜センサ、全地球測位システム(GPS)受信機、近接センサ、カメラ、超音波センサなどがある。いくつかの実装形態では、少なくとも1個のセンサ5604は、センサデータ5608をマッパ(mapper)5610に提供することができる。センサデータ5608の例としては、オーディオ信号、加速度計示度、ジャイロスコープ示度、ポジション情報、方位情報、位置情報、近接情報(たとえば、オブジェクトが電子デバイス5602近くに検出されるかどうか)、画像などがある。
[00325](下でより詳細に説明する)いくつかの構成では、マッパ5610は、オーディオ処理を改善するためにセンサデータ5608を使用することができる。たとえば、ユーザは、スピーカーフォン使用のために、電子デバイス5602(たとえば、電話)を異なる方向(たとえば、縦方向、横方向、またはデスクトップハンズフリーですら)で保持することができる。保持パターン(たとえば、電子デバイス5602方向)に応じて、電子デバイス5602は、空間的オーディオ処理を改善するために、(シングルマイクロフォン構成を含めて)適切なマイクロフォン構成を選択することができる。加速度計/近接センサデータ5608を追加することによって、電子デバイス5602は、切替えを継ぎ目なく行うことができる。
[00326]センサ5604(たとえば、複数のマイクロフォン)は、1つまたは複数のオーディオ信号(たとえば、マルチチャネルオーディオ信号)を受信することができる。いくつかの実装形態では、構成に応じて、マイクロフォンは電子デバイス5602の様々な位置に配置され得る。たとえば、マイクロフォンは、図1で上に例示されたように、電子デバイス5602の前面、側面、および/または背面に配置され得る。加えて、またはその代わりに、マイクロフォンは、電子デバイス5602の上部および/または下部近くに配置され得る。場合によっては、マイクロフォンは、動作不能に(たとえば、オーディオ信号を受信しない)ように構成され得る。たとえば、場合によっては、電子デバイス5602は、少なくとも1個のマイクロフォンを動作不能にする回路を含み得る。いくつかの実装形態では、1個または複数のマイクロフォンは、電子デバイス5602方向に基づいて、動作不能にされ得る。たとえば、電子デバイス5602が表面上に表を上にして水平方向(たとえば、テーブルトップモード)にあるとき、電子デバイス5602は、電子デバイス5602の背面上に配置された、少なくとも1個のマイクロフォンを動作不能にすることができる。同様に、電子デバイス5602方向が(たとえば、大量に)変化した場合、電子デバイス5602は、少なくとも1個のマイクロフォンを動作不能にすることができる。
[00327]様々なマイクロフォン構成の小数の例が次のように与えられる。一例では、電子デバイス5602は、可能なとき、デュアルマイクロフォン構成を使用するように構成され得る。ユーザが電子デバイス5602(たとえば、電話)を、ディスプレイに対して法線ベクトルが平行であるように、または地面とほぼ平行であるように(たとえば、電子デバイス5602が垂直に方向付けられているように見えるように(これは、センサデータ5608に基づいて判断され得る))保持しない限り、電子デバイス5602は、カテゴリーA構成でデュアルマイクロフォン構成を使用することができる。いくつかの実装形態では、カテゴリーA構成で、電子デバイス5602は、一方のマイクロフォンが電子デバイス5602の背面上部近くに配置され得、他方のマイクロフォンが電子デバイス5602の前面下部近くに配置され得るデュアルマイクロフォン構成を含み得る。この構成では、電子デバイス5602は、マイクロフォンの位置によって形成されるラインを含む平面内のオーディオ信号源を区別する(たとえば、オーディオ信号の到来方向を判断する)ことが可能であり得る。この構成に基づいて、電子デバイス5602は、180度のオーディオ信号源を区別することが可能であり得る。したがって、180度範囲内に到来するオーディオ信号の到来方向は、カテゴリーA構成内の2個のマイクロフォンに基づいて区別され得る。たとえば、電子デバイス5602のディスプレイの左から受信されたオーディオ信号と右から受信されたオーディオ信号とが識別され得る。いくつかの構成では、1個または複数のオーディオ信号の方向性は、上のセクションAで説明されたように判断され得る。
[00328]別の例では、ユーザが電子デバイス5602(たとえば、電話)をディスプレイに対する法線ベクトルが直交するように、または地面とほぼ直交するように(たとえば、電子デバイス5602が水平に方向付けられているように見えるように(これは、センサデータ5608によって通知され得る))保持しない限り、電子デバイス5602は、カテゴリーB構成でデュアルマイクロフォン構成を使用することができる。この構成では、電子デバイス5602は、一方のマイクロフォンが電子デバイス5602の背面下部近くに配置され得、他方のマイクロフォンが電子デバイス5602の前面下部近くに配置され得るデュアルマイクロフォン構成を含み得る。いくつかの実装形態では、カテゴリーB構成で、一方のマイクロフォンは電子デバイス5602の背面上部近くに配置され得、他方のマイクロフォンは電子デバイス5602の前面上部近くに配置され得る。
[00329]カテゴリーB構成では、オーディオ信号は、マイクロフォンの位置によって形成されるラインを含む平面内で区別され得る(たとえば、オーディオ信号の到来方向が判断され得る)。この構成に基づいて、180度オーディオソース区別が存在し得る。したがって、180度範囲内に到来するオーディオ信号の到来方向は、カテゴリーB構成内の2個のマイクロフォンに基づいて区別され得る。たとえば、電子デバイス5602のディスプレイの上部から受信されたオーディオ信号と下部から受信されたオーディオ信号とが識別され得る。しかしながら、電子デバイス5602のディスプレイの左または右にある2個のオーディオ信号は識別され得ない。電子デバイス5602が、水平に向けられるのではなく、垂直方向に向けらるように電子デバイスの向き102が変えられた場合、電子デバイスのディスプレイの左および右からのオーディオ信号は識別され得ることに留意されたい。3個のマイクロフォン構成、すなわち、カテゴリーCの場合、電子デバイス5602は、垂直方向に関してマイクロフォンの前面および背面の対を使用することが可能であり、水平方向に関してマイクロフォンの上下の対を使用することができる。カテゴリーCにあるような構成を使用すると、電子デバイス5602は、360度でオーディオ信号源を区別すること(たとえば、異なるオーディオ信号からの到来方向を区別すること)が可能であり得る。
[00330]マッパ5610は、センサデータ5608に基づいて、電子デバイス5602座標に対するソース位置、および電子デバイス5602座標から物理座標(たとえば、実ワールドワールド座標または地球座標に対応する2次元平面)へのマッピング5612を判断することができる。マッピング5612は、電子デバイス座標に対する、かつ/または物理座標に対するソース位置のマッピング(たとえば、射影)を示すデータを含み得る。たとえば、マッパ5610は、ソース位置を物理座標にマッピングするために、少なくとも1つのアルゴリズムを実施し得る。いくつかの実装形態では、物理座標は、2次元物理座標であり得る。たとえば、マッパ5610は、電子デバイス5602方向(たとえば、保持パターン)を判断して、動作(たとえば、ソース位置を表示すること、マイクロフォン構成を切り替えること、および/または雑音抑圧設定を構成すること)を行うように電子デバイス5602に指示するために、少なくとも1個のセンサ5604からのセンサデータ5608(たとえば、一体型加速度データ、近接データ、およびマイクロフォンデータ)を使用し得る。
[00331]マッパ5610は、電子デバイス5602方向の変化を検出することができる。いくつかの実装形態では、電子デバイス5602(たとえば、電話)の移動は、センサ5604(たとえば、加速度計および/または近接センサ)を介して検出され得る。マッパ5610は、これらの移動を利用することが可能であり、電子デバイス5602は、回転の範囲に基づいて、マイクロフォン構成および/または雑音抑圧設定を調整することができる。たとえば、マッパ5610は、電子デバイス5602が水平方向(たとえば、テーブルトップモード)から垂直方向(たとえば、ブラウズトークモード)に変化したことを示すセンサデータ5608を少なくとも1個のセンサ5604から受信し得る。いくつかの実装形態では、マッパ5610は、電子デバイス5602(たとえば、ワイヤレス通信デバイス)がハンドセットモード(たとえば、ユーザの頭の側面)からブラウズトークモード(たとえば、ユーザの目の前)に方向が変化したことを示し得る。
[00332]電子デバイスはまた、マッピング5612に基づいて、少なくとも1つの動作を実行する動作ブロック/モジュール5614を含み得る。たとえば、動作ブロック/モジュール5614は、少なくとも1個のマイクロフォンに結合されることが可能であり、マッピング5612に基づいて、マイクロフォン構成を切り替えることができる。たとえば、マッピング5612が、電子デバイス5602が垂直方向(たとえば、ブラウズトークモード)から表を上にした水平方向(たとえば、テーブルトップモード)に変化したことを示す場合、動作ブロック/モジュール5614は、電子デバイスの背面上に配置された、少なくとも1個のマイクロフォンを動作不能にすることができる。同様に、下で説明するように、動作ブロック/モジュール5614は、マルチマイクロフォン構成をシングルマイクロフォン構成に切り替えることができる。動作の他の例としては、2次元または3次元のソースを追跡すること、ソースを3次元表示空間に射影すること、および非定常雑音抑圧を実行することがある。
[00333]図57は、電子デバイス5602座標をマッピングするための方法5700の一構成を示す流れ図である。方法5700は、電子デバイス5602によって実行され得る。電子デバイス5602は、センサデータ5608を取得することができる(5702)。電子デバイス5602に結合された少なくとも1個のセンサ5604は、センサデータ5608を電子デバイス5602に提供することができる。センサデータ5608の例としては、(たとえば、1個または複数のマイクロフォンからの)オーディオ信号、加速度計示度、ポジション情報、方向情報、位置情報、近接情報(たとえば、オブジェクトが電子デバイス5602近くに検出されるかどうか)、画像などがある。いくつかの実装形態では、電子デバイス5602は、各指定された電子デバイス5602方向(たとえば、保持パターン)に関して事前に獲得されたデータと対応するマイクロフォン識別とを使用して、センサデータ5608(たとえば、加速度計x−y−z座標)を取得することができる(5702)。
[00334]電子デバイス5602は、センサデータに基づいて、ソース位置を電子デバイス座標にマッピングすることができる(5704)。これは、図41〜図48のうちの1つまたは複数に関して上で説明したように達成され得る。たとえば、電子デバイス5602は、マルチチャネル信号(たとえば、2個以上のマイクロフォンからの複数のオーディオ信号)に基づいて、電子デバイス座標に対するソースの到来方向(DOA)を推定することができる。いくつかの方式では、ソース位置を電子デバイス座標にマッピングすること(5704)は、上で説明したように、到来方向を平面(たとえば、射影平面および/またはアレイ平面など)の上に射影することを含み得る。いくつかの構成では、電子デバイス座標は、デバイスに対応するマイクロフォンアレイ平面であり得る。他の構成では、電子デバイス座標は、電子デバイス5602によってソース位置(たとえば、DOA)がマッピング(たとえば、変換および/または回転)され得る、電子デバイス5602に対応する別の座標系であってよい。
[00335]電子デバイス5602は、ソース位置を電子デバイス座標から物理座標(たとえば、2次元物理座標)にマッピングすることができる(5706)。これは、図49〜図53のうちの1つまたは複数に関して上で説明したように達成され得る。たとえば、電子デバイスは、DOA推定値をワールド(または、地球)座標系を参照して定義される平面内に射影するために方向行列を利用するように実施され得る。
[00336]いくつかの構成では、電子デバイス5602内に含まれたマッパ5610は、ソース位置を電子デバイス座標にマッピングする(5704)ため、およびソース位置を電子デバイス座標電子デバイス5602座標から物理座標にマッピングする(5706)ために、少なくとも1つのアルゴリズムを実施することができる。いくつかの構成では、マッピング5612は、「3Dオーディオマップ」に適用され得る。たとえば、いくつかの構成では、コンパス(たとえば、センサ5604)は、コンパスデータ(たとえば、センサデータ5608)をマッパ5610に提供することができる。この例では、電子デバイス5602は、物理(たとえば、実ワールドまたは、地球)座標に変換された4つのpi方向(たとえば、球)内の音分布マップを取得することができる。これは、電子デバイス5602が3次元オーディオ空間を記述することを可能にし得る。この種の上昇情報は、(たとえば、22.2サラウンドシステムのような)上昇位置内に配置された拡声器を介して、上昇音を再生するために利用され得る。
[00337]いくつかの実装形態では、ソース位置を電子デバイス座標から物理座標にマッピングすること(5706)は、電子デバイス5602方向を検出すること、および/または電子デバイス5602方向の何らかの変化を検出することを含み得る。たとえば、マッパ5610は、電子デバイス5602方向(たとえば、保持パターン)を判断するために、少なくとも1つ個のセンサ5604からのセンサデータ5608(たとえば、統合された加速度計データ、近接データ、およびマイクロフォンデータ)を使用し得る。同様に、マッパ5610は、電子デバイス5602が水平方向(たとえば、テーブルトップモード)から垂直方向(たとえば、ブラウズトークモード)に変化したことを示すセンサデータ5608を少なくとも1個のセンサ5604から受信し得る。
[00338]電子デバイス5602は、マッピング5612に基づいて、動作を実行し得る(5708)。たとえば、電子デバイス5602は、(たとえば、マッピング5612によって示された)電子デバイス5602方向に基づいて、少なくとも1つの動作を実行し得る(5708)。同様に、電子デバイス5602は、(たとえば、マッピング5612によって示された)電子デバイス5602方向の検出された変化に基づいて、動作を実行し得る(5708)。動作の特定の例としては、電子デバイス5602マイクロフォン構成を切り替えること、(たとえば、2次元または3次元で)オーディオソースを追跡すること、ソース位置を物理座標から3次元表示空間にマッピングすること、非定常雑音抑圧、フィルタリング、オーディオ信号に基づいて画像を表示することなどがある。
[00339]ソース位置を電子デバイス座標から物理座標にマッピングする(5706)例が次のように与えられる。この例によれば、電子デバイス5602(たとえば、マッパ5610)は、センサデータ5608(たとえば、加速度計座標データ)を監視すること、センサデータ5608を平滑化すること(単純再帰的加重(simple recursive weighting)またはカルマン平滑化(Kalman smoothing))ができ、動作ブロック/モジュール5614は、マッピング5612に基づいて動作を実行すること(たとえば、オーディオ信号源をマッピングすること、または射影すること)ができる。
[00340]電子デバイス5602は、(たとえば、ジャイロセンサを使用することによって)フォームファクタ(たとえば、FLUID)によって与えられる座標系内でx−y−z基底ベクトル
によって定義された3次元(3D)空間を取得することができる。電子デバイス5602は、x−y−z位置センサデータ5608に基づいて、物理(たとえば、実ワールド)座標系内の基底ベクトル
を指定し得る。電子デバイス5602は、次いで、
を取得し得、それは、座標系内の任意の2次元平面を取得するための基底ベクトル空間である。検索グリッド
を考慮すると、電子デバイス5602は、初めの2個の要素(x”,y”)を利用することによって定義される射影動作の第1の2個の要素を利用することによって、基底ベクトル空間を面(x”,y”)に射影し得、ここで、
である。
[00341]たとえば、デバイス(たとえば、電話)がブラウズトークモードで保持されると仮定すると、E=([1 0 0]T,[0 1 0]T,[0 0 1]T)およびE’=([0 0 1]T,[0 1 0]T,[1 0 0]T)である。この場合、デバイス(たとえば、電話)座標系内で
および
である。それを、実x−y平面(たとえば、物理座標)である、A=([1 0 0]T,[0 1 0]T)に射影するために、
である。初めの2つの要素[1 0]Tは、射影動作の後で利用され得る。したがって、Eの
は、このとき、[1 0]TとしてA上に射影され得ることに留意されたい。これにより、デバイス(たとえば、電話)x−y−z形状でブラウズトークモードを有する[0 0 1]Tは、実ワールドx−y平面に関する[1 0]Tに対応する。
[00342]射影に関するより複雑さの少ない近似に関して、電子デバイス5602は、P(x’,y’)=αPx-y(x’,y’)+βPx-z(x’,y’)+γPy-z(x’,y’)として定義される3つのセット表現の中の簡単な補間方式を適用することができ、ここで、α+β+γ=1であり、それは実x−y平面と各セット平面との間の角度の関数である。あるいは、電子デバイス5602は、P(x’、y’)=min(Px-y(x’,y;)、Px-z(z’、y’)、Py-z(x’、y)によって与えられる表現を使用し得る。このマッピング例では、座標変化位置は、射影動作の前に示される。
[00343]加えて、またはその代わりに、動作を実行すること(5708)は、ソース位置を物理座標から3次元表示空間内にマッピングすることを含み得る。これは、図52〜図53のうちの1つまたは複数に関して上で説明したように達成され得る。追加の例が下に提供される。たとえば、電子デバイス5602は、ソース位置に対応する音源表現を3次元表示空間内にレンダリングすることができる。いくつかの構成では、電子デバイス5602は、音源表現を含むプロット(たとえば、極座標プロット、矩形プロット)を3次元表示空間内の物理座標に対応する2次元平面上にレンダリングすることができ、この場合、平面はデバイス方向に基づいてレンダリングされる。このようにして、動作を実行すること(5708)は、デバイス方向(たとえば、回転、傾斜、ピッチ、ヨー、ロールなど)にかかわらず、ソース方向を3次元表示空間内に保持することを含み得る。たとえば、プロットとは、デバイスがどのように方向するかにかかわらず、物理座標と整合されることになる。言い換えると、電子デバイス5602は、物理座標に関してプロットの動作を維持するために、デバイス方向変更について補償することができる。いくつかの構成では、3次元表示空間を表示することは、(たとえば、2次元画素グリッドを表示するために)3次元表示空間を2次元ディスプレイ上に射影することを含み得る。
[00344]図58は、電子デバイス5802座標をマッピングするためのシステムおよび方法が実施され得る電子デバイス5802のより具体的な構成を例示するブロック図である。電子デバイス5802は、図56に関して説明した電子デバイス5602の一例であり得る。電子デバイス5802は、図56に関して説明した対応する要素の例であり得る、少なくとも1個のセンサ5804と、少なくとも1個のマイクロフォンと、マッパ5810と、動作ブロック/モジュール5814とを含み得る。いくつかの実装形態では、少なくとも1個のセンサ5804は、図56に関して説明したセンサデータ5608の一例であり得るセンサデータ5808をマッパ5810に提供することができる。
[00345]動作ブロック/モジュール5814は、基準方向5816を受信することができる。いくつかの実装形態では、基準方向5816は、電子デバイス5802内に含まれることが可能であり、かつ/または電子デバイス5802に結合され得るメモリ内に記憶され得る。基準方向5816は、基準電子デバイス5602方向を示すことができる。たとえば、基準方向5816は、最適電子デバイス5602方向(たとえば、最適保持パターン)を示すことができる。最適電子デバイス5602方向は、デュアルマイクロフォン構成が実施され得る方向に対応し得る。たとえば、基準方向5816は、電子デバイス5602が垂直方向と水平方向との間に位置する方向であり得る。いくつかの実施形態では、水平および垂直である電子デバイス5602(たとえば、電話)方向は、非一般的保持パターン(たとえば、最適でない電子デバイス5602方向)である。これらの位置(たとえば、垂直および/または水平)は、センサ5804(たとえば、加速度計)を使用して識別され得る。いくつかの実装形態では、(基準方向5816を含み得る)中間位置は、縦方向デュアルマイクロフォン雑音抑圧用の位置であり得る。比較によって、水平方向および/または垂直方向は、横方向/シングルマイクロフォン雑音抑圧によって処理され得る。
[00346]いくつかの実装形態では、動作ブロック/モジュール5814は、3次元ソース射影ブロック/モジュール5818、2次元ソース追跡ブロック/モジュール5820、3次元ソース追跡ブロック/モジュール5822、マイクロフォン構成スイッチ5824、および/または非定常雑音抑圧ブロック/モジュール5826を含み得る。
[00347]3次元ソース追跡ブロック/モジュール5822は、オーディオ信号源を3次元で追跡することができる。たとえば、オーディオ信号源が電子デバイス5602に対して移動するにつれて、または電子デバイス5602がオーディオ信号源に対して移動するにつれて、3次元ソース追跡ブロック/モジュール5822は、電子デバイス5802に対するオーディオ信号源の位置を3次元で追跡することができる。いくつかの実装形態では、3元ソース追跡ブロック/モジュール5822は、マッピング5812に基づいて、オーディオ信号源を追跡することができる。言い換えれば、3次元ソース追跡ブロック/モジュール5822は、マッピング5812内に示された電子デバイス5802方向に基づいて、電子デバイスに対してオーディオ信号源の位置を判断することができる。いくつかの実装形態では、3次元ソース射影ブロック/モジュール5818は、ソース(たとえば、3次元で追跡されたソース)を2次元空間内に射影することができる。たとえば、3次元ソース射影ブロック/モジュール5818は、2次元で表示する目的で、3次元で追跡されたソースを射影するために、少なくとも1つのアルゴリズムを使用することができる。
[00348]この実装形態では、2次元ソース追跡ブロック/モジュール5820は、ソースを2次元で追跡することができる。たとえば、オーディオ信号源が電子デバイス5602に対して移動するにつれて、または電子デバイス5602がオーディオ信号源に対して移動するにつれて、2次元ソース追跡ブロック/モジュール5820は、電子デバイス5802に対するオーディオ信号源の位置を2次元で追跡することができる。いくつかの実装形態では、2次元ソース追跡ブロック/モジュール5820は、マッピング5812に基づいて、オーディオ信号源を追跡することができる。言い換えれば、2次元ソース追跡ブロック/モジュール5820は、マッピング5812内に示された電子デバイス5802方向に基づいて、電子デバイスに対するオーディオ信号源の位置を判断することができる。
[00349]マイクロフォン構成スイッチ5824は、電子デバイス5802マイクロフォン構成を切り替えることができる。たとえば、マイクロフォン構成スイッチ5824は、マイクロフォンのうちの少なくとも1つを動作可能/動作不能にすることができる。いくつかの実装形態では、マイクロフォン構成スイッチ5824は、マッピング5812および/または基準方向5816に基づいて、マイクロフォン構成306を切り替えることができる。たとえば、マッピング5812が、電子デバイス5802が表を上にした平面上に水平(たとえば、ブラウズトークモード)であることを示す場合、マイクロフォン構成スイッチ5824は、電子デバイス5802の背面上に配置された、少なくとも1個のマイクロフォンを動作不能にすることができる。同様に、マッピング5812が、電子デバイス5802方向が基準方向5816とは(たとえば、ある量だけ)異なることを示すとき、マイクロフォン構成スイッチ5824は、マルチマイクロフォン構成(たとえば、デュアルマイクロフォン構成)からシングルマイクロフォン構成に切り替えることができる。
[00350]加えて、またはその代わりに、非定常雑音抑圧ブロック/モジュール326は、マッピング5812に基づいて、非定常雑音抑圧を実行することができる。いくつかの実装形態では、非定常雑音抑圧ブロック/モジュール5826は、電子デバイス5802方向にかかわらず、非定常雑音抑圧を実行することができる。たとえば、非定常雑音抑圧は、上で議論された、ビーム・ヌル形成および/または方向マスキングなど、空間処理を含み得る。
[00351]図59は、電子デバイス5802座標をマッピングするための方法5900のより具体的な構成を例示する流れ図である。方法5900は、電子デバイス5802によって実行され得る。電子デバイス5802は、5902センサデータ5808を取得することができる。いくつかの実装形態では、これは、図57に関して説明したように行われ得る。
[00352]電子デバイス5802は、センサデータ5808に基づいて、電子デバイス5802座標のマルチマイクロフォン構成から物理座標へのマッピング(5812)を判断することができる(5904)。いくつかの実装形態では、これは、図57に関して説明したように行われ得る。
[00353]電子デバイス5802は、マッピング5812に基づいて、電子デバイスの方向を判断することができる(5906)。たとえば、マッパ5810は、センサ5804(たとえば、加速度計)からセンサデータ5808を受信することができる。この例では、マッパ5810は、電子デバイス5802の方向を判断するために、センサデータ5808を使用することができる。いくつかの実装形態では、電子デバイス5802の方向は基準面に基づき得る。たとえば、電子デバイス5802は、電子デバイス5802の方向を定義するために、極座標を使用することができる。下で説明するように、電子デバイス5802は、電子デバイス5802の方向に基づいて、少なくとも1つの動作を実行することができる。
[00354]いくつかの実装形態では、電子デバイス5802は、リアルタイムソースアクティビティマップをユーザに提供することができる。この例では、電子デバイス5802は、センサ5804(たとえば、加速度計および/またはジャイロスコープ)を利用することによって、電子デバイス5802の方向(たとえば、ユーザの保持パターン)を判断することができる(5906)。尤度(方向性)の変化量は、各電子デバイス5802の方向(たとえば、保持パターン)ごとに2次元(2D)アングログラム(または、極座標プロット)によって与えられることが可能である。場合によっては、電子デバイス5802が二対によって作成された面に直交に面する場合、変化量はかなり大きく(全方向性に)なる場合がある。
[00355]いくつかの実装形態では、電子デバイス5802は、マッピング5812に基づいて、電子デバイス5802の方向の何らかの変化を検出することができる(5908)。たとえば、マッパ5810は、電子デバイス5802の方向を経時的に監視することができる。この例では、電子デバイス5802は、電子デバイス5802の方向の何らかの変化を検出することができる(5908)。たとえば、マッパ5810は、電子デバイス5802(たとえば、ワイヤレス通信デバイス)がハンドセットモード(たとえば、ユーザの頭の側面)からブラウズトークモード(たとえば、ユーザの目の前)に方向が変化したことを示すことができる。下で説明するように、電子デバイス5802は、電子デバイス5802の方向に対する何らかの変化に基づいて、少なくとも1つの動作を実行することができる。
[00356]オプションで、電子デバイス5802(たとえば、動作ブロック/モジュール5814)は、電子デバイス5802の方向と基準方向5816との間に差が存在するかどうかを判断することができる(5910)。たとえば、電子デバイス5802は、電子デバイス5802の方向を示すマッピング5812を受信することができる。電子デバイス5802は基準方向5816をも含み得る。電子デバイス5802の方向と基準方向5816とが同じでない場合、電子デバイス5802は、電子デバイス5802の方向と基準方向5816との間に差が存在することを判断することができる。下で説明するように、電子デバイス5802は、電子デバイス5802の方向と基準方向5816との間の差に基づいて、少なくとも1つの動作を実行することができる。いくつかの実装形態では、電子デバイス5802の方向と基準方向5816との間に差が存在するかどうかを判断すること(5910)は、任意の差がしきい値量よりも大きいかどうかを判断することを含み得る。この例では、電子デバイス5802は、差がしきい値量よりも大きいとき、その差に基づいて動作を実行することができる。
[00357]いくつかの実装形態では、電子デバイス5802は、電子デバイス5802の方向に基づいて、マイクロフォン構成を切り替えることができる(5912)。たとえば、電子デバイス5802は、DOA情報に基づいて、物理座標(たとえば、2D物理平面)内の1つまたは複数の音源の空間分解能を最大にするマイクロフォン信号を選択することができる。マイクロフォン構成を切り替えること(5912)は、電子デバイス5802上の様々な位置に配置されたマイクロフォンを動作可能/動作不能にすることを含み得る。
[00358]マイクロフォン構成を切り替えること(5912)は、マッピング5812および/または基準方向5816に基づき得る。いくつかの構成では、異なるマイクロフォン構成同士の間で切り替えること(5912)を行うことができるが、しばしば、デュアルマイクロフォン構成からシングルマイクロフォン構成に切り替える場合(5912)のように、ある種のシステマティックな遅延を含み得る。たとえば、電子デバイス5802方向の急激な変化が存在するとき、システマティックな遅延はおよそ3秒であり得る。切替え5912を、マッピング5812(たとえば、また、センサデータ5808)に基づかせることによって、デュアルマイクロフォン構成からシングルマイクロフォン構成に切り替えること(5912)は継ぎ目なく行われ得る。いくつかの実装形態では、マッピング5812および/または基準方向5816に基づいて、マイクロフォン構成を切り替えること(5912)は、電子デバイス5802の方向、電子デバイス5802の方向の何らかの変化、および電子デバイス5802の方向と基準方向5816との間の何らかの差のうちの少なくとも1つに基づいて、マイクロフォン構成を切り替えること(5912)を含み得る。
[00359]マイクロフォン構成を切り替える(5912)小数の例が次のように通り与えられる。一例では、電子デバイス5802は、基準方向5816(たとえば、最適保持パターン)にあり得る。この例では、電子デバイス5802は、センサデータ5808(たとえば、加速度計x−y−z座標)を学習し得る。これは、たとえば、単純加重平均(たとえば、alpha*history+(1−alpha)*current)、または、より精緻なカルマン平滑化に基づき得る。電子デバイス5802が、追跡された加速度計統計および基準方向5816から、かなり大きな差が存在することを判断する場合(5910)、電子デバイス5802は、複数のマイクロフォン構成からシングルマイクロフォン構成に切り替え得る(5912)。
[00360]別の例では、ユーザが(たとえば、椅子に座っていることから、ベッドの上に横たわることに)姿勢を変えると仮定する。ユーザが電子デバイス5802(たとえば、電話)を許容可能な保持パターンに保持する(たとえば、電子デバイス5802が基準方向5816にある)場合、電子デバイス5802は、引き続き複数のマイクロフォン構成(たとえば、デュアルマイクロフォン構成)であり続け、加速度計座標を学習する(たとえば、センサデータ5808を取得すること)ができる。さらに、電子デバイス5802は、たとえば、電子デバイス5802の方向を検出することによって、ユーザが電話で会話している間、ユーザの姿勢を検出し得る。ユーザが電子デバイス5802(たとえば、電話)を口から離す間、ユーザが話さないと仮定する。この場合の、電子デバイス5802は、複数のマイクロフォン構成からシングルマイクロフォン構成に切り替えることができ(5912)、電子デバイス5802は、シングルマイクロフォン構成状態に留まり得る。しかしながら、電子デバイス5802を最適保持パターン(たとえば、基準方向5816に)維持する間にユーザが話すとすぐに、電子デバイス5802は複数のマイクロフォン構成(たとえば、デュアルマイクロフォン構成)に再度切り替えることになる。
[00361]別の例では、電子デバイス5802は、表を下にした水平方向であり得る(たとえば、電子デバイス5802のディスプレイがベッド上に向けて表を下にしている間、ユーザが電子デバイスを保持した状態でベッドの上に横たわる)。z座標は、センサ5804(たとえば、加速度計)によって感知されるように負であるため、電子デバイス5802方向は容易に検出され得る。加えて、またはその代わりに、ユーザの姿勢が座った姿勢からベッドの上に横たわった姿勢に変化する場合、電子デバイス5802はまた、位相差とレベル差とを使用するフレームを使用して、ユーザの姿勢を学習し得る。ユーザが基準方向5816で電子デバイス5802を使用する(たとえば、電子デバイス5802を最適保持パターンで保持する)とすぐに、電子デバイス5802は、最適雑音抑圧を実行し得る。センサ5804(たとえば、一体型加速度計およびマイクロフォンデータ)は、次いで、電子デバイス5802方向(たとえば、電子デバイス5802の保持パターン)を判断するためにマッパ5810内で使用され得、電子デバイス5802は、動作すること(たとえば、適切なマイクロフォン構成を選択すること)が可能である。より具体的には、前面および背面マイクロフォンが動作可能にされ得るか、または前面マイクロフォンが動作可能にされ得ると同時に、背面マイクロフォンが動作不能にされ得る。電子デバイス5802が水平方向(たとえば、スピーカーフォンまたはテーブルトップモード)にある間、これらの構成のうちのいずれかが実施され得る。
[00362]別の例では、ユーザは、電子デバイス5802(たとえば、電話)保持パターン(たとえば、電子デバイス5802方向)をハンドセット使用からスピーカーフォン使用に変更し得、逆もまた同様である。加速度計/近接センサデータ5808を追加することによって、電子デバイス5802は、マイクロフォン構成切替えを継ぎ目なく行い、マイクロフォン利得とスピーカ音量とを調整すること(または、より大型の拡声器にイヤピースを切り替えること)ができる。たとえば、ユーザが電子デバイス5802(たとえば、電話)の表を下にして置いたと仮定する。いくつかの実装形態では、電子デバイス5802が、電子デバイス5802(たとえば、電話)が表を下にしているか、または上にしているかを追跡することができるように、電子デバイス5802はセンサ5804を追跡し得る。電子デバイス5802(たとえば、電話)が表を下にしている場合、電子デバイス5802は、スピーカーフォン機能を提供し得る。いくつかの実装形態では、電子デバイスは近接センサ結果を優先付けし得る。言い換えれば、センサデータ5808が、オブジェクト(たとえば、手または机)が耳の近くにあることを示す場合、電子デバイスはスピーカーフォンに切替え(5912)なくてよい。
[00363]オプションで、電子デバイス5802は、マッピング5812に基づいて、ソースを3次元で追跡し得る(5914)。たとえば、オーディオ信号源が電子デバイス5802に対して移動するにつれて、電子デバイス5802はオーディオ信号源を3次元で追跡し得る。この例では、電子デバイス5802は、ソース(たとえば、ソース位置)を2次元空間に射影し得る(5916)。たとえば、電子デバイス5802は、3次元で追跡されたソースを電子デバイス5802内の2次元ディスプレイに射影し得る(5916)。加えて、電子デバイス5802は、ソースを2次元で追跡することに切り替え得る(5918)。たとえば、オーディオ信号源が電子デバイス5802に対して移動するにつれて、電子デバイス5802はオーディオ信号源を2次元で追跡し得る。電子デバイス5802の方向に応じて、電子デバイス5802は、マイクロフォンの対応する非線形対を選択して、適切な2次元射影を用いて、360度の2次元表現を提供し得る。たとえば、電子デバイス5802は、電子デバイス5802の方向(たとえば、保持パターン(スピーカーフォンモード、縦方向ブラウズトークモード、および横方向ブラウズトークモード、またはそれらの何らかの組合せ)にかかわらず、2次元の360度ソースアクティビティの可視化を実現し得る。電子デバイス5802は、各保持パターンの中間にある場合、2次元表現に対して可視化を補間し得る。実際には、電子デバイス5802は、3つのセットの2次元表現を使用して、3次元可視化をレンダリングすることすら可能である。
[00364]いくつかの実装形態では、電子デバイス5802は、非定常雑音抑圧を実行し得る(5920)。非定常雑音抑圧を実行すること(5920)は、空間的オーディオ処理を改善するために、ターゲットオーディオ信号からの雑音オーディオ信号を抑圧し得る。いくつかの実装形態では、電子デバイス5802は、雑音抑圧の間に移動し得る。これらの実装形態では、電子デバイス5802は、電子デバイス5802の方向とは無関係に、非定常雑音抑圧を実行し得る(5920)。たとえば、ユーザが誤って電話を回転させたものの、依然として、何らかのターゲット方向に焦点を当てたい場合、デバイスの方向にかかわらず、ターゲット方向を維持することが有益であり得る。
[00365]図60は、マッピング5812に基づいて動作を実行する(5708)ための方法6000の一構成を例示する流れ図である。方法6000は、電子デバイス5802によって実行され得る。電子デバイス5802は、センサデータ5808の何らかの変化を検出し得る(6002)。いくつかの実装形態では、センサデータ5808の何らかの変化を検出すること(6002)は、センサデータ5808の変化がある量よりも大きいかどうかを検出することを含み得る。たとえば、電子デバイス5802は、判断されたしきい値量よりも大きい加速度計データに変化があるかどうかを判断し得る(6002)。
[00366]電子デバイス5802は、センサデータ5808が、電子デバイス5802が水平位置にあることを示すか、もしくは垂直位置にあることを示すか、または電子デバイス5802が中間位置にあることを示すかを判断し得る(6004)。たとえば、電子デバイス5802は、センサデータ5808が、電子デバイス5802がテーブルトップモード(たとえば、面上に表を上にして水平)にあることを示すか、またはブラウズトークモード(たとえば、目の高さに垂直)であることを示すか、あるいは電子デバイス5802が(たとえば、基準方向5816を含み得る)垂直もしくは水平以外の位置にあることを示すかを判断し得る。
[00367]電子デバイス5802が、センサデータ5808が、電子デバイス5802が中間位置にあることを示すと判断した場合(6004)、電子デバイス5802は、デュアルマイクロフォン構成を使用し得る(6006)。電子デバイス5802が前にデュアルマイクロフォン構成を使用していなかった場合、デュアルマイクロフォン構成を使用すること(6006)は、デュアルマイクロフォン構成に切り替えることを含み得る。比較すると、電子デバイス5802が前にデュアルマイクロフォン構成を使用した場合、デュアルマイクロフォン構成を使用すること(6006)は、デュアルマイクロフォン構成を維持することを含み得る。
[00368]電子デバイス5802が、センサデータ5808が、電子デバイス5802が水平または垂直位置にあることを示すと判断した場合(6004)、電子デバイス5802は、近距離位相/利得ボイスアクティビティ検出器(VAD)がアクティブであるかどうかを判断し得る(6008)。言い換えれば、電子デバイス5802は、電子デバイス5802がオーディオ信号源(たとえば、ユーザの口)近くに配置されているかどうかを判断し得る。電子デバイス5802が、近距離位相/利得ボイスアクティビティ検出器がアクティブである(たとえば、電子デバイス5802がユーザの口の近くにある)と判断した場合(6008)、電子デバイス5802は、デュアルマイクロフォン構成を使用し得る(6006)。
[00369]電子デバイス5802が、近距離位相/利得ボイスアクティビティ検出器がアクティブでない(たとえば、電子デバイス5802がオーディオ信号源近くに配置されていない)と判断した場合(6008)、電子デバイス5802は、単一マイクロフォン構成を使用し得る(6010)。電子デバイス5802が前にシングルマイクロフォン構成を使用していなかった場合、シングルマイクロフォン構成を使用すること(6010)は、シングルマイクロフォン構成に切り替えることを含み得る。比較によって、電子デバイス5802が前にシングルマイクロフォン構成を使用していた場合、シングルマイクロフォン構成を使用すること(6010)は、シングルマイクロフォン構成を維持することを含み得る。いくつかの実装形態では、シングルマイクロフォン構成を使用すること(6010)は、横方向/シングルマイクロフォン雑音抑圧を使用することを含み得る。
[00370]図61は、マッピング5812に基づいて動作を実行する(5708)ための方法6100の別の構成を例示する流れ図である。方法6100は、電子デバイス5802によって実行され得る。電子デバイス5802は、センサデータ5808の何らかの変更を検出することができる(6102)。いくつかの実装形態では、これは、図60に関して説明したように行われ得る。
[00371]電子デバイス5802は、センサデータ5808が、電子デバイス5802がテーブルトップ位置にあることを示すか、または中間位置もしくは垂直位置にあることを示すかを判断し得る(6104)。たとえば、電子デバイス5802は、センサデータ5808が、電子デバイス5802が表面上に表を上にして水平であること(たとえば、テーブルトップ位置)を示すか、または電子デバイス5802が垂直であること(たとえば、ブラウズトーク位置)を示すか、あるいは(たとえば、基準方向5816を含み得る)垂直もしくは水平以外の位置にあることを示すかを判断し得る(6104)。
[00372]電子デバイス5802が、センサデータ5808が、電子デバイス5802が中間位置にあることを示すと判断した場合(6104)、電子デバイス5802は、前面および背面マイクロフォンを使用し得る(6106)。いくつかの実装形態では、前面および背面マイクロフォンを使用すること(6106)は、少なくとも1個のマイクロフォンを動作可能/動作不能にし得る。
[00373]電子デバイス5802が、センサデータ5808が、電子デバイス5802がテーブルトップ位置にあることを示すと判断した場合(6104)、電子デバイス5802は、電子デバイス5802の表が上を向いているかどうかを判断し得る(6108)。いくつかの実装形態では、電子デバイス5802は、センサデータ5808に基づいて、電子デバイス5802の表が上を向いているかどうかを判断し得る(6108)。電子デバイス5802が、電子デバイス5802の表が上を向いていると判断した場合(6108)、電子デバイス5802は、前面マイクロフォンを使用し得る(6110)。たとえば、電子デバイスは、電子デバイス5802の前面に配置された少なくとも1個のマイクロフォンを使用し得る(6110)。いくつかの実装形態では、前面マイクロフォンを使用すること(6110)は、少なくとも1個のマイクロフォンを動作可能/動作不能にし得る。たとえば、前面マイクロフォンを使用すること(6110)は、電子デバイス5802の背面に配置された少なくとも1個のマイクロフォンを使用不能にし得る。
[00374]電子デバイス5802が、電子デバイス5802の表が上を向いていない(たとえば、電子デバイス5802の表が下を向いている)と判断した場合(6108)、電子デバイス5802は、背面マイクロフォンを使用し得る(6112)。たとえば、電子デバイスは、電子デバイス5802の背面に配置された少なくとも1個のマイクロフォンを使用し得る(6112)。いくつかの実装形態では、背面マイクロフォンを使用すること(6112)は、少なくとも1個のマイクロフォンを動作可能/動作不能にすることができる。たとえば、背面マイクロフォンを使用すること(6112)は、電子デバイス5802の前面に配置された少なくとも1個のマイクロフォンを使用不能にすることを含み得る。
[00375]図62は、ユーザインターフェース6228を電子デバイス6202上に表示するためのシステムおよび方法が実施され得るユーザインターフェース6228の一構成を例示するブロック図である。いくつかの実装形態では、ユーザインターフェース6228は、図56に関して説明した電子デバイス5602の一例であり得る電子デバイス6202上に表示され得る。ユーザインターフェース6228は、本明細書で説明するマルチマイクロフォン構成とともに、かつ/またはマルチマイクロフォン構成とは無関係に使用され得る。ユーザインターフェース6228は、電子デバイス6202のディスプレイ6264(たとえば、スクリーン)上に提示され得る。ディスプレイ6264はまた、セクタ選択機能6232を提示することができる。いくつかの実装形態では、ユーザインターフェース6228は、編集可能モードと固定モードとを提供し得る。編集可能モードで、ユーザインターフェース6228は、ユーザインターフェース6228の少なくとも1つの機能(たとえば、セクタ選択機能)を操作するための入力に応答し得る。固定モードで、ユーザインターフェース6228は、ユーザインターフェース6228の少なくとも1つの機能を操作するための入力に応答し得ない。
[00376]ユーザインターフェース6228は、情報を含み得る。たとえば、ユーザインターフェース6228は、座標系6230を含み得る。いくつかの実装形態では、座標系6230は、オーディオ信号源位置に関する基準であり得る。座標系6230は、物理座標に対応し得る。たとえば、図57で説明したように、電子デバイス6202座標を物理座標にマッピングするために、センサデータ5608(たとえば、加速度計データ、ジャイロデータ、コンパスデータなど)が使用され得る。いくつかの実装形態では、座標系6230は、地球座標とは無関係な物理的空間に対応し得る。
[00377]ユーザインターフェース6228は、オーディオ信号の方向性を表示することができる。たとえば、ユーザインターフェース6228は、オーディオ信号源の方向を示すオーディオ信号インジケータを含み得る。オーディオ信号源の角度もユーザインターフェース6228内に示されることが可能である。オーディオ信号は音声信号であり得る。いくつかの実装形態では、オーディオ信号は、少なくとも1個のマイクロフォンによって捕捉され得る。この実装形態では、ユーザインターフェース6228は、少なくとも1個のマイクロフォンに結合され得る。ユーザインターフェース6228は、捕捉されたオーディオ信号の2Dアングログラムを表示し得る。いくつかの実装形態では、ユーザインターフェース6228は、プロットと、水平面など、実ワールドの物理座標に基づく平面との整合を伝えるために、2Dプロットを3D遠近法で表示することができる。この実装形態では、ユーザインターフェース6228は、電子デバイス6202方向とは無関係な情報を表示し得る。
[00378]いくつかの実装形態では、ユーザインターフェース6228は、異なるタイプのオーディオ信号に関するオーディオ信号インジケータを表示し得る。たとえば、ユーザインターフェース6228は、音声信号および雑音信号のアングログラムを含み得る。いくつかの実装形態では、ユーザインターフェース6228は、オーディオ信号に対応するアイコンを含み得る。たとえば、下で説明するように、ディスプレイ6264は、表示されたオーディオ信号のタイプに対応するアイコンを含み得る。同様に、下で説明するように、ユーザインターフェース6228は、オーディオ信号のソースに対応するアイコンを含み得る。極座標プロット内のこれらのアイコンの位置は時間的に平滑化され得る。下で説明するように、ユーザインターフェース6228は、本明細書で説明する機能を実行するための1個または複数の要素を含み得る。たとえば、ユーザインターフェース6228は、選択されたセクタのインジケータを含むことが可能あり、かつ/または、選択されたセクタを編集するためのアイコンを表示し得る。
[00379]セクタ選択機能6232は、物理座標系6230の少なくとも1つのセクタの選択を可能にし得る。セクタ選択機能6232は、ユーザインターフェース6228内に含まれた、少なくとも1個の要素によって実施され得る。たとえば、ユーザインターフェース6228は、選択されたセクタを示す、選択されたセクタインジケータを含み得る。いくつかの実装形態では、セクタ選択機能6232は、タッチ入力に基づいて動作し得る。たとえば、セクタ選択機能6232は、単一のタッチ入力(たとえば、セクタに対応する、ユーザインターフェース6228の領域をタッチすること、スワイプすること、および/または円を描くこと)に基づいて、セクタの選択を可能にし得る。いくつかの実装形態では、セクタ選択機能6232は、複数のセクタの同時の選択を可能にし得る。この例では、セクタ選択機能6232は、複数のタッチ入力に基づいて、複数のセクタの選択を可能にし得る。電子デバイス6202は、ユーザインターフェース6228を作成するための回路、プロセッサ、および/または命令を含み得ることに留意されたい。
[00380]図63は、ユーザインターフェース6228を電子デバイス6202上に表示するための方法6300の一構成を例示する流れ図である。方法6300は、電子デバイス6202によって実行され得る。電子デバイス6202は、物理座標に対応するセンサデータ(たとえば、加速度計データ、傾斜センサデータ、方向データなど)を取得し得る(6302)。
[00381]電子デバイス6202は、ユーザインターフェース6228を、たとえば、電子デバイス6202のディスプレイ6264上に提示し得る(6304)。いくつかの実装形態では、ユーザインターフェース6228は、座標系6230を含み得る。上で説明したように、座標系6230は、オーディオ信号源位置に関する基準であり得る。座標系6230は、物理座標に対応し得る。たとえば、上で説明したように、電子デバイス6202座標を物理座標にマッピングするために、センサデータ5608(たとえば、加速度計データ、ジャイロデータ、コンパスデータなど)が使用され得る。
[00382]いくつかの実装形態では、座標系6230を含み得るユーザインターフェース6228を提示すること(6304)は、ユーザインターフェース6228と座標系6230とを、電子デバイス6202方向とは無関係な方向で提示すること(6304)を含み得る。言い換えれば、電子デバイス6202方向が変化する(たとえば、電子デバイス6202が回転する)と、座標系6230は方向を維持することができる。いくつかの実装形態では、座標系6230は、地球座標とは無関係な物理的空間に対応し得る。
[00383]電子デバイス6202は、座標系6230の少なくとも1つのセクタの選択を可能にするセクタ選択機能6232を提供し得る(6306)。上で説明したように、電子デバイス6202は、ユーザインターフェース6228を介して、セクタ選択機能を提供し得る(6306)。たとえば、ユーザインターフェース6228は、座標系6230の少なくとも1つのセクタの選択を可能にする、少なくとも1個の要素を含み得る。たとえば、ユーザインターフェース6228は、選択されたセクタを示すインジケータを含み得る。
[00384]電子デバイス6202はまた、少なくとも1つのセクタのタッチ入力選択を可能にするタッチセンサを含み得る。たとえば、電子デバイス6202は、1つもしくは複数のタッチ入力に基づいて、1つもしくは複数のセクタおよび/または1つもしくは複数のオーディオ信号インジケータを選択(ならびに/あるいは編集)し得る。タッチ入力のいくつかの例としては、1つまたは複数のタップ、スワイプ、パターン(たとえば、シンボル、形状など)、ピンチ、スプレッド、マルチタッチ回転などがある。いくつかの構成では、1つもしくは複数のタップ、スワイプ、パターンなどが表示されたオーディオ信号インジケータ(および/またはセクタ)と交差するとき、電子デバイス6202(たとえば、ユーザインターフェース6228)は、表示されたオーディオ信号インジケータ(および/またはセクタ)を選択し得る。加えて、またはその代わりに、パターン(たとえば、円領域、矩形領域、もしくはパターン内の領域)などが表示されたオーディオ信号インジケータ(および/もしくはセクタ)を完全にまたは部分的に囲むか、あるいは含むとき、電子デバイス6202(たとえば、ユーザインターフェース6228)は、表示されたオーディオ信号インジケータ(および/またはセクタ)を選択し得る。1つもしくは複数のオーディオ信号インジケータおよび/またはセクタは一度に選択され得ることに留意されたい。
[00385]いくつかの構成では、電子デバイス6202(たとえば、ユーザインターフェース6228)は、1つもしくは複数のタッチ入力に基づいて、1つもしくは複数のセクタおよび/またはオーディオ信号インジケータを編集し得る。たとえば、ユーザインターフェース6228は、オーディオ信号インジケータまたは選択されたオーディオ信号インジケータを編集する(たとえば、オーディオ信号インジケータをラベル付けするためのアイコンもしくは画像を選択する、オーディオ信号インジケータに関する色、パターン、および/もしくは画像を選択または変更する、対応するオーディオ信号がフィルタリングされる(たとえば、阻止されるか、または通過させる)べきかどうかを設定する、表示されたオーディオ信号インジケータにズームインまたはズームアウトするなどの)ためのオプションを提供する、1つもしくは複数のオプション(たとえば、1つもしくは複数のボタン、ドロップダウンメニューなど)を提示し得る。加えて、またはその代わりに、ユーザインターフェース6228は、セクタを編集する(たとえば、セクタに関する色、パターン、および/もしくは画像を選択または変更する、セクタ内のオーディオ信号がフィルタリングされる(たとえば、阻止される、または通過させる)べきかどうかを設定する、セクタにズームインまたはズームアウトする、(たとえば、セクタを伸縮させることによって)セクタサイズを調整するなどの)ための、1つもしくは複数のオプションを提供する1つもしくは複数のオプション(たとえば、1つもしくは複数のボタン、ドロップダウンメニューなど)を提示し得る。たとえば、ピンチタッチ入力は、セクタサイズを削減すること、または狭めることに対応し得るのに対して、スプレッドは、セクタサイズを拡大すること、または拡張することに対応し得る。
[00386]電子デバイス6202は、少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供し得る(6308)。たとえば、セクタ編集機能は、本明細書で説明するように、セクタの調整(たとえば、拡大、削減、シフトなど)を可能にし得る。
[00387]いくつかの構成では、電子デバイス6202(たとえば、ディスプレイ6264)は、加えて、またはその代わりに、ターゲットオーディオ信号と干渉オーディオ信号とをユーザインターフェース上に表示し得る。電子デバイス6202(たとえば、ディスプレイ6264)は、1個もしくは複数のマイクロフォンによって捕捉されたターゲットオーディオ信号および/または干渉オーディオ信号の方向性を表示し得る。ターゲットオーディオ信号は音声信号を含み得る。
[00388]図64は、ユーザインターフェース6428を電子デバイス6402上に表示するためのシステムおよび方法が実施され得るユーザインターフェース6428の一構成を例示するブロック図である。いくつかの実装形態では、ユーザインターフェース6428は、図62に関して説明した対応する要素の例であり得る、電子デバイス6402のディスプレイ6464上に含まれ得る。電子デバイス6402は、図56および図62のうちの1つもしくは複数で説明された対応する要素の例であり得る、ユーザインターフェース6428、少なくとも1個のマイクロフォン6406、動作ブロック/モジュール6414、ディスプレイ6464、および/またはセクタ選択機能6432を含み得る。
[00389]いくつかの実装形態では、ユーザインターフェース6428は、セクタ編集機能6436および/またはユーザインターフェース整合ブロック/モジュール6440を提示し得る。セクタ編集機能6436は、少なくとも1つのセクタの編集を可能にし得る。たとえば、セクタ編集機能6436は、物理座標系6430の少なくとも1つの選択されたセクタの編集を可能にし得る。セクタ編集機能6436は、ディスプレイ6464内に含まれた、少なくとも1個の要素によって実施され得る。たとえば、ユーザインターフェース6428は、ユーザが選択されたセクタのサイズを調整するのを可能にする、少なくとも1つのタッチポイントを含み得る。いくつかの実装形態では、セクタ選択機能6436は、タッチ入力に基づいて動作し得る。たとえば、セクタ編集機能6436は、単一のタッチ入力に基づく、選択されたセクタの編集を可能にし得る。いくつかの実装形態では、セクタ編集機能6436は、セクタのサイズを調整すること、セクタの形状を調整すること、セクタの境界を調整すること、および/またはセクタにズームインすることのうちの少なくとも1つを可能にし得る。いくつかの実装形態では、セクタ編集機能6436は、複数のセクタの同時編集を可能にし得る。この例では、セクタ編集機能6436は、複数のタッチ入力に基づく複数のセクタの編集を可能にし得る。
[00390]上で説明したように、ある種の実装形態では、セクタ選択機能6432、およびセクタ編集機能6436のうちの少なくとも1つは、単一のタッチ入力または複数のタッチ入力に基づいて動作し得る。たとえば、セクタ選択機能6432は、1つまたは複数のスワイプ入力に基づき得る。たとえば、1つまたは複数のスワイプ入力は、円領域を示し得る。いくつかの構成では、1つまたは複数のスワイプ入力は、単一のスワイプであり得る。セクタ選択機能6432は、シングルタッチ入力またはマルチタッチ入力に基づき得る。加えて、またはその代わりに、電子デバイス6402は、シングルタッチ入力またはマルチタッチ入力に基づいて、セクタを調整し得る。
[00391]これらの例では、ディスプレイ6464は、セクタを選択するタッチ入力(たとえば、タップ、スワイプ、または円運動)を受信することができるタッチセンサ6438を含み得る。タッチセンサ6438はまた、たとえば、ディスプレイ6464上に表示されたタッチポイントを移動させることによって、セクタを編集するタッチ入力を受信し得る。いくつかの構成では、タッチセンサ6438は、ディスプレイ6464に組み込まれ得る。他の構成では、タッチセンサ6438は、電子デバイス6402内で別々に実施され得、または電子デバイス6402に結合され得る。
[00392]ユーザインターフェース整合ブロック/モジュール6440は、ユーザインターフェース6428のすべてまたは一部を基準面と整合させ得る。いくつかの実装形態では、基準面は水平(たとえば、地面または床と平行)であり得る。たとえば、ユーザインターフェース整合ブロック/モジュール6440は、座標系6430を表示するユーザインターフェース6428の一部を整合させ得る。いくつかの実装形態では、ユーザインターフェース整合ブロック/モジュール6440は、ユーザインターフェース6428のすべてまたは一部をリアルタイムで整合させ得る。
[00393]いくつかの構成では、電子デバイス6402は、少なくとも1個の画像センサ6434を含み得る。たとえば、(複数のマイクロフォン6406に加えて、またはその代わりに)いくつかの画像センサ6434が電子デバイス6402内に含まれ得る。少なくとも1個の画像センサ6434は、電子デバイス6402に関するデータ(たとえば、画像データ)を収集し得る。たとえば、カメラ(たとえば、画像センサ)は画像を生成し得る。いくつかの実装形態では、少なくとも1個の画像センサ6434は、画像データ5608をディスプレイ6464に提供し得る。
[00394]電子デバイス6402は、少なくとも1つのセクタ内に含まれたオーディオ信号(たとえば、ターゲットオーディオ信号)を渡し得る。たとえば、電子デバイス6402は、オーディオ信号を動作ブロック/モジュール6414渡すことができる。動作ブロック/モジュールは、少なくとも1つのセクタ内で示されたオーディオの1つまたは複数の信号を渡し得る。いくつかの実装形態では、動作ブロック/モジュール6414は、オーディオ信号を減衰する減衰器6442を含み得る。たとえば、動作ブロック/モジュール6414(たとえば、減衰器6442)は、少なくとも1つの選択されたセクタ内に含まれないオーディオ信号(たとえば、干渉オーディオ信号)を減衰(たとえば、阻止、削減、および/または拒否)することができる。場合によっては、オーディオ信号は音声信号を含み得る。たとえば、セクタ選択機能は、ユーザ音声信号の他に、所望されないオーディオ信号の減衰を可能にし得る。
[00395]いくつかの構成では、電子デバイス(たとえば、ディスプレイ6464および/または動作ブロック/モジュール6414)は、画像センサ6434からの画像データを示し得る。一構成では、電子デバイス6402(たとえば、動作ブロック/モジュール6414)は、少なくとも1つのセクタに基づいて、少なくとも1つの画像センサ6434からの画像データを渡すこと(および、たとえば、他の画像データをフィルタリングすること)ができる。言い換えれば、ユーザインターフェース6428に関して本明細書で説明する技法のうちの少なくとも1つは、オーディオ信号の代わりに、またはオーディオ信号に加えて画像データに適用され得る。
[00396]図65は、ユーザインターフェース6428を電子デバイス6402上に表示するための方法6500のより具体的な構成を例示する流れ図である。方法は、電子デバイス6402によって実行され得る。電子デバイス6402は、物理座標に対応する座標系6430を取得し得る(6502)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00397]電子デバイス6402は、座標系6430を含むユーザインターフェース6428を提示し得る(6504)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00398]電子デバイス6402は、少なくとも1個のマイクロフォンによって捕捉された少なくとも1個のオーディオ信号の方向性を表示し得る(6506)。言い換えれば、電子デバイス6402は、電子デバイスに対するオーディオ信号源の位置を表示し得る。電子デバイス6402はまた、オーディオ信号源の角度をディスプレイ6464内に表示し得る。上で説明したように、電子デバイス6402は、捕捉されたオーディオ信号の2Dアングログラムを表示し得る。いくつかの実装形態では、ディスプレイ6464は、プロットと、水平面など、実ワールドの物理座標に基づく平面との整合を伝えるために、2Dプロットを3D遠近法で表示し得る。
[00399]電子デバイス6402は、(たとえば、ユーザインターフェース6428上に表示された波紋に対応する)少なくとも1個のオーディオ信号に対応するアイコンを表示し得る(6508)。いくつかの構成によれば、電子デバイス6402(たとえば、ディスプレイ6464)は、ターゲットオーディオ信号(たとえば、音声信号)であるとしてオーディオ信号を識別するアイコンを表示し得る(6508)。加えて、またはその代わりに、電子デバイス6402(たとえば、ディスプレイ6464)は、雑音および/または干渉(たとえば、干渉もしくは干渉オーディオ信号)であるとしてオーディオ信号を識別するアイコン(たとえば、異なるアイコン)を表示し得る(6508)。
[00400]いくつかの実装形態では、電子デバイス6402は、オーディオ信号のソースに対応するアイコンを表示し得る(6508)。たとえば、電子デバイス6402は、音声信号のソース、たとえば、個人の画像を示す画像アイコンを表示し得る(6508)。電子デバイス6402は、少なくとも1個のオーディオ信号に対応する複数のアイコンを表示し得る(6508)。たとえば、電子デバイスは、雑音/干渉信号、もしくは音声信号としてオーディオ信号を識別する、少なくとも1つの画像アイコンおよび/またはアイコンを表示し得る。
[00401]電子デバイス6402は、ユーザインターフェース6428のすべてまたは一部を基準面と整合させ得る(6510)。たとえば、電子デバイス6402は、座標系6430を基準面と整合させ得る(6510)。いくつかの構成では、ユーザインターフェース6428のうちのすべてまたは一部を整合させること(6510)は、2次元プロット(たとえば、極座標プロット)を3次元ディスプイ空間にマッピング(たとえば、射影)することを含み得る。加えて、またはその代わりに、電子デバイス6402は、セクタ選択機能6432およびセクタ編集機能6436のうちの1つまたは複数を基準面と整合させ得る。基準面は水平であってよい(たとえば、地球座標に対応してよい)。いくつかの実装形態では、基準面と整合されたユーザインターフェース6428の一部は、電子デバイス6402方向とは無関係の基準面と整合され得る。言い換えれば、電子デバイス6402が変換および/または回転すると、基準面と整合されたユーザインターフェース6428のすべてまたは一部は、依然として基準面と整合された状態に留まり得る。いくつかの実装形態では、電子デバイス6402は、ユーザインターフェース6428のうちのすべてまたは一部をリアルタイムで整合させ得る(6510)。
[00402]電子デバイス6402は、座標系6430の少なくとも1つのセクタの選択を可能にするセクタ選択機能6432を提供し得る(6512)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00403]いくつかの実装形態では、電子デバイス6402(たとえば、ユーザインターフェース6428および/またはセクタ選択機能6432)は選択されたセクタをパディングし得る(6514)。たとえば、電子デバイス6402は、空間的オーディオ処理を改善するために、オーディオ信号を備えた追加の情報を含み得る。たとえば、パディング(padding)は、選択されたセクタに関して(たとえば、鮮やかな色で)強調表示されたパディングとして提供される視覚的フィードバックを提供することを指し得る。たとえば、図71に例示される、選択されたセクタ7150(たとえば、セクタの輪郭)は、選択されたセクタの容易な識別を可能にするために強調表示され得る。
[00404]電子デバイス6402(たとえた、ディスプレイ6464、ユーザインターフェース6428など)は、少なくとも1つのセクタの編集を可能にするセクタ編集機能6436を提供し得る(6516)。上で説明したように、電子デバイス6402は、ユーザインターフェース6428を介して、セクタ編集機能6436を提供し得る(6516)。いくつかの実装形態では、セクタ編集機能6436は、タッチ入力に基づいて動作し得る。たとえば、セクタ編集機能6436は、単一のタッチ入力または複数のタッチ入力に基づく、選択されたセクタの編集を可能にし得る。たとえば、ユーザインターフェース6428は、ユーザが選択されたセクタのサイズを調整するのを可能にする、少なくとも1つのタッチポイントを含み得る。この実装形態では、電子デバイス6402は、少なくとも1つのセクタの編集を可能にするタッチ入力を受信するタッチセンサ6438を提供し得る。
[00405]電子デバイス6402は、固定モードと編集可能なモードとを提供し得る(6518)。編集可能モードで、ユーザインターフェース6428は、ユーザインターフェース6428の少なくとも1つの機能(たとえば、セクタ選択機能6432)を操作するための入力に応答し得る。固定モードで、ユーザインターフェース6428は、ユーザインターフェース6428の少なくとも1つの機能を操作するための入力に応答し得ない。いくつかの実装形態では、電子デバイス6402は、固定モードと編集可能なモードとの間の選択を可能にし得る。たとえば、ユーザインターフェース6428の無線ボタンは、編集可能モードと固定モードとの間の選択を可能にし得る。
[00406]電子デバイス6402は、少なくとも1つのセクタ内に示されたオーディオ信号を渡し得る(6520)。たとえば、電子デバイス6402は、選択されたセクタ内に示されたオーディオ信号を渡し得る(6520)。いくつかの実装形態では、電子デバイス6402は、オーディオ信号を減衰し得る(6522)。たとえば、電子デバイス6402は、少なくとも1つの選択されたセクタ内に含まれないオーディオ信号を減衰(たとえば、削減および/または拒否)し得る(6522)。たとえば、オーディオ信号は音声信号を含み得る。この例では、電子デバイス6402は、ユーザ音声信号の他に、所望されないオーディオ信号を減衰し得る(6522)。
[00407]図66は、少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェース6628a〜bの例を示す。いくつかの実装形態では、ユーザインターフェース6628a〜bは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース6628a〜bは、図62に関して説明した座標系6230の例であり得る座標系6630a〜bを含み得る。
[00408]図66で、電子デバイス6202(たとえば、電話)は平に置かれ得る。これは、たとえば、テーブルトップモードで発生し得る。図66で、座標系6630a〜bは、(たとえば、角度または角度の範囲に従って)少なくとも1個のオーディオ信号の方向性を示すことが可能な、少なくとも1個のオーディオ信号インジケータ6646a〜bを含み得る。少なくとも1個のオーディオ信号は、人物、スピーカ、またはオーディオ信号を生み出すことができる何かから発生し得る。第1のユーザインターフェース6628a内で、第1のオーディオ信号インジケータ6646aは、第1の音声信号がおよそ180度にあることを示すことができる。比較すると、第2のユーザインターフェース6628b内で、第2のオーディオ信号インジケータ6646bは、第2のオーディオ信号がおよそ270度にあることを示すことができる。いくつかの実装形態では、オーディオ信号インジケータ6646a〜bは、オーディオ信号の強度を示すことができる。たとえば、オーディオ信号インジケータ6646a〜bは、オーディオ信号の強度を示す、少なくとも1つの色の勾配を含み得る。
[00409]第1のユーザインターフェース6628aは、本明細書で説明するユーザインターフェースのうちの1つまたは複数の中に含まれ得る、1つまたは複数の特性の例を提供する。たとえば、第1のユーザインターフェース6628aは、タイトル部分6601を含む。タイトル部分6601は、ユーザインターフェースまたは、ユーザインターフェースを提供するアプリケーションのタイトルを含み得る。図66に示す例では、タイトルは「SFAST」である。他のタイトルが利用され得る。一般に、タイトル部分6601はオプションであり、ユーザインターフェースの一部の構成は、タイトル部分を含まない場合がある。さらに、タイトル部分は、ユーザインターフェース上のどこに配置されてもよい(たとえば、上部、底部、左、右、および/またはオーバーレイされるなど)ことを留意されたい。
[00410]図66に示す例では、第1のユーザインターフェース6628aは、制御部分6603を含む。制御部分6603は、対話型制御の例を含む。いくつかの構成では、これらの対話型制御のうちの1つまたは複数は、本明細書で説明するユーザインターフェース内に含まれ得る。一般に、制御部分6603はオプションであり、ユーザインターフェースの一部の構成は、制御部分6603を含まない場合がある。さらに、制御部分は、図66に例示されるようにグループ化されてよく、グループ化されなくてもよい。たとえば、対話型制御のうちの1つまたは複数は、ユーザインターフェースの異なる部分内に配置されてよい(たとえば、上部、底部、中央、左、右、および/またはオーバーレイされるなど)。
[00411]図66に示す例では、第1のユーザインターフェース6628aは、アクティブ化/非アクティブ化ボタン6607と、チェックボックス6609と、ターゲットセクタインジケータ6611と、無線ボタン6613と、平滑化スライダ6615と、リセットボタン6617と、雑音抑圧(NS)可能ボタン6619とを含む。しかしながら、対話型制御は、幅広い種類の構成で実施され得ることに留意されたい。たとえば、スライダ、無線ボタン、ボタン、トグルボタン、チェックボックス、リスト、ダイヤル、タブ、テキストボックス、ドロップダウンリスト、リンク、画像、グリッド、テーブル、ラベルなどのうちの1つもしくは複数、および/またはそれらの組合せは、様々な機能を制御するためにユーザインターフェース内で実装され得る。
[00412]アクティブ化/非アクティブ化ボタン6607は、一般に、第1のユーザインターフェース6628aに関する機能をアクティブ化または非アクティブ化し得る。たとえば、アクティブ化/非アクティブ化ボタン6607に対応する事象(たとえば、タッチ事象)が生じるとき、アクティブ化の場合、ユーザインターフェース6628aは、ユーザインターフェース対話性を可能にして、オーディオ信号インジケータ6646aを表示し得、または非アクティブ化の場合、ユーザインターフェース対話性を不能にして、オーディオ信号インジケータ6646aの表示を休止もしくは中止し得る。
[00413]チェックボックス6609は、ターゲットオーディオ信号および/または干渉オーディオ信号の表示を動作可能または動作不能にし得る。たとえば、干渉物を表示する、およびターゲットチェックボックスを表示するは、それぞれ、検出/計算された干渉物およびターゲットオーディオ信号の検出された角度に関する視覚的フィードバックを可能にする。たとえば、「干渉物を表示する」要素は、ユーザインターフェース6628a内のターゲット位置および干渉位置に関する点を可視化することを動作可能にする、「ターゲットを表示する」要素と対にされ得る。いくつかの構成では、「干渉物を表示する」および「ターゲットを表示する」要素は、デバイスによって検出された角度位置上へのターゲットソースまたは干渉ソース(たとえば、その実際の写真、アイコンなど)の何らかの実際の写真の表示を可能/不能にし得る。
[00414]ターゲットセクタインジケータ6611は、選択されたセクタまたはターゲットセクタの表示を提供し得る。この例では、すべてのセクタがターゲットセクタとして示される。図71に関して、下に別の例が提供される。
[00415]無線ボタン6613は、固定セクタモードまたは編集可能セクタモードの選択を可能にし得る。固定モードで、1つまたは複数のセクタ(たとえば、選択されたセクタ)は調整され得ない。編集可能モードで、1つまたは複数のセクタ(たとえば、選択されたセクタ)は調整され得る。
[00416]平滑化スライダ6615は、入力をフィルタリングするために使用される値の選択を実現し得る。たとえば、0の値はフィルタが存在しないことを示すのに対して、25の値は、積極的なフィルタリングを示し得る。いくつかの構成では、平滑化スライダ6615は、ソースアクティビティ極座標プロットを表示するための平滑化の量を表す。たとえば、平滑化の量は、平滑化スライダ6615によって示される値に基づき得、この場合、再帰的平滑化が実行される(たとえば、polar=(1−alpha)*polar+(alpha)*polar_current_frameであり、したがって、より少ないアルファはより多くの平滑化を意味する)。
[00417]リセットボタン6617は、1つまたは複数の現在のユーザインターフェース6628a設定の消去を可能にし得る。たとえば、リセットボタン6617に対応するタッチ事象が生じるとき、ユーザインターフェース6628aは、任意のセクタ選択を消去し得、ターゲットおよび/もしくは干渉オーディオ信号が表示されるかどうかを消去し得、かつ/または平滑化スライダをデフォルト値にリセットし得る。雑音抑圧(NS)可能ボタン6619は、入力されたオーディオ信号に関する雑音抑圧処理を可能または無効にし得る。たとえば、電子デバイスは、雑音抑圧(NS)有効ボタン6619に基づいて、干渉オーディオ信号のフィルタリングを可能または不能にし得る。
[00418]ユーザインターフェース6628aは、座標系部分6605(たとえば、プロット部分)を含み得る。いくつかの構成では、座標系部分6605は、ユーザインターフェース6628a全体(および/またはデバイスディスプレイ全体)を占有し得る。他の構成では、座標系は、ユーザインターフェース6628aのサブセクションを占有し得る。本明細書では、極座標系が例として与えられているが、直交座標系など、代替の座標系がユーザインターフェース6628a内に含まれ得ることに留意されたい。
[00419]図94は、ユーザインターフェース9428の別の例を示す。この例では、ユーザインターフェース9428は、直交(たとえば、デカルト)座標系9430を含む。オーディオ信号インジケータ9446の一例も示される。上で説明したように、座標系9430は、図94に例示するように、ユーザインターフェース9428全体(および/または、電子デバイス6202内に含まれたディスプレイ9464全体)を占有し得る。他の構成では、座標系9430は、ユーザインターフェース9428(および/またはディスプレイ9464)のサブセクションを占有し得る。直交座標系は、本明細書で説明する極座標系のいずれかの代わりに実施され得ることに留意されたい。
[00420]図67は、少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェース6728の別の例を示す。いくつかの実装形態では、ユーザインターフェース6728は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェースは、図62および図66のうちの1つまたは複数に関して説明した対応する要素の例であり得る、座標系6730と、少なくとも1個のオーディオ信号インジケータ6746a〜bとを含み得る。図67で、ユーザインターフェース6728は、複数のオーディオ信号インジケータ6746a〜bを含み得る。たとえば、第1のオーディオ信号源6746aは、第1のオーディオ信号源6715aがおよそ90度にあり、第2のオーディオ信号源6715bがおよそ270度にあることを示し得る。たとえば、図67は、ユーザインターフェース6728を含む電子デバイスの左および右に対する音声検出の一例を示す。より具体的には、ユーザインターフェース6728は、電子デバイスの左および右から検出された音声を示し得る。たとえば、ユーザインターフェース6728は、異なる位置内の複数(たとえば、2個)の異なるソースを同時に表示することができる。いくつかの構成では、下で図78に関して説明される手順は、オーディオ信号インジケータ6746a〜b(および、たとえば、オーディオ信号ソース6715a〜b)に対応する2つのセクタの選択を可能にし得る。
[00421]図68は、少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェース6828の別の例を示す。いくつかの実装形態では、ユーザインターフェース6828は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェースは、図62および図66のうちの1つまたは複数に関して説明した、対応する要素の例であり得る、座標系6830と、オーディオ信号インジケータ6846とを含み得る。図68は、2次元座標系6830が3次元表示空間内に射影されている一例を示し、この場合、座標系6830は、ユーザインターフェース6828の内部に広がるように見える。たとえば、電子デバイス6202(たとえば、電話)は、ユーザの手のひらの中にあり得る。具体的には、電子デバイス6202は、表を上にした水平方向であり得る。この例では、ユーザインターフェース6828の一部は、先に説明したように、水平基準面と整合され得る。図68のオーディオ信号は、電子デバイス6202を手の中に保持して、その前面で(たとえば、およそ180度で)話をしているユーザから生じ得る。
[00422]図69は、少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェース6928の別の例を示す。いくつかの実装形態では、ユーザインターフェース6928は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェースは、図62および図66のうちの1つまたは複数に関して説明した、対応する要素の例であり得る、座標系6930と、オーディオ信号インジケータ6946とを含み得る。図69では、電子デバイス6202(たとえば、電話)は、ユーザの手のひらの中にあり得る。たとえば、電子デバイス6202は、表を上にした水平方向であり得る。この例では、ユーザインターフェース6928の一部は、先に説明したように、水平基準面と整合され得る。図69のオーディオ信号は、電子デバイス6202の背面から(たとえば、およそ0度で)生じ得る。
[00423]図70は、少なくとも1個のオーディオ信号の方向性を表示するためのユーザインターフェース7028の別の例を示す。いくつかの実装形態では、ユーザインターフェース7028は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェースは、図62および図66のうちの1つまたは複数に関して説明した、対応する要素の例であり得る、座標系7030と、少なくとも1個のオーディオ信号インジケータ7046a〜bとを含み得る。いくつかの構成では、ユーザインターフェース7028は、表示されるオーディオ信号インジケータ7046a〜bのタイプに対応する、少なくとも1つのアイコン7048a〜bを含み得る。たとえば、ユーザインターフェース7028は、ターゲットオーディオ信号(たとえば、話者の声またはユーザの声)に対応する第1のオーディオ信号インジケータ7046aの隣に、三角形アイコン7048aを表示することができる。同様に、ユーザインターフェース7028は、干渉(たとえば、干渉オーディオ信号または雑音)に対応する第2のオーディオ信号インジケータ7046bの隣にひし形アイコン7048bを表示することができる。
[00424]図71は、ユーザインターフェース7128のセクタ選択機能6232の一例を示す。いくつかの実装形態では、ユーザインターフェース7128は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース7128は、図62および図66のうちの1つもしくは複数に関して説明した、対応する要素の例であり得る、座標系7130および/またはオーディオ信号インジケータ7146を含み得る。上で説明したように、ユーザインターフェース7128は、たとえば、タッチ入力によって、少なくとも1つのセクタの選択を可能にするセクタ選択機能6232を含み得る。図71で、選択されたセクタ7150は破線によって示される。いくつかの実装形態では、選択されたセクタ7150の角度の範囲(たとえば、図71に示すように、およそ225度からおよそ315度)も表示され得る。先に説明したように、いくつかの実装形態では、電子デバイス6202は、選択されたセクタ7150内に示された(たとえば、オーディオ信号インジケータ7146によって表された)オーディオ信号を渡し得る。この例では、オーディオ信号源は、電話の側面に(およそ、270度)にある。いくつかの構成では、選択されたセクタ7150の外部の他のセクタは、雑音抑圧および/または減衰され得る。
[00425]図71で示される例では、ユーザインターフェース7128は、ターゲットセクタインジケータを含む。ターゲットセクタインジケータは、この場合、225度と315度との間の選択されたセクタを示す。セクタは、他の構成の他のパラメータを用いて表示され得ることに留意されたい。たとえば、ターゲットセクタインジケータは、セクタ番号などに従って、選択されたセクタを放射状に示すことができる。
[00426]図72は、ユーザインターフェース7228のセクタ選択機能6232の別の例を示す。いくつかの実装形態では、ユーザインターフェース7228は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース7228は、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系7230と、オーディオ信号インジケータ7246と、少なくとも1つの選択されたセクタ7250a〜bとを含み得る。上で説明したように、セクタ選択機能6232は、複数のセクタの同時の選択を可能にし得る。図72で、(たとえば、破線によって示されように)2つのセクタ7250a〜bが選択されている。この例では、オーディオ信号はおよそ270度にある。選択されたセクタ7250a〜bの外部の他のセクタは、雑音抑圧および/または減衰され得る。これにより、本明細書で説明するシステムおよび方法は、2つ以上のセクタ7250の一度の選択を可能にし得る。
[00427]図73は、ユーザインターフェース7328のセクタ選択機能6232の別の例を示す。いくつかの実装形態では、ユーザインターフェース7328は、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース7328は、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の一例であり得る、座標系7330と、少なくとも1個のオーディオ信号インジケータ7346a〜bと、少なくとも1つの選択されたセクタ7350a〜bとを含み得る。図73で、(たとえば、破線によって示されるように)2つのセクタ7350a〜bが選択されている。この例では、話者は電子デバイス6202の側面にある。選択されたセクタ7250a〜bの外部の他のセクタは、雑音抑圧および/または減衰され得る。
[00428]図74は、ユーザインターフェース7428a〜fのセクタ選択機能6232のより多くの例を示す。いくつかの実装形態では、ユーザインターフェース7428a〜fは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース7428a〜fは、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系7430a〜fと、少なくとも1個のオーディオ信号インジケータ7446a〜fと、少なくとも1つの選択されたセクタ7450a〜cとを含み得る。この例では、選択されたセクタ7450a〜cは、タッチ入力7452に基づいて判断され得る。たとえば、セクタおよび/またはセクタ角度は、指スワイプに基づいて選択され得る。たとえば、ユーザは、円形タッチ入力7452を入力することができる。選択されたセクタ7150bは、次いで、円形タッチ入力7452に基づいて判断され得る。言い換えれば、ユーザは、(たとえば、タッチポイントまたは「ハンドル」に基づいて)手動で調整する代わりに、当該領域を描くことによってセクタを狭めることができる。いくつかの実装形態では、タッチ入力7452に基づいて、複数のセクタが選択される場合、「最善の」セクタ7450cが選択されて、当該領域に一致するように再調整され得る。いくつかの実装形態では、「最善の」という用語は、最強の少なくとも1個のオーディオ信号を有するセクタを示し得る。これは、セクタを選択して、狭めるための1つのユーザフレンドリーな様式であり得る。セクタを拡大または縮小するために、スクリーン上またはスクリーン上部で複数の指(たとえば、2本以上)が同時に使用され得ることに留意されたい。タッチ入力7452の他の例は、ユーザからのタップ入力を含み得る。この例では、ユーザは座標系の一部をタップすることができ、タップ位置の中央にある(または、事前設定された角度の範囲に整合する)セクタが選択され得る。この例では、下で説明するように、ユーザは、次いで、編集可能モードに切り替えて、タッチポイントを調整することによって、セクタを編集することができる。
[00429]図75は、ユーザインターフェース7528a〜fのセクタ選択機能6232のより多くの例を示す。いくつかの実装形態では、ユーザインターフェース7528a〜fは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース7528a〜fは、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系7530a〜fと、少なくとも1個のオーディオ信号インジケータ7546a〜fと、少なくとも1つの選択されたセクタ7550a〜cとを含み得る。この例では、選択されたセクタ7550a〜cは、タッチ入力7552に基づいて判断され得る。たとえば、セクタおよび/またはセクタ角度は、指スワイプに基づいて選択され得る。たとえば、ユーザは、スワイプタッチ入力7552を入力し得る。言い換えれば、ユーザは、(たとえば、タッチポイントまたは「ハンドル」に基づいて)手動で調整する代わりに、当該領域を描くことによってセクタを狭め得る。この例では、セクタは、(たとえば、円を描く代わりに)スワイプタッチ入力7552だけに基づいて選択および/または調整され得る。選択されたセクタ7150bは、次いで、スワイプタッチ入力7552に基づいて判断され得る。いくつかの実装形態では、タッチ入力7552に基づいて複数のセクタが選択される場合、「最善の」セクタ7550cが選択されて、当該領域に一致するように再調整され得る。いくつかの実装形態では、「最善の」という用語は、最強の少なくとも1個のオーディオ信号を有するセクタを示すことが可能である。これは、セクタを選択して、狭めるための1つのユーザフレンドリーな様式であり得る。セクタを拡大または縮小するために、スクリーン上またはスクリーン上部で複数の指(たとえば、2本以上)が同時に使用され得ることを留意されたい。本明細書で説明するセクタ選択および/または調整技法のうちのいずれかに従って、単一の指または複数の指が感知され得ることを留意されたい。
[00430]図76は、セクタを編集するための方法7600の一構成を示す流れ図である。方法7600は、電子デバイス6202によって実行され得る。電子デバイス6202(たとえば、ディスプレイ6264)は、少なくとも1つのセクタに対応する、少なくとも1つの点(たとえば、タッチポイント)を表示し得る(7602)。いくつかの実装形態では、少なくとも1つのタッチポイントは、少なくとも1つのセクタの編集を可能にするためのセクタ編集機能6436によって実施され得る。たとえば、ユーザインターフェース6228は、ユーザが選択されたセクタのサイズを調整する(たとえば、拡大する、または狭める)のを可能にする、少なくとも1つのタッチポイントを含み得る。タッチポイントは、セクタの境界周囲に表示され得る。
[00431]電子デバイス6202(たとえば、タッチセンサ)は、少なくとも1つの点(たとえば、タッチポイント)に対応するタッチ入力を受信し得る(7604)。たとえば、電子デバイス6202は、セクタを編集(たとえば、そのサイズおよび/または形状を調整)するタッチ入力を受信し得る。たとえば、ユーザはタッチポイントに触れることによって、少なくとも1つのタッチポイントを選択し得る。この例では、ユーザは、ユーザインターフェース6228上に表示されたタッチポイントを移動させ得る。この実装形態では、タッチ入力を受信すること(7604)は、タッチ入力に基づいて、タッチポイントを調整することを含み得る。たとえば、ユーザがタッチセンサ6438を介してタッチポイントを移動させるにつれて、電子デバイス6202は、それに応じて、タッチポイントを移動させ得る。
[00432]電子デバイス6202(たとえば、ユーザインターフェース6228)は、タッチ入力に基づいて、少なくとも1つのセクタを編集し得る(7606)。たとえば、電子デバイス6202は、単一または複数のタッチ入力に基づいて、セクタのサイズおよび/または形状を調整し得る。同様に、電子デバイス6202は、タッチ入力に基づいて、座標系6230に対してセクタの位置を変更し得る。
[00433]図77は、ユーザインターフェース7728a〜bのセクタ編集機能6436の例を示す。いくつかの実装形態では、ユーザインターフェース7728a〜bは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース7728a〜bは、図62に関して説明した、対応する要素の例であり得る座標系7730a〜bを含み得る。ユーザインターフェース7728a〜bは、少なくとも1つのタッチポイント7754a〜hを含み得る。上で説明したように、タッチポイント7754a〜hは、少なくとも1つのセクタの編集を可能にするハンドルであり得る。タッチポイント7754a〜hは、セクタの頂点に位置し得る。いくつかの実装形態では、セクタ編集は、セクタ選択とは無関係に行われ得る。したがって、いくつかの構成では、選択されないセクタが調整され得る。
[00434]いくつかの実装形態では、ユーザインターフェース7728a〜bは、ユーザインターフェース7728a〜bの固定モードと編集モードとを可能にする対話型制御を提供し得る。たとえば、ユーザインターフェース7728a〜bは、各々、ユーザインターフェース7728a〜bが動作可能かどうかを制御するアクティブ化/非アクティブ化ボタン7756a〜bを含み得る。アクティブ化/非アクティブ化ボタン7756a〜bは、ユーザインターフェース7728a〜bに関してアクティブ化/非アクティブ化された状態をトグルし得る。編集可能モードにあるとき、ユーザインターフェース7728a〜bは、少なくとも1つのセクタに対応する、少なくとも1つのタッチポイント7754a〜f(たとえば、ハンドル)(たとえば、セクタの縁の円)を表示し得る。
[00435]図78は、ユーザインターフェース7828a〜cのセクタ編集機能6436のより多くの例を示す。いくつかの実装形態では、ユーザインターフェース7828a〜cは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース7828a〜cは、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系7830a〜cと、少なくとも1個のオーディオ信号インジケータ7846a〜bと、少なくとも1つの選択されたセクタ7850a〜eと、少なくとも1つのタッチポイント7854a〜lを含み得る。図78で、(たとえば、破線によって示されるように)少なくとも1つのセクタが選択されている。図78に示すように、選択されたセクタ7850a〜eは、一層の精度のために、狭められることが可能である。たとえば、ユーザは、選択されたセクタ7850a〜eを調整する(たとえば、拡大する、または狭める)ために、タッチポイント7854a〜lを使用することができる。選択されたセクタ7850a〜bの外部の他のセクタは、雑音抑圧および/または減衰され得る。
[00436]図79は、ユーザインターフェース7928a〜bのセクタ編集機能6436のより多くの例を示す。いくつかの実装形態では、ユーザインターフェース7928a〜bは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース7928a〜bは、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系7930a〜bと、少なくとも1個のオーディオ信号インジケータ7946a〜bと、少なくとも1つの選択されたセクタ7950a〜bと、少なくとも1つのタッチポイント7954a〜hとを含み得る。図79では、電子デバイス6202(たとえば、電話)は、ユーザの手のひらの中にあり得る。たとえば、電子デバイス6202は上方向に傾斜され得る。この例では、ユーザインターフェース7928a〜bの一部(たとえば、座標系7930a〜b)は、先に説明したように、水平基準面と整合され得る。したがって、座標系7930a〜bは、ユーザインターフェース7928a〜b内に広がる3次元遠近法で出現する。図79のオーディオ信号は、電子デバイス6202を手の中に保持して、その前面で(たとえば、およそ180度で)話をしているユーザから生じ得る。図79はまた、少なくとも1つのセクタがリアルタイムで狭められること、または広げられることが可能であることを例示する。たとえば、選択されたセクタ7950a〜bは、進行中の会話または電話呼の間に調整され得る。
[00437]図80は、ユーザインターフェース8028a〜cのセクタ編集機能6436のより多くの例を示す。いくつかの実装形態では、ユーザインターフェース8028a〜cは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース8028a〜cは、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8030a〜cと、少なくとも1個のオーディオ信号インジケータ8046a〜cと、少なくとも1つの選択されたセクタ8050a〜bと、少なくとも1つのタッチポイント8054a〜bとを含み得る。第1の図は、およそ270度でのオーディオ信号の提示を示すオーディオ信号インジケータ8046aを示す。中央の図は、選択されたセクタ8050aを有するユーザインターフェース8028bを示す。右の図は、選択されたセクタ8050bを編集する一例を示す。この場合、選択されたセクタ8050bは狭められている。この例では、電子デバイス6202は、選択されたセクタ8050bに関連する到来方向を有するオーディオ信号を渡して、選択されたセクタ8050bの外側に関連する到来方向を有する他のオーディオ信号を減衰することができる。
[00438]図81は、ユーザインターフェース8128a〜dのセクタ編集機能6436のより多くの例を示す。いくつかの実装形態では、ユーザインターフェース8128a〜dは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース8128a〜dは、図62、図66、および図71のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8130a〜dと、少なくとも1個のオーディオ信号インジケータ8146a〜dと、少なくとも1つの選択されたセクタ8150a〜cと、少なくとも1つのタッチポイント8154a〜hとを含み得る。第1の図は、およそ270度でのオーディオ信号の提示を示すオーディオ信号インジケータ8146aを示す。第2の図は、選択されたセクタ8150aを有するユーザインターフェース8128bを示す。第3の図は、セクタを編集するために使用される、少なくとも1つのタッチポイント8154a〜dを示す。第4の図は、選択されたセクタ8150dを編集する一例を示す。この場合、選択されたセクタ8150dは狭められている。この例では、電子デバイス6202は、(たとえば、ユーザ入力に基づき得る)選択されたセクタ8150dに関連する到来方向を有するオーディオ信号を渡して、選択されたセクタ8150dの外側に関連する到来方向を有する他のオーディオ信号を減衰することができる。
[00439]図82は、電子デバイス6202の方向とは無関係に方向された座標系8230を有するユーザインターフェース8228の一例を示す。いくつかの実装形態では、ユーザインターフェース8228は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェースは、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8230と、オーディオ信号インジケータ8246とを含み得る。図82で、電子デバイス6202(たとえば、電話)は、(たとえば、ユーザの手のひら内で)上方に傾斜している。ユーザインターフェース8228の座標系8230(たとえば、極座標グラフ)は、オーディオ信号源位置を示すか、または表示する。この例では、ユーザインターフェース8228の一部は、先に説明したように、水平基準面と整合される。図82のオーディオ信号は、およそ180度でソース8215から生じる。上で説明したように、ソース8215は、(すなわち、たとえば、電子デバイス6202をその手の中に保持して、その前面で話している)ユーザ、話者、またはオーディオ信号を生成することが可能な何かを含み得る。
[00440]図83は、電子デバイス6202方向とは無関係に方向された座標系8330を有するユーザインターフェース8328の別の例を示す。いくつかの実装形態では、ユーザインターフェース8328は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース8328は、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8330と、オーディオ信号インジケータ8346とを含み得る。図83で、電子デバイス6202(たとえば、電話)は、(音源8315に向かって)電子デバイス6202の底部から電子デバイス6202の上部に徐々に上昇する(たとえば、ユーザの手のひらの中に)斜めまたは傾斜した方向にある。ユーザインターフェース8328の座標系8330(たとえば、極座標グラフ)は、オーディオ信号源位置を表示する。この例では、ユーザインターフェース8328の一部は、先に説明したように、水平基準面と整合される。図83のオーディオ信号は、電子デバイス6202(たとえば、電話)の背面に向かってソース8315から生じる。図83は、ユーザインターフェース8328の基準面が3D界の(たとえば、水平)物理平面と整合されていることを例示する。図83で、電子デバイス6202は半垂直に保持されているにもかかわらず、ユーザインターフェース8328平面はスクリーン状態に入っていることに留意されたい。したがって、電子デバイス6202が床の物理平面に対しておよそ45度にあるとしても、ユーザインターフェース8328の座標系8330平面は、床の物理平面に対して0度にある。たとえば、ユーザインターフェース8328上の基準面は、物理座標系内の基準面に対応する。
[00441]図84は、電子デバイス6202方向とは無関係に方向された座標系8430を有するユーザインターフェース8428の別の例を示す。いくつかの実装形態では、ユーザインターフェース8428は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース8428は、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8430と、オーディオ信号インジケータ8446とを含み得る。図84で、電子デバイス6202(たとえば、電話)は、(たとえば、ユーザの手のひらの中に)垂直方向である。ユーザインターフェース8428の座標系8430(たとえば、極座標グラフ)は、オーディオ信号源位置を表示する。この例では、ユーザインターフェース8428の一部は、先に説明したように、水平基準面と整合される。図84のオーディオ信号は、電子デバイス6202(たとえば、電話)の左後ろ(たとえば、背面)に向かうソース8415から生じる。
[00442]図85は、電子デバイス6202方向とは無関係に方向された座標系8530を有するユーザインターフェース8528の別の例を示す。いくつかの実装形態では、ユーザインターフェース8528は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース8528は、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8530と、オーディオ信号インジケータ8546とを含み得る。図85で、電子デバイス6202(たとえば、電話)は表を上にした水平方向(たとえば、テーブルトップモード)である。ユーザインターフェース8528の座標系8530(たとえば、極座標グラフ)は、オーディオ信号源位置を表示する。図85のオーディオ信号は、電子デバイス6202(たとえば、電話)の左上に向かうソース8515から生じる。いくつかの例では、オーディオ信号源が追跡される。たとえば、雑音抑圧が可能にされると、電子デバイス6202は最大音量の話者または音源を追跡することができる。たとえば、電子デバイス6202(たとえば、電話)は、他の領域(たとえば、ゾーンまたはセクタ)からの他の音(たとえば、雑音)を抑圧すると同時に、最大音量の話者の動きを追跡することができる。
[00443]図86は、電子デバイス6202方向とは無関係に方向された座標系8630a〜cを有するユーザインターフェース8628a〜cのより多くの例を示す。言い換えれば、座標系8630a〜cおよび/またはオーディオ信号インジケータ8646a〜cは、電子デバイス6202がどのように回転するかに関係なく、物理的空間に対して同じ方向に留まる。いくつかの実装形態では、ユーザインターフェース8628a〜cは、図62に関して説明したユーザインターフェース6228の例であり得る。ユーザインターフェース8628a〜cは、図62および図66のうちの少なくとも1つ関して説明した、対応する要素の例であり得る、座標系8630a〜cと、オーディオ信号インジケータ8646a〜cとを含み得る。コンパスなしで、セクタ選択機能6232は、実ワールドの物理座標系(たとえば、北、南、東、西など)と関連性を有さない場合がある。したがって、電子デバイス6202(たとえば、電話)がユーザに面して垂直方向にある場合(たとえば、ブラウズトークモード)、電子デバイス6202の上部は、「0度」と指定され得、垂直軸に沿って進む。電子デバイス6202が、たとえば、右回りの方向に90度だけ回転するとき、このとき、水平軸上に「0度」が位置特定される。したがって、セクタが選択されるとき、電子デバイス6202の回転は選択されたセクタに影響を及ぼす。方向を検出し得る別の構成要素、たとえば、コンパスを追加することによって、ユーザインターフェース8628a〜cのセクタ選択機能6232は、電話ではなく、物理的空間と相対的であり得る。言い換えれば、コンパスを追加することによって、電話が垂直な直立位置から水平位置に選択されるとき、ユーザに面している、電話の上部側は依然として「0度」に留まる。たとえば、図86の第1の画像内で、ユーザインターフェース8628aは、傾斜なしに(すなわち、たとえば、0度の傾斜で)例示されている。たとえば、座標系8630aは、ユーザインターフェース8628aおよび/または電子デバイス6202と整合される。比較すると、図86の第2の画像内で、ユーザインターフェース8628bおよび/または電子デバイス6202は左に傾斜している。しかしながら、座標系8630b(および、実ワールドと電子デバイス6202との間のマッピング)は維持され得る。これは、たとえば、傾斜センサデータ5608に基づいて行われ得る。図86の第3の画像内で、ユーザインターフェース8628cおよび/または電子デバイス6202は右に傾斜している。しかしながら、座標系8630c(および、実ワールドと電子デバイス6202との間のマッピング)は維持され得る。
[00444]本明細書で使用される場合、「物理座標」という用語は、地理座標を示す場合があり、または示さない場合もあることに留意されたい。いくつかの構成では、たとえば、電子デバイス6202がコンパスを含まないとき、電子デバイス6202は、センサデータ5608に基づいて、座標をマルチマイクロフォン構成から物理座標に依然としてマッピングし得る。この場合、マッピング5612は、電子デバイス6202と相対的であり得、地球座標(たとえば、北、南、東、西)に直接的に対応しない場合がある。それにもかかわらず、電子デバイス6202は、電子デバイス6202に対する物理的空間内の音の方向を区別することが可能であり得る。しかしながら、いくつかの構成では、電子デバイス6202は、コンパス(または、他の航行手段)を含み得る。この場合、電子デバイス6202は、座標をマルチマイクロフォン構成から、地球座標(たとえば、北、南、東、西)に対応する物理座標にマッピングすることができる。本明細書で開示されるシステムおよび方法に従って、異なるタイプの座標系6230が利用され得る。
[00445]図87は、電子デバイス6202方向とは無関係に方向された座標系8730を有するユーザインターフェース8728の別の例を示す。いくつかの実装形態では、ユーザインターフェース8728は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース8728は、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8730と、オーディオ信号インジケータ8746とを含み得る。いくつかの実装形態では、ユーザインターフェース8728は、(上で説明したような)座標系8730と併せてコンパス8756も含む。この実装形態では、コンパス8756は方向を検出することができる。コンパス8756部分は、実ワールドワールド座標に対する電子デバイス6202方向を表示することができる。コンパス8756を介して、ユーザインターフェース8728上のセクタ選択機能6232は、電子デバイス6202ではなく、物理的空間と相対的であり得る。言い換えれば、コンパス8756を追加することによって、電子デバイス6202が垂直位置から水平位置に選択されるとき、ユーザに面している電子デバイス6202の上面付近は依然として「0度」に留まる。物理的電子デバイス6202方向を判断することは、コンパス8756を用いて行われ得ることに留意されたい。しかしながら、コンパス8756が存在しない場合、代わりに、GPSおよび/またはジャイロセンサに基づいて判断されることも可能である。したがって、コンパス8756の代わりに、またはコンパス8756に加えて、電子デバイス6202の物理的方向を判断するために使用され得る何らかのセンサ5604またはシステムが使用され得る。したがって、コンパス8756は、本明細書で説明する構成のうちのいずれかにおいて別のセンサ5604またはシステムと置換され得る。したがって、方向がユーザに対して固定された状態に留まるスクリーンショットを提供することが可能な複数のセンサ5604が存在する。
[00446]GPS受信機が電子デバイス6202内に含まれる場合、GPSデータは、(単にセンサであることに加えて)追加の機能を提供するために利用され得る。いくつかの構成では、たとえば、電子デバイス6202(たとえば、モバイルデバイス)は、マップソフトウェアを備えたGPS機能を含み得る。一方式では、座標系8730は、ゼロ度が、たとえば、常に、通りを指すように整合され得る。コンパス8756を用いて、たとえば、電子デバイス6202(たとえば、座標系8730)は、物理的な北および/または南に従って方向されることが可能であるが、GPS機能はより多くのオプションを提供するために利用され得る。
[00447]図88は、ユーザインターフェース8828を電子デバイス8802上に表示するためのシステムおよび方法が実施され得るユーザインターフェース8828の別の構成を示すブロック図である。ユーザインターフェース8828は、図62に関して説明したユーザインターフェース6228の一例であり得る。いくつかの実装形態では、ユーザインターフェース8828は、図62に関して説明した対応する要素の例であり得る、電子デバイス8802のディスプレイ8864上に提示され得る。ユーザインターフェース8828は、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系8830および/またはセクタ信号インジケータ8832を含み得る。ユーザインターフェース8828は、図56および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、少なくとも1個のマイクロフォン8806および/または動作ブロック/モジュール8814に結合され得る。
[00448]いくつかの実装形態では、ユーザインターフェース8828は、電子デバイス8802内に含まれることが可能であり、かつ/または電子デバイス8802に結合され得るデータベース8858に結合され得る。たとえば、データベース8858は、電子デバイス8802上に配置されたメモリ内に記憶され得る。データベース8858は、1つまたは複数のオーディオ署名を含み得る。たとえば、データベース8858は、1つまたは複数のオーディオ信号源(たとえば、個々のユーザ)に関する1つまたは複数のオーディオ署名を含み得る。データベース8858は、オーディオ署名に基づく情報も含み得る。たとえば、データベース8858は、オーディオ署名に対応するユーザに関する識別情報を含み得る。識別情報は、オーディオ信号源の画像(たとえば、オーディオ署名に対応する人物の画像)および/または、名前、電子メールアドレス、電話番号など、連絡情報を含み得る。
[00449]いくつかの実装形態では、ユーザインターフェース8828はオーディオ署名認識ブロック/モジュール8860を含み得る。オーディオ署名認識ブロック/モジュール8860は、少なくとも1個のマイクロフォン8806によって受信されたオーディオ署名を認識し得る。たとえば、マイクロフォン8806は、オーディオ信号を受信し得る。オーディオ署名認識ブロック/モジュール8860は、オーディオ信号を取得して、それをデータベース8858内に含まれたオーディオ署名と比較し得る。この例では、オーディオ署名認識ブロック/モジュール8860は、オーディオ署名および/または、オーディオ署名に関する識別情報をデータベース8858から取得して、識別情報をディスプレイ8864に渡し得る。
[00450]図89は、ユーザインターフェース8828を電子デバイス8802上に表示するための方法8900の別の構成を例示する流れ図である。方法8900は、電子デバイス8802によって実行され得る。電子デバイス8802は、物理座標に対応する座標系8830を取得し得る(8902)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00451]電子デバイス8802は、座標系8830を含み得るユーザインターフェース8828を提示し得る(8904)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00452]電子デバイス8802は、オーディオ署名を認識し得る(8906)。オーディオ署名は、特定のオーディオ信号源に対応する特性化であり得る。たとえば、個々のユーザは、個人の声に対応するオーディオ署名を有し得る。オーディオ署名の例としては、音声認識パラメータ、オーディオ信号成分、オーディオ信号サンプル、および/またはオーディオ信号を機能付けるための他の情報がある。いくつかの実装形態では、電子デバイス8802は、少なくとも1個のマイクロフォン8806からオーディオ信号を受信し得る。電子デバイス8802は、次いで、たとえば、オーディオ信号が、雑音信号と比べて、個々のユーザなど、オーディオ信号源からであるかどうかを判断することによって、オーディオ署名を認識することができる(8906)。これは、オーディオ信号の少なくとも1つの特性(たとえば、調和性、ピッチなど)を測定することによって行われ得る。いくつかの実装形態では、オーディオ署名を認識すること(8906)は、特定のオーディオソースから来るオーディオ信号を識別することを含み得る。
[00453]電子デバイス8802は、データベース8858内のオーディオ署名を調べ得る(8908)。たとえば、電子デバイス8802は、オーディオ署名内のデータベース8858内のオーディオ署名を調べることができる。電子デバイス8802は、オーディオ署名に対応する識別情報を取得することができる(8910)。上で説明したように、データベース8858は、オーディオ署名に基づく情報も含み得る。たとえば、データベース8858は、オーディオ署名に対応するユーザに関する識別情報を含み得る。識別情報は、オーディオ信号源(たとえば、ユーザ)の画像および/または、名前、電子メールアドレス、電話番号など、連絡情報を含み得る。オーディオ署名に対応する識別情報(たとえば、画像)を取得した(8910)後、電子デバイス8802はユーザインターフェース8828上に識別情報を表示し得る(8912)。たとえば、電子デバイス8802は、ディスプレイ6264上のオーディオ信号インジケータ6646の隣にユーザの画像を表示し得る(8912)。他の実装形態では、電子デバイス8802は、識別表示の一環として、少なくとも1つの識別情報を表示することができる(8912)。たとえば、ユーザインターフェース8828の一部は、オーディオ署名に関する識別情報(たとえば、画像、名前、電子メールアドレスなど)を含み得る。
[00454]電子デバイス8802は、座標系8830の少なくとも1つのセクタの選択を可能にするセクタ選択機能6232を提供することが可能である(8914)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00455]図90は、データベース9058に結合されたユーザインターフェース9028の一例を示す。いくつかの実装形態では、ユーザインターフェース9028は、図62に関して説明したユーザインターフェース6228の一例であり得る。ユーザインターフェース9028は、図62および図66のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、座標系9030と、オーディオ信号インジケータ9046とを含み得る。いくつかの実装形態において、上で説明したように、ユーザインターフェース9028は、図88および図89のうちの少なくとも1つに関して説明した、対応する要素の例であり得る、少なくとも1つのオーディオ署名9064および/またはオーディオ署名9064に対応する識別情報9062aを含むデータベース9058に結合され得る。いくつかの構成では、電子デバイス6202は、オーディオ署名9064を認識して、データベース9058内のオーディオ署名9064を調べ得る。電子デバイス6202は、次いで、電子デバイス6202によって認識されたオーディオ署名9064に対応する、対応する識別情報9062aを取得する(たとえば、取り出す)ことができる。たとえば、電子デバイス6202は、話者または人物の写真を取得して、オーディオ信号インジケータ9046によって、話者または人物の写真(および、他の識別情報9062b)を表示し得る。このようにして、ユーザはオーディオ信号のソースを容易に識別し得る。データベース9058は局所的であってよく、(たとえば、LANまたはインターネットなど、ネットワークを介したサーバ上の)遠隔であってもよいことに留意されたい。加えて、またはその代わりに、電子デバイス6202は、識別情報9062を別のデバイスに送信し得る。たとえば、電子デバイス6202は、遠端のユーザが現在の話者を評価するように、識別情報9062を提示する別のデバイス(たとえば、スマートフォン、サーバ、ネットワーク、コンピュータなど)に1つもしくは複数のユーザ名(および/または画像、識別子など)を送信し得る。これは、たとえば、スピーカーフォンで話している複数のユーザが存在するときに有用であり得る。
[00456]オプションで、いくつかの実装形態では、ユーザインターフェース9028は、座標系9030から識別情報9062を別個に表示し得る。たとえば、ユーザインターフェース9028は、座標系9030の下に識別情報9062cを表示し得るる。
[00457]図91は、ユーザインターフェース6428を電子デバイス6402上に表示するための方法9100の別の構成を例示する流れ図である。方法9100は、電子デバイス6402によって実行され得る。電子デバイス6402は、物理座標に対応する座標系6430を取得することができる(9102)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00458]電子デバイス6402は、座標系6430を含み得るユーザインターフェース6428を提示し得る(9104)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00459]電子デバイス6402は、座標系6430の少なくとも1つのセクタの選択を可能にするセクタ選択機能6432を提供し得る(9106)。いくつかの実装形態では、これは、図63に関して説明したように行われ得る。
[00460]電子デバイス6402は、少なくとも1つのセクタからの画像データを示し得る(9108)。上で説明したように、電子デバイス6402は、少なくとも1個の画像センサ6434を含み得る。たとえば、電子デバイス6402に関するデータを収集するいくつかの画像センサ6434が電子デバイス6402上に含まれ得る。より具体的には、少なくとも1個の画像センサ6434は画像データを収集し得る。たとえば、カメラ(たとえば、画像センサ6434)は画像を生成し得る。いくつかの実装形態では、少なくとも1個の画像センサ6434は、画像データをユーザインターフェース6428に提供し得る。いくつかの実装形態では、電子デバイス6402は、少なくとも1個の画像センサ6434からの画像データを示し得る(9108)。言い換えれば、電子デバイス6402は、少なくとも1個の画像センサ6434からの画像データ(たとえば、静止画像またはビデオ)をディスプレイ6464上に表示し得る。
[00461]いくつかの実装形態では、電子デバイス6402は、少なくとも1つのセクタに基づいて、画像データを渡し得る(9110)。たとえば、電子デバイス6402は、選択されたセクタ内に示された画像データを渡し得る(9110)。言い換えれば、ユーザインターフェース6428に関して本明細書で説明する技法のうちの少なくとも1つは、オーディオ信号の代わりに、またはオーディオ信号に加えて画像データに適用され得る。
[00462]図92は、ソース位置をマッピングするためのシステムおよび方法が実施され得るワイヤレス通信デバイス9266の一構成を示すブロック図である。図92に例示するワイヤレス通信デバイス9266は、本明細書で説明する電子デバイスのうちの少なくとも1つの一例であり得る。ワイヤレス通信デバイス9266は、アプリケーションプロセッサ9278を含み得る。アプリケーションプロセッサ9278は一般に、ワイヤレス通信デバイス9266上の機能を実行するための命令を処理する(たとえば、プログラムを実行する)。アプリケーションプロセッサ9278は、オーディオコーダ/デコーダ(コーデック)9276に結合され得る。
[00463]オーディオコーデック9276は、オーディオ信号をコーディングおよび/または復号するために使用される電子デバイス(たとえば、集積回路)であり得る。オーディオコーデック9276は、少なくとも1個のスピーカ9268、イヤピース9270、出力ジャック9272、および/または少なくとも1個のマイクロフォン9206に結合され得る。スピーカ9268は、電気信号または電子信号を音響信号に変換する、1つまたは複数の電気音響トランスデューサを含み得る。たとえば、スピーカ9268は、音楽を再生するため、またはスピーカーフォンの会話を出力するためなどに使用され得る。イヤピース9270は、音響信号(たとえば、音声信号)をユーザに出力するために使用され得る別のスピーカまたは電気音響トランスデューサであり得る。たとえば、イヤピース9270は、ユーザのみが音響信号を確実に聴取し得るように使用され得る。出力ジャック9272は、オーディオを出力するためのワイヤレス通信デバイス9266に、ヘッドフォンなど、他のデバイスを結合するために使用され得る。スピーカ9268、イヤピース9270および/または出力ジャック9272は、一般に、オーディオコーデック9276からオーディオ信号を出力するために使用され得る。少なくとも1個のマイクロフォン9206は、音響信号(ユーザの音声など)を、オーディオコーデック9276に提供される電気または電子信号に変換する音響電気トランスデューサであり得る。
[00464]座標マッピングブロック/モジュール9217aは、オプションで、オーディオコーデック9276の一部として実装され得る。たとえば、座標マッピングブロック/モジュール9217aは、本明細書で説明する機能および/または構造のうちの1つもしくは複数に従って実装され得る。たとえば、座標マッピングブロック/モジュール9217aは、図57、図59、図60、および図61に関して説明した機能および/または構造のうちの1つもしくは複数に従って実装され得る。
[00465]加えて、またはその代わりに、座標マッピングブロック/モジュール9217bは、アプリケーションプロセッサ9278内で実装され得る。たとえば、座標マッピングブロック/モジュール9217bは、本明細書で説明する機能および/または構造のうちの1つもしくは複数に従って実装され得る。たとえば、座標マッピングブロック/モジュール9217bは、図57、図59、図60、および図61に関して説明した機能および/または構造のうちの1つもしくは複数に従って実装され得る。
[00466]アプリケーションプロセッサ9278はまた、電力管理回路9280に結合され得る。電力管理回路9280の一例は、ワイヤレス通信デバイス9266の電力消費を管理するために使用され得る電力管理集積回路(PMIC)である。電力管理回路9280は、バッテリ9282に結合され得る。バッテリ9282は一般に、ワイヤレス通信デバイス9266に電力を提供することができる。たとえば、バッテリ9282および/または電力管理回路9280は、ワイヤレス通信デバイス9266内に含まれる要素のうちの1つまたは複数に結合され得る。
[00467]アプリケーションプロセッサ9278は、入力を受信するための1つまたは複数の入力デバイス9286に結合され得る。入力デバイス9286の例としては、赤外線センサ、画像センサ、加速度計、タッチセンサ、キーパッドなどがある。入力デバイス9286は、ワイヤレス通信デバイス9266とのユーザ対話を可能にし得る。アプリケーションプロセッサ9278はまた、1つまたは複数の出力デバイス9284に結合され得る。出力デバイス9284の例としては、プリンタ、プロジェクタ、スクリーン、触覚デバイスなどがある。出力デバイス9284は、ワイヤレス通信デバイス9266が、ユーザにより受け取られ得る出力を生成することを可能にし得る。
[00468]アプリケーションプロセッサ9278は、アプリケーションメモリ9288に結合され得る。アプリケーションメモリ9288は、電子情報を記憶することが可能な任意の電子デバイスであり得る。アプリケーションメモリ9288の例としては、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ(DDRAM)、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)、フラッシュメモリなどがある。アプリケーションメモリ9288は、アプリケーションプロセッサ9278のための記憶装置を提供することができる。たとえば、アプリケーションメモリ9288は、アプリケーションプロセッサ9278上で実行されるプログラムの機能のためのデータおよび/または命令を記憶し得る。
[00469]アプリケーションプロセッサ9278は、ディスプレイコントローラ9290に結合されることが可能であり、ディスプレイコントローラ9290は、ディスプレイ9292に結合されることが可能である。ディスプレイコントローラ9290は、ディスプレイ9292上に画像を生成するために使用されるハードウェアブロックであり得る。たとえば、ディスプレイコントローラ9290は、アプリケーションプロセッサ9278からの命令および/またはデータを、ディスプレイ9292上に提示され得る画像に変換し得る。ディスプレイ9292の例としては、液晶ディスプレイ(LCD)パネル、発光ダイオード(LED)パネル、陰極線管(CRT)ディスプレイ、プラズマディスプレイなどがある。
[00470]アプリケーションプロセッサ9278は、ベースバンドプロセッサ9294に結合され得る。ベースバンドプロセッサ9294は一般に、通信信号を処理する。たとえば、ベースバンドプロセッサ9294は、受信された信号を復調および/または復号し得る。加えて、または代替的に、ベースバンドプロセッサ9294は、送信に備えて信号を符号化および/または変調し得る。
[00471]ベースバンドプロセッサ9294は、ベースバンドメモリ9296に結合され得る。ベースバンドメモリ9296は、SDRAM、DDRAM、フラッシュメモリなどのような、電子情報を記憶することが可能な任意の電子デバイスであり得る。ベースバンドプロセッサ9294は、ベースバンドメモリ9296から情報(たとえば、命令および/もしくはデータ)を読み取ること、ならびに/またはベースバンドメモリ9296に情報を書き込むことができる。加えて、またはその代わりに、ベースバンドプロセッサ9294は、通信動作を実行するために、ベースバンドメモリ9296内に記憶された命令および/またはデータを使用し得る。
[00472]ベースバンドプロセッサ9294は、無線周波数(RF)送受信機9298に結合され得る。RF送受信機9298は、電力増幅器9201と1本または複数のアンテナ9203とに結合され得る。RF送受信機9298は、無線周波信号を送信および/または受信することができる。たとえば、RF送受信機9298は、電力増幅器9201と少なくとも1本のアンテナ9203とを使用してRF信号を送信することができる。RF送受信機9298はまた、1本または複数のアンテナ9203を使用してRF信号を受信し得る。
[00473]図93は、電子デバイス9302内で利用され得る様々な構成要素を例示する。例示される構成要素は、同じ物理的構造物内に配置され得、または別個の筐体もしくは構造物中に配置され得る。図93に関して説明する電子デバイス9302は、本明細書で説明する電子デバイスおよびワイヤレス通信デバイスのうちの少なくとも1つに従って実装され得る。電子デバイス9302は、プロセッサ9311を含む。プロセッサ9311は、汎用シングルまたはマルチチップマイクロプロセッサ(たとえば、ARM)、専用マイクロプロセッサ(たとえば、デジタル信号プロセッサ(DSP))、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサ9311は、中央処理ユニット(CPU)と呼ばれ得る。単一のプロセッサ9311だけが図93の電子デバイス9302内に示されているが、代替構成では、プロセッサの組合せ(たとえば、ARM(登録商標)およびDSP)が使用され得る。
[00474]電子デバイス9302は、プロセッサ9311と電子通信しているメモリ9305も含む。すなわち、プロセッサ9311は、メモリ9305から情報を読み取ること、および/またはメモリ9305に情報を書き込み得る。メモリ9305は、電子情報を記憶することが可能な任意の電子構成要素であり得る。メモリ9305は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、磁気ディスク記憶媒体、光記憶媒体、RAM内のフラッシュメモリデバイス、プロセッサとともに含まれるオンボードメモリ、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM(登録商標))、レジスタなど、およびそれらの組合せであり得る。
[00475]データ9309aおよび命令9307aがメモリ9305内に記憶され得る。命令9307aは、少なくとも1つのプログラム、ルーチン、サブルーチン、関数、手順などを含み得る。命令9307aは、単一のコンピュータ可読ステートメントまたは多くのコンピュータ可読ステートメントを含み得る。命令9307aは、上で説明した方法のうちの少なくとも1つを実装するために、プロセッサ9311によって実行可能であり得る。命令9307aを実行することは、メモリ9305に記憶されたデータ9309aの使用を含み得る。図93は、プロセッサ9311内にロードされている(命令9307aおよびデータ9309aから来ることがある)いくつかの命令9307bとデータ9309bとを示す。
[00476]電子デバイス9302は、他の電子デバイスと通信するための少なくとも1つの通信インターフェース9313も含み得る。通信インターフェース9313は、有線通信技術、ワイヤレス通信技術、またはその両方に基づき得る。様々なタイプの通信インターフェース9313の例としては、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)、イーサネット(登録商標)アダプター、IEEE1394バスインターフェース、小型コンピュータシステムインターフェース(SCSI)バスインターフェース、赤外線(IR)通信ポート、Bluetoothワイヤレス通信アダプターなどがある。
[00477]電子デバイス9302はまた、少なくとも1つの入力デバイス9386と、少なくとも1つの出力デバイス9384とを含み得る。様々な種類の入力デバイス9386の例としては、キーボード、マウス、マイクロフォン、遠隔制御デバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、ライトペンなどがある。たとえば、電子デバイス9302は、音響信号を捕捉するための少なくとも1個のマイクロフォン9306を含み得る。一構成では、マイクロフォン9306は、音響信号(たとえば、声、音声)を電気信号または電子信号に変換するトランスデューサであり得る。様々な種類の出力デバイス9384の例としては、スピーカ、プリンタなどがある。たとえば、電子デバイス9302は、少なくとも1個のスピーカ9368を含み得る。一構成では、スピーカ9368は、電気信号または電子信号を音響信号に変換するトランスデューサであり得る。電子デバイス9302内に典型的に含まれ得る1つの特定のタイプの出力デバイスは、ディスプレイデバイス9392である。本明細書で開示される構成とともに使用されるディスプレイデバイス9392は、陰極線管(CRT)、液晶ディスプレイ(LCD)、発光ダイオード(LED)、ガスプラズマ、エレクトロルミネセンスなどのような、任意の好適な画像投影技術を利用し得る。ディスプレイコントローラ9390はまた、メモリ9305内に記憶されたデータを、ディスプレイデバイス9392上に示されるテキスト、グラフィクス、および/または動画に(適宜に)変換するために提供され得る。
[00478]電子デバイス9302の様々な構成要素は、電力バス、制御信号バス、ステータス信号バス、データバスなどを含み得る、少なくとも1つのバスによって互いに結合され得る。簡潔にするために、図93では、様々なバスはバスシステム9315として示される。図93は、電子デバイス9302の1つの可能な構成しか示していないことに留意されたい。様々な他のアーキテクチャおよびコンポーネントが利用され得る。
[00479]本明細書で説明した機能および/またはユーザインターフェースの例を示すいくつかの図が以下で与えられる。いくつかの構成では、機能および/またはユーザインターフェースは、「音響焦点およびソース追跡(Sound Focus and Source Tracking)」、「SoFAST」、または「SFAST」という句に関して参照される場合がある。
[00480]上記の説明では、様々な用語とともに参照番号を時々使用した。用語が参照番号とともに使用されている場合、これは、図のうちの少なくとも1つに示された特定の要素を指すことを意味し得る。用語が参照番号を伴わずに使用されている場合、これは一般に、任意の特定の図に限定されない用語を指すことを意味し得る。
[00481]「結合する」という用語およびその変形は、要素間の直接または間接接続を示し得る。たとえば、第2の要素に結合された第1の要素は、第2の要素に直接接続されるか、または別の要素を通して第2の要素に間接的に接続され得る。
[00482]「プロセッサ」という用語は、汎用プロセッサ、中央演算処理装置(CPU)、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、コントローラ、マイクロコントローラ、状態機械などを包含するものと広く解釈されるべきである。いくつかの状況下では、「プロセッサ」は、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)などを指す場合がある。「プロセッサ」という用語は、処理デバイスの組合せ、たとえば、デジタル信号プロセッサ(DSP)とマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)コアと連携する少なくとも1つのマイクロプロセッサ、あるいは任意の他のそのような構成を指す場合がある。
[00483]「メモリ」という用語は、電子情報を記憶することが可能な任意の電子構成要素を包含するものと広く解釈されるべきである。メモリという用語は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能PROM(EEPROM)、フラッシュメモリ、磁気または光学データストレージ、レジスタなど、様々なタイプのプロセッサ可読媒体を指す場合がある。プロセッサがメモリから情報を読み取り、および/または情報をメモリに書き込むことができる場合、メモリはプロセッサと電子的に通信していると言われる。プロセッサに一体化されたメモリは、プロセッサと電子通信している。
[00484]「命令」および「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むものと広く解釈されるべきである。たとえば、「命令」および「コード」という用語は、少なくとも1つのプログラム、ルーチン、サブルーチン、関数、手順などを指す場合がある。「命令」および「コード」は、単一のコンピュータ可読ステートメント、または、多数のコンピュータ可読ステートメントを備えてもよい。
[00485]本明細書で説明した構成のうちのいずれか1つに関して説明した機能、機能、手順、構成要素、要素、構造などのうちの少なくとも1つは、互換性がある、本明細書で説明した他の構成のうちのいずれかに関して説明した機能、手順、構成要素、要素、構造などのうちの少なくとも1つと組み合わせ得ることに留意されたい。言い換えれば、本明細書で説明した機能、手順、構成要素、要素などの任意の互換性がある組合せは、本明細書で開示するシステムおよび方法に従って実装され得る。
[00486]本明細書で開示した方法および装置は、概して任意の送受信および/または音声感知応用、特にそのような応用のモバイル事例または他の持ち運び可能事例において適用され得る。たとえば、本明細書で開示した構成の範囲は、符号分割多元接続(CDMA)オーバージエアインターフェースを用いるように構成されたワイヤレステレフォニー通信システム内に常駐する通信デバイスを含む。とはいえ、本明細書で説明した機能を有する方法および装置は、ワイヤードおよび/またはワイヤレス(たとえば、CDMA、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、および/または時分割同時符号分割多元接続(TDSCDMA))送信チャネルを介したボイスオーバIP(VoIP)を用いるシステムなど、当業者に知られている広範囲の技術を用いる様々な通信システムのいずれの中にも常駐し得ることが、当業者には理解されよう。
[00487]本明細書で開示した通信デバイスは、パケット交換式であるネットワーク(たとえば、VoIPなどのプロトコルに従ってオーディオ送信を搬送するように構成されたワイヤードおよび/もしくはワイヤレスネットワーク)ならびに/または回線交換式であるネットワークにおける使用に適応され得ることが明確に企図され、本明細書によって開示される。また、本明細書で開示した通信デバイスは、狭帯域コーディングシステム(たとえば、約4または5キロヘルツの可聴周波数範囲を符号化するシステム)での使用、ならびに/または全帯域広帯域コーディングシステムおよびスプリットバンド広帯域コーディングシステムを含む、広帯域コーディングシステム(たとえば、5キロヘルツを超える可聴周波数を符号化するシステム)での使用に適応し得ることが明確に企図され、本明細書によって開示される。
[00488]本明細書で説明した通信デバイスの送信機および/または受信機とともに使用され得る、またはそれらとともに使用するように適応され得るコーデックの例としては、「Enhanced Variable Rate Codec,Speech Service Options 3,68,and 70 for Wideband Spread Spectrum Digital Systems」と題するThird Generation Partnership Project2(3GPP2)文書C.S0014−C、v1.0、2007年2月(www.3gpp.orgでオンライン入手可能)に記載されているEnhanced Variable Rate Codec、「Selectable Mode Vocoder(SMV)Service Option for Wideband Spread Spectrum Communication Systems」と題する3GPP2文書C.S0030−0、v3.0、2004年1月(www.3gpp.orgでオンライン入手可能)に記載されているSelectable Mode Vocoder音声コーデック、文書ETSI TS126 092 V6.0.0(European Telecommunications Standards Institute(ETSI)、Sophia Antipolis Cedex、FR、2004年12月)に記載されているAdaptive Multi Rate(AMR)音声コーデック、および文書ETSI TS 126 192 V6.0.0.(ETSI、2004年12月)に記載されているAMR Wideband音声コーデックがある。そのようなコーデックは、たとえば、受信されたワイヤレス通信信号からの再生されたオーディオ信号を回復するために使用され得る。
[00489]説明した構成の提示は、本明細書で開示した方法および他の構造を当業者が製造または使用できるように提供されたものである。本明細書で図示および説明したフローチャート、ブロック図、および他の構造は例にすぎず、これらの構造の他の変形態も本開示の範囲内である。これらの構成に対する様々な変更が可能であり、本明細書で提示した一般原理は他の構成にも同様に適用され得る。したがって、本開示は、上記に示した構成に限定されることが意図されず、原開示の一部をなす、出願した添付の特許請求の範囲を含む、本明細書において任意の方法で開示した原理および新規の機能に一致する最も広い範囲が与えられるべきである。
[00490]情報および信号は、多種多様な技術および技法のいずれかを使用して表され得ることを当業者なら理解されよう。たとえば、上の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、およびシンボルは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表され得る。
[00491]本明細書で開示した構成の実装形態の重要な設計要件は、圧縮されたオーディオもしくはオーディオビジュアル情報(たとえば、本明細書で識別される例のうちの1つなど、圧縮形式に従って符号化されるファイルまたはストリーム)の再生などの計算集約的適用例、または広帯域通信(たとえば、12、16、32、44.1、48、または192kHzなど、8キロヘルツよりも高いサンプリングレートにおける音声通信)の応用では特に、(一般に百万命令毎秒またはMIPSで測定される)処理遅延および/または計算複雑さを最小にすることを含み得る。
[00492]本明細書で開示した装置(たとえば、本明細書で説明した技法を実行するように構成された任意の装置)は、意図された応用に適すると見なされる、ソフトウェアとの、および/またはファームウェアとのハードウェアの任意の組合せで実装され得る。たとえば、そのような装置の要素は、たとえば、同じチップ上に、またはチップセット中の2つ以上のチップ間に常駐する電子デバイスおよび/または光デバイスとして作製され得る。そのようなデバイスの一例は、トランジスタもしくは論理ゲートなどの論理要素の固定アレイまたはプログラマブルアレイであり、これらの要素のいずれも1つもしくは複数のそのようなアレイとして実装され得る。これらの要素のうちの任意の2つ以上、さらにはすべてが、同じ1つまたは複数のアレイ内に実装され得る。そのような1つまたは複数のアレイは、1つまたは複数のチップ内(たとえば、2つ以上のチップを含むチップセット内)に実装され得る。
[00493]本明細書で開示した装置の様々な実装形態の1つまたは複数の要素は、全体または一部が、マイクロプロセッサ、組込みプロセッサ、知的所有権(IP)コア、デジタル信号プロセッサ、FPGA(フィールドプログラマブルゲートアレイ)、ASSP(特定用途向け標準製品)、およびASIC(特定用途向け集積回路)などの論理要素の1つもしくは複数の固定アレイまたはプログラマブルアレイ上で実行するように構成された命令の1つもしくは複数のセットとして実装され得る。本明細書で開示した装置の実装形態の様々な要素のいずれも、1つもしくは複数のコンピュータ(たとえば、「プロセッサ」とも呼ばれる、命令の1つもしくは複数のセットまたはシーケンスを実行するようにプログラムされた1つもしくは複数のアレイを含む機械)としても実施されることが可能であり、これらの要素のうちの任意の2つ以上、さらにはすべてが、同じそのような1つもしくは複数のコンピュータ内に実装され得る。
[00494]本明細書で開示したプロセッサまたは処理するための他の手段は、たとえば、同じチップ上に、またはチップセット中の2つ以上のチップ間に常駐する1つもしくは複数の電子デバイスおよび/または光デバイスとして作製され得る。そのようなデバイスの一例は、トランジスタもしくは論理ゲートなどの論理要素の固定アレイまたはプログラマブルアレイであり、これらの要素のいずれも1つもしくは複数のそのようなアレイとして実装され得る。そのような1つまたは複数のアレイは、1つまたは複数のチップ内(たとえば、2つ以上のチップを含むチップセット内)に実装され得る。そのようなアレイの例としては、マイクロプロセッサ、組込みプロセッサ、IPコア、DSP、FPGA、ASSP、およびASICなど、論理要素の固定アレイまたはプログラマブルアレイがある。本明細書で開示さしたプロセッサまたは処理するための他の手段は、1つまたは複数のコンピュータ(たとえば、命令の1つもしくは複数のセットまたはシーケンスを実行するようにプログラムされた、1つもしくは複数のアレイを含む機械)、あるいは他のプロセッサとしても実施され得る。本明細書で説明したプロセッサは、プロセッサが組み込まれているデバイスまたはシステム(たとえば、オーディオ感知デバイス)の別の演算に関係するタスクなど、本明細書で開示した方法の実装形態の手順に直接関係しないタスクを実施するか、または命令の他のセットを実行するために使用されることが可能である。また、本明細書で開示した方法の一部はオーディオ感知デバイスのプロセッサによって実行され、その方法の別の一部は1つまたは複数の他のプロセッサの制御下で実行されることが可能である。
[00495]本明細書で開示した構成に関して説明した様々な例示的なモジュール、論理ブロック、回路、およびテストならびに他の動作は、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。そのようなモジュール、論理ブロック、回路、および動作は、本明細書で開示した構成を生成するように設計された、汎用プロセッサ、デジタル信号プロセッサ(DSP)、ASICもしくはASSP、FPGAもしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、またはそれらの任意の組合せを用いて実装または実施され得る。たとえば、そのような構成は、少なくとも部分的に、ハードワイヤード回路として、特定用途向け集積回路へと作製された回路構成として、あるいは不揮発性記憶装置にロードされるファームウェアプログラム、または汎用プロセッサもしくは他のデジタル信号処理ユニットなどの論理要素のアレイによって実行可能な命令である機械可読コードとしてデータ記憶媒体からロードされるかもしくはデータ記憶媒体にロードされるソフトウェアプログラムとして実装され得る。汎用プロセッサはマイクロプロセッサであってよいが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってよい。プロセッサは、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連係する1つもしくは複数のマイクロプロセッサ、またはいかなる他のそのような構成としても実施され得る。ソフトウェアモジュールは、RAM(ランダムアクセスメモリ)、ROM(読取り専用メモリ)、フラッシュRAMなどの不揮発性RAM(NVRAM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、もしくはCD−ROMなど、非一時的記憶媒体中に、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体はプロセッサと一体であってもよい。プロセッサおよび記憶媒体はASIC内に存在し得る。ASICはユーザ端末内に常駐し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末中に個別コンポーネントとして常駐し得る。「コンピュータプログラム製品」という用語は、コンピューティングデバイスもしくはプロセッサによって実行、処理または計算され得るコードあるいは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。
[00496]本明細書で開示した様々な方法は、プロセッサなどの論理要素のアレイによって実行され得、本明細書で説明した装置の様々な要素は、そのようなアレイ上で実行するように設計されたモジュールとして実装され得ることに留意されたい。本明細書で使用する「モジュール」または「サブモジュール」という用語は、ソフトウェア、ハードウェアまたはファームウェアの形態でコンピュータ命令(たとえば、論理式)を含む任意の方法、装置、デバイス、ユニットまたはコンピュータ可読データ記憶媒体を指し得る。複数のモジュールまたはシステムを1つのモジュールまたはシステムに結合することができ、1つのモジュールまたはシステムを、同じ機能を実行する複数のモジュールまたはシステムに分離することができることを理解されたい。ソフトウェアまたは他のコンピュータ実行可能命令で実装されるとき、プロセスの要素は本質的に、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを用いてなど、関連するタスクを実施するコードセグメントである。「ソフトウェア」という用語は、ソースコード、アセンブリ言語コード、機械コード、バイナリコード、ファームウェア、マクロコード、マイクロコード、論理要素のアレイによって実行可能な命令の1つもしくは複数のセットまたはシーケンス、およびそのような例の任意の組合せを含むことを理解されたい。プログラムまたはコードセグメントは、プロセッサ可読媒体に記憶されてよく、または、搬送波に埋め込まれたコンピュータデータ信号によって伝送媒体または通信リンクを介して送信されてよい。
[00497]本明細書で開示した方法、方式、および技法の実装形態は、(たとえば、本明細書で列挙した1つまたは複数のコンピュータ可読記憶媒体の有形のコンピュータ可読機能において)論理要素のアレイ(たとえば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有限状態機械)を含む機械によって実行可能な命令の1つもしくは複数のセットとしても有形に実施され得る。「コンピュータ可読媒体」という用語は、揮発性の、不揮発性の、取外し可能な、および取外し不可能な記憶媒体を含む、情報を記憶または転送することができる任意の媒体を含み得る。コンピュータ可読媒体の例としては、電子回路、半導体メモリデバイス、ROM、フラッシュメモリ、消去可能ROM(EROM)、フロッピー(登録商標)ディスケットもしくは他の磁気ストレージ、CD−ROM/DVDもしくは他の光ストレージ、ハードディスクもしくは所望の情報を記憶するために使用され得る任意の他の媒体、光ファイバー媒体、無線周波(RF)リンク、または、所望の情報を搬送するために使用され、かつアクセスされ得る任意の他の媒体がある。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバー、無線リンク、電磁リンク、RFリンクなどの伝送媒体を介して伝播され得る任意の信号を含み得る。コードセグメントは、インターネットまたはイントラネットなどのコンピュータネットワークを介してダウンロードされ得る。いずれの場合も、本開示の範囲は、そのような実施形態によって限定されると解釈すべきではない。本明細書で説明した方法のタスクの各々は、ハードウェアで直接実施され得るか、プロセッサによって実行されるソフトウェアモジュールで実施され得るか、またはその2つの組合せで実施され得る。本明細書で開示した方法の実装形態の典型的な応用では、論理要素のアレイ(たとえば、論理ゲート)は、この方法の様々なタスクのうちの1つ、複数、さらにはすべてを実施するように構成される。タスクのうちの1つもしくは複数(場合によってはすべて)は、論理要素のアレイ(たとえば、プロセッサ、マイクロプロセッサ、マイクロコントローラ、または他の有限状態機械)を含む機械(たとえば、コンピュータ)によって読取り可能かつ/あるいは実行可能である、コンピュータプログラム製品(たとえば、ディスク、フラッシュメモリカードまたは他の不揮発性メモリカード、半導体メモリチップなど、1つもしくは複数のデータ記憶媒体)に実施されたコード(たとえば、命令の1つまたは複数のセット)としても実装され得る。本明細書で開示した方法の実装形態のタスクは、2つ以上のそのようなアレイまたは機械によっても実施され得る。これらまたは他の実装形態では、タスクは、セルラー電話など、ワイヤレス通信用のデバイス内、またはそのような通信機能を有する他のデバイス内で実施され得る。そのようなデバイスは、(たとえば、VoIPなどの1つまたは複数のプロトコルを使用して)回線交換および/またはパケット交換ネットワークと通信するように構成され得る。たとえば、そのようなデバイスは、符号化フレームを受信および/または送信するように構成されたRF回路を含み得る。
[00498]本明細書で開示した様々な方法は、ハンドセット、ヘッドセット、または携帯情報端末(PDA)などのポータブル通信デバイスによって実行されてよく、本明細書で説明した様々な装置は、そのようなデバイス内に含まれ得ることが明確に開示される。典型的なリアルタイム(たとえば、オンライン)応用は、そのようなモバイルデバイスを使用して行われる、電話による会話である。
[00499]1つまたは複数の例示的な実施形態では、本明細書で説明した動作は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装する場合、そのような動作は、1つもしくは複数の命令またはコードとしてコンピュータ可読媒体に記憶され得るか、あるいはコンピュータ可読媒体を介して送信され得る。「コンピュータ可読媒体」という用語は、コンピュータ可読記憶媒体と通信(たとえば、伝送)媒体の両方を含む。限定ではなく例として、コンピュータ可読記憶媒体は、(限定はしないが、ダイナミックもしくはスタティックRAM、ROM、EEPROM、および/またはフラッシュRAMを含み得る)半導体メモリ、または強誘電体メモリ、磁気抵抗メモリ、オボニックメモリ、高分子メモリ、または相変化メモリなどの記憶要素のアレイ、CD−ROMまたは他の光ディスクストレージ、ならびに/あるいは磁気ディスクストレージまたは他の磁気ストレージデバイスを備えることができる。そのような記憶媒体は、コンピュータによってアクセスされ得る命令またはデータ構造の形態で情報を記憶し得る。通信媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、命令またはデータ構造の形態で所望のプログラムコードを搬送するために使用され得、かつコンピュータによってアクセスされ得る、任意の媒体を備えることができる。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、および/もしくはマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、あるいは他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、および/もしくはマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイ(登録商標)ディスク(disc)(Blu−Ray Disc Association、Universal City,CA)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)はデータをレーザで光学的に再生する。上記のこの組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[00500]本明細書で説明した音響信号処理装置は、いくつかの動作を制御するために音声入力を受容し、あるいは背景雑音から所望の雑音を分離することから利益を得ることが可能な、通信デバイスなどの電子デバイスに組み込まれ得る。多くの応用では、複数の方向から発生した背景音から明瞭な所望の音を強調または分離することから利益を得ることができる。そのような応用は、音声認識および検出、音声強調および分離、音声アクティブ化制御などの機能を組み込んだ電子デバイスまたはコンピューティングデバイスにおける人間機械インターフェースを含み得る。限られた処理機能のみを提供するデバイスに適したそのような音響信号処理装置を実装することが望まれ得る。
[00501]本明細書で説明したモジュール、要素、およびデバイスの様々な実装形態の要素は、たとえば、同じチップ上にもしくはチップセット中の2つ以上のチップ間に常駐する電子デバイスおよび/または光デバイスとして作製され得る。そのようなデバイスの一例は、トランジスタまたはゲートなど、論理要素の固定アレイまたはプログラマブルアレイである。本明細書で説明した装置の様々な実装形態の1つまたは複数の要素は、全体または一部が、マイクロプロセッサ、組込みプロセッサ、IPコア、デジタル信号プロセッサ、FPGA、ASSP、およびASICなど、論理要素の1つもしくは複数の固定アレイ上またはプログラマブルアレイ上で実行されるように構成された、命令の1つもしくは複数のセットとしても実装され得る。
[00502]本明細書で説明した装置の一実装形態の1つまたは複数の要素は、装置が組み込まれているデバイスまたはシステムの別の動作に関係するタスクなど、装置の動作に直接関係しないタスクを実施し、あるいは装置の動作に直接関係しない命令の他のセットを実行するために使用されることが可能である。また、そのような装置の実装形態の1つもしくは複数の要素は、共通の構造(たとえば、異なる要素に対応するコードの部分を異なる時間に実行するために使用されるプロセッサ、異なる要素に対応するタスクを異なる時間に実施するために実行される命令のセット、または、異なる要素向けの動作を異なる時間に実施する電子デバイスおよび/もしくは光デバイスの構成)を有し得る。
[00503]特許請求の範囲は、上に例示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、本明細書で説明したシステム、方法、および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]電子デバイス上にユーザインターフェースを表示するための方法であって、前記方法は下記を備える、
ユーザインターフェースを提示すること、ここにおいて、前記ユーザインターフェースが座標系を備え、ここにおいて、前記座標系が、センサデータに基づく物理座標に対応する、と、
前記座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供することと、
前記少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供すること。
[C2]少なくとも1個のマイクロフォンによって捕捉された少なくとも1個のオーディオ信号の方向を表示することをさらに備える、[C1]に記載の方法。
[C3]前記少なくとも1個のオーディオ信号が音声信号を備える、[C2]に記載の方法。
[C4]前記少なくとも1個のオーディオ信号に対応するアイコンを表示することをさらに備える、[C2]に記載の方法。
[C5]アイコンを表示することが、ターゲットオーディオ信号に関するアイコンおよび干渉オーディオ信号に関するアイコンのうちの少なくとも1つを表示することをさらに備える、[C4]に記載の方法。
[C6]前記少なくとも1つのセクタ内に示されたオーディオ信号を渡すことをさらに備える、[C1]に記載の方法。
[C7]前記少なくとも1つのセクタ内に示されないオーディオ信号を減衰することをさらに備える、[C1]に記載の方法。
[C8]1個または複数の画像センサからの画像データを示すことをさらに備える、[C1]に記載の方法。
[C9]前記1つまたは複数のセクタに基づいて、画像データを渡すことをさらに備える、[C1]に記載の方法。
[C10]前記セクタ選択機能および前記セクタ編集機能のうちの少なくとも1つが、シングルタッチ入力とマルチタッチ入力とからなるグループのうちの少なくとも1つに基づいて動作する、[C1]に記載の方法。
[C11]前記少なくとも1つのセクタに対応する少なくとも1つのタッチポイントを表示することと、
前記少なくとも1つのタッチポイントに対応するタッチ入力を受信することと、
前記タッチ入力に基づいて、前記少なくとも1つのセクタを編集することと
をさらに備える、[C1]に記載の方法。
[C12]前記ユーザインターフェースの少なくとも一部を基準面と整合させることをさらに備える、[C1]に記載の方法。
[C13]前記基準面が水平である、[C12]に記載の方法。
[C14]前記ユーザインターフェースの少なくとも一部を整合させることが、2次元極座標プロットを3次元表示空間にマッピングすることをさらに備える、[C12]に記載の方法。
[C15]前記物理座標が地球座標である、[C1]に記載の方法。
[C16]前記物理座標が地球座標とは無関係な物理空間を表す、[C1]に記載の方法。
[C17]前記座標系が、電子デバイスの方向とは無関係な方向を維持する、[C1]に記載の方法。
[C18]オーディオ署名を認識することと、
データベース内の前記オーディオ署名を調べることと、
前記オーディオ署名に対応する識別情報を取得することと
前記ユーザインターフェース上に前記識別情報を表示することと
をさらに備える、[C1]に記載の方法。
[C19]前記識別情報が、前記オーディオ署名に対応する人物の画像である、[C18]に記載の方法。
[C20]固定モードと編集可能なモードとを提供することをさらに備える、[C1]に記載の方法。
[C21]選択されたセクタをパディングすることをさらに備える、[C1]に記載の方法。
[C22]前記セクタ選択機能が複数のセクタの同時の選択を可能にする、[C1]に記載の方法。
[C23]前記セクタ編集機能が、シングルタッチ入力またはマルチタッチ入力に基づいて前記セクタの調整を可能にする、[C1]に記載の方法。
[C24]前記セクタ選択機能が1つまたは複数のスワイプ入力に基づく、[C1]に記載の方法。
[C25]前記1つまたは複数のスワイプ入力が円領域を示す、[C24]に記載の方法。
[C26]前記1つまたは複数のスワイプ入力が単一のスワイプである、[C24]に記載の方法。
[C27]ユーザインターフェースを表示するディスプレイ備えた電子デバイスであって、
ここにおいて、前記ユーザインターフェースが座標系を備え、ここにおいて、前記座標系が、センサデータに基づく物理座標に対応し、前記ディスプレイが、前記座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供し、前記ディスプレイが、前記少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供する
電子デバイス。
[C28]前記ディスプレイが、少なくとも1個のマイクロフォンによって捕捉された少なくとも1個のオーディオ信号の方向を表示する、[C27]に記載の電子デバイス。
[C29]前記少なくとも1個のオーディオ信号が音声信号を備える、[C28]に記載の電子デバイス。
[C30]前記ディスプレイが、前記少なくとも1個のオーディオ信号に対応するアイコンを表示する、[C28]に記載の電子デバイス。
[C31]アイコンを表示することが、ターゲットオーディオ信号に関するアイコンおよび干渉オーディオ信号に関するアイコンのうちの少なくとも1つを表示することをさらに備える、[C30]に記載の電子デバイス。
[C32]前記ディスプレイに結合された動作回路をさらに備え、前記動作回路が、前記少なくとも1つのセクタ内に示されたオーディオ信号を渡す、[C27]に記載の電子デバイス。
[C33]前記ディスプレイに結合された動作回路をさらに備え、前記動作回路が、前記少なくとも1つのセクタ内に示されないオーディオ信号を減衰する、[C27]に記載の電子デバイス。
[C34]前記ディスプレイが、1個または複数の画像センサからの画像データを示す、[C27]に記載の電子デバイス。
[C35]前記ディスプレイに結合された動作回路をさらに備え、前記動作回路が、前記1つまたは複数のセクタに基づいて、画像データを渡す、[C27]に記載の電子デバイス。
[C36]前記セクタ選択機能および前記セクタ編集機能のうちの少なくとも1つが、シングルタッチ入力とマルチタッチ入力とからなるグループのうちの少なくとも1つに基づいて動作する、[C27]に記載の電子デバイス。
[C37]前記ディスプレイが、前記少なくとも1つのセクタに対応する少なくとも1つのタッチポイントを表示し、前記電子デバイスが、前記少なくとも1つのタッチポイントに対応するタッチ入力を受信するタッチセンサをさらに備え、前記ユーザインターフェースが前記タッチ入力に基づいて、前記少なくとも1つのセクタを編集する、[C27]に記載の電子デバイス。
[C38]前記ユーザインターフェースが、前記ユーザインターフェースの少なくとも一部を基準面と整合させる、[C27]に記載の電子デバイス。
[C39]前記基準面が水平である、[C38]に記載の電子デバイス。
[C40]前記ユーザインターフェースの少なくとも一部を整合させることが、2次元極座標プロットを3次元表示空間にマッピングすることをさらに備える、[C38]に記載の電子デバイス。
[C41]前記物理座標が地球座標である、[C27]に記載の電子デバイス。
[C42]前記物理座標が地球座標とは無関係な物理空間を表す、[C27]に記載の電子デバイス。
[C43]前記座標系が、電子デバイスの方向とは無関係の方向を維持する、[C27]に記載の電子デバイス。
[C44]オーディオ署名を認識して、データベース内の前記オーディオ署名を調べて、前記オーディオ署名に対応する識別情報を取得して、前記識別情報を前記ディスプレイに渡すオーディオ署名認識回路をさらに備える、[C27]に記載の電子デバイス。
[C45]前記識別情報が、前記オーディオ署名に対応する人物の画像である、[C44]に記載の電子デバイス。
[C46]前記ユーザインターフェースが固定モードと編集可能なモードとを提供する、[C27]に記載の電子デバイス。
[C47]前記ユーザインターフェースが選択されたセクタをパディングする、[C27]に記載の電子デバイス。
[C48]前記セクタ選択機能が複数のセクタの同時の選択を可能にする、[C27]に記載の電子デバイス。
[C49]前記セクタ編集機能が、シングルタッチ入力またはマルチタッチ入力に基づいて前記セクタの調整を可能にする、[C27]に記載の電子デバイス。
[C50]前記セクタ選択機能が1つまたは複数のスワイプ入力に基づく、[C27]に記載の電子デバイス。
[C51]前記1つまたは複数のスワイプ入力が円領域を示す、[C50]に記載の電子デバイス。
[C52]前記1つまたは複数のスワイプ入力が単一のスワイプである、[C50]に記載の電子デバイス。
[C53]命令をその上に有する非一時的有形コンピュータ可読媒体を備える、ユーザインターフェースを表示するためのコンピュータプログラム製品であって、前記命令は下記を備える、
電子デバイスにユーザインターフェースを提示させるためのコード、ここにおいて、前記ユーザインターフェースが座標系を備え、前記座標系が、センサデータに基づく物理座標に対応する、と、
前記電子デバイスに、前記座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供させるためのコードと、
前記電子デバイスに、前記少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供させるためのコード。
[C54]前記命令が、前記電子デバイスに、少なくとも1個のマイクロフォンによって捕捉された少なくとも1個のオーディオ信号の方向を表示させるためのコードをさらに備える、[C53]に記載のコンピュータプログラム製品。
[C55]前記命令が、前記電子デバイスに、前記少なくとも1つのセクタ内に示されたオーディオ信号を渡させるためのコードをさらに備える、[C53]に記載のコンピュータプログラム製品。
[C56]前記命令が、前記電子デバイスに、前記少なくとも1つのセクタ内に示されないオーディオ信号を減衰させるためのコードをさらに備える、[C53]に記載のコンピュータプログラム製品。
[C57]前記セクタ選択機能および前記セクタ編集機能のうちの少なくとも1つが、シングルタッチ入力とマルチタッチ入力とからなるグループのうちの少なくとも1つに基づいて動作する、[C53]に記載のコンピュータプログラム製品。
[C58]前記セクタ選択機能が複数のセクタの同時の選択を可能にする、[C53]に記載のコンピュータプログラム製品。
[C59]前記セクタ選択機能が1つまたは複数のスワイプ入力に基づく、[C53]に記載のコンピュータプログラム製品。
[C60]ユーザインターフェースを表示するための装置であって、該装置は下記を備える、
ユーザインターフェースを提示するための手段、ここにおいて、前記ユーザインターフェースが座標系を備え、前記座標系が、センサデータに基づく物理座標に対応する、と、
前記座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供するための手段と、
前記少なくとも1つのセクタの編集を可能にするセクタ編集機能を提供するための手段。
[C61]少なくとも1個のマイクロフォンによって捕捉された少なくとも1個のオーディオ信号の方向を表示するための手段をさらに備える、[C60]に記載の装置。
[C62]前記少なくとも1つのセクタ内に示されたオーディオ信号を渡すための手段をさらに備える、[C60]に記載の装置。
[C63]前記少なくとも1つのセクタ内に示されないオーディオ信号を減衰するための手段をさらに備える、[C60]に記載の装置。
[C64]前記セクタ選択機能および前記セクタ編集機能のうちの少なくとも1つが、シングルタッチ入力とマルチタッチ入力とからなるグループのうちの少なくとも1つに基づいて動作する、[C60]に記載の装置。
[C65]前記セクタ選択機能が複数のセクタの同時の選択を可能にする、[C60]に記載の装置。
[C66]前記セクタ選択機能が1つまたは複数のスワイプ入力に基づく、[C60]に記載の装置。

Claims (15)

  1. 電子デバイス上にユーザインターフェースを表示するための方法であって、前記方法は下記を備える、
    ユーザインターフェースを提示すること、ここにおいて、前記ユーザインターフェースが座標系を備え、前記座標系が、センサデータに基づく物理座標に対応する、と、
    記座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供すること、ここにおいて、前記少なくとも1つのセクタが、複数のマイクロフォンからの捕捉されたオーディオに対応し、セクタ選択が、オーディオ信号インジケータを備える、と、
    前記座標系の前記少なくとも1つのセクタの少なくとも1つの境界への調整を提供する受信された入力に基づいて、前記少なくとも1つのセクタのサイズを調整することを可能にするセクタ編集機能を提供することと、
    前記セクタ選択に基づいて、前記オーディオ信号インジケータに対応する前記捕捉されたオーディオに対してオーディオ動作を実行すること
  2. 前記電子デバイスは、少なくとも1つのマイクロフォンを備え、前記方法は、前記少なくとも1つのマイクロフォンによって捕捉された少なくとも1つのオーディオ信号の方向を表示することを備え、
    好ましくは、前記少なくとも1つのオーディオ信号が音声信号を備え、
    好ましくは、前記方法が前記少なくとも1つのオーディオ信号に対応するアイコンを表示することをさらに備え、
    さらに好ましくは、前記方法がターゲットオーディオ信号に関するアイコンおよび干渉オーディオ信号に関するアイコンのうちの少なくとも1つを表示することをさらに備える、請求項1に記載の方法。
  3. 前記少なくとも1つのセクタ内に示されたオーディオ信号を再生のために渡すこと、および/または前記少なくとも1つのセクタ内に示されないオーディオ信号を再生のために減衰すること、をさらに備える、請求項1に記載の方法。
  4. 前記電子デバイスは、1つまたは複数の画像センサを備え、前記方法は、前記1つまたは複数の画像センサからの画像データを示すこと、および/または前記1つまたは複数のセクタに基づいて画像データを渡すこと、をさらに備える、請求項1に記載の方法。
  5. 前記セクタ選択機能および前記セクタ編集機能のうちの少なくとも1つが、シングルタッチ入力とマルチタッチ入力とからなるグループのうちの少なくとも1つに基づいて動作し、好ましくは、前記方法は、
    前記少なくとも1つのセクタに対応する少なくとも1つのタッチポイントを表示することと、
    前記少なくとも1つのタッチポイントに対応するタッチ入力を受信することと、
    前記タッチ入力に基づいて、前記少なくとも1つのセクタを編集することと、
    をさらに備える、請求項1に記載の方法。
  6. 前記ユーザインターフェースの少なくとも一部を基準面と整合させることをさらに備え、好ましくは、前記基準面が水平である、および/または、好ましくは、前記ユーザインターフェースの少なくとも一部を整合させる、請求項1に記載の方法。
  7. 前記物理座標が、地球座標であるか、または、地球座標とは無関係な物理空間を表すか、のいずれかである、請求項1に記載の方法。
  8. 前記座標系が、電子デバイスの方向とは無関係な方向を維持する、請求項1に記載の方法。
  9. オーディオ署名を認識することと、
    データベース内の前記オーディオ署名を調べることと、
    前記オーディオ署名に対応する識別情報を取得することと、
    前記ユーザインターフェース上に前記識別情報を表示することと
    をさらに備え、
    好ましくは、前記識別情報が、前記オーディオ署名に対応する人物の画像である、請求項1に記載の方法。
  10. 前記ユーザインターフェースが固定モードと編集可能なモードを切り替えるための制御をさらに備える、請求項1に記載の方法。
  11. 前記セクタ選択機能が複数のセクタの同時の選択を可能にするおよび/または1つまたは複数のスワイプ入力に基づき、好ましくは、前記1つまたは複数のスワイプ入力が円領域を示す、または、前記1つまたは複数のスワイプ入力が単一のスワイプである、請求項1に記載の方法。
  12. 前記セクタ編集機能が、シングルタッチ入力またはマルチタッチ入力に基づいて前記セクタの調整を可能にする、請求項1に記載の方法。
  13. ユーザインターフェースを表示するための装置であって、前記装置は下記を備える、
    ユーザインターフェースを提示するための手段、ここにおいて、前記ユーザインターフェースが座標系を備え、前記座標系が、センサデータに基づく物理座標に対応する、と、
    記座標系の少なくとも1つのセクタの選択を可能にするセクタ選択機能を提供するための手段、ここにおいて、前記少なくとも1つのセクタが、複数のマイクロフォンからの捕捉されたオーディオに対応し、セクタ選択が、オーディオ信号インジケータを備える、と、
    前記座標系の前記少なくとも1つのセクタの少なくとも1つの境界への調整を提供する受信された入力に基づいて、前記少なくとも1つのセクタのサイズを調整することを可能にするセクタ編集機能を提供するための手段と、
    前記セクタ選択に基づいて、前記オーディオ信号インジケータに対応する前記捕捉されたオーディオに対してオーディオ動作を実行するための手段。
  14. 請求項2乃至12のうちのいずれか一項に従う方法を実行するための手段を備える、請求項13に記載の装置。
  15. 請求項1乃至12のいずれか一項に従う方法を電子デバイスに実行させるためのコードを備える命令を記憶したコンピュータ可読記憶媒体。
JP2015505869A 2012-04-13 2013-04-10 ユーザインターフェースを表示するためのシステムおよび方法 Active JP6400566B2 (ja)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201261624181P 2012-04-13 2012-04-13
US61/624,181 2012-04-13
US201261642954P 2012-05-04 2012-05-04
US61/642,954 2012-05-04
US201261713447P 2012-10-12 2012-10-12
US61/713,447 2012-10-12
US201261714212P 2012-10-15 2012-10-15
US61/714,212 2012-10-15
US201261726336P 2012-11-14 2012-11-14
US61/726,336 2012-11-14
US13/835,881 US10107887B2 (en) 2012-04-13 2013-03-15 Systems and methods for displaying a user interface
US13/835,881 2013-03-15
PCT/US2013/035926 WO2013155154A1 (en) 2012-04-13 2013-04-10 Systems and methods for displaying a user interface

Publications (3)

Publication Number Publication Date
JP2015520884A JP2015520884A (ja) 2015-07-23
JP2015520884A5 JP2015520884A5 (ja) 2016-05-12
JP6400566B2 true JP6400566B2 (ja) 2018-10-03

Family

ID=49324959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015505869A Active JP6400566B2 (ja) 2012-04-13 2013-04-10 ユーザインターフェースを表示するためのシステムおよび方法

Country Status (6)

Country Link
US (7) US10107887B2 (ja)
EP (3) EP2836851A1 (ja)
JP (1) JP6400566B2 (ja)
CN (3) CN104220896B (ja)
IN (2) IN2014MN02195A (ja)
WO (6) WO2013154790A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755941B (zh) * 2020-11-20 2022-02-21 英業達股份有限公司 階層式時間序列預測方法

Families Citing this family (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908877B2 (en) 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
KR101909432B1 (ko) 2010-12-03 2018-10-18 씨러스 로직 인코포레이티드 개인용 오디오 디바이스에서 적응형 잡음 제거기의 실수 제어
WO2012098836A1 (ja) * 2011-01-18 2012-07-26 パナソニック株式会社 車両方向特定装置、車両方向特定方法、及びそのプログラム
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US9214150B2 (en) 2011-06-03 2015-12-15 Cirrus Logic, Inc. Continuous adaptation of secondary path adaptive response in noise-canceling personal audio devices
US8958571B2 (en) * 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9076431B2 (en) 2011-06-03 2015-07-07 Cirrus Logic, Inc. Filter architecture for an adaptive noise canceler in a personal audio device
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US8848936B2 (en) 2011-06-03 2014-09-30 Cirrus Logic, Inc. Speaker damage prevention in adaptive noise-canceling personal audio devices
US9325821B1 (en) * 2011-09-30 2016-04-26 Cirrus Logic, Inc. Sidetone management in an adaptive noise canceling (ANC) system including secondary path modeling
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9142205B2 (en) 2012-04-26 2015-09-22 Cirrus Logic, Inc. Leakage-modeling adaptive noise canceling for earspeakers
US9014387B2 (en) 2012-04-26 2015-04-21 Cirrus Logic, Inc. Coordinated control of adaptive noise cancellation (ANC) among earspeaker channels
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9076427B2 (en) 2012-05-10 2015-07-07 Cirrus Logic, Inc. Error-signal content controlled adaptation of secondary and leakage path models in noise-canceling personal audio devices
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9082387B2 (en) 2012-05-10 2015-07-14 Cirrus Logic, Inc. Noise burst adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9319781B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Frequency and direction-dependent ambient sound handling in personal audio devices having adaptive noise cancellation (ANC)
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US20130304476A1 (en) 2012-05-11 2013-11-14 Qualcomm Incorporated Audio User Interaction Recognition and Context Refinement
US9497544B2 (en) 2012-07-02 2016-11-15 Qualcomm Incorporated Systems and methods for surround sound echo reduction
USD732555S1 (en) * 2012-07-19 2015-06-23 D2L Corporation Display screen with graphical user interface
USD733167S1 (en) * 2012-07-20 2015-06-30 D2L Corporation Display screen with graphical user interface
US9264524B2 (en) 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
WO2014022280A1 (en) * 2012-08-03 2014-02-06 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
KR20140029931A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 스피커에서 출력되는 음성을 소멸시켜 에코 발생을 차단하는 전자 장치 및 방법
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
KR101978688B1 (ko) * 2012-10-22 2019-05-15 삼성전자주식회사 마이크로폰 장치를 갖는 전자 장치 및 그 운용 방법
WO2014087195A1 (en) * 2012-12-05 2014-06-12 Nokia Corporation Orientation Based Microphone Selection Apparatus
TWI471788B (zh) * 2012-12-14 2015-02-01 Egalax Empia Technology Inc 用於量測表面聲波觸控模塊的感應區尺寸的系統、處理裝置、與其量測方法
US9107010B2 (en) 2013-02-08 2015-08-11 Cirrus Logic, Inc. Ambient noise root mean square (RMS) detector
US9460732B2 (en) 2013-02-13 2016-10-04 Analog Devices, Inc. Signal source separation
US9535858B2 (en) * 2013-03-07 2017-01-03 Mediatek Inc. Signal processing system and associated method
US9369798B1 (en) 2013-03-12 2016-06-14 Cirrus Logic, Inc. Internal dynamic range control in an adaptive noise cancellation (ANC) system
US9106989B2 (en) 2013-03-13 2015-08-11 Cirrus Logic, Inc. Adaptive-noise canceling (ANC) effectiveness estimation and correction in a personal audio device
US9215749B2 (en) 2013-03-14 2015-12-15 Cirrus Logic, Inc. Reducing an acoustic intensity vector with adaptive noise cancellation with two error microphones
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9635480B2 (en) 2013-03-15 2017-04-25 Cirrus Logic, Inc. Speaker impedance monitoring
US9502020B1 (en) 2013-03-15 2016-11-22 Cirrus Logic, Inc. Robust adaptive noise canceling (ANC) in a personal audio device
US9208771B2 (en) 2013-03-15 2015-12-08 Cirrus Logic, Inc. Ambient noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US9467776B2 (en) 2013-03-15 2016-10-11 Cirrus Logic, Inc. Monitoring of speaker impedance to detect pressure applied between mobile device and ear
CN103227863A (zh) * 2013-04-05 2013-07-31 瑞声科技(南京)有限公司 自动切换通话方向***、方法及应用该***的移动终端
US10206032B2 (en) 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9066176B2 (en) 2013-04-15 2015-06-23 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation including dynamic bias of coefficients of an adaptive noise cancellation system
US9462376B2 (en) 2013-04-16 2016-10-04 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9460701B2 (en) 2013-04-17 2016-10-04 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by biasing anti-noise level
US9478210B2 (en) 2013-04-17 2016-10-25 Cirrus Logic, Inc. Systems and methods for hybrid adaptive noise cancellation
US9578432B1 (en) 2013-04-24 2017-02-21 Cirrus Logic, Inc. Metric and tool to evaluate secondary path design in adaptive noise cancellation systems
KR102172718B1 (ko) 2013-04-29 2020-11-02 유니버시티 오브 서레이 음원 분리를 위한 마이크로폰 어레이
CN104142791A (zh) * 2013-05-09 2014-11-12 腾讯科技(深圳)有限公司 资源更换方法、装置及终端
EP3004921B1 (en) * 2013-05-30 2019-08-07 Intel IP Corporation Device, system and method of determining whether a mobile device is located in an indoor location or an outdoor location
US9264808B2 (en) 2013-06-14 2016-02-16 Cirrus Logic, Inc. Systems and methods for detection and cancellation of narrow-band noise
EP2819430A1 (en) * 2013-06-27 2014-12-31 Speech Processing Solutions GmbH Handheld mobile recording device with microphone characteristic selection means
DE112014003443B4 (de) * 2013-07-26 2016-12-29 Analog Devices, Inc. Mikrophonkalibrierung
US9392364B1 (en) 2013-08-15 2016-07-12 Cirrus Logic, Inc. Virtual microphone for adaptive noise cancellation in personal audio devices
KR20150024650A (ko) * 2013-08-27 2015-03-09 삼성전자주식회사 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치
JP6030032B2 (ja) * 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム
CN104427049A (zh) * 2013-08-30 2015-03-18 深圳富泰宏精密工业有限公司 便携式电子装置
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US10132626B2 (en) * 2013-09-18 2018-11-20 Infineon Technologies Ag Adaptive distance estimation
US9420368B2 (en) 2013-09-24 2016-08-16 Analog Devices, Inc. Time-frequency directional processing of audio signals
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
US9392353B2 (en) * 2013-10-18 2016-07-12 Plantronics, Inc. Headset interview mode
US9888317B2 (en) * 2013-10-22 2018-02-06 Nokia Technologies Oy Audio capture with multiple microphones
US10146299B2 (en) 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US9704472B2 (en) 2013-12-10 2017-07-11 Cirrus Logic, Inc. Systems and methods for sharing secondary path information between audio channels in an adaptive noise cancellation system
US10382864B2 (en) 2013-12-10 2019-08-13 Cirrus Logic, Inc. Systems and methods for providing adaptive playback equalization in an audio device
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
DE112015000640T5 (de) * 2014-02-04 2017-02-09 Tp Vision Holding B.V. Handgerät mit Mikrofon
US9282399B2 (en) * 2014-02-26 2016-03-08 Qualcomm Incorporated Listen to people you recognize
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
US9369557B2 (en) 2014-03-05 2016-06-14 Cirrus Logic, Inc. Frequency-dependent sidetone calibration
US9479860B2 (en) 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
US9648410B1 (en) 2014-03-12 2017-05-09 Cirrus Logic, Inc. Control of audio output of headphone earbuds based on the environment around the headphone earbuds
CN103957440B (zh) * 2014-04-01 2017-09-29 京东方科技集团股份有限公司 一种信号处理设备及其方法、显示***
US9319784B2 (en) 2014-04-14 2016-04-19 Cirrus Logic, Inc. Frequency-shaped noise-based adaptation of secondary path adaptive response in noise-canceling personal audio devices
US10540979B2 (en) 2014-04-17 2020-01-21 Qualcomm Incorporated User interface for secure access to a device using speaker verification
US9609416B2 (en) 2014-06-09 2017-03-28 Cirrus Logic, Inc. Headphone responsive to optical signaling
US10181315B2 (en) 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US20150363157A1 (en) * 2014-06-17 2015-12-17 Htc Corporation Electrical device and associated operating method for displaying user interface related to a sound track
US10073607B2 (en) 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
JP6460676B2 (ja) * 2014-08-05 2019-01-30 キヤノン株式会社 信号処理装置および信号処理方法
CN105451151B (zh) * 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
KR102262853B1 (ko) 2014-09-01 2021-06-10 삼성전자주식회사 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
US20160084937A1 (en) * 2014-09-22 2016-03-24 Invensense Inc. Systems and methods for determining position information using acoustic sensing
US10009676B2 (en) * 2014-11-03 2018-06-26 Storz Endoskop Produktions Gmbh Voice control system with multiple microphone arrays
US10575117B2 (en) * 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
US9622013B2 (en) * 2014-12-08 2017-04-11 Harman International Industries, Inc. Directional sound modification
US9549254B2 (en) 2014-12-09 2017-01-17 Intel Corporation Method and system of acoustic signal mixing
KR102008745B1 (ko) * 2014-12-18 2019-08-09 후아웨이 테크놀러지 컴퍼니 리미티드 이동 디바이스들을 위한 서라운드 사운드 레코딩
US9552805B2 (en) 2014-12-19 2017-01-24 Cirrus Logic, Inc. Systems and methods for performance and stability control for feedback adaptive noise cancellation
US9712936B2 (en) * 2015-02-03 2017-07-18 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
CN107110963B (zh) * 2015-02-03 2021-03-19 深圳市大疆创新科技有限公司 用于利用声音检测飞行器位置和速度的***及方法
US9650039B2 (en) * 2015-03-20 2017-05-16 Ford Global Technologies, Llc Vehicle location accuracy
US9734845B1 (en) * 2015-06-26 2017-08-15 Amazon Technologies, Inc. Mitigating effects of electronic audio sources in expression detection
GB2540225A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio capture and mixing control
JP6964581B2 (ja) 2015-08-20 2021-11-10 シーラス ロジック インターナショナル セミコンダクター リミテッド 固定応答フィルタによって部分的に提供されるフィードバック応答を有するフィードバック適応雑音消去(anc)コントローラおよび方法
US9578415B1 (en) 2015-08-21 2017-02-21 Cirrus Logic, Inc. Hybrid adaptive noise cancellation system with filtered error microphone signal
US10244317B2 (en) 2015-09-22 2019-03-26 Samsung Electronics Co., Ltd. Beamforming array utilizing ring radiator loudspeakers and digital signal processing (DSP) optimization of a beamforming array
US9995647B2 (en) * 2015-09-30 2018-06-12 General Monitors, Inc. Ultrasonic gas leak location system and method
CN105223551B (zh) * 2015-10-12 2017-09-01 吉林大学 一种可穿戴的声源定位跟踪***及方法
US9595248B1 (en) * 2015-11-11 2017-03-14 Doug Classe Remotely operable bypass loop device and system
JPWO2017090311A1 (ja) * 2015-11-25 2018-09-06 ソニー株式会社 集音装置
US10075844B2 (en) * 2015-12-18 2018-09-11 Ppip Llc Enpoint security appliance/sensor platform
US10379534B2 (en) 2016-01-28 2019-08-13 Qualcomm Incorporated Drone flight control
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
US10398353B2 (en) 2016-02-19 2019-09-03 Covidien Lp Systems and methods for video-based monitoring of vital signs
US10013966B2 (en) 2016-03-15 2018-07-03 Cirrus Logic, Inc. Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
JP1622397S (ja) * 2016-04-19 2019-01-21 生体情報モニター機能付き電子計算機
JP1572569S (ja) * 2016-04-19 2020-03-09
CN105788607B (zh) * 2016-05-20 2020-01-03 中国科学技术大学 应用于双麦克风阵列的语音增强方法
USD813884S1 (en) * 2016-06-01 2018-03-27 Innovation 360 Group AB Display screen with graphical user interface
US11589181B1 (en) * 2016-06-07 2023-02-21 Philip Raymond Schaefer System and method for realistic rotation of stereo or binaural audio
US11032660B2 (en) * 2016-06-07 2021-06-08 Philip Schaefer System and method for realistic rotation of stereo or binaural audio
EP3267697A1 (en) * 2016-07-06 2018-01-10 Oticon A/s Direction of arrival estimation in miniature devices using a sound sensor array
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
DK3285500T3 (da) * 2016-08-05 2021-04-26 Oticon As Binauralt høresystem, der er konfigureret til at lokalisere en lydkilde
CN106896356B (zh) 2016-08-17 2019-11-19 阿里巴巴集团控股有限公司 确定距离变化的方法、位置提示方法及其装置和***
WO2018037643A1 (ja) * 2016-08-23 2018-03-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3297236A1 (en) * 2016-09-15 2018-03-21 Mitsubishi Electric R & D Centre Europe B.V. Efficient sparse channel estimation based on compressed sensing
US10444887B2 (en) 2016-09-20 2019-10-15 Cypress Semiconductor Corporation Force sensing
WO2018054467A1 (en) * 2016-09-22 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for estimating a direction of arrival and corresponding method
US10709422B2 (en) * 2016-10-27 2020-07-14 Clarius Mobile Health Corp. Systems and methods for controlling visualization of ultrasound image data
WO2018088450A1 (ja) * 2016-11-08 2018-05-17 ヤマハ株式会社 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
GB2556093A (en) 2016-11-18 2018-05-23 Nokia Technologies Oy Analysis of spatial metadata from multi-microphones having asymmetric geometry in devices
WO2018095545A1 (en) * 2016-11-28 2018-05-31 Huawei Technologies Duesseldorf Gmbh Apparatus and method for unwrapping phase differences
US11041952B2 (en) * 2016-12-27 2021-06-22 Texas Instruments Incorporated Phase-based ultrasonic ranging
US10771898B2 (en) * 2017-01-09 2020-09-08 Apple Inc. Locating wireless devices
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP6819368B2 (ja) * 2017-03-07 2021-01-27 株式会社リコー 装置、システム、方法およびプログラム
US11133011B2 (en) * 2017-03-13 2021-09-28 Mitsubishi Electric Research Laboratories, Inc. System and method for multichannel end-to-end speech recognition
US10481236B2 (en) * 2017-03-15 2019-11-19 Cypress Semiconductor Corporation Systems and methods for estimating angle of arrival in a wireless device
US11994604B2 (en) * 2017-03-15 2024-05-28 Cypress Semiconductor Corporation System and methods for improving secure phase-based positioning accuracy
JP6932981B2 (ja) * 2017-04-27 2021-09-08 セイコーエプソン株式会社 表示装置および表示装置の制御方法
CN108827260B (zh) * 2017-05-18 2019-05-28 金钱猫科技股份有限公司 通过画面定位的基于坐标变换的测量方法、***及装置
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
GB2563670A (en) 2017-06-23 2018-12-26 Nokia Technologies Oy Sound source distance estimation
GB201710085D0 (en) 2017-06-23 2017-08-09 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
GB201710093D0 (en) * 2017-06-23 2017-08-09 Nokia Technologies Oy Audio distance estimation for spatial audio processing
GB2578386B (en) 2017-06-27 2021-12-01 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
US10264186B2 (en) * 2017-06-30 2019-04-16 Microsoft Technology Licensing, Llc Dynamic control of camera resources in a device with multiple displays
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
CN107479029A (zh) * 2017-08-10 2017-12-15 中国计量大学 伞式水下声源检测装置及其校准与检测方法
EP3669356B1 (en) * 2017-08-17 2024-07-03 Cerence Operating Company Low complexity detection of voiced speech and pitch estimation
DE112017007800T5 (de) * 2017-09-07 2020-06-25 Mitsubishi Electric Corporation Störgeräuscheliminierungseinrichtung und Störgeräuscheliminierungsverfahren
US10609479B2 (en) * 2017-09-14 2020-03-31 Fujitsu Limited Device and method for determining a sound source direction
CN111133774B (zh) * 2017-09-26 2022-06-28 科利耳有限公司 声学点识别
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801661D0 (en) 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
WO2019094893A1 (en) 2017-11-13 2019-05-16 Covidien Lp Systems and methods for video-based monitoring of a patient
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
CN111565638B (zh) 2018-01-08 2023-08-15 柯惠有限合伙公司 用于基于视频的非接触式潮气容积监测的***和方法
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
CN108257605B (zh) * 2018-02-01 2021-05-04 Oppo广东移动通信有限公司 多通道录音方法、装置及电子设备
EP3534596B1 (en) * 2018-03-02 2022-10-26 Nokia Technologies Oy An apparatus and associated methods for telecommunications
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
CN108519576B (zh) * 2018-03-21 2021-07-20 华南理工大学 基于夹角可调非均匀线阵的水下波达方向估计方法与装置
GB2572368A (en) * 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
US11347801B2 (en) 2018-05-07 2022-05-31 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
EP3586332A1 (en) 2018-05-07 2020-01-01 Google LLC. Multi-modal interaction between users, automated assistants, and other computing services
US11200893B2 (en) * 2018-05-07 2021-12-14 Google Llc Multi-modal interaction between users, automated assistants, and other computing services
US10529356B2 (en) 2018-05-15 2020-01-07 Cirrus Logic, Inc. Detecting unwanted audio signal components by comparing signals processed with differing linearity
US10871543B2 (en) 2018-06-12 2020-12-22 Kaam Llc Direction of arrival estimation of acoustic-signals from acoustic source using sub-array selection
EP3582511A3 (en) * 2018-06-12 2020-03-18 Harman International Industries, Incorporated Directional sound modification
EP3806727A1 (en) 2018-06-15 2021-04-21 Covidien LP Systems and methods for video-based patient monitoring during surgery
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
US11012774B2 (en) * 2018-10-29 2021-05-18 Apple Inc. Spatially biased sound pickup for binaural video recording
US11394437B2 (en) * 2018-12-14 2022-07-19 Qualcomm Incorporated Beamforming codebook adaptation for flexible wireless devices
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
CN109709509B (zh) * 2018-12-24 2022-01-11 成都爱科特科技发展有限公司 一种信号方位趋势的判断方法
US10595129B1 (en) * 2018-12-26 2020-03-17 Motorola Solutions, Inc. Methods and apparatus for configuring multiple microphones in an electronic communication device
USD916890S1 (en) * 2018-12-31 2021-04-20 Andritz Inc. Display panel portion with a computer icon
KR102232045B1 (ko) 2019-01-08 2021-03-25 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
KR20200097101A (ko) 2019-02-07 2020-08-18 현대모비스 주식회사 차량용 레이더 장치 및 그 제어 방법
CN110082712B (zh) * 2019-03-14 2022-12-13 哈尔滨工程大学 一种声矢量圆阵相干目标方位估计方法
WO2020214701A1 (en) * 2019-04-17 2020-10-22 Prestacom Services Llc Sharing keys for a wireless accessory
US11023114B2 (en) * 2019-04-29 2021-06-01 Rohde & Schwarz Gmbh & Co. Kg Measurement apparatus and measurement method
CN110471026B (zh) * 2019-07-22 2021-08-24 西安电子科技大学 一种相位增强的米波雷达目标低仰角doa估计方法
KR20210032826A (ko) * 2019-09-17 2021-03-25 삼성전자주식회사 전자 장치 및 전자 장치의 정보 제공 방법
US20210092543A1 (en) * 2019-09-19 2021-03-25 Qualcomm Incorporated 3d sound orientation adaptability
US20220412835A1 (en) 2019-10-01 2022-12-29 Prosaris Solutions Ultrasonic detector
TW202123220A (zh) 2019-10-30 2021-06-16 美商杜拜研究特許公司 使用方向性元資料之多通道音頻編碼及解碼
CN110954866B (zh) * 2019-11-22 2022-04-22 达闼机器人有限公司 声源定位方法、电子设备及存储介质
KR20210068953A (ko) * 2019-12-02 2021-06-10 삼성전자주식회사 전자 장치 및 그 제어 방법
US10951981B1 (en) * 2019-12-17 2021-03-16 Northwestern Polyteclmical University Linear differential microphone arrays based on geometric optimization
US11468904B2 (en) * 2019-12-18 2022-10-11 Audio Analytic Ltd Computer apparatus and method implementing sound detection with an image capture system
USD921655S1 (en) * 2020-01-13 2021-06-08 Stryker European Operations Limited Display screen with animated graphical user interface
CN113223544B (zh) * 2020-01-21 2024-04-02 珠海市煊扬科技有限公司 音频的方向定位侦测装置及方法以及音频处理***
IL272380B2 (en) * 2020-01-30 2023-08-01 Kramer Electronics Ltd Configurable microphone assembly
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
CN113284504A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 姿态检测方法、装置、电子设备及计算机可读存储介质
US11460531B2 (en) 2020-02-27 2022-10-04 The Boeing Company Systems and methods for enhanced direction of arrival detection and calculation
CN111398900B (zh) * 2020-03-09 2022-07-26 华南理工大学 基于事件驱动的传声器网络分布式滤波方法及***
CN111417054B (zh) * 2020-03-13 2021-07-20 北京声智科技有限公司 多音频数据通道阵列生成方法、装置、电子设备和存储介质
US11276388B2 (en) * 2020-03-31 2022-03-15 Nuvoton Technology Corporation Beamforming system based on delay distribution model using high frequency phase difference
US11335361B2 (en) * 2020-04-24 2022-05-17 Universal Electronics Inc. Method and apparatus for providing noise suppression to an intelligent personal assistant
US11796562B2 (en) * 2020-05-29 2023-10-24 Aivs Inc. Acoustic intensity sensor using a MEMS triaxial accelerometer and MEMS microphones
CN112269826B (zh) * 2020-08-25 2022-11-08 帝杰曼科技股份有限公司 一种基于大数据的可视化加工处理***及方法
US11889302B2 (en) 2020-08-28 2024-01-30 Apple Inc. Maintenance of wireless devices
US20220084525A1 (en) * 2020-09-17 2022-03-17 Zhejiang Tonghuashun Intelligent Technology Co., Ltd. Systems and methods for voice audio data processing
US11624803B2 (en) * 2020-10-21 2023-04-11 GM Global Technology Operations LLC System for detecting direction of a vehicle honk and determining location of honking vehicle
US11694692B2 (en) 2020-11-11 2023-07-04 Bank Of America Corporation Systems and methods for audio enhancement and conversion
US20220159374A1 (en) * 2020-11-18 2022-05-19 Shure Acquisition Holdings, Inc. Audio Devices Having Multiple States
CN112788482B (zh) * 2021-03-01 2021-07-30 北京电信易通信息技术股份有限公司 一种麦克风阵列定位与云台联动的方法、装置
NO346569B1 (en) 2021-03-08 2022-10-17 Elliptic Laboratories As Proximity detection for computers or screens
CN113365190B (zh) * 2021-06-08 2022-07-08 湖南普奇水环境研究院有限公司 一种测漏设备的抗干扰检测方法、电路及电子设备
EP4152321A1 (en) * 2021-09-16 2023-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for narrowband direction-of-arrival estimation
US11689841B2 (en) * 2021-09-29 2023-06-27 Microsoft Technology Licensing, Llc Earbud orientation-based beamforming
GB202204269D0 (en) * 2022-03-25 2022-05-11 Nokia Technologies Oy An apparatus for mapping sound source direction
CN118276812A (zh) * 2022-09-02 2024-07-02 荣耀终端有限公司 一种界面交互方法及电子设备

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982375A (en) 1989-11-13 1991-01-01 The United States Of America As Represented By The Secretary Of The Navy Acoustic intensity probe
JP3088174B2 (ja) 1992-02-06 2000-09-18 古野電気株式会社 水中探知装置
JPH05333988A (ja) 1992-05-30 1993-12-17 Ricoh Co Ltd 画像形成装置
JP3622094B2 (ja) 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
US5774562A (en) 1996-03-25 1998-06-30 Nippon Telegraph And Telephone Corp. Method and apparatus for dereverberation
JP4163294B2 (ja) 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
US6549219B2 (en) 1999-04-09 2003-04-15 International Business Machines Corporation Pie menu graphical user interface
US6850496B1 (en) 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
WO2002029432A1 (en) 2000-10-02 2002-04-11 Chubu Electric Power Co., Inc., Sound source probing system
DE10133126A1 (de) 2001-07-07 2003-01-16 Philips Corp Intellectual Pty Richtungssensitives Audioaufnahmesystem mit Anzeige von Aufnahmegebiet und/oder Störquelle
DE10320268B4 (de) 2002-05-31 2012-08-16 Heidelberger Druckmaschinen Ag Vorrichtung und Verfahren zum Auffinden und Darstellen von Informationen
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7898529B2 (en) 2003-01-08 2011-03-01 Autodesk, Inc. User interface having a placement and layout suitable for pen-based computers
US8849185B2 (en) 2003-04-15 2014-09-30 Ipventure, Inc. Hybrid audio delivery system and method therefor
US7668285B2 (en) 2004-02-16 2010-02-23 Kabushiki Kaisha Toshiba X-ray computed tomographic apparatus and image processing apparatus
US7774707B2 (en) 2004-12-01 2010-08-10 Creative Technology Ltd Method and apparatus for enabling a user to amend an audio file
US7983720B2 (en) 2004-12-22 2011-07-19 Broadcom Corporation Wireless telephone with adaptive microphone array
US8509703B2 (en) * 2004-12-22 2013-08-13 Broadcom Corporation Wireless telephone with multiple microphones and multiple description transmission
JP4539385B2 (ja) 2005-03-16 2010-09-08 カシオ計算機株式会社 撮像装置、撮像制御プログラム
US20070016875A1 (en) 2005-07-12 2007-01-18 International Business Machines Corporation Method and system for partial sizing adjacency constraint in a multi-pane window frame
US7788607B2 (en) 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
US20100226210A1 (en) 2005-12-13 2010-09-09 Kordis Thomas F Vigilante acoustic detection, location and response system
WO2007102805A1 (en) * 2006-03-06 2007-09-13 Razer Usa Ltd Enhanced 3d sound
KR100790177B1 (ko) 2006-04-28 2008-01-02 삼성전자주식회사 휴대단말기에서 이미지 디스플레이 방법 및 장치
US9646415B2 (en) 2006-05-16 2017-05-09 Underground Imaging Technologies, Inc. System and method for visualizing multiple-sensor subsurface imaging data
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP5070873B2 (ja) 2006-08-09 2012-11-14 富士通株式会社 音源方向推定装置、音源方向推定方法、及びコンピュータプログラム
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US20080101624A1 (en) * 2006-10-24 2008-05-01 Motorola, Inc. Speaker directionality for user interface enhancement
JP4823030B2 (ja) * 2006-11-27 2011-11-24 株式会社ソニー・コンピュータエンタテインメント 音声処理装置および音声処理方法
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US7626889B2 (en) 2007-04-06 2009-12-01 Microsoft Corporation Sensor array post-filter for tracking spatial distributions of signals and noise
US20080259731A1 (en) 2007-04-17 2008-10-23 Happonen Aki P Methods and apparatuses for user controlled beamforming
US8594338B2 (en) 2007-05-09 2013-11-26 Savox Communications Oy Ab (Ltd) Display apparatus
US8005237B2 (en) 2007-05-17 2011-08-23 Microsoft Corp. Sensor array beamformer post-processor
US8107321B2 (en) 2007-06-01 2012-01-31 Technische Universitat Graz And Forschungsholding Tu Graz Gmbh Joint position-pitch estimation of acoustic sources for their tracking and separation
US8144939B2 (en) 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
JP4500845B2 (ja) 2007-11-13 2010-07-14 シャープ株式会社 情報表示装置、情報表示方法、プログラム及び記録媒体
US20090149202A1 (en) 2007-12-07 2009-06-11 Christian Steele System and method for determination of position
JP2009246827A (ja) 2008-03-31 2009-10-22 Nippon Hoso Kyokai <Nhk> 音源及び仮想音源の位置特定装置、方法及びプログラム
US8971565B2 (en) 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
JP5195652B2 (ja) 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
GB2461315B (en) 2008-06-27 2011-09-14 Wolfson Microelectronics Plc Noise cancellation system
EP2159593B1 (en) 2008-08-26 2012-05-02 Nuance Communications, Inc. Method and device for locating a sound source
CN101350931B (zh) 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理***
CA2681778A1 (en) 2008-10-07 2010-04-07 Research In Motion Limited Multi-touch motion simulation using a non-touchscreen computer input device
US8724829B2 (en) * 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
US20100123785A1 (en) 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
KR101313218B1 (ko) 2008-12-08 2013-09-30 삼성메디슨 주식회사 휴대형 초음파 시스템
US7880668B1 (en) 2008-12-08 2011-02-01 Lockheed Martin Corproation Automated radar elevation angle configuration
US8369184B2 (en) 2009-01-26 2013-02-05 Shotspotter, Inc. Systems and methods with improved three-dimensional source location processing including constraint of location solutions to a two-dimensional plane
US8548176B2 (en) 2009-02-03 2013-10-01 Nokia Corporation Apparatus including microphone arrangements
US8620672B2 (en) 2009-06-09 2013-12-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US8171401B2 (en) 2009-06-19 2012-05-01 Microsoft Corporation Resizing an editable area in a web page
CN101592728B (zh) 2009-06-24 2011-08-24 南京大学 基于空气中声传感器阵列的水下低频声源定位方法
FR2948484B1 (fr) * 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9058314B2 (en) 2009-11-04 2015-06-16 International Business Machines Corporation Dynamic editing of data representations using cascading weights
EP2517486A1 (en) 2009-12-23 2012-10-31 Nokia Corp. An apparatus
US8385559B2 (en) 2009-12-30 2013-02-26 Robert Bosch Gmbh Adaptive digital noise canceller
EP2362381B1 (en) 2010-02-25 2019-12-18 Harman Becker Automotive Systems GmbH Active noise reduction system
US8988970B2 (en) 2010-03-12 2015-03-24 University Of Maryland Method and system for dereverberation of signals propagating in reverberative environments
JP2011191383A (ja) 2010-03-12 2011-09-29 Panasonic Corp 騒音低減装置
CA2735325C (en) 2010-03-25 2015-01-20 User Interface In Sweden Ab System and method for gesture detection and feedback
JP5575977B2 (ja) 2010-04-22 2014-08-20 クゥアルコム・インコーポレイテッド ボイスアクティビティ検出
US20110271186A1 (en) 2010-04-30 2011-11-03 John Colin Owens Visual audio mixing system and method thereof
US9053697B2 (en) 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US8515089B2 (en) 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
EP2395501B1 (en) 2010-06-14 2015-08-12 Harman Becker Automotive Systems GmbH Adaptive noise control
US8583428B2 (en) 2010-06-15 2013-11-12 Microsoft Corporation Sound source separation using spatial filtering and regularization phases
US20110317848A1 (en) 2010-06-23 2011-12-29 Motorola, Inc. Microphone Interference Detection Method and Apparatus
FR2962235A1 (fr) 2010-06-30 2012-01-06 France Telecom Dispositif et procede d'affichage d'informations dans un champ de vision
US9025782B2 (en) 2010-07-26 2015-05-05 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing
US8174934B2 (en) * 2010-07-28 2012-05-08 Empire Technology Development Llc Sound direction detection
US8812014B2 (en) 2010-08-30 2014-08-19 Qualcomm Incorporated Audio-based environment awareness
CN103081496B (zh) 2010-09-08 2016-12-07 瑞典爱立信有限公司 Iptv***的基于手势的控制
CA2849718A1 (en) 2010-09-21 2012-03-29 Cellepathy Ltd. System and method for sensor-based determination of user role, location, and/or state of one of more in-vehicle mobile devices and enforcement of usage thereof
US8861756B2 (en) 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US9100734B2 (en) 2010-10-22 2015-08-04 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation
US8898058B2 (en) 2010-10-25 2014-11-25 Qualcomm Incorporated Systems, methods, and apparatus for voice activity detection
US20120117470A1 (en) 2010-11-10 2012-05-10 Microsoft Corporation Learning Tool for a Ribbon-Shaped User Interface
US10726861B2 (en) 2010-11-15 2020-07-28 Microsoft Technology Licensing, Llc Semi-private communication in open environments
US8908877B2 (en) * 2010-12-03 2014-12-09 Cirrus Logic, Inc. Ear-coupling detection and adjustment of adaptive response in noise-canceling in personal audio devices
US8660978B2 (en) * 2010-12-17 2014-02-25 Microsoft Corporation Detecting and responding to unintentional contact with a computing device
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
JP2012150237A (ja) 2011-01-18 2012-08-09 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
US9354310B2 (en) 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
JP2012234150A (ja) * 2011-04-18 2012-11-29 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
US10154361B2 (en) 2011-12-22 2018-12-11 Nokia Technologies Oy Spatial audio processing apparatus
US10107887B2 (en) 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
US9069065B1 (en) 2012-06-27 2015-06-30 Rawles Llc Audio source localization
US9615176B2 (en) * 2012-12-28 2017-04-04 Nvidia Corporation Audio channel mapping in a portable electronic device
CN105073073B (zh) 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755941B (zh) * 2020-11-20 2022-02-21 英業達股份有限公司 階層式時間序列預測方法

Also Published As

Publication number Publication date
CN104246531B (zh) 2017-11-14
CN104272137A (zh) 2015-01-07
IN2014MN02195A (ja) 2015-09-11
WO2013155154A1 (en) 2013-10-17
US20130275077A1 (en) 2013-10-17
US9354295B2 (en) 2016-05-31
US10107887B2 (en) 2018-10-23
US20130275872A1 (en) 2013-10-17
EP2836852A1 (en) 2015-02-18
WO2013155251A1 (en) 2013-10-17
US10909988B2 (en) 2021-02-02
WO2013154792A1 (en) 2013-10-17
WO2013154790A1 (en) 2013-10-17
EP2836852B1 (en) 2020-07-29
US20190139552A1 (en) 2019-05-09
JP2015520884A (ja) 2015-07-23
US20130272539A1 (en) 2013-10-17
US20130272097A1 (en) 2013-10-17
CN104220896A (zh) 2014-12-17
US9857451B2 (en) 2018-01-02
US20130272538A1 (en) 2013-10-17
US20130275873A1 (en) 2013-10-17
US9360546B2 (en) 2016-06-07
WO2013154791A1 (en) 2013-10-17
WO2013155148A1 (en) 2013-10-17
CN104272137B (zh) 2017-05-24
IN2014MN02283A (ja) 2015-08-07
CN104246531A (zh) 2014-12-24
EP2836851A1 (en) 2015-02-18
CN104220896B (zh) 2017-04-05
EP2836996A1 (en) 2015-02-18
US9291697B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6400566B2 (ja) ユーザインターフェースを表示するためのシステムおよび方法
US9532140B2 (en) Listen to people you recognize
JP5038550B1 (ja) ロバストな雑音低減のためのマイクロフォンアレイサブセット選択
US9525938B2 (en) User voice location estimation for adjusting portable device beamforming settings
JP6193349B2 (ja) 音場のジェスチャー操作のためのシステム、方法、装置、およびコンピュータ可読媒体
JP5886304B2 (ja) 方向性高感度記録制御のためのシステム、方法、装置、及びコンピュータ可読媒体
EP2868117A1 (en) Systems and methods for surround sound echo reduction
JP2020500480A5 (ja)
CN117153180A (zh) 声音信号处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180905

R150 Certificate of patent or registration of utility model

Ref document number: 6400566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250