JP2021532357A - 音響データを分析及び表示するためのシステム及び方法 - Google Patents

音響データを分析及び表示するためのシステム及び方法 Download PDF

Info

Publication number
JP2021532357A
JP2021532357A JP2021504177A JP2021504177A JP2021532357A JP 2021532357 A JP2021532357 A JP 2021532357A JP 2021504177 A JP2021504177 A JP 2021504177A JP 2021504177 A JP2021504177 A JP 2021504177A JP 2021532357 A JP2021532357 A JP 2021532357A
Authority
JP
Japan
Prior art keywords
acoustic
display
image data
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021504177A
Other languages
English (en)
Other versions
JP7417587B2 (ja
Inventor
マイケル・ディー・スチュアート
ディレパ・プラバカール
スコット・エム・ツカマキ
ダーウィン・シー・ウィット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fluke Corp
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of JP2021532357A publication Critical patent/JP2021532357A/ja
Priority to JP2024000575A priority Critical patent/JP2024041847A/ja
Application granted granted Critical
Publication of JP7417587B2 publication Critical patent/JP7417587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10—Amplitude; Power
    • G01H3/12—Amplitude; Power by electric means
    • G01H3/125—Amplitude; Power by electric means for representing acoustic field distribution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/02—Gearings; Transmission mechanisms
    • G01M13/028—Acoustic or vibration analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G01M3/24—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point using infrasonic, sonic, or ultrasonic vibrations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/38—Investigating fluid-tightness of structures by using light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8086—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining other position line of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

あるシステムは、音響信号を受信するように構成された音響センサアレイと、電磁放射を受信するように構成された電磁撮像ツールと、ユーザインタフェースと、ディスプレイと、プロセッサを含む。プロセッサは、電磁撮像ツールから電磁データを受信するとともに、音響センサアレイから音響データを受信する。プロセッサは、受信した音響データに基づきシーンの音響画像データを生成し、組み合わされた音響画像データと電磁画像データからなるディスプレイ画像を生成し、ディスプレイにディスプレイ画像を提供する。プロセッサは、ユーザインタフェースから注釈入力を受信し、その受信した注釈入力に基づいてディスプレイ画像を更新することができる。プロセッサは、受信した音響信号に関連した一又はそれ以上の音響パラメータを決定し、音響信号に関連した臨界を決定するように構成され得る。ユーザは、決められた臨界情報又は他の決められた情報によりディスプレイ画像に注釈を付すことができる。

Description

関連出願の相互参照
本出願は、２０１８年７月２４日に出願された米国特許出願第６２／７０２，７１６号の優先権を主張し、ここにその内容全体が引用により組み入れられる。
現在入手可能な音響撮像装置は、様々なファクターに起因して各種の周波数感度制限を有する音響センサアレイ構成を含んでいる。例えば、ある音響撮像装置は、ほぼ２０Ｈｚとほぼ２０ｋＨｚの間の音響周波数範囲において反応するように設計されている。他の装置(例えば、超音波装置)は、ほぼ３８ｋＨｚとほぼ４５ｋＨｚの間の音響周波数範囲において反応するように設計されている。
しかしながら、２０Ｈｚから２０ｋＨｚの周波数範囲内で作動するように一般的に設計された音響撮像装置は、たとえば、ほぼ５０ｋＨｚまで若しくはそれ以上の高周波数を有効に検出又は撮像することができない。同様に、２０ｋＨｚから５０ｋＨｚの周波数範囲内で作動するように設計された音響装置又は超音波装置は、たとえば、２０ｋＨｚ若しくはそれ以下の低周波数を有効に検出及び／又は撮像することができない。このことは様々な理由のためである。例えば、低周波数(例えば、可聴周波数)用に最適化されたセンサアレイは、高周波数(例えば、超音波周波数)用に最適化されたセンサアレイが行うよりもはるかにかけ離れた個々のセンサを概して含んでいる。
ハードウェアの懸念に加えて、又は、それとは別に、音響撮像の異なる計算アルゴリズムと方法は、異なる周波数及び／又はターゲットへの異なる距離を有する音響信号により高い適性があることが多く、特に未経験のユーザにとって、これらなしで音響的にシーンをもっともよく画像化する方法を決めることは難しい。
異なる音響周波数範囲を撮像する場合のこのような不一致は、異なる周波数及び波長の音波の空気中の伝搬の背後の物理現象にある程度起因している。ある複数のアレイ配向とアレイサイズと計算方法は、一般に、異なる周波数(例えば、可聴周波数や超音波周波数など)特性を有する音響信号により高い適性がある。
同様に、異なるアレイ特性及び／又は計算方法は、ターゲットへの異なる距離にある音響シーンにとってより高い適性がありうる。例えば、非常に近い距離においてターゲットに向けた近接場音響ホログラフィやより遠い距離においてターゲットに向けた各種音響ビーム形成方法です。
したがって、(例えば、音響撮像用の)音響アレイを用いた音響点検は、例えば、異なる周波数範囲を有する音響信号の分析のために広範な装備と、音響分析を行うためにいつ異なるハードウェアと計算技術が適切となるのかを理解する専門的技術を必要とすることがある。このことは、音響点検に時間とコストを強度にかけることとなり、そのような点検をするために専門家を必要とすることがある。
例えば、ユーザは、音響分析をするために手動で各種のハードウェア及び／又はソフトウェアを選択することを余儀なくされることがある。しかしながら、経験のない分析者は、与えられた分析及び／又は音響シーンにとってハードウェアとソフトウェアの好適な組み合わせを知ることは不可能である場合がある。その上、シーン内から目標の音を分離することは、特に煩雑なシーンにおいては、それ自体難題を提供することであり、経験のないユーザにとってつまらないいらいらを示すことになるかもしれない。例えば、特に雑音環境の下で、所定の音響シーンは、目標の音響信号を不明瞭にするいくつもの周波数や強度や他の特性を含む音響信号を含んでいることがある。
従来のシステムは、目標の音を分析するために点検に先立ち、ユーザに目標の各種の音響パラメータを手動で特定することをたびたび要求していた。しかし、経験のないユーザは、目標の各種の音をもっともよく分離及び／又は特定する方法を知らないことがある。
その上、複数の撮像技術(例えば、可視光撮像技術、赤外線撮像技術、紫外線撮像技術、可聴撮像技術若しくは他の撮像技術)が同じ対象又はシーンを点検しているときに協調して使用されている場合、異なる撮像技術を実施するために用いられるツールの物理的な配置及び又は他のセッテング(例えば、フォーカス位置)は分析に強い影響を与えることがある。例えば、各撮像装置の異なる位置及び／又はフォーカス位置は、結果的に視差となり、結果として生じる画像はずれて並置されることがある。このことは、シーン内の目標の領域及び／又は問題領域、ドキュメンテーションエラー、問題の誤診を適切に突き止めることを結果的にできなくしてしまうことがある。例えば、音響画像データに関して、音響画像データが他の撮像技術(例えば、可視光画像データ及び／又は赤外線画像データ)から画像データに関してずれている場合には、目標の音響信号の位置又は音源を特定することは難しいことがある。
既存の超音波試験及び点検ツールは、受信中のセンサに音を収束させるときに役立たせるために、パラボラディッシュを使用するか若しくはそれを使用しないで、超音波センサを用いている。特定周波数の音が検出された時、装置のディスプレイ上で、それは上昇若しくは降下する数値として、若しくは、周波数又はデシベルレベルグラフ上で一般に表示される。このことは、多くのユーザにとって、非常に紛らわしく且つ非直感的でありうる。ライブシーンの画像又は音の視覚化は利用できない。
特定の音を分離し、その場所を突き止め、分析することは、冗長なプロセスであり、多くのエンドユーザにとって困惑させられることがある。装置と人間の間の複雑で非直感的なインタフェースが装置の有効利用にとって障害となることがあり、装置上で基本的な機能を操作するためにですら追加のトレーニングを必要とすることがある。
上等な音響撮像装置は、シーンの静止又はライブ可視画像と統合した音の偽色視覚化表現を生成する可能性を有する。それら装置においてすら、選択及び調整制御は、音の適切な視覚化にとって重要である。しかしながら、伝統的な制御は、高度に訓練された音響技術者と専門家による利用のために発展されてきた。これらの制御は、平均的なユーザにとっては、非直感的であることが多く、結果的に適切な選択及び視覚化パラメータ制御にいくばくかの混乱を生じることがあった。低レベルの訓練を受けた人によるこれらの制御の利用は取り扱いにくいことがあり、パラメータ選択の誤りへとつながり、究極的には劣化した音響視覚化へとなる。
その上、適切な分析報告活動をするためには、この方法とともに追加のコンテキスト情報を必要とされることが多い。一般的に従来の超音波試験装置若しくは音響イマージャーによって点検されているシーンについての追加のコンテキスト情報を収集したい技術者は、別のカメラ又は装置により写真を撮り、及び／又は、記述された注釈又はＰC、タブレット、スマートホン若しくは他のモバイル装置のような別の装置に記録された注釈とともに記録しなければならない。そして、これらの２次的な注釈は、超音波ツール若しくは音響イマ―ジャーからのデータと手動で同期又は一致されねばならない。このことは、かなり多くの時間がかかり、適正なデータと対応する２次的コンテキスト情報を整合するときに誤りがちになりうる。
本開示のある面は、音響分析システムに向けられている。システムは、複数の音響センサ要素からなる音響センサアレイであって、各音響センサ要素が音響シーンから音響信号を受信するとともに受信した音響信号に基づき音響データを出力するように構成されている音響センサアレイを含むことがある。
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を示す電磁画像データを出力するように構成された電磁撮像ツールを含むことがある。電磁撮像ツールは、可視光スペクトラム及び／又は近接赤外光スペクトラムを含む範囲のような波長範囲から電磁放射を検出するように構成されていることがある。あるシステムにおいては、電磁撮像システムは、可視光カメラモジュール及び／又は赤外線カメラモジュールを具備しうる。
システムは、ユーザインタフェースと、ディスプレイと、プロセッサを含んでいることがある。プロセッサは、音響センサアレイと、電磁撮像ツールと、ユーザインタフェースと、ディスプレイと通信可能である。
あるシステムにおいては、プロセッサは、電磁撮像ツールから電磁データを受信し、音響センサアレイからの音響データを受信するように構成されることがある。プロセッサは、また受信した音響データに基づいてシーンの音響画像データを生成し、組み合わされた音響画像データと電磁画像データからなるディスプレイ画像を生成し、ディスプレイにディスプレイ画像を提供することもある。ある実施の形態においては、プロセッサは、ユーザインタフェースから注釈入力を受信し、受信した注釈入力に基づいてディスプレイ上のディスプレイ画像を更新することがある。注釈入力は、タッチスクリーンを介して受信されたフリースタイル注釈、アイコンの選択又は予め定義された形状、及び／又は英数字入力からなることがある。
あるシステムにおいては、プロセッサは、受信した音響信号に関連した一又はそれ以上の音響パラメータを決定し、例えば、一又はそれ以上の音響パラメータと一又はそれ以上の所定の閾値の比較に基づいて音響信号に関連した臨界を決定するように構成されている。ある実施の形態においては、プロセッサは、決定された臨界に基づいてディスプレイを更新することができる。ユーザは、決定された臨界情報により画像に注釈付けを行うことができる。ユーザは、同様に、ターゲットへの距離値のような決められた情報により画像に注釈付けを行うことができる。
一又はそれ以上の例の詳細が添付の図面と以下の明細書記述により明らかにされている。他の特徴や目的や効果は、明細書や図面や請求の範囲から明らかとなる。
図１Ａは、例示的な音響撮像装置の正面図および背面図を示す。 図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。
図２は、音響分析システムの一例の構成要素を示す機能ブロック図である。
図３Ａは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 図３Ｂは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。 図３Ｃは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。 図４Ｂは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
図５Ａは、可視光画像と音響画像との間の視差補正を示す。 図５Ｂは、可視光画像と音響画像との間の視差補正を示す。
図５Ｃは、図５Ａ及び図５Ｂの着色されたバージョンである。 図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。
図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
図８は、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを決定するための例示的なルックアップテーブルを示す。
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。
図９Ｃは、複数の前待って定義された周波数範囲での複数の組み合わされた音響及び可視光画像データを示す。
図１０Ａは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。 図１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
図１１Ａは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。 図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
図１２Ａは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。 図１２Ｂは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。 図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。
図１６は、非数値情報と英数字情報の両方を含む視覚化例を示す。
図１７は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
図１８は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
図１９は、異なる音響パラメータ値を表す異なるサイズと色のインジケータを示す例示的な視覚化を示す。
図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータを示す例示的な視覚化を示す。
図２１は、所定の条件を満たす音響信号を区別して示す、シーン内の複数の位置におけるインジケータを含むシーンを示す。
図２２は、シーン内で認識された音プロファイルを示す、ディスプレイ画像内に配置された複数のアイコンを含むディスプレイ画像を示す。
図２３は、各音響信号に関連して音響強度を表す、同心円と英数字情報を使用する複数のインジケータを介して音響データを示す別の例示的なディスプレイ画像を示す。
図２４は、表示された音響信号に関連するインジケータ及び追加の英数字情報を有する例示的なディスプレイ画像を示す。
図２５Ａは、ディスプレイ画像内のインジケータが選択されるディスプレイと、シーンに向かってレーザを放出するレーザポインタとを含むシステムを示す。
図２５Ｂは、図２５のシステムビューに示されるディスプレイを示す。
図２６は、音響画像データを表すグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
図２７は、音響画像データを表す同心円調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
図２８は、一又はそれ以上のフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するインジケータを含むディスプレイ画像を示す。
図２９は、一又はそれ以上のフィルタ条件を満たすシーン内の位置を示す同心円調色を有するインジケータを含むディスプレイ画像を示す。
図３０は、２つのインジケータを含むディスプレイ画像であって、それぞれのインジケータが異なるフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するディスプレイ画像を示す。
図３１は、ディスプレイ画像及び仮想キーボードを含むディスプレイインタフェースを示す。
図３２は、ユーザが着用してディスプレイ画像を表示することができるアイウェアに組み込まれたディスプレイを示す。
図３３Ａは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。 図３３Ｂは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。
図３４は、シーン内で特定された空気漏れの潜在的な臨界及び空気漏れに起因する潜在的な損出コストに関係する表示をユーザ又は技術者に提供をする例示的なディスプレイ画像を示す。
図３５は、ディスプレイ上のフリーフォーム注釈によりディスプレイ画像に注釈を付すユーザの一例を示す。
図３６は、命令と関連する位置情報を含む注釈付きのディスプレイ画像の一例を示す。
図３７は、ディスプレイ上のアイコン注釈によりディスプレイ画像に注釈を付すユーザの一例を示す。
図３８は、ディスプレイ上の形状注釈によりディスプレイ画像に注釈を付すユーザの一例を示す。
図３９は、ディスプレイ上の形状とアイコンの注釈を含む注釈付きディスプレイ画像の一例を示す。
図４０は、ディスプレイ画像と、該ディスプレイ画像の右手側の複数の周波数範囲を含むマルチパラメータデータ視覚化を含むインタフェースを示す。
図４１は、ディスプレイ画像と、該ディスプレイ画像の下縁に沿って配置された複数の周波数範囲を含む、周波数情報のマルチパラメータ表示を含むインタフェースを示す。
図４２は、複数の周波数帯域の周波数情報と、複数の周波数帯域のピーク値を含むディスプレイ画像を示す。
図４３は、複数の周波数の強度情報を示すマルチパラメータ表示を含むディスプレイ画像を示す。
図４４は、調色を施された組の周波数範囲を含むマルチパラメータ表示であって、各周波数範囲が分類分けされているデシベル範囲を調色が表している表示を示す。
図４５は、異なる周波数範囲を示すマルチパラメータ表示と、重大度に従って調色されたインジケータを含む例示のディスプレイ画像を示す。
図４６は、ディスプレイ画像のマルチパラメータ表示内の複数の周波数範囲のそれぞれにおける強度(ｄＢ表示)対時間の傾向を示す。
図１Ａ及び図１Ｂは、例示的な音響撮像装置の正面図及び背面図を示す。図１Ａは、音響センサアレイ１０４及び電磁撮像ツール１０６を支持する筐体１０２を有する音響撮像装置１００の前面を示す。ある実施形態では、音響センサアレイ１０４は、複数の音響センサ要素を含み、複数の音響センサ要素のそれぞれは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成されている。電磁撮像ツール１０６は、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成され得る。電磁撮像ツール１０６は、可視光、赤外線、紫外線などの複数の範囲の波長のうちの一又はそれ以上の電磁放射を検出するように構成され得る。
図示の例では、音響撮像装置１００は、周囲光センサ１０８と、ＧＰＳなどの位置センサ１１６とを含む。装置１００はレーザポインタ１１０を含み、これは、ある実施形態では、レーザ距離計を含む。装置１００は、シーンに向けて可視光放射を放出するように構成され得るトーチ１１２と、シーンに向けて赤外線放射を放出するように構成され得る赤外線照射器１１８とを含む。ある例では、装置１００は、任意の範囲の波長にわたってシーンを照射するための照射器を含むことがある。装置１００は、生成された画像を着色画像などのシーンに投影するように構成できる画像リプロジェクタなどのプロジェクタ１１４、及び／又は、例えば、シーンの深度プロファイルを判定するために、一連のドットをシーンに投影するように構成されたドットプロジェクタをさらに含む。
図１Ｂは、音響撮像装置１００の裏側を示す。図示されたように、装置は、画像又は他のデータを表示することができるディスプレイ１２０を含む。ある例では、ディスプレイ１２０は、タッチスクリーンディスプレイを含む。音響撮像装置１００は、音声フィードバック信号をユーザに提供することができるスピーカと、音響撮像装置１００と外部装置との間の無線通信を可能にすることができる無線インタフェース１２４とを含む。装置は、ユーザが音響撮像装置１００と接続することを可能にするために、一又はそれ以上のボタン、ノブ、ダイヤル、スイッチ、又は他のインタフェース構成要素を含むことができる制御１２６をさらに含む。ある例では、制御１２６とタッチスクリーンディスプレイが組み合わさって、音響撮像装置１００のユーザインタフェースを提供する。
様々な実施形態では、音響撮像装置は、図１Ａ及び図１Ｂの実施形態に示されるすべての要素を含む必要はない。図示された一又はそれ以上の構成要素は、音響撮像装置から除外することができる。ある例では、図１Ａ及び図１Ｂの実施形態に示された一又はそれ以上の構成要素は、音響撮像システムの一部として含まれ得るが、筐体１０２とは別個に含まれ得る。そのような構成要素は、例えば、無線インタフェース１２４を使用して、有線又は無線通信技術を介して音響撮像システムの他の構成要素と通信することができる。
図２は、音響分析システム２００の一例の構成要素を示す機能ブロック図である。図２の例示的な音響分析システム２００は、音響センサアレイ２０２内に配置されたマイクロフォン、ＭＥＭＳ、トランスデューサなどの複数の音響センサを含むことができる。このようなアレイは、１次元、２次元、又は３次元であり得る。様々な例において、音響センサアレイは、任意の適切なサイズ及び形状を定義することができる。ある例では、音響センサアレイ２０２は、例えば、垂直列及び水平行に配置されたセンサ要素のアレイなどのグリッドパターンに配置された複数の音響センサを含む。様々な例において、音響センサアレイ２０２は、例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６などの水平行×垂直列のアレイを含むことができる。他の例も可能であり、様々なセンサアレイに列と同じ数の行を含める必要はない。ある実施形態では、そのようなセンサは、例えば、プリント回路基板（ＰＣＢ）基板などの基板上に配置することがある。
図２に示される構成では、音響センサアレイ２０２と通信するプロセッサ２１２は、複数の音響センサのそれぞれから音響データを受信することができる。音響分析システム２００の例示的な動作中に、プロセッサ２１２は、音響センサアレイ２０２と通信して、音響画像データを生成することができる。例えば、プロセッサ２１２は、音響センサアレイに配置された複数の音響センサのそれぞれから受信したデータを分析し、音響信号を音響発生源に「バックプロパゲーション」することによって音響シーンを決定するように構成され得る。ある実施形態では、プロセッサ２１２は、２次元シーン全体にわたる音響信号の様々な発生源位置及び強度を特定することによって、音響画像データのデジタル「フレーム」を生成することができる。音響画像データのフレームを生成することによって、プロセッサ２１２は、実質的に所与の時点でのターゲットシーンの音響画像を取り込む。ある例では、フレームは、音響画像を構成する複数のピクセルを含み、各ピクセルは、音響信号がバックプロパゲーションされた発生源シーンの一部を表す。
プロセッサ２１２を含む音響分析システム２００内でプロセッサとして説明される構成要素は、一又はそれ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジック回路等の、単独若しくは任意に適切に組み合わされた、一又はそれ以上のプロセッサとして実装され得る。プロセッサ２１２は、また、プロセッサ２１２によって実行されると、音響分析システム２００及びプロセッサ２１２をして本開示においてそれらに起因する機能を実行させるプログラム命令及び関連データを記憶するメモリを含むこともある。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク又はフロッピー磁気ディスク、ＥＥＰＲＯＭなどの固定又は取り外し可能な磁気、光学、又は電気媒体を含み得る。メモリは、また、メモリの更新又はメモリ容量の増加を提供するために使用され得る取り外し可能なメモリ部分を含み得る。リムーバブルメモリは、また、音響画像データを別のコンピューティング装置に容易に転送し得ること、若しくは、音響分析システム２００が別の用途で使用される前に音響画像データを除去し得ることを可能にする。プロセッサ２１２は、また、コンピュータ又は他の電子システムの一部又はすべての構成要素を単一のチップに統合するシステムオンチップとして実装されることもある。プロセッサ２１２（処理回路）は、処理されたデータをディスプレイ２１４又は他の出力／制御装置２１８に通信するように構成され得る。
ある実施形態では、音響センサアレイ２０２内の音響センサは、各音響センサによって受信された音響信号に対応する一連の信号を生成して、音響画像を表す。音響画像データの「フレーム」は、音響センサアレイ２０２を構成するすべての行をスキャンすることによって各音響センサからの信号が取得されるときに生成される。ある例では、プロセッサ２１２は、音響画像データのビデオ表現（例えば、３０Ｈｚ、又は６０Ｈｚ）を生成するのに十分な速度で音響画像フレームを取得することができる。特定の回路とは独立して、音響分析システム２００は、ターゲットシーンの音プロファイルを表す音響データを操作して、ユーザによって表示、保存、送信、又は他の方法で利用できる出力を提供するように構成され得る。
ある実施形態では、音響画像データを生成するための受信音響信号の「バックプロパゲーション」は、例えばプロセッサを介して、音響センサアレイ２０２内の複数の音響センサで受信信号を分析することを含む。様々な例において、バックプロパゲーションの実行は、ターゲットまでの距離、周波数、音の強度（例えば、ｄＢレベル）例えば、一又はそれ以上のアレイ内の個々のセンサの間隔及び配置を含むセンサアレイの寸法／構成を含む、一又はそれ以上のパラメータの関数である。ある実施形態では、そのようなパラメータは、システムに、例えば、メモリ内に事前にプログラムされることがある。例えば、音響センサアレイ２０２の特性は、内部メモリ又は特に音響センサアレイ２０２に関連するメモリなどのメモリに記憶することができる。ターゲットまでの距離などの他のパラメータは、様々な方法で受信することができる。例えば、ある例では、音響分析システム２００は、プロセッサ２１２と通信する距離測定ツール２０４を含む。距離測定ツールは、距離測定ツール２０４からターゲットシーン内の特定の位置までの距離を表す距離情報を提供するように構成され得る。様々な距離測定ツールは、レーザ距離計又は他の光学的又は音声的距離測定装置などの他の既知の距離測定装置を含むことがある。追加的又は代替的に、距離測定ツールは、ターゲットシーンの各部分が関連するターゲットまでの距離値を有するような３次元深度データを生成するように構成され得る。したがって、ある例では、本明細書で使用されるターゲットまでの距離測定は、ターゲットシーン内の各位置までの距離に対応することができる。そのような３次元深度データは、例えば、ターゲットシーンの異なるビューを有する複数の撮像ツールを介して、又は、他の既知の距離走査ツールを介して生成することができる。一般に、様々な実施形態では、距離測定ツールが使用され、レーザ距離測定、アクティブ音波距離測定、パッシブ超音波距離測定、ＬＩＤＡＲ距離測定、ＲＡＤＡＲ距離測定、ミリ波距離測定などを含むがこれらに限定されない一又はそれ以上の距離測定機能を実行することができる。
距離測定ツール２０４からの距離情報は、バックプロパゲーション計算に使用することができる。その上若しくはそれとは別に、システム２００は、ユーザがターゲットまでの距離パラメータを手動で入力することができるユーザインタフェース２１６を含むことがある。例えば、ユーザは、音響信号を生成することが疑われる構成要素までの距離が既知であるか、又は距離測定ツール２０４で測定することが困難である場合に、システム２００にターゲットまでの距離値を入力し得る。
図示の実施形態では、音響分析システム２００は、ターゲットシーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。ある例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、及び紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、ある実施形態では、電磁タイミングツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された一又はそれ以上のカメラモジュールを含むことができる。
可視光カメラモジュールは一般的によく知られている。例えば、スマートフォンやその他の多くの装置には、様々な可視光カメラモジュールが含まれている。ある実施形態では、可視光カメラモジュール２０６は、ターゲットシーンから可視光エネルギーを受け取り、例えば、ディスプレイ２１４上に可視光画像の形態で表示されるか、及び／又は、メモリに保存されうる可視光エネルギーデータを生成するために、可視光エネルギーを可視光センサに集中するように構成され得る。可視光カメラモジュール２０６は、ここでモジュールに起因する機能を実行するための任意の適切な構成要素を含むことができる。図２の例では、可視光カメラモジュール２０６は、可視光レンズアセンブリ２０８及び可視光センサ２１０を含むものとして示されている。あるそのような実施形態では、可視光レンズアセンブリ２０８は、ターゲットシーンによって放出された可視光エネルギーを受け取り、可視光エネルギーを可視光センサ２１０に集中させる少なくとも１つのレンズを含む。可視光センサ２１０は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランシェフォトダイオードなどの複数の可視光センサ要素を含むことができる。可視光センサ２１０は、変換され、ディスプレイ２１４上に可視光画像として表示され得る電気信号を生成することによって、集中されたエネルギーに応答する。ある例では、可視光モジュール２０６は、ユーザによって構成可能であり、例えば、様々なフォーマットでディスプレイ２１４に出力を提供することができる。可視光カメラモジュール２０６は、照射若しくは他の動作条件の変更又はユーザの好みに対する補償機能を含み得る。可視光カメラモジュールは、画像データを含むデジタル出力を提供することができ、画像データは、様々なフォーマット（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）のデータを含み得る。
ある例示的な可視光カメラモジュール２０６の動作において、ターゲットシーンから受け取られた光エネルギーは、可視光レンズアセンブリ２０８を通過し、可視光センサ２１０に収束され得る。光エネルギーが可視光センサ２１０の可視光センサ要素に衝突すると、光検出器内の光子が放出され、検出電流に変換され得る。プロセッサ２１２は、この検出電流を処理して、ターゲットシーンの可視光画像を形成することができる。
音響分析システム２００の使用中、プロセッサ２１２は、可視光カメラモジュール２０６を制御して、可視光画像を作成するために、取り込まれたターゲットシーンから可視光データを生成することができる。可視光データは、取り込まれたターゲットシーンの異なる部分に関連する色（複数可）及び／又は取り込まれたターゲットシーンの異なる部分に関連する光の大きさを示す光度データを含み得る。プロセッサ２１２は、音響分析システム２００の各可視光センサ要素の応答を一回測定することによって、可視光画像データの「フレーム」を生成することができる。可視光データのフレームを生成することによって、プロセッサ２１２は、所与の時点でのターゲットシーンの可視光画像を取り込む。プロセッサ２１２は、また、音響分析システム２００の各可視光センサ要素の応答を繰り返し測定して、ターゲットシーンの動的可視光画像（例えば、動画表現）を生成し得る。ある例では、可視光カメラモジュール２０６は、可視光カメラモジュール２０６を動作させることができるそれ自体の専用プロセッサ又は他の回路（例えば、ＡＳＩＣ）を含み得る。あるそのような実施形態では、専用プロセッサは、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２１２に提供するためにプロセッサ２１２と通信する。擦れに代わる実施形態では、可視光カメラモジュール２０６用の専用プロセッサをプロセッサ２１２と統合されることがある。
可視光カメラモジュール２０６の各センサ要素がセンサピクセルとして機能することにより、プロセッサ２１２は、各センサ要素の電気的応答を、例えば、ディスプレイ２１４での視覚化及び／又はメモリへの保存のために、処理され得る時間多重化電気信号に変換することによって、ターゲットシーンからの可視光の２次元画像又はピクチャ表現を生成することができる。
プロセッサ２１２は、ディスプレイ２１４を制御して、取り込まれたターゲットシーンの可視光画像の少なくとも一部を表示するようにすることができる。ある例では、プロセッサ２１２はディスプレイ２１４を制御して、可視光カメラモジュール２０６の各センサ要素の電気的応答がディスプレイ２１４上の単一のピクセルに関連付けられる。他の例では、プロセッサ２１２は、可視光画像の解像度を増加又は減少させて、可視光カメラモジュール２０６内のセンサ要素よりも多く又は少ないピクセルがディスプレイ２１４に表示されるようにし得る。プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像全体（例えば、音響分析システム２００によって取り込まれたターゲットシーンのすべての部分）又は可視光画像全体よりも少なく（例えば、音響分析システム２００によって取り込まれたターゲットシーン全体より少ない部分）表示し得る。
ある実施形態では、プロセッサ２１２はディスプレイ２１４を制御して、音響分析システム２００によって取り込まれた可視光画像の少なくとも一部と、音響センサアレイ２０２を介して生成された音響画像の少なくとも一部とを同時に表示させることができる。そのような同時表示は、オペレータが可視光画像に表示された特徴を参照して、音響画像に同時に表示された音響信号の発生源を見るのを助け得るという点で有用であり得る。様々な例において、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を並べて、画像の一方が他方の画像を取り囲むピクチャ・イン・ピクチャ配置で、又は、可視光と音響画像が同時に表示されるその他の適切な配置で表示することがあり得る。
例えば、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を組み合わせた配置で表示することができる。そのような配置では、ターゲットシーンの一部を表す可視光画像内のピクセル又はピクセルのセットについて、ターゲットシーンの実質的に同じ部分を表す、音響画像内の対応するピクセル又はピクセルのセットが存在する。様々な実施形態において、音響画像及び可視光画像のサイズ及び／又は解像度は、同じである必要はない。したがって、音響画像又は可視光画像の一方の単一のピクセルに対応する音響画像又は可視光画像の他方のピクセルのセット、若しくは、異なるサイズのピクセルのセットが存在し得る。同様に、可視光画像又は音響画像の一方に、他方の画像のピクセルのセットに対応するピクセルが存在することがある。したがって、ここに使用されるように、対応関係は、１対１のピクセル関係であることを必要としないが、一致しないサイズのピクセル又はピクセルのグループを含み得る。画像の一方をアップサンプリング若しくはダウンサンプリングする、又は、ピクセルを対応するピクセルのセットの平均値と組み合わせるなど、画像の一致しないサイズの領域の様々な組み合わせ技術が行われ得る。他の例は既知であり、本開示の範囲内である。
したがって、対応するピクセルは直接１対１の関係を持つ必要はない。むしろ、ある実施形態では、単一の音響ピクセルが複数の対応する可視光ピクセルを有するか、又は、単一の可視光ピクセルが複数の対応する音響ピクセルを有する。その上又はそれとは別に、ある実施形態では、すべての可視光ピクセルが対応する音響ピクセルを有するわけではなく、又はその逆も成り立つ。そのような実施形態は、例えば、前述のようなピクチャ・イン・ピクチャタイプのディスプレイを示し得る。したがって、可視光ピクセルは、対応する音響ピクセルがそうであるように、可視光画像内で必ずしも同じピクセル座標を有するとは限らない。したがって、ここで使用される場合、対応するピクセルは、一般に、ターゲットシーンの実質的に同じ部分からの情報を含む任意の画像（例えば、可視光画像、音響画像、結合画像、ディスプレイ画像など）からのピクセルを指す。このようなピクセルは、画像間に１対１の関係を持つ必要はなく、それぞれの画像内で同様の座標位置を持つ必要もない。
同様に、対応するピクセル（すなわち、ターゲットシーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、あるそのような配置では、対応する可視光画像と音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と接して、ディスプレイ２１４に表示される画像の一方又は両方の透明性又は不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と接して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータにディスプレイ２１４を調整して、音響画像のみと可視光画像のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響画像のみの画像、可視光画像のみの画像を表示させることを可能にし得る。プロセッサ２１２は、また、シーン情報を、警報データなどの他のデータと組み合わせることも可能である。一般に、可視光画像と音響画像のアルファブレンドされた組み合わせは、２００％の音響と０％の可視光から０％の音響と２００％の可視光までのどこでも含むことができる。ある実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、ある実施形態では、ブレンドされた画像は、２００％の可視光と２００％の音響との間で調整することができる。
さらに、ある実施形態では、プロセッサ２１２は、ユーザインタフェース２１６、及び／又は出力／制御装置２１８からのコマンドを解釈及び実行することができる。さらに、入力信号が用いられて、プロセッサ２１２で発生する可視光及び／又は音響画像データの処理を変更し得る。
オペレータは、ボタン、キー、又はユーザからの入力を受信するための別の機構を含み得るユーザインタフェース２１６を介して、音響分析システム２００と対話し得る。オペレータは、ディスプレイ２１４を介して音響分析システム２００からの出力を受信し得る。ディスプレイ２１４は、任意の許容可能な調色又は配色で音響画像及び／又は可視光画像を表示するように構成されることがあり、調色は、例えば、ユーザ制御に応答して変化し得る。ある実施形態では、音響画像データは、シーン内の異なる位置からの様々な大きさの音響データを表すために調色に提示され得る。例えば、ある例では、ディスプレイ２１４は、グレースケールなどの単独の調色で音響画像を表示するように構成される。他の例では、ディスプレイ２１４は、例えば、琥珀色、アイアンボー（ironbow）、青赤、又は他の高コントラストの配色などのカラーパレットで音響画像を表示するように構成される。グレースケール表示とカラーパレット表示の組み合わせも考えられる。ある例では、そのような情報を表示するように構成されているディスプレイは、そのような画像データを生成及び提示するための処理能力を含み得る。他の例では、そのような情報を表示するように構成されることは、プロセッサ２１２などの他の構成要素から画像データを受信する機能を含み得る。例えば、プロセッサ２１２は、表示される各ピクセルの値（例えば、ＲＧＢ値、グレースケール値、又は他の表示オプション）を生成し得る。ディスプレイ２１４は、そのような情報を受信し、各ピクセルを視覚的表示にマッピングし得る。
プロセッサ２１２は、ディスプレイ２１４を制御して、音響画像の少なくとも一部と可視光画像の少なくとも一部を任意の適切な配置で同時に表示することができるが、ピクチャ・イン・ピクチャ配置は、同じシーンの対応する可視画像を隣接するアライメントで表示することにより、オペレータが容易に音響画像の焦点を合わせ、及び／又は解釈するのを助ける。
電源（図示せず）は、音響分析システム２００の様々な構成要素に動作電力を供給する。様々な例において、電源は、充電式又は非充電式電池及び発電回路、ＡＣ電源、誘導電力ピックアップ、光起電電源、又は任意の他の適切な電源構成を含み得る。充電式電池と、装置を動作させるため、及び／又は充電式電池を充電するための電力を提供するように構成された別の構成要素のような電力供給構成要素の組み合わせも可能である。
音響分析システム２００の動作中、プロセッサ２１２は、メモリに記憶されているプログラム情報に関連する命令の助けを借りて、音響センサアレイ２０２及び可視光カメラモジュール２０６を制御して、ターゲットシーンの可視光画像及び音響画像を生成させる。プロセッサ２１２は、さらに、ディスプレイ２１４を制御して、音響分析システム２００によって生成された可視光画像及び／又は音響画像を表示させる。
前述のように、状況によっては、音響画像内のターゲットシーンの実際の（目に見える）特徴を特定して区別することが難しいことがある。音響画像を可視光情報で補足することに加えて、ある実施形態では、ターゲットシーン内の可視輪郭を強調することが有用であり得る。ある実施形態では、既知の輪郭検出方法が、ターゲットシーンの可視光画像に対して実行することができる。音響画像と可視光画像との間の対応関係のために、ターゲットシーンの可視輪郭を表すと決定された可視光ピクセルは、音響画像の可視輪郭も表す音響ピクセルに対応する。ここで使用される「輪郭（ｅｄｇｅ）」は、物体の物理的境界を指す必要はないが、可視光画像の十分に鋭いグラデーションを指し得ることが理解されよう。例としては、物体の物理的な境界、物体内の色の変化、シーン全体の陰影などを含み得る。
可視光カメラモジュール２０６を含むものとして図２に関して一般的に説明されているが、ある例では、音響分析システム２００の電磁撮像ツール２０３は、様々なスペクトルを表す画像データを生成することができる撮像ツールをその上若しくはそれとは別に含むことができる。例えば、様々な例において、電磁撮像ツール２０３は、赤外線画像データ、可視光画像データ、紫外線画像データ、又は任意の他の有用な波長、若しくはそれらの組み合わせを生成することができる一又はそれ以上のツールを含むことができる。ある実施形態では、音響撮像システムは、赤外線レンズアセンブリと赤外線センサアレイを有する赤外線カメラモジュールを含むことができる。例えば、赤外線カメラモジュールとインタフェースするための追加の構成要素を含めることができ、例えば、２０１５年８月２７日に出願され、「熱視覚化可能に結合された画像とカメラのための輪郭強調（ＥＤＧＥ ＥＮＨＡＮＣＥＭＥＮＴ ＦＯＲ ＴＨＥＲＭＡＬ−ＶＩＳＩＢＬＥ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥＳ ＡＮＤ ＣＡＭＥＲＡＳ）」と題された米国特許出願第１４／８３７，７５７号に記載されているものなどであるが、これは本出願の譲受人に譲受され、参照によりその全体が組み込まれる。
ある例では、２つ以上のデータストリームが、表示のためにブレンドされることがある。例えば、可視光カメラモジュール２０６、音響センサアレイ２０２、及び赤外線カメラモジュール（図２には示されていない）を含む例示的なシステムは、可視光（ＶＬ）画像データ、赤外線（ＩＲ）画像データ、及び音響（Ａｃｏｕｓｔｉｃ）画像データのブレンドを含む出力画像を生成するように構成され得る。例示的なブレンド技術では、ディスプレイ画像は、α × ＩＲ ＋ β × ＶＬ ＋ γ×音響、ただしα＋β＋γ＝１である式によって表すことができる。一般に、任意の数のデータストリームが、表示のために組み合わされる。様々な実施形態において、α、β、及びγなどのブレンド比は、ユーザによって設定することができる。その上若しくはそれとは別に、設定された表示プログラムは、例えば、「レーザポインタを有する可視光及び赤外光結合画像カメラ（ＶＩＳＩＢＬＥ ＬＩＧＨＴ ＡＮＤ ＩＲ ＣＯＭＢＩＮＥＤ ＩＭＡＧＥ ＣＡＭＥＲＡ ＷＩＴＨ Ａ ＬＡＳＥＲ ＰＯＩＮＴＥＲ）」と題された米国特許第７，５３８，３２６号に記載された様な、警報条件（例えば、一又はそれ以上のデータストリーム内の一又はそれ以上の値が所定の閾値を満たす）又は他の条件に基づいて、異なる画像データストリームを含むように構成されることができ、このことは本出願の譲受人に譲受され、参照によりその全体が組み込まれる。
図２に関して説明された音響分析システム２００の一又はそれ以上の構成要素は、携帯型（例えば、手持ち式）音響分析ツールに含めることができる。例えば、ある実施形態では、携帯型音響分析ツールは、音響分析ツール内に構成要素を収容するように構成された筐体２３０を含むことができる。ある例では、システム２００の一又はそれ以上の構成要素は、音響分析ツールの筐体２３０の外部に配置することができる。例えば、ある実施形態では、プロセッサ２１２、ディスプレイ２１４、ユーザインタフェース２１６、及び／又は出力制御装置２１８は、音響分析ツールの筐体の外部に配置することができ、例えば無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ−Ｆｉなど）を介して様々な他のシステム構成要素と通信することができる。音響分析ツールの外部にあるそのような構成要素は、例えば、コンピュータ、スマートフォン、タブレット、ウェアラブル装置などの外部装置を介して提供することができる。その上若しくはそれとは別に、音響分析ツールに関してマスター又はスレーブ装置として機能するように構成された他の試験及び測定又はデータ収集ツールは、音響分析ツールの外部の音響分析システムの様々な構成要素を同様に提供することができる。外部装置は、有線及び／又は無線接続を介して携帯型音響分析ツールと通信でき、様々な処理、表示、及び／又はインタフェースのステップを実行するために使用できる。
ある実施形態では、そのような外部装置は、携帯型音響分析ツールに収容された構成要素として冗長機能を提供することができる。例えば、ある実施形態では、音響分析ツールは、音響画像データを表示するためのディスプレイを含むことができ、さらに、記憶及び／又は表示のために画像データを外部装置に通信するように構成され得る。同様に、ある実施形態では、音響分析ツール自体で実行することもできる一又はそれ以上の機能を実行するために、ユーザは、スマートフォン、タブレット、コンピュータなどで実行されているアプリケーション（「アプリ」）を介して音響分析ツールとインタフェースし得る。
図３Ａは、音響分析システム内の音響センサアレイの例示的な構成の概略図である。図示の例では、音響センサアレイ３０２は、複数の第１の音響センサ（白で示されている）及び複数の第２の音響センサ（陰影付き）を含む。第１の音響センサは、第１のアレイ３２０に配置され、第２の音響センサは、第２のアレイ３２２に配置される。ある例では、第１のアレイ３２０及び第２のアレイ３２２は、選択的に使用されて、音響画像データを生成するための音響信号を受信することができる。例えば、ある構成では、特定の音響周波数に対する特定の音響センサアレイの感度は、音響センサ要素間の距離の関数である。
ある構成では、より近接して間隔を置いたセンサ要素（例えば、第２のアレイ３２２）は、さらに間隔を置いたセンサ要素（例えば、第１のアレイ３２０）よりも高周波音響信号（例えば、２０ｋＨｚ〜１００ｋＨｚの超音波信号など、２０ｋＨｚを超える周波数を有する音）をよりよく分解することができる。同様に、より間隔の広いセンサ要素（例えば、第１のアレイ３２０）は、より間隔の狭いセンサ要素（例えば、第２のアレイ３２２）よりも、より低い周波数の音響信号（例えば、２０ｋＨｚ未満）を検出するのにより適し得る。超低周波数（２０Ｈｚ未満）、可聴周波数（約２０Ｈｚ〜２０ｋＨｚ）、超音波周波数（２０ｋＨｚ〜１００ｋＨｚ）などの様々な周波数範囲の音響信号を検出するために、センサ要素を互いに離して配置した様々な音響センサアレイが提供され得る。ある実施形態では、特定の周波数帯域の検出を最適化するために、部分アレイ（例えば、アレイ３２０以外のすべての音響センサ要素）が使用され得る。
さらに、ある例では、ある音響センサ要素は、低周波数又は高周波数などの異なる周波数特性を有する音響信号を検出するのにより適していることがある。したがって、ある実施形態では、例えば、さらに間隔を置いたセンサ要素を有する第１のアレイ３２０などの低周波数音響信号を検出するために構成されたアレイは、低周波数音響信号を検出するのにより適した第１の音響センサ要素を含み得る。同様に、第２のアレイ３２２などのより高い周波数の音響信号を検出するように構成されたアレイは、高周波音響信号を検出するのにより適した第２の音響センサ要素を含み得る。したがって、ある例では、音響センサ要素の第１のアレイ３２０及び第２のアレイ３２２は、異なるタイプの音響センサ要素を含み得る。あるいは、ある実施形態では、第１のアレイ３２０及び第２のアレイ３２２は、同じタイプの音響センサ要素を含むことができる。
したがって、例示的な実施形態では、音響センサアレイ３０２は、第１のアレイ３２０と第２のアレイ３２２などの複数の音響センサ要素アレイを含むことができる。ある実施形態では、アレイは、個別に又は組み合わせて使用することができる。例えば、ある例では、ユーザは、音響撮像手順を実行するために、第１のアレイ３２０を使用するか、第２のアレイ３２２を使用するか、又は、第１のアレイ３２０と第２のアレイ３２２の両方を同時に使用するかを選択し得る。ある例では、ユーザは、ユーザインタフェースを介してどのアレイ（複数可）を使用するかを選択し得る。その上若しくはそれ以外に、ある実施形態では、音響分析システムは、受信した音響信号の分析、又は、予想される周波数範囲などの他の入力データなどに基づいて、使用するアレイ（複数可）を自動的に選択し得る。図３Ａに示される構成は、概して、長方形の格子状に概ね配置された２つのアレイ（第１のアレイ３２０と第２のアレイ３２２）を含むが、複数の音響センサ要素が、任意の形状の任意の数の個別のアレイにグループ化できることが理解されよう。さらに、ある実施形態では、一又はそれ以上の音響センサ要素を、動作のために選択することができる複数の別個のアレイに含めることができる。本明細書の他の個所で説明するように、様々な実施形態では、シーンからの音響画像データを確立するために音響信号をバックプロパゲーションするプロセスは、音響センサ要素の配置に基づいて実行される。したがって、音響センサの配置は、音響画像生成技術を実行するために、プロセッサによって既知であるか、そうでなければアクセス可能であり得る。
図３Ａの音響分析システムは、音響センサアレイ３０２内に配置された距離測定ツール３０４とカメラモジュール３０６をさらに含んでいる。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表してみいいし、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含んでもよい。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプ若しくは異なるタイプの一又はそれ以上の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４及びカメラモジュール３０６は、第１のアレイ３２０と第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０と第２のアレイ３２２内の格子サイト間に配置されるように示されているが、ある実施形態では、一又はそれ以上の構成要素（例えば、カメラモジュール３０６及び／又は距離測定ツール３０４は、第１のアレイ３２０及び／又は第２のアレイ３２２内の対応する一又はそれ以上の格子サイトに配置することができる。あるそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
本明細書の他の個所で説明されているように、音響センサアレイは、様々な構成のいずれかに配置された音響センサ要素を含むことができる。図３Ｂ及び３Ｃは、例示的な音響センサアレイ構成を示す概略図である。図３Ｂは、ほぼ正方形の格子内に等間隔に配置された複数の音響センサ要素を含む音響センサアレイ３９０を示している。距離測定ツール３１４及びカメラアレイ３１６は、音響センサアレイ３９０内に配置されている。図示の例では、音響センサアレイ３９０内の音響センサ要素は同じタイプのセンサであるが、ある実施形態では、異なるタイプの音響センサ要素をアレイ３９０内で使用することができる。
図３Ｃは、複数の音響センサアレイを示している。音響センサアレイ３９２、３９４、及び３９６は、それぞれ、異なる形状のアレイに配置された複数の音響センサ要素を含んでいる。図３Ｃの例では、音響センサアレイ３９２、３９４、及び３９６を別々に又は一緒に任意の組み合わせで使用して、様々なサイズのセンサアレイを作成することができる。図示の実施形態では、アレイ３９６のセンサ要素は、アレイ３９２のセンサ要素よりも互いに接近して配置されている。ある例では、アレイ３９６は、高周波音響データを感知するように設計されており、アレイ３９２は、低周波数音響データを感知するように設計されている。
様々な実施形態では、アレイ３９２、３９４、及び３９６は、同じ又は異なるタイプの音響センサ要素を含むことができる。例えば、音響センサアレイ３９２は、音響センサアレイ３９６のセンサ要素の周波数動作範囲よりも低い周波数動作範囲を有するセンサ要素を含むことができる。
本明細書の他の個所で説明するように、ある例では、異なる音響センサアレイ（例えば、３９２、３９４、３９６）は、様々な動作モード（例えば、撮像される異なる所望の周波数スペクトル）中に選択的にターンオフ及びターンオンにすることができる。その上若しくはそれとは別に、様々な音響センサ要素（例えば、一又はそれ以上のセンサアレイ内の音響センサ要素の一部又はすべて）は、所望のシステム動作に従って有効化又は無効化されることが可能である。例えば、ある音響撮像プロセスでは、多数のセンサ要素（例えば、センサアレイ３９６内のように高密度に配置されたセンサ要素）からのデータは、音響画像データの解像度をわずかに改善するが、各センサ要素で受信したデータから音響画像データを抽出するには必要な処理の費用がかかる。すなわち、ある例では、（例えば、多数の音響センサ要素からの）多数の入力信号を処理するために必要な増加した処理負担（例えば、コスト、処理時間、電力消費などにおいて）は、追加のデータストリームによって提供される任意の追加の信号解像度と否定的に比較される。したがって、ある実施形態では、所望の音響撮像動作に応じて、一又はそれ以上の音響センサ要素からのデータを無効化又は無視することに価値があることがある。
図３Ａ及び３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、及び３９６内に配置された距離測定ツール３１４及びカメラアレイ３１６を含んでいる。ある例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を撮像するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、及び３９６内に同様に配置され得る。図３Ａ〜図２Ｃには、一又はそれ以上の音響センサアレイ内に配置されるように示されているが、距離測定ツール及び／又は一又はそれ以上の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。あるそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツール及び／又は一又はそれ以上の撮像ツールは、音響撮像ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、又は音響撮像ツールの筐体の外部に配置できる。
ある例では、音響センサアレイと、カメラモジュールなどの撮像ツールの一般的な不整合は、音響センサアレイ及び撮像ツールによって生成された対応する画像データの重ね合わせ不良につながることがある。図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。一般に、視差エラーは垂直、水平、又はその両方であることがある。図示の実施形態では、音響センサアレイ４２０と、可視光カメラモジュール４０６を含む撮像ツールである。可視光画像フレーム４４０は、可視光カメラモジュール４０６の視野４４１に従って取り込まれて示され、一方、音響画像フレーム４５０は、音響センサアレイ４２０の視野４５１に従って取り込まれているように示されている。
示されるように、可視光画像フレーム４４０と音響撮像フレーム４５０は、互いに整列されていない。ある実施形態では、プロセッサ（例えば、図２のプロセッサ２１２）は、可視光画像データと音響画像データを整列させるために、可視光画像フレーム４４０と音響画像フレーム４５０の一方又は両方を操作するように構成される。そのような操作は、一方の画像フレームを他方に対してシフトすることを含み得る。画像フレームが互いに対してシフトされる量は、例えば、可視光カメラモジュール４０６及び／又は音響センサアレイ４２０からのターゲットまでの距離を含む、様々な要因に基づいて決定することができる。そのような距離データは、例えば、距離測定ツール４０４を使用して、又は、ユーザインタフェース（例えば、２１６）を介して距離値を受信することによって決定することができる。
図４Ｂは、図４Ａのものと同様の概略図であるが、シーンの可視光画像を含んでいる。図４Ｂの例では、可視光画像４４２は、複数の電力線及び支持タワーのシーンを示している。音響画像４５２は、複数の位置４５４、４５６、４５８を含み、そのような位置はそこから来る高マグニチュード音響データを示している。図示されるように、可視光画像４４２と音響画像４５２は両方とも同時に表示される。しかしながら、両方の画像の観察は、可視光画像４４２の特定の構造と一致していないように見える位置４５８で少なくとも１つの音響画像極大値を示している。したがって、両方の画像を観察する人は、音響画像４５２と可視光画像４４２との間に重ね合わせ不良（例えば、視差エラー）があると結論付けることができる。
図５Ａ及び５Ｂは、可視光画像と音響画像との間の視差補正を示す。図５Ａは、図４Ｂと同様に、可視光画像５４２及び音響画像５５２を示す。音響画像５５２は、位置５５４、５５６、及び５５８における極大値を含む。見て分かるように、位置５５４と５５８での最大値は、可視光画像のいずれの構造とも一致していないように見える。図５Ｂの例では、可視光画像５４２と音響画像５５２は、互いに関して重ね合わされている。音響画像の位置５５４、５５６、及び５５８の極大値は、可視光画像５４２内の様々な位置と一致するように見える。
使用中、オペレータは、図５Ｂの表現を（例えば、ディスプレイ２１４を介して）見て、受信した音響信号の発生源である可能性が高い可視シーン５４２内のおおよその位置を決定し得る。このような信号は、シーン内の様々な構成要素の音響シグネチャに関する情報を決定するために、さらに処理することができる。様々な実施形態において、周波数コンテンツ、周期性、振幅などの音響パラメータは、音響画像内の様々な位置に関して分析することができる。そのようなパラメータを様々なシステム構成要素に関連付けることができるように可視光データにオーバレイする場合、音響画像データが使用されて、可視光画像内の物体の様々な特性（例えば、性能特性）を分析し得る。
図５Ｃ及び図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。図５Ａ及び図５Ｂに示され、図５Ｃ及び図５Ｄの着色された表現でより容易に見られるように、位置５５４、５５６、及び５５８は、色の円形グラデーションを示す。本明細書の他の個所で説明するように、音響画像データは調色技術に従って視覚的に表すことができ、音響画像データの各ピクセルは、対応する位置での音響強度に基づいて着色される。したがって、図５Ａ〜図５Ｄの例示的な表現では、位置５５４、５５６、５５８の円形グラデーションは、一般に、バックプロパゲーションされた受信音響信号に基づく撮像平面における音響強度のグラデーションを表している。
図４Ａ、図４Ｂ、図５Ａ〜図５Ｄの例示的な図は、音響画像データ及び可視光画像データに関して説明されているが、そのようなプロセスは、様々な電磁画像データを用いて同様に実行できることが理解されよう。例えば、本明細書の他の個所で説明するように、様々な実施形態において、様々なそのようなプロセスは、音響画像データと、一又はそれ以上の可視光画像データ、赤外線画像データ、紫外線画像データなどとの組み合わせを使用して実行することができる。
本明細書の他の個所で説明するように、ある実施形態では、音響画像を形成するための音響信号のバックプロパゲーションは、ターゲットまでの距離値に基づくことができる。すなわち、ある例では、バックプロパゲーション計算は、距離に基づくことができ、音響センサアレイからその距離に位置する２次元音響シーンを決定することを含むことができる。２次元撮像平面が与えられると、平面内の発生源から発する球形の音波は、一般に、断面が円形に見え、図５Ａ〜図５Ｂに示されるように、強度が半径方向に減衰する。
あるそのような例では、バックプロパゲーション計算で使用されるターゲットまでの距離に位置しないデータを表す音響シーンの部分は、シーンにおける一又はそれ以上の音の位置の不正確さなど、音響画像データにエラーをもたらす。このようなエラーは、音響画像が他の画像データ（例えば、可視光、赤外線、又は紫外線画像データなどの電磁画像データ）と同時に表示される場合（例えば、ブレンドされる、組み合わされるなどした場合）、音響画像データとその他の画像データとの間の視差エラーにつながることがある。したがって、ある実施形態では、（例えば、図５Ａ及び図５Ｂに示されるように）視差エラーを補正するためのある技術は、音響画像データを生成するためのバックプロパゲーション計算で使用されるターゲットまでの距離値を調整することを含む。
ある場合、システムは、第１のターゲットまでの距離値を使用してバックプロパゲーションプロセスを実行し、音響画像データと別のデータストリームが整列されない可能性がある図５Ａに示されるようなディスプレイ画像を表示するように構成されることがある。その後、音響分析システムは、バックプロパゲーションに使用されるターゲットまでの距離値を調整し、バックプロパゲーションを再度実行し、新しい音響画像データでディスプレイ画像を更新することができる。このプロセスは繰り返すことができ、ユーザがディスプレイ上で結果として得られるディスプレイ画像を観察しながら、音響分析システムが複数のターゲットまでの距離値を通じて反復する。ターゲットまでの距離値が変化するにつれて、ユーザは、図５Ａに示されるディスプレイ画像から図５Ｂに示されるディスプレイ画像への漸進的な遷移を観察し得る。あるそのような場合、ユーザは、音響画像データが電磁画像データなどの別のデータストリームに適切に重ね合わされたように見えるときを視覚的に観察し得る。ユーザは、音響画像データが適切に重ね合わされたように見えることを音響分析システムに通知して、最新のバックプロパゲーションを実行するために使用されたターゲットまでの距離値がほぼ正しいことをシステムに示すことがあり、その距離の値をターゲットまでの正しい距離としてメモリに保存し得る。同様に、ユーザは、音響画像データが適切に重ね合わされていることを確認するまで、更新されたバックプロパゲーションプロセスで新しい距離値を使用してディスプレイ画像が更新されるときに、ユーザはターゲットまでの距離値を手動で調整し得る。ユーザは、音響分析システムにおけるターゲットまでの現在の距離を、ターゲットまでの現在の距離として保存することを選択し得る。
ある例では、視差エラーを修正することは、他の画像データ（例えば、電磁画像データ）に対する音響画像データの位置を、ターゲットまでの距離データに基づいて所定の量及び所定の方向に調整することを含み得る。ある実施形態では、そのような調整は、音響信号を特定されたターゲットまでの距離にバックプロパゲーションすることによる音響画像データの生成とは無関係である。
ある実施形態では、音響画像データを生成し、音響画像データと他の画像データとの間の視差エラーを低減するために使用されることに加えて、ターゲットまでの距離値が他の決定のためにもちられることがある。例えば、ある例では、プロセッサ（例えば、２１２）は、参照により組み込まれる米国特許第７，５３８，３２６号に記載されているように、赤外線画像などの画像に焦点を合わせるか、又は、焦点を合わせる際にユーザを支援するために、ターゲットまでの距離値を使用することができる。そこに記載されているように、これは、可視光画像データと赤外線画像データとの間の視差エラーを補正するために同様に使用することができる。したがって、ある例では、距離値を使用して、音響画像データを、赤外線画像データや可視光画像データなどの電磁画像データに重ね合わせることができる。
本明細書の他の個所で説明するように、ある例では、距離測定ツール（例えば、２０４）は、音響画像データを生成及び重ね合わせるためにプロセッサ（例えば、２１２）によって使用できる距離情報を提供するように構成される。ある実施形態では、距離測定ツールは、距離が測定される位置でターゲットシーンに光を放出するように構成されたレーザ距離計を備える。あるそのような例では、レーザ距離計は可視スペクトル内の光を放出することができるため、ユーザは物理的シーンのレーザスポットを見て、距離計がシーンの所望の部分までの距離を測定していることを確認できる。その上若しくはそれとは別に、レーザ距離計は、一又はそれ以上の撮像構成要素（例えば、カメラモジュール）が高感度であるスペクトル内の光を放出するように構成される。したがって、分析ツールを介して（例えば、ディスプレイ２１４を介して）ターゲットシーンを見ているユーザは、シーン内のレーザスポットを観察して、レーザがターゲットシーン内の正しい位置までの距離を測定していることを確認し得る。ある例では、プロセッサ（例えば、２１２）は、現在の距離値に基づいて（例えば、レーザ距離計と音響センサアレイと間の既知の距離ベースの視差関係に基づいて）、レーザスポットが音響シーン内に配置される位置を表すディスプレイ画像内に参照マークを生成するように構成され得る。参照マークの位置は、（例えば、ディスプレイ上にグラフィカルに、及び／又はターゲットシーン内で物理的に）実際のレーザマークの位置と比較でき、参照マークとレーザが一致するまでシーンを調整できる。そのようなプロセスは、参照により組み込まれる米国特許第７，５３８，３２６号に記載されている赤外線重ね合わせ及び焦点技術と同様に実行することができる。
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。この方法は、音響センサアレイを介して音響信号を受信する工程（６８０）と、距離情報を受信する工程（６８２）を含んでいる。距離情報は、例えば、手動入力を介して、又は、観察された重ね合わせに基づいて距離が決定される距離調整プロセスの結果としてなど、距離測定装置及び／又はユーザインタフェースを介して受信することができる。
この方法は、受信した音響信号をバックプロパゲーションして、音響シーンを表す音響画像データを決定することをさらに含む（６８４）。本明細書の他の個所で説明するように、バックプロパゲーションは、受信した距離情報と組み合わせて、音響センサアレイ内の複数のセンサ要素で受信した複数の音響信号を分析して、受信音響信号の発生源パターンを決定することを含むことができる。
図６の方法は、電磁画像データを取り込む工程（６８６）と、音響画像データに電磁画像データを重ね合わせる工程（６８８）をさらに含む。ある実施形態では、音響画像データに電磁画像データを重ねわせることは、音響画像データを生成するためのバックプロパゲーションステップの一部として行われる（６８４）。他の例では、音響画像データに電磁画像データを重ね合わせることは、音響画像データの生成とは別個に行われる。
図６の方法は、ディスプレイ画像を生成するために、音響画像データを電磁画像データと組み合わせる工程（６９０）を含む。本明細書の他の個所で説明するように、電磁画像データと音響画像データとを組み合わせることは、電磁画像データと音響画像データとをアルファブレンドすることを含み得る。画像データを組み合わせることは、ピクチャ・イン・ピクチャモードのような、一方の画像データセットを他方の画像データセットにオーバレイすること、若しくは、特定の条件（警報条件など）が満たされる位置に画像データセットをオーバレイすることを含んでいる。ディスプレイ画像は、例えば、音響センサアレイを支持する筐体によって支持されるディスプレイを介して、及び／又は、外部装置（例えば、スマートフォン、タブレット、コンピュータなど）のディスプレイなどの、センサアレイとは別個のディスプレイを介して、ユーザに提示され得る。
その上若しくはそれとは別に、ディスプレイ画像は、将来見るためにローカル（例えば、オンボード）メモリ及び／又はリモートメモリに保存することができる。ある実施形態では、保存されたディスプレイ画像は、ブレンド比、バックプロパゲーション距離、若しくは画像を生成するために使用される他のパラメータなどのディスプレイ画像特性の将来の調整を可能にするメタデータを含むことができる。ある例では、生の音響信号データ及び／又は電磁画像データは、その後の処理又は分析のためにディスプレイ画像と共に保存することができる。
音響画像データと電磁画像データとを組み合わせて最終画像を生成する方法として示されているが、音響画像データを、可視光画像データ、赤外線画像データ、紫外線画像データなどの電磁スペクトルの任意の部分にまたがる画像データの一又はそれ以上のセットと組み合わせるために図６の方法が使用され得ることが理解されよう。あるそのような例では、可視光画像データ及び赤外線画像データなどの画像データの複数のセットを両方とも音響画像データと組み合わせて、図６に関して説明したのと同様の方法を介してディスプレイ画像を生成することができる。
ある例では、センサアレイを介して音響信号を受信する（６８０）ことは、音響信号を受信するための音響センサアレイを選択するステップを含むことができる。例えば、図３Ａ〜図Ｃに関して説明したように、音響分析システムは、変化していく周波数の音響信号を分析するのに適し得る複数の音響センサアレイを含むことができる。その上若しくはそれとは別に、ある例では、異なる音響センサアレイは、異なる距離から伝搬する音響信号を分析するのに有用であり得る。ある実施形態では、異なるアレイを互いに入れ子にすることができる。その上若しくはそれとは別に、部分アレイを選択的に使用して、音響画像信号を受信することができる。
例えば、図３Ａは、第１のアレイ３２０と、第１のアレイ内に入れ子にされた第２のアレイ３２２を示す。例示的な実施形態では、第１のアレイ３２０は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように（例えば、間隔を置いて）構成されたセンサアレイを含むことができる。第２のアレイ３２２は、例えば、第２の周波数範囲の周波数の音響画像データを生成するために、単独で、若しくは、第１のアレイ３２０の全部又は一部と組み合わせて使用されるように構成された第２のセンサアレイを含むことができる。
同様に、図３Ｃは、第１のアレイ３９２、第１のアレイ３９２内に少なくとも部分的に入れ子にされた第２のアレイ３９４、並びに第１のアレイ３９２及び第２のアレイ３９４内に少なくとも部分的に入れ子にされた第３のアレイ３９６を示す。ある実施形態では、第１のアレイ３９２は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように構成され得る。第２のアレイ３９４は、音響信号を受信し、第２の周波数範囲の周波数の音響画像データを生成するために、第１のアレイ３９２の全部又は一部と共に使用することができる。第３のアレイ３９６は、音響信号を受信し、第３の周波数範囲の周波数の音響画像データを生成するために、単独で、第２のアレイ３９４の全部又は一部と共に、及び／又は第１のアレイ３９２の全部又は一部と共に使用することができる。
ある実施形態では、入れ子にされたアレイ構成において、１つのアレイからの音響センサ要素は、例えば、一般に、第１のアレイ３９２の要素の間にある第３のアレイ３９６の要素のように、音響センサ要素の間に配置されることがある。あるそのような例では、入れ子にされたアレイ（例えば、第３のアレイ３９６）内の音響センサ要素は、それが入れ子にされているアレイ（例えば、第１のアレイ３９２）内の音響センサ要素と同じ平面、前、若しくは後ろに配置され得る。
様々な実装において、より高い周波数の音響信号を感知するために使用されるアレイは、一般に、個々のセンサ間のより短い距離を必要とする。したがって、図３Ｃに関して、例えば、第３のアレイ３９６は、高周波音響信号を含む音響撮像プロセスを実行するのにより適していることがある。他のセンサアレイ（例えば、第１のアレイ３９２）は、より低い周波数信号を含む音響撮像プロセスを実行するのに十分であることがあり、アレイ３９６と比較した場合、より少ない音響センサ要素からの信号を処理する計算要求を低減するために使用され得る。したがって、ある例では、高周波センサアレイは、低周波センサアレイ内に入れ子にされ得る。本明細書の他の個所で説明されているように、そのようなアレイは、一般に、個別に（例えば、アクティブなアレイ間の切り替えを介して）又は、一緒に作動し得る。
分析のために予想される／望ましい周波数スペクトルに基づいて適切なセンサアレイを選択することに加えて、又は、その代わりに、ある例では、異なるセンサアレイが、ターゲットシーンまでの異なる距離で音響撮像プロセスを実行するのにより適していることがある。例えば、ある実施形態では、音響センサアレイとターゲットシーンとの間の距離が小さい場合、音響センサアレイ内の外側のセンサ要素は、より中央に配置されたセンサ要素よりも著しく少ない有用な音響情報をターゲットシーンから受信することがある。
他方、音響センサアレイとターゲットシーンとの間の距離が大きい場合、近接して配置された音響センサ要素は、単独では有用な情報を提供しないことがある。すなわち、第１及び第２の音響センサ要素が互いに接近しており、ターゲットシーンが一般に遠くにある場合、第２の音響センサ要素は、第１の音響センサ要素と有意に異なる情報を提供しないことがある。したがって、そのような第１及び第２のセンサ要素からのデータストリームは冗長であり、分析のために処理時間及びリソースを不必要に消費することがある。
本明細書の他の個所で説明するように、どのセンサアレイが音響撮像を実行するのに最も適しているかに影響を与えることに加えて、ターゲットまでの距離は、受信した音響信号から音響画像データを決定するためのバックプロパゲーションを実行する際にも使用できる。ただし、バックプロパゲーションアルゴリズムへの入力値であることに加えて、ターゲットまでの距離は、使用する適切なバックプロパゲーションアルゴリズムを選択するのに、使用し得る。例えば、ある例では、遠距離では、球形に伝搬する音波は、音響センサアレイのサイズと比較して実質的に平面であるように近似され得る。したがって、ある実施形態では、ターゲットまでの距離が大きい場合、受信した音響信号のバックプロパゲーションは、音響ビームフォーミング計算を含むことができる。ただし、音波の発生源に近い場合、音波の平面近似は適切でないことがある。したがって、近接場音響ホログラフィなど、種々のバックプロパゲーションアルゴリズムを使用し得る。
説明したように、ターゲットまでの距離メトリックは、アクティブなセンサアレイ（複数可）の決定、バックプロパゲーションアルゴリズムの決定、バックプロパゲーションアルゴリズムの実行、及び／又は、得られた音響画像を電磁画像データ（例えば、可視光、赤外線など）に重ね合わせることなど、音響撮像プロセスで様々な方法で使用できる。図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
図７のプロセスは、例えば、距離測定装置から距離情報を受信すること（７８０）、若しくは、ユーザインタフェースを介してなど、入力された距離情報を受信することを含む。この方法は、受信した距離情報に基づいて音響撮像を実行するための一又はそれ以上の音響センサアレイ（複数可）を選択する工程（７８２）をさらに含む。説明したように、様々な例において、選択されたアレイは、単一のアレイ、複数のアレイの組み合わせ、あるいは一又はそれ以上のアレイの一部を含むことができる。
図７の方法は、受信した距離情報に基づいて音響撮像を実行するための処理技術を選択する工程（７８４）をさらに含む。ある例では、処理技術の選択は、音響信号から音響画像データを生成するためのバックプロパゲーションアルゴリズムの選択を含むことができる。
音響撮像を実行するために、音響センサアレイを選択し（７８２）、そして、処理技術を選択した（７８４）後で、方法は、選択された音響センサアレイを介して音響信号を受信する工程（７８６）を含む。次に、受信した音響信号は、距離と選択された処理技術を使用してバックプロパゲーションされ、音響画像データを決定する（７８８）。
様々な実施形態では、図７の各工程は、ユーザ、音響分析システム（例えば、プロセッサ２１２を介して）、又はそれらの組み合わせによって実行することができる。例えば、ある実施形態では、プロセッサは、距離測定ツール及び／又はユーザ入力を介して距離情報を受信する（７８０）ように構成され得る。ある例では、例えば、物体までの距離が、既知であるか、及び／又は、距離測定ツールを介して分析することが困難である場合（例えば、小さい物体サイズ及び／又はターゲットまでの長い距離など）、ユーザは、距離情報として使用するために測定距離を上書きする値を入力することができる。プロセッサは、例えば、ルックアップテーブル又は他のデータベースを使用して、受信した距離情報に基づいて音響撮像を実行するために適切な音響センサアレイを自動的に選択するようにさらに構成され得る。ある実施形態では、音響センサアレイを選択することは、所望の音響センサアレイを利用するために、一又はそれ以上の音響センサ要素を有効化及び／又は無効化することを含む。
同様に、ある例では、プロセッサは、受信した距離情報に基づいて音響撮像を実行するための処理技術（例えば、バックプロパゲーションアルゴリズム）を自動的に選択するように構成され得る。あるそのような例では、これは、メモリに記憶された複数の既知の処理技術から１つを選択することを含むことができる。その上若しくはそれとは別に、処理技術を選択することは、所望の処理技術に到達するために単一のアルゴリズムの一部を調整することになり得る。例えば、ある実施形態では、単一のバックプロパゲーションアルゴリズムは、（例えば、距離情報に基づいて）複数の項及び変数を含み得る。あるそのような例では、処理技術（７８４）を選択することは、一又はそれ以上の項の係数を調整する（例えば、様々な係数をゼロ又は１に設定するなど）など、単一のアルゴリズムにおいて一又はそれ以上の値を定義することを含み得る。
したがって、ある実施形態では、音響撮像システムは、受信した距離データに基づいて、選択された音響センサアレイ及び／又は処理技術（例えば、バックプロパゲーションアルゴリズム）を提案及び／又は自動的に実装することによって、音響撮像プロセスのいくつかの工程を自動化することができる。これにより、音響撮像プロセスを高速化、改善、及び簡素化することができ、音響撮像プロセスを実行するための音響撮像の専門家が必要でなくなる。したがって、様々な例において、音響撮像システムは、そのようなパラメータを自動的に実装し、そのようなパラメータが実装されようとしていることをユーザに通知し、そのようなパラメータを実装する許可をユーザに求め、ユーザによる手動入力のためにそのようなパラメータを提案することができる。
そのようなパラメータ（例えば、処理技術、センサアレイ）の自動選択及び／又は提案は、他の形態の画像データ、処理速度、及び音響画像データの分析に関して音響画像データの位置限定を最適化するのに有用であり得る。例えば、本明細書の他の個所で説明されるように、正確なバックプロパゲーション決定（例えば、適切なアルゴリズム及び／又は正確な距離メトリックを使用すること）は、音響画像データと他の（例えば、可視光、赤外線などの電磁）画像データとの間の視差エラーを低減することができる。さらに、音響分析システムによって自動的に選択又は提案され得るような適切なアルゴリズム及び／又はセンサアレイを利用することは、熱画像データの精度を最適化して、受信した音響データの分析を可能にし得る。
説明したように、ある例では、音響分析システムは、受信した距離情報に基づいて音響撮像プロセスを実行するためのアルゴリズム及び／又はセンサアレイを自動的に選択するように構成され得る。あるそのような実施形態では、システムは、例えばメモリに記憶された、音響画像データを決定するための、複数のバックプロパゲーションアルゴリズム及び音響センサアレイのどれを使用するか決定するためのルックアップテーブルを含む。図８は、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを決定するための例示的なルックアップテーブルを示す。
図示の例では、図８のルックアップテーブルは、それぞれが異なるアレイのアレイ１、アレイ２、…、アレイＮを表すＮ個の列を含む。様々な例において、各アレイは、配置された音響センサ要素の固有のセットを含む。異なるアレイは、格子に配置されたセンサ要素を含み得る（例えば、図３Ｃのアレイ３９２及びアレイ３９６）。ルックアップテーブル内のアレイは、一又はそれ以上のそのような格子からのセンサ要素の組み合わせを含めることもできる。一般に、ある実施形態では、アレイ１、アレイ２、…、アレイＮのそれぞれは、音響センサ要素の一意の組み合わせに対応する。そのような組み合わせのいくつかは、特定の格子に配置されたセンサ要素のセット全体を含むことができるか、若しくは、特定の格子に配置されたセンサ要素のサブセットを含むことができる。音響センサ要素の様々な組み合わせのいずれも、ルックアップテーブル内のセンサアレイとして使用するための可能な選択肢である。
図８のルックアップテーブルはＭ行をさらに含み、それぞれは異なるアルゴリズムのアルゴリズム１、アルゴリズム２、…、アルゴリズムＭを表す。ある例では、異なるアルゴリズムは、受信した音響信号のバックプロパゲーション分析を実行するための異なるプロセスを含み得る。本明細書の他の個所で説明するように、ある例では、ある異なるアルゴリズムは、バックプロパゲーション結果を修正するための異なる係数及び／又は項を有しながら、互いに類似し得る。
図８の例示的なルックアップテーブルは、Ｍ×Ｎエントリを含む。ある実施形態では、そのようなルックアップテーブルを利用する音響分析システムは、受信した距離情報を分析し、距離情報をＭ×Ｎビンの１つに分類するように構成され、各ビンは、図８のルックアップテーブルのエントリに対応する。このような例では、音響分析システムが距離情報を受信すると、システムは、距離情報が存在するビンに対応するルックアップテーブルでエントリ（ｉ、ｊ）を見つけ、音響撮像プロセスの間に使用する適切なアルゴリズム及びセンサアレイを決定できる。例えば、受信した距離情報がエントリ（ｉ、ｊ）に関連付けられたビンに対応する場合、音響分析システムは、音響撮像プロセスのためにアルゴリズムｉとアレイｊの使用を自動的に利用又は提案できる。
様々なそのような例において、距離情報ビンは、均一なサイズの距離範囲に対応することができ、例えば、第１のビンは１フィート以内の距離に対応し、第２のビンは１〜２フィートの距離に対応するなどである。他の例では、ビンは均一なサイズの距離スパンに対応する必要はない。さらに、ある実施形態では、Ｍ×Ｎ未満のビンを使用することができる。例えば、ある実施形態では、特定のアレイ（例えば、アレイｙ）とともにこれまで使用されたことのないアルゴリズム（例えば、アルゴリズムｘ）が存在し得る。したがって、このような例では、Ｍ×Ｎルックアップテーブルのエントリ（ｘ、ｙ）に対応する、対応距離情報ビンはない。
ある実施形態では、ポピュレートされた距離ビンに関する統計分析が使用されて、ターゲットシーン内で最も普通の距離又は距離範囲を特定することができる。あるそのような実施形態では、最大数の対応する位置（例えば、音響信号に関して最大数の位置）を有する距離ビンが、図７のプロセスにおける距離情報として使用されることがある。すなわち、ある実施形態では、利用された音響センサアレイ及び／又は処理技術は、ターゲットシーン内の様々な物体の距離分布の統計分析に基づいて実装及び／又は推奨され得る。これは、シーンの音響撮像に使用されるセンサアレイ及び／又は処理技術が、音響シーン内の最大数の位置に適切である蓋然性を高めることを可能にする。
その上若しくはそれとは別に、距離情報以外のパラメータは、音響画像データの生成に使用する適切なセンサアレイ及び／又は処理技術を選択するために使用され得る。本明細書の他の個所で説明されているように、様々なセンサアレイは、特定の周波数及び／又は周波数帯域に好感度であるように構成され得る。ある例では、同様の異なるバックプロパゲーション計算が、異なる音響信号周波数コンテンツに従って使用され得る。したがって、ある例では、一又はそれ以上のパラメータが、処理技術及び／又は音響センサアレイを決定するために使用されることがある。
ある実施形態では、音響分析システムは、受信した音響信号処理／分析の様々なパラメータを最初に分析するために使用されることがある。図７に戻って参照すると、音響画像データを生成するための方法は、音響信号を受信した（７８６）後、受信信号の周波数コンテンツを分析する工程（７９０）を含むことができる。あるそのような例では、音響センサアレイ（複数可）及び／又は処理技術が選択されている場合（例えば、それぞれ工程７８２及び／又は７８４を介して）、方法は、分析された周波数コンテンツに基づいて、選択されたアレイ（複数可）を更新する、及び／又は、選択された処理技術を更新する工程（７９２）を含むことができる。
センサアレイ（複数可）及び／又は処理技術を更新した後、方法は更新されたパラメータを使用して様々なアクションを実行できる。例えば、選択されたセンサアレイが、分析された周波数コンテンツ（７９０）に基づいて更新された場合（７９２）、新しい音響信号は、（新たに）選択された音響センサアレイ（７８６）から受信することができ、その後、音響画像データを決定するためにバックプロパゲーションされることができる（７８８）。あるいは、処理技術が７９２で更新される場合、既に捕捉された音響信号は、更新された処理技術に従ってバックプロパゲーションされて、更新された音響画像データを決定することができる。処理技術とセンサアレイの両方が更新された場合、新しい音響信号は、更新されたセンサアレイを使用して受信されることができ、更新された処理技術に従ってバックプロパゲーションされることができる。
ある実施形態では、音響分析システムは、受信した音響信号の周波数コンテンツを分析すること（７９０）なく、周波数情報を受信すること（７７８）ができる。例えば、ある例では、音響分析システムは、将来の音響分析のために、所望の又は予想される周波数範囲に関する情報を受信することができる。あるそのような例では、所望の又は予想される周波数情報が、該周波数情報に最も適合する一又はそれ以上のセンサアレイ及び／又は処理技術を選択するために使用されることがある。あるそのような例では、音響センサアレイ（複数可）を選択する工程（７８２）及び／又は処理技術を選択する工程（７８４）は、受信した距離情報に加えて、又はその代わりに、受信周波数情報に基づくことがある。
ある例では、受信した音響信号（例えば、音響センサ要素を介して受信した）は、例えば、音響分析システムのプロセッサ（例えば、２１０）を介して分析され得る。このような分析は、周波数、強度、周期性、見かけの近接度（例えば、受信した音響信号に基づいて推定される距離）、測定された近接度、若しくは、それらの任意の組み合わせなど、音響信号の一又はそれ以上の特性を決定するために使用されることがある。ある例では、音響画像データは、例えば、特定の周波数コンテンツ、周期性などを有する音響信号を表す音響画像データのみを表示するために、フィルタ処理されることがある。ある例では、そのようなフィルタをいくつでも同時に適用することができる。
本明細書の他の個所で説明するように、ある実施形態では、音響ビデオデータと同様に、音響画像データの一連のフレームが経時的に取り込むことがある。その上若しくはそれとは別に、音響画像データが繰り返し生成されない場合でも、ある例では、音響信号が繰り返しサンプリングされ、分析される。したがって、繰り返される音響画像データ生成（例えば、ビデオ）の有無にかかわらず、周波数などの音響データのパラメータが経時的に監視され得る。
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。図示されるように、図９Ａのプロットによって表される音響シーンは、一般に、周波数１、周波数２、周波数３、及び周波数４としてラベル付けされた、経時的な４つの持続周波数を含む。ターゲットシーンの周波数コンテンツなどの周波数データは、例えば、高速フーリエ変換（ＦＦＴ）又は他の既知の周波数分析方法を使用して、受信した音響信号を処理することによって、決定され得る。
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。図示の画像では、音響画像データが可視光画像データと組み合わされて、位置９１０、９２０、９３０、及び９４０に存在する音響信号を示している。ある実施形態では、音響分析システムは、任意の検出された周波数範囲の音響画像データを表示するように構成されている。例えば、例示的な実施形態では、位置９１０は、周波数１を含む音響画像データを含み、位置９２０は、周波数２を含む音響画像データを含み、位置９３０は、周波数３を含む音響画像データを含み、位置９４０は、周波数４を含む音響画像データを含む。
あるそのような例では、音響画像データの代表的な周波数範囲を表示することは、選択可能な動作モードである。同様に、ある実施形態では、音響分析システムは、所定の周波数帯域内の周波数のみを表す音響画像データを表示するように構成される。あるそのような例では、所定の周波数範囲を表す音響画像データを表示することは、そこから音響画像データを生成するための音響信号を受信するための一又はそれ以上の音響センサアレイを選択することを含む。このようなアレイは、選択的な周波数範囲を受信するように構成され得る。同様に、ある例では、一又はそれ以上のフィルタが、音響画像データを生成するために使用される周波数コンテンツを制限するために、使用されることがある。その上若しくはそれとは別に、ある実施形態では、広範囲の周波数を表す情報を含む音響画像データが分析され、音響画像データが所定の条件（例えば、所定の周波数範囲内にある）を満たす場合にのみ、ディスプレイに表示することができる。
図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響及び可視光画像データを示している。第１の画像は、周波数１の周波数コンテンツを含む第１の位置９１０での音響画像データを含んでいる。第２の画像は、周波数２の周波数コンテンツを含む第２の位置９２０での音響画像データを含んでいる。第３の画像は、周波数３の周波数コンテンツを含む第３の位置９３０での音響画像データを含んでいる。第４の画像は、周波数４の周波数コンテンツを含む第４の位置９４０での音響画像データを含んでいる。
例示的な実施形態では、ユーザは、選択された周波数範囲以外の周波数コンテンツを表す音響画像データをフィルタ処理するために、周波数１、周波数２、周波数３、又は周波数４を含む範囲などの様々な周波数範囲を選択することができる。したがって、そのような例では、第１、第２、第３、又は第４の画像のいずれかが、ユーザによって選択された所望の周波数範囲の結果として表示され得る。
その上若しくはそれとは別に、ある例では、音響分析システムは、それぞれが異なる周波数コンテンツを有する複数のディスプレイ画像間を循環表示し得る。例えば、図９Ｃに関して、例示的な実施形態では、音響分析システムは、図９Ｃの矢印によって示されるような、第１、第２、第３、及び第４の画像を表示することができる。
ある例では、ディスプレイ画像は、画像に表示されている周波数コンテンツを表すテキスト又は他の表示を含むことができ、ユーザは、画像内のどの位置が特定の周波数コンテンツを表す音響画像データを含むかを観察できる。例えば、図９Ｃに関して、各画像は、音響画像データで表される周波数のテキスト表現を示し得る。図９Ｂに関して、複数の周波数範囲を示す画像は、音響画像データを含む各位置での周波数コンテンツの表示を含み得る。あるそのような例では、ユーザは、例えば、ユーザインタフェースを介して画像内の位置を選択することができ、その位置に存在する周波数コンテンツを音響シーンで見ることがある。例えば、ユーザは、第１の位置９１０を選択することがあり、音響分析システムは、第１の位置の周波数コンテンツ（例えば、周波数１）を提示し得る。したがって、様々な例において、シーン内のどこが特定の周波数コンテンツに対応するかを見ることによって、及び／又は、様々な位置にどの周波数コンテンツが存在するかを見ることによってなど、ユーザは音響シーンの周波数コンテンツを分析するために音響分析システムを使用することができる。
例示的な音響撮像操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景若しくは他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。あるそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ〜図Ｄ５に示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ〜１４ｋＨｚ）を選択し得る。
ある例では、音響分析システムは、受信した音響信号の強度に関連する情報を分析及び／又は提示するために、使用されることがある。例えば、ある実施形態では、受信した音響信号をバックプロパゲーションすることは、音響シーン内の複数の位置での音響強度値を決定することを含むことができる。ある例では、上記の周波数と同様に、音響信号の強度が一又はそれ以上の所定の要件を満たす場合にのみ、音響画像データがディスプレイ画像に含まれる。
様々なそのような実施形態では、ディスプレイ画像は、所定の閾値（例えば、１５ｄＢ）を超える音響信号、所定の閾値（例えば、１００ｄＢ）を下回る音響信号、又は所定の強度範囲内の音響信号（例えば、１５ｄＢ〜４０ｄＢ）を表す音響画像データを含むことができる。ある実施形態では、閾値は、平均音響強度からの標準偏差より上か、又は、下など、音響シーンの統計分析に基づくことができる。
周波数情報に関して上記と同様に、ある実施形態では、一又はそれ以上の強度要件を満たす音響信号を表すように音響画像データを制限することは、所定の条件を満たす受信信号のみが音響画像データを生成するために使用されるように、受信した音響信号をフィルタ処理することを含むことができる。他の例では、音響画像データは、どの音響画像データが表示されるかを調整するためにフィルタ処理される。
その上若しくはそれとは別に、ある実施形態では、（例えば、ビデオ音響画像表現と組み合わせて、又は、必ずしもディスプレイ画像を更新することなく背景分析を介して）、音響シーン内の位置での音響強度が経時的に監視され得る。あるそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量又は率を含み得る。
図１０Ａ及び１０Ｂは、組み合わされた可視光画像データ及び音響画像データを含む例示的なディスプレイ画像である。図１０Ａは、複数の位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０で示される音響画像データを含むディスプレイ画像を示している。ある例では、強度値は調色されることができ、例えば、音響強度値は、所定の調色技術に基づいて色を割り当てられる。例示的な実施形態では、強度値は、強度範囲（例えば、１０ｄＢ〜２０ｄＢ、２０ｄＢ〜３０ｄＢなど）に従って分類され得る。各強度範囲は、調色技術に従って特定の色に関連付けられ得る。音響画像データは、複数のピクセルを含むことができ、各ピクセルは、音響画像データのピクセルによって表される強度が入る強度範囲に関連する色で着色される。色によって区別されることに加えて、又はその代わりに、異なる強度は、（例えば、音響画像データが他の画像データにオーバレイされる画像オーバレイにおいて）透明度などの他の特性に従って区別することができる。
音響強度の変化率など、別のパラメータも調色されることがある。強度と同様に、音響強度の変化率の変化は、音響強度変化の異なる率及び／又は量を示すシーンの部分が異なる色で表示されるように、調色することができる。
図示の例では、音響画像データは、強度パレットに従って調色され、その結果、異なる音響信号強度を表す音響画像データは、異なる色及び／又は陰影で示される。例えば、位置１０１０及び１０３０での音響画像データは、第１の強度の調色された表現を示し、位置１０４０、１０６０、及び１０８０は、第２の強度の調色された表現を示し、位置１０２０、１０５０、１０７０、及び１０９０は、第３の強度の調色された表現を示している。図１０Ａの例示的な表現に示されるように、音響画像データの調色された表現を示す各位置は、中心から外側に延びる色のグラデーションを有する円形パターンを示している。これは、信号が音響信号の発生源から伝播するときの音響強度の減衰が原因であることがある。
図１０Ａの例では、音響画像データは、可視光画像データと組み合わされて、ディスプレイ画像を生成し、これは、例えば、ディスプレイを介してユーザに提示され得る。ユーザは、可視シーン内のどの位置が音響信号を生成しているか、並びに、そのような信号の強度を見るために、図１０Ａのディスプレイ画像を見ることができる。したがって、ユーザは、どの位置が音を発しているのかを迅速かつ容易に観察し、シーン内の様々な位置から来る音の強度を比較し得る。
本明細書の他の個所で周波数に関して説明したのと同様に、ある実施形態では、音響画像データは、対応する音響信号が所定の強度条件を満たす場合にのみ提示され得る。図１０Ｂは、図１０Ａのディスプレイ画像と同様に例示的なディスプレイ画像を示し、可視光画像データ及び所定の閾値を超える音響信号を表す音響画像を含む。図示されるように、音響画像データを含む図１０Ａの位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうち、位置１０２０、１０５０、１０７０、及び１０９０のみが、所定の条件を満たす音響信号を表す音響画像データを含んでいる。
例示的なシナリオでは、図１０Ａは、位置１０１０〜９９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内（例えば、図１０Ａ及び１０Ｂのターゲットシーン内）のどの音源が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのを役立たせることを可能にする。
本明細書の他の位置で説明されるように、強度閾値（例えば、４０ｄＢ）と直接比較されることに加えて、又はその代わりに、あるそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量又は率を含むことがある。あるそのような例では、音響画像データは、所与の位置での音響強度の変化率又は変化量が所定の条件を満たす場合（例えば、閾値よりも大きい、閾値よりも小さい、所定の範囲内など）にのみ提示され得る。ある実施形態では、音響強度の変化の量又は率は、強度音響画像データとして、又は、強度音響画像データと組み合わせて、調色して表示することができる。例えば、例示的な実施形態では、変化率が、音響画像データを含む位置を決定するための閾値として使用される場合、音響画像データは、表示のための調色された強度変化率メトリックを含むことができる。
ある例では、ユーザは、表示される音響画像データの強度要件（例えば、最小値、最大値、範囲、変化率、変化量など）を手動で設定し得る。ここの他の場所で論じられるように、この強度要件を満たすのみ音響画像データを含むことは、音響画像データ生成中に（例えば、受信した音響信号をフィルタ処理することによって）達成することができ、及び／又は、設定された要件（複数可）を満たさない音響信号を表す生成された音響画像データを表示しないことによって実行できる。あるそのような例では、強度値に従ってディスプレイ画像をフィルタ処理することは、音響画像データ及び可視光画像データが取り込まれ、メモリに記憶された後に実行され得る。すなわち、メモリに記憶されたデータは、例えば、事前定義された強度条件を満たす音響画像データのみを表示するなど、任意の数のフィルタ処理パラメータを含むディスプレイ画像を生成するために使用することができる。
ある例では、音響画像の強度の下限を設定すること（例えば、所定の強度を超える音響信号を表す音響画像データのみを表示すること）は、音響画像データから望ましくないバックグラウンド又は周囲の音及び／又は音の反射を含むことを排除することができる。他の例では、音響画像の強度の上限を設定すること（例えば、所定の強度未満の音響信号を表す音響画像データのみを表示すること）は、大きな音で通常隠されている音響信号を観察するために、音響画像データに予想されるそのような大きな音を含めることを排除することができる。
いくつかの表示機能が可能である。例えば、図９Ｃに関して説明した周波数分析／表示と同様に、ある例では、音響分析システムは、それぞれが異なる強度要件を満たす音響画像データを示す複数のディスプレイ画像を循環表示することができる。同様に、ある例では、ユーザは、所与の範囲の音響強度を有する音響画像データ内の位置を見るために、一連の音響強度範囲をスクロールし得る。
音響データの分析に使用できるもう１つのパラメータは、音響信号の周期性値である。図１１Ａ及び１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。図１１Ａのプロットに示されるように、音響データは、第１の周期性を有する周波数Ｘの信号、第２の周期性を有する周波数Ｙの信号、及び第３の周期性を有する周波数Ｚの信号を含む。図示の例では、異なる周波数を有する音響信号は、また、音響信号に異なる周期性を含むこともある。
あるそのような例では、音響信号は、周波数コンテンツに加えて、又はその代わりに周期性に基づいてフィルタ処理することができる。例えば、ある例では、音響シーン内の音響信号の複数の発生源が、特定の周波数で音響信号を生成することがある。ユーザが音響撮像のためにそのような音源の１つを分離したい場合、ユーザは、音響データに関連する周期性に基づいて、音響画像データを最終ディスプレイ画像に含めるか除外するかを選択し得る。
図１１Ｂは、音響信号の周波数対時間のプロットを示す。図示されているように、周波数は時間と共にほぼ直線的に増加する。ただし、図示されているように、信号には時間の経過と共にほぼ一定の周期性が含まれる。したがって、そのような信号は、選択された表示パラメータに応じて、音響画像に現れるか、若しくは現れないことがある。例えば、信号は、ある時点で表示される周波数基準を満たしているが、他の時点では、表示される周波数範囲外にあることがある。しかしながら、ユーザは、周波数コンテンツに関係なく、信号の周期性に基づいて、そのような信号を含めるか、又は、音響画像データから除外するかを選択することができる。
ある例では、特定の周期性の音響信号を抽出することは、ターゲットシーンの特定の部分（例えば、通常特定の周期性で動作する特定の装置又は装置のタイプ）を分析するのに役立ち得る。例えば、目標のある物体が特定の周期性（例えば、１秒に１回）で動作する場合、これとは異なる周期性を持つ信号を除外することは、目標の物体の音響分析を改善できる。例えば、図１１Ｂを参照すると、目標のある物体が周期性４で動作する場合、分析のために周期性４を有する信号を分離することは、目標のある物体の改善された分析を生じさせることがある。例えば、目標のある物体は、周期性４を有するが、図１１Ｂに示されるように周波数が増加する音を発し得る。これは、物体の特性が変化している（例えば、トルクや負荷の増加など）可能性があることを意味していることがあり、点検する必要がある。
例示的な音響撮像プロセスでは、（例えば、産業環境でのフロアノイズ、屋外環境での風などの）バックグラウンドノイズは一般に周期的ではないが、シーン内の目標のある特定の物体は周期的な音響信号を放出する（例えば、一定の間隔で動作する機械）。したがって、ユーザは、バックグラウンド信号を除去し、目標の音響データをより明確に提示するために、音響画像から非周期的な音響信号を除外することを選択し得る。他の例では、ユーザは、一定のトーンの発生源を見つけようとすることがあり、したがって、一定のトーンの表示を不明瞭にすることがある音響画像データから周期信号を除外することを選択し得る。一般に、ユーザは、特定の周期性より上、特定の周期性より下、若しくは周期性の所望の範囲内にある音響信号を音響画像データに含めることを選択し得る。様々な例において、周期性は、周期的信号間の時間の長さ、若しくは周期的信号の発生頻度のいずれかによって特定され得る。図１１Ｂに示される周波数と同様に、所与の周期性での強度の分析（例えば、その周期性で動作する目標のある物体による）が、物体からの音響信号が時間と共にどのように変化するかを追跡するために、使用されることがある。一般に、ある実施形態では、周期性は、周波数、強度などの様々なパラメータの変化率分析を実行するために、使用され得る。
本明細書の他の個所で説明するように、ある例では、ターゲットシーンの様々な部分は、音響撮像センサからの異なる距離に関連付けられることができる。例えば、ある実施形態では、距離情報は、シーン内の様々な部分に関する３次元の深さ情報を含むことができる。その上若しくはそれとは別に、ユーザは、シーン内の複数の位置に関連付けられた距離値を（例えば、レーザ距離ツールで）測定するか、若しくは手動で入力することができることがある。ある例では、シーンの様々な部分のそのような異なる距離値は、そのような位置でのバックプロパゲーション計算を調整して、その位置での特定の距離値に対応するために、使用され得る。
その上若しくはそれとは別に、シーンの異なる部分が異なる距離値に関連付けられている場合、音響センサアレイからの近接度（例えば、測定された近接度及び／又は見かけの近接度）は、そのような部分間の別の区別可能なパラメータであり得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、及び１０９０は、それぞれ、異なる距離値に関連付けられている。ある例では、ここの他の場所で説明されている周波数又は周期性と同様に、ユーザは、音響画像データをディスプレイに含める特定の距離範囲を選択することができる。例えば、ユーザは、所定の距離よりも近い、所定の距離より遠い、若しくは所定の距離範囲内の音響信号を表す音響画像データのみを表示するように選択し得る。
さらに、ある実施形態では、図９Ｃの周波数に関して説明したのと同様に、音響分析システムは、複数の距離範囲を循環表示して、現在の距離範囲を満たすターゲットシーン内の位置から放出された音響信号を表す音響画像データのみを示すように構成することがある。様々な表示のそのような循環表示は、異なる音響信号間の情報をユーザが視覚的に区別することに役立たせることができる。例えば、場合によっては、関連する電磁撮像ツール（例えば、可視光カメラモジュール）からの視線から物体が互いに接近しているように見えることがあり、したがって、そのような物体の電磁画像データと組み合わされた音響画像データは、区別するのが難しい。しかし、物体が深度差によって分離されている場合は、音響画像データの異なる深度範囲の循環表示は、音響データの各発生源を他の発生源から分離するために使用されることができる。
一般に、音響分析システムは、一又はそれ以上の事前定義されたパラメータを満たす音響信号を表す音響画像データを含める及び／又は除外するために、様々な設定を適用するように構成され得る。ある例では、音響分析システムは、音響信号が、例えば、ディスプレイ画像内で表示されていることを示す音響画像データのために、該音響信号によって満たされねばならない複数の条件を選択するために使用され得る。
例えば、図１０Ａ及び１０Ｂに関して、図１０Ａのシーンにおける閾値強度を超える音響信号のみが図１０Ｂに示されている。ただし、追加若しくは代替の制限が可能である。例えば、ある実施形態では、ユーザは、音響画像データをさらにフィルタ処理して、音響画像データが、所定の周波数範囲内の周波数コンテンツを有する、及び／又は、所定の周期性を有する音響信号についてのみ示されるようにし得る。例示的な実施形態では、所定の周波数及び／又は目標の周期性に限定して、音響画像データは、１０２０及び１０９０などの追加の位置から排除され得る。
一般に、ユーザは、強度、周波数、周期性、見かけの近接度、測定された近接度、音圧、粒子速度、粒子変位、音響出力、音エネルギー、音エネルギー密度、音響曝露量、ピッチ、振幅、輝度、倍音、そのようなパラメータの変化率などのパラメータを含む、音響画像データを含めるか、又は、ディスプレイ画像から除外するために任意の数の音響データ要件を適用できる。さらに、ある実施形態では、ユーザは、ＡＮＤ、ＯＲ、ＸＯＲなどの任意の適切な論理的組み合わせを使用して要件を組み合わせ得る。例えば、ユーザは、（所定の閾値を超える強度）ＡＮＤ（所定の範囲内の周波数）を有する音響信号のみを表示したいことがある。
その上若しくはそれとは別に、音響分析システムは、図９Ｃの複数の周波数の循環表示に関して示されるように、ターゲットシーンの異なる部分を示すために一又はそれ以上のパラメータ範囲を循環表示するように構成され得る。一般に、一又はそれ以上のパラメータは、このような方法で循環表示され得る。例えば、パラメータ（例えば強度）は、複数の範囲（例えば、１０ｄＢ〜２０ｄＢと２０ｄＢ〜３０ｄＢ）に分割され、音響分析システムはそのような範囲を循環表示でき、第１の範囲にあるすべての音響画像データを表示し、次に第２の範囲にあるすべての音響画像データを表示する。
同様に、ある実施形態では、音響分析システムは、入れ子にされた範囲を循環表示することによってパラメータ要件を組み合わせるように構成され得る。例えば、例示的な実施形態では、第１の強度範囲ＡＮＤ第１の周波数範囲を満たす音響画像データが、表示され得る。表示される音響画像データを第１の強度範囲を満たす音響信号に制限しながら、表示される周波数範囲は循環表示され得る。周波数範囲を循環表示した後、強度範囲を第２の強度範囲に更新して、表示された音響画像データが第２の強度範囲及び第１の周波数範囲を満たすようにすることができる。第１の強度範囲を組み込むプロセスと同様に、周波数範囲は、第２の強度範囲を維持しながら同様に循環表示され得る。このプロセスは、周波数範囲と強度範囲のすべての組み合わせが満たされるまで続けることができる。同様のそのようなプロセスは、複数のパラメータのいずれかに対して実行することができる。
その上若しくはそれとは別に、ある実施形態では、音響分析システムは、音響シーン内の複数の音を特定及び区別するように構成され得る。例えば、図９Ｂに関して、音響分析システムは、位置９１０、９２０、９３０、及び９４０で４つの個別の音を特定するように構成され得る。システムは、それぞれが必ずしもパラメータ値に依存する必要はないが、図９Ｃに示されるのと同様に、単一の個別の位置で音響画像データを示している複数の表示を循環するように構成することができる。同様に、個々の位置での音響画像データ間のそのような循環表示は、一又はそれ以上のパラメータ要件が表示された音響画像データを制限した後に実行することができる。
例えば、図１０Ａ及び１０Ｂに関して、強度閾値が適用される前に、音響分析システムは、各シーンが単一の位置にある音響画像データを含んでいる（例えば、可視光画像データを伴う音響画像シーンを含むディスプレイ画像としての）複数の音響画像シーンを循環表示してもよい。ある実施形態では、図１０Ａの図示の例によれば、１０個の別個の画像の循環表示であり、各画像は、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうちの異なる１つでの画像データを含んでいる。しかしながら、ある実施形態によれば、閾値を超える強度を有する位置のみが表示されるように強度フィルタが適用された後（例えば、図１０Ｂのように）、音響分析システムは、フィルタ処理の閾値を満たす位置に対応する画像のみを循環表示するように循環表示プロセスを更新し得る。すなわち、図１０Ｂに関して、循環表示プロセスは、それぞれが位置１０２０、１０５０、１０７０、及び１０９０でそれぞれ個別の音響画像データを示す４つの画像間でのみ循環表示するように更新されることがある。
したがって、様々な実施形態では、どの音響画像データが表示されるかを制限するために一又はそれ以上のフィルタを適用する前又はその後のいずれかで、音響画像データを含むターゲットシーン内の各位置が、複数の循環表示ディスプレイ画像のうちの１つに示される。個々の音響発生源位置のそのような循環表示は、特定の音響発生源を特定する際に画像を見るユーザを支援することができる。ある実施形態では、循環内の各画像は、音響データの単一の発生源のみを含み、あるそのような実施形態では、周波数コンテンツ、強度、周期性、見かけの近接度などの音響データの一又はそれ以上のパラメータをさらに含む。
特定の条件を満たす音響画像データを示す画像間の循環表示に加えて、又はその代わりに、ある例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、ある実施形態では、位置１０１０〜９９０のそれぞれから発生する音響信号を表す音響画像データは、特定され、循環表示され得る。例えば、例示的な動作プロセスでは、位置１０１０〜９９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的に又はユーザの指示で、循環表示され得る。様々な実施形態において、循環表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
その上若しくはそれとは別に、ある例では、個々の位置からの音響画像データは、一又はそれ以上のフィルタを適用して一又はそれ以上の所定の条件を満たす音響画像データのみを分離した後に循環表示され得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、及び１０９０は、所定の強度要件を満たす音響信号を表す音響画像データを含むものとして示されている。ある実施形態では、そのような表示要件は、音響信号の発生源位置の個々の循環表示に適用することができる。例えば、図１０Ｂをさらに参照すると、音響強度条件を満たす位置１０２０、１０５０、１０７０、及び１０９０のうちの１つのみからの画像データを含むディスプレイ画像は、各位置での個々の分析のために循環表示されることができる。
図１０Ａ及び１０Ｂを参照する例示的なプロセスでは、シーンから収集された音響画像データは、一般に、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０で図１０Ａに示され得る。そのような位置は、様々な強度、周波数コンテンツ、周期性などのような様々な音響パラメータを有する音響信号を表す音響画像データを含むことがある。
本明細書の他の個所で説明するように、ユーザは、最小の音響強度を有する音響信号などの、一又はそれ以上の特定の音響パラメータを有する音響信号を分離することを望むことがある。そのような条件を満たさない音響信号を表す音響画像データは、画像から除外することができ、例えば、図１０Ｂに示されるような、位置１０２０、１０５０、１０７０、及び１０９０の音響画像データを捨てることができる。しかしながら、ユーザは、表示条件（例えば、閾値を超える強度を有する）を満たす特定の音の発生源をさらに特定したいことがある。したがって、ユーザは、各音の発生源の位置を見て、個々に分析するために、位置１０２０、１０５０、１０７０、及び１０９０に関連付けられた音響画像データを１つずつ表示することを選択し得る。様々な実施形態では、ユーザが、そのような位置を手動で循環表示することを選択することがあるか、若しくは、プロセッサが、ディスプレイ画像を自動的に更新して個々の位置の音響画像データを順次表示するようにすることがある。これは、目標とはしないが、画像に適用される１つ以上のフィルタ処理パラメータを偶然満たす音響信号をユーザがさらに排除して無視するのに役立つことがある。
強度並びに図１０Ａ及び１０Ｂに関して説明されているが、一般に、複数の位置から選択された単一の位置からの音響画像データを含むディスプレイ画像は、個々の分析のために１つずつ循環表示することができる。典型的な音響画像データが含まれる複数の位置は、音響シーン内の音響信号の発生源に対応する位置のセット全体であるか、又は、例えば、一又はそれ以上の条件を満たす音響信号を有する位置のみを含むそのような位置のサブセットであり得る。そのような条件は、強度、周波数コンテンツ、周期性、近接度などの任意の一又はそれ以上の音響パラメータに依存することがあり、所定の値未満、所定の値を超える、若しくは、所定の値の範囲内にある様々なパラメータに基づいて満たされることがある。
様々な例において、ディスプレイ画像に音響画像データを選択的に含めるようにディスプレイ画像を修正することは、様々な方法で行うことができる。ある実施形態では、（例えば、電磁画像データ及び音響画像データを含む）ディスプレイ画像は、リアルタイム画像であることができ、この場合、電磁画像データ及び音響画像データは、シーンの変化を反映するように継続的に更新される。ある例では、音響画像データがディスプレイ画像に含まれるかどうかを決定するために特定の条件が使用される場合、受信した音響信号が分析されて、更新されたリアルタイム画像の様々な位置で音響画像データを含んでいるか否かを判定する。すなわち、新たに受信した音響信号及び電磁放射に基づいて新しいディスプレイ画像が生成されるとき、ディスプレイ画像の構築は、どの音響信号がディスプレイ画像に認められた特定の条件（例えば、強度閾値など）を満たすかを決定するための音響信号の分析に依存することができる。ディスプレイ画像は、そして、そのような条件に従って適切な場合にのみ、音響画像データを含んで生成され得る。
他の例では、ディスプレイ画像は、以前に取り込まれた音響データ及び電磁画像データなどの、メモリに記憶されたデータから生成され得る。あるそのような例では、以前に取得された音響データが、音響画像データに認められる様々な条件に関して分析され、以前に取り込まれた音響データがそのような条件を満たす位置で電磁画像データと組み合わされる。そのような実施形態では、単一のシーンは、例えば、異なる音響パラメータを分析することによって、多くの方法で見ることができる。以前に取り込まれた音響画像データを表すディスプレイ画像は、ディスプレイ画像の様々な位置に音響画像データを含めるかどうかについて、ディスプレイ画像に認められた更新された条件に基づいて更新することができる。
ある実施形態では、音響画像データをディスプレイ画像に選択的に含めるために使用される一又はそれ以上の音響パラメータが使用されて、ディスプレイ画像及び／又は画像取り込み技術を変更し得る。例えば、リアルタイム撮像例では、音響画像データを表示に含めるかどうかを決定するための様々な条件は、ターゲットまでの距離（例えば、見かけの距離若しくは測定された距離）及び／又は周波数コンテンツを含み得る。本明細書の他の個所で説明するように、あるそのようなパラメータは、音響センサアレイ及び／又は音響画像データを生成するための処理技術を選択する際に使用することができる。したがって、あるそのような例では、音響画像データが一又はそれ以上の所定の条件を満たすそのようなパラメータに基づいてのみ表される場合、音響センサアレイ及び／又は音響画像データを生成するための処理技術は、そのような条件に基づいて選択され得る。
例えば、例示的な実施形態では、音響画像データが、対応する音響信号が第１の周波数範囲内の周波数コンテンツを含む位置のリアルタイム画像にのみ含まれるべきである場合、第１の周波数範囲に最適な音響信号を取得するために、一又はそれ以上の音響センサアレイが選択され得る。同様に、音響画像データが、音響信号の発生源が第１の距離範囲内にある位置でリアルタイム画像にのみ含まれるべきである場合、第１の距離範囲での音響撮像用に最適な音響信号を取得するために、一又はそれ以上の音響センサアレイが選択され得る。その上若しくはそれとは別に、例えば、図６に関して説明したように、音響画像データを生成するための処理技術は、所望の周波数又は距離条件に基づいて選択することができる。そのような選択された音響撮像センサアレイ及び処理技術は、その後、音響信号を受信し、含まれる音響画像データを最適化するために、更新されたリアルタイムディスプレイ画像の音響画像データを生成するために使用され得る。
同様に、ディスプレイ画像が以前にメモリに記憶された履歴データから生成されるある実施形態では、ディスプレイ画像に音響画像データを含める位置を決定する様々な条件が、音響シーンを表す音響画像データを更新するために用いられ得る。例えば、ある実施形態では、メモリに記憶されたデータは、音響信号が受信されたときから音響センサアレイによって受信された生の音響データを含む。音響画像データがディスプレイ画像の様々な位置に含まれるかどうかを決定するための条件（例えば、所望の距離及び／又は周波数範囲）に基づいて、表示する所望のパラメータに最適化された音響画像データを生成するために、メモリに記憶された生データと共に使用するために処理技術（例えば、バックプロパゲーションアルゴリズム）が選択されることがある。
可視光画像データ及び音響画像データを使用して一般的に説明及び示されているけれども、図９Ａ〜図９Ｃ、図１０Ａ及び図１０Ｂに関して説明されたプロセスは、様々な電磁画像データのいずれかを含めて使用されうることが理解されよう。例えば、様々な実施形態において、同様のプロセスは、可視光画像データの代わりに、赤外線画像データ若しくは紫外線画像データを用いて実行され得る。その上若しくはそれとは別に、電磁スペクトルの組み合わせは、混合された赤外線画像データと可視光画像データなどのそのようなプロセスで使用することができる。一般に、様々な例において、音響画像データは、電磁画像データの任意の組み合わせと組み合わせて、選択的に示される（例えば、対応する音響信号が一又はそれ以上の所定のパラメータを満たすときに含まれる）ことがある。
ある実施形態では、音響分析システムは、一又はそれ以上の音響信号及び／又は音響画像データを、例えば、ローカルメモリ内の、及び／又は、外部又はリモート装置からアクセス可能なデータベースに記憶するように構成される。そのような音響信号は、通常の動作中の音響シーンを表す音響画像データ、及び／又は、周波数データ、強度データ、周期性データなどの音響シーンに関連する他のパラメータを含むことができる。様々な例において、データベースシーンは、広いシーン（例えば、工場）及び／又はより具体的なシーン（例えば、特定の物体）を表す音響画像データ及び／又は他の音響パラメータ（例えば、強度、周波数、周期性など）を含むことができる。
ある実施形態では、データベースシーンは、特定のモデルの装置など、特定のタイプの装置に一般的（ｇｅｎｅｒｉｃ）であり得る。その上若しくはそれとは別に、データベースシーンは、異なる物体が同じ物体の異なる例（例えば、同じモデルである２つの別個のマシーン）である場合でも、個々の物体に対しては特有（ｓｐｅｃｉｆｉｃ）であり得る。同様に、データベースシーンは、例えば、物体の特定の動作状態を含めると、より特有８ｓｐｅｉｆｉｃ）となりうる。例えば、特定の物体が複数の操作モードを有する場合、データベースは、そのような物体の複数のシーンを、動作モードごとに１つずつ含めることができる。
様々な実施形態では、データベースシーンは、単一の音響画像及び／又は関連する音響パラメータであり得る。他の例では、データベースシーンは、以前に取り込まれた複数の音響画像及び／又は関連するパラメータから形成された複合データを含むことができる。一般に、データベースシーン（例えば、音響画像及び／又はパラメータ）は、通常の動作中のシーンの音響表現を含むことができる。ある例では、データベースは、例えば、対応する可視光画像、赤外線画像、紫外線画像、又はそれらの組み合わせなど、シーンに関連する他の要素を含むことができる。ある実施形態では、データベースの生成及び／又は比較は、本出願の譲受人に譲受され、その全体が参照により本明細書に組み込まれる２０１６年６月２３日に出願され、「熱異常検出（ＴＨＥＲＭＡＬ ＡＮＯＭＡＬＹ ＤＥＴＥＣＴＩＯＮ）」と題された米国特許出願第１５／１９０，７９２号に記載されている赤外線画像データのデータベース生成及び比較と同様に実行することができる。ある実施形態では、データベースは、シーン内の物体が正しく動作している間に、シーンの音響画像データ及び／又は一又はそれ以上の関連する音響パラメータ（例えば、周波数、強度、周期性など）を取り込むことによって生成することができる。あるそのような例では、ユーザは、取り込まれたデータベース画像にタグを付けて、画像を一又はそれ以上の物体、位置、シーンなどに関連付けることがあり、その結果、取り込まれた音響画像及び／又は関連するパラメータ（複数可）が、将来データベース分析及び比較において特定され得る。
新しく生成された音響画像データは、データベースに記憶されている音響画像データと比較され、音響シーンの音プロファイルが典型的な動作基準内にあるかどうかを判定できる。その上若しくはそれとは別に、ライブ音響シーン及び／又は新しく生成された音響画像からの強度、周波数、周期性などの音響パラメータが、データベース内の同様のパラメータと比較されることがある。
現在の音響画像データをデータベースに記憶された音響画像履歴データ（例えば、以前に取り込まれた画像、複数の以前に取り込まれた画像から生成された合成画像、工場提供の予想される画像など）と比較することは、複数の方法で実行できる。図１２Ａ〜図１２Ｃは、音響画像データをデータベースに記憶された音響画像履歴データと比較するための複数の例示的な方法を示している。図１２Ａは、音響視野１２１２を有する音響センサアレイ１２０２と、電磁視野１２１４を有する電磁撮像ツール１２０４とを含む音響撮像ツール１２００を示している。図示されるように、電磁視野１２１４及び音響視野１２１２は、目標物体１２２２を含むターゲットシーン１２２０を含む。ある実施形態では、音響撮像ツール１２００は、目標物体１２２２が電磁視野１２１４及び音響視野１２１２内にあるような位置に恒久的に固定されている。ある実施形態では、音響撮像ツール１２００は、誘導電力又は寄生電力を介して電力を供給され得るか、建物内のＡＣ主電力に配線され得るか、若しくは、物体１２２２を継続的に監視するように構成され得る。
固定された音響撮像ツール１２００は、物体１２２２の音響及び／又は電磁画像データを周期的に取り込むように構成され得る。音響撮像ツール１２００がほぼ決まった位置に固定されているため、異なる時間に取り込まれた画像は、ほぼ同じ地点からのものである。ある例では、音響撮像ツール１２００を介して取り込まれた音響画像データは、例えば、音響シーンの異常を検出するために、ほぼ同じシーンを表す音響画像データのデータベースと比較され得る。これは、例えば、参照により組み込まれる米国特許出願第１５／１９０，７９２号に記載されているように実施され得る。
図１２Ｂは、例えば、手持ち式音響撮像ツール上の例示的なディスプレイを示す。ディスプレイ１２３０は、２つのセクション、１２３２と１２３４を含む。図示の例では、セクション１２３４は、目標物体のデータベース画像１２４４を示し、一方セクション１２３２は、物体のリアルタイム音響画像データのライブ画像１２４２を含む。そのような並列表示では、ユーザは、（例えば、データベース画像１２４４に示される）典型的な音響信号と現在のリアルタイム画像１２４２との間の差異を見るために、ライブ画像１２４２をデータベース画像１２４４と比較することができる。同様に、ユーザは、ライブ画像１２４２がデータベース画像１２４４とほぼ一致するかどうかを比較することができる。そうである場合、ユーザは、データベース画像１２４４とのさらなる分析及び／又は比較のために、ライブ音響画像を取り込むことができる。
図１２Ｃは、例えば、手持ち式音響撮像ツール上の別の例示的なディスプレイを示す。図１２Ｃのディスプレイ１２５０は、同じディスプレイ１２５２上のデータベース画像１２５４とライブ画像１２５６を示す。図１２Ｃの例では、ユーザは、差異を示すために、ライブ画像１２５６内の音響画像データをデータベース画像１２５４内の音響画像データと同様に比較することができる。さらに、ユーザは、さらなる分析と比較のために、ライブ画像１２５６内の物体をデータベース画像１２５４内の物体と整列するために、音響撮像ツールのアライメントを調整し得る。
図１２Ａ〜図１２Ｃのプロセスの結果として、ライブ及び／又は最近取り込まれた音響画像は、データベースなどからの以前の音響画像データと比較されることがある。ある例では、そのようなプロセスは、自動比較のために、ライブ及び／又は最近取り込まれた音響画像をデータベース画像と重ね合わせするために用いられる。データベース画像と同様の地点から音響画像データを「再取り込み」するために使用できる他のプロセスは、２０１１年１２月２０日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３１，６３３号、２０１１年１２月２０日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３１，６４４号、並びに、２０１１年１２月２３日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ ＩＭＡＧＩＮＧ ＣＡＭＥＲＡ ＦＯＲ ＩＮＦＲＡＲＥＤ ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３６，６０７号に記載されているが、それぞれは本出願の譲受人に譲受されており、その全体が参照により組み込まれている。
リアルタイムの音響画像データ及び／又は音響シグネチャを、比較可能なシーン／物体の対応する音響画像及び／又は音響シグネチャと比較することが、シーン／物体の動作状態の迅速かつ単純化された分析を提供するために使用されることがある。例えば、比較は、音響シーン内の特定の位置が、典型的な動作中とは異なる強度又は周波数スペクトルを有する音響信号を放出していることを示すことがあり、これは、問題を示していることがある。同様に、シーン内の位置は、典型的には無音の音響信号を放出していることがある。その上若しくはそれとは別に、ライブシーンとデータベースからの履歴シーンの全体的な音響シグネチャの比較は、一般に、周波数コンテンツ、音響強度などのシーン内の音響パラメータの変化を示すことがありうる。
ある例では、音響分析システムは、最近／リアルタイムの音響シーンをデータベースと比較するように構成されている。ある実施形態では、音響分析システムは、最近／リアルタイムシーンとデータベースシーンとの間の差異を特徴付け、比較に基づいて現在のシーンで起こり得る一又はそれ以上の問題を診断するように構成される。例えば、ある実施形態では、ユーザは、音響データベースと比較するための、目標物体又はターゲットシーンを事前に選択し得る。音響分析システムは、選択された物体／シーンに基づいて、データベース画像及び／又は他のパラメータを最近／現在の画像及び／又は他のパラメータと比較して、シーンを分析することができる。データベースから選択された物体／シーンに基づいて、音響分析システムは、データベース画像／パラメータと最近／現在の画像／パラメータとの間の一又はそれ以上の差異を特定し、特定された差異（複数可）を一又はそれ以上の差異の考えられる原因に関連付けることができ得る。
ある例では、音響分析システムは、複数の診断情報により事前にプログラムされることができ、例えば、データベース画像／パラメータと、最近／現在の画像／パラメータとの間の様々な差異を、考えられる原因及び／又は原因の解決策と関連付ける。その上若しくはそれとは別に、ユーザは、例えば、診断データのリポジトリからそのような診断情報をロードし得る。そのようなデータは、例えば、音響分析システムの製造業者、目標物体の製造業者などによって提供され得る。さらに別の例では、音響分析システムは、例えば、一又はそれ以上の機械学習プロセスを介して、診断情報をその上若しくはそれとは別に学習することができる。あるそのような例では、ユーザは、典型的なシーンからのシーンの音響逸脱を観察した後、ターゲットシーンの一又はそれ以上の問題を診断し、一又はそれ以上の問題及び／又は一又はそれ以上の解決策を表すデータを音響分析システムに入力し得る。システムは、時間の経過と共に、複数のデータエントリを介して、最近／現在の画像及び／又はパラメータと、データベースに保存されているものとの間の様々な不一致を、特定の問題及び／又は解決策に関連付けることを学習するように構成できる。問題を診断し、及び／又は、提案された解決策を決定すると、音響分析システムは、例えば、ディスプレイを介して、疑わしい問題及び／又は提案された解決策をユーザに出力するように構成され得る。このようなディスプレイは、手持ち式音響点検ツール又はリモート装置（例えば、ユーザのスマートフォン、タブレット、コンピュータなど）に配置できる。その上若しくはそれとは別に、潜在的な問題及び／又は解決策を示すそのようなディスプレイは、例えば、ネットワークを介して、オフサイトのオペレータ／システムモニタなどのリモートサイトに通信することができる。
ある例の診断特性では、音響分析システムは、動作中の機械に追加の注油が必要であることを示す特定の周期的なきしみ音を観察することがある。同様に、一定の高音の信号は、ターゲットシーンでのガス又は空気の漏れを示している可能性がある。他の問題も同様に、分析中の物体内のベアリングの破損など、認識可能な音響シグネチャがあることがあり、音響撮像システム（手持ち式音響撮像ツールなど）を介して音響シグネチャを見ると、システム又は物体の異常を診断するのに役立つことがある。
受信した音響信号を基準（例えば、音響画像データ及び／又はデータベースからのパラメータ）と比較し、診断情報を実行し、及び／又は是正措置を提案することができる音響分析システムは、シーンの音響データを経験豊富な専門家が分析する必要をなくすことができる。むしろ、音響点検及び分析は、音響データの分析の経験が限られているか、又は全くないシステムオペレータによって実行することができる。
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。この方法は、目標ターゲットの選択を受信し（１３８０）、データベースから目標ターゲットの基準音響画像及び／又は音響パラメータを取得すること（１３８２）を含む。例えば、ユーザは、億票の特定の物体の音響分析を実行することを望むことがあり、利用可能な基準音響画像及び／又はデータベースで利用可能なパラメータを有する物体の事前定義されたリストからそのような物体を選択し得る。
この方法は、例えば、手持ち式音響撮像ツールを使用して、目標ターゲットを表す音響画像データ及び関連するパラメータを取り込む工程（１３８４）をさらに含む。音響画像データ及び関連するパラメータを取り込んだ（１３８４）後、この方法は、取り込まれた音響画像データ及び／又は関連するパラメータを、取得された基準画像及び／又はパラメータと比較すること（１３８６）を含む。
図１３の方法は、取り込まれた音響画像データ及び／又はパラメータが基準から十分に逸脱している場合（１３８８）、比較に基づいて関心のあるターゲットの動作問題を診断すること（１３９０）をさらに含む。この方法は、起こり得る問題及び／又は是正措置の表示をユーザに表示するステップをさらに含むことができる（１３９２）。ある実施形態では、比較表示、例えば、現在の音響画像データと基準音響画像データとの間の差を示す差分画像が、その上若しくはそれとは別にユーザに表示され得る。
あるそのような例では、基準（１３８８）からの逸脱があるかどうかを判定することは、取り込まれたデータの一又はそれ以上の音響パラメータを基準データ内の同様のパラメータと比較し、取り込まれたパラメータと基準パラメータとの間の差異が所定の閾値を超えるかどうかを判定することを含む。様々な例において、異なるパラメータは、異なる閾値を含むことがあり、そのような閾値は、絶対閾値、統計的閾値などであり得る。ある実施形態では、比較は、位置ごとに行うことができ、シーン内の位置のサブセットに対して実行し得る。
例えば、図９Ｂに関して、音響画像データを含み、物体上に現れる位置（例えば、位置９１０と９４０）のみが、物体の動作に関して分析されることが可能である。そのような例では、比較される各位置（例えば、９１０と９４０）での異なる音響パラメータが、取り込まれた画像とデータベース画像との間で個別に比較される。例えば、取り込まれたデータ及び／又は関連するパラメータをデータベースからのものと比較することは、図９Ｂを参照して、取り込まれた画像内の位置９１０の周波数、強度、及び周期性をそれぞれ、データベース画像内の位置９１０の周波数、強度、及び周期性と比較することを含むことができる。同様の比較は、取り込まれた画像とデータベース画像との間の位置９４０で実行され得る。説明したように、各比較は、基準からの十分な逸脱があるかどうかを判定する（１３８８）ための異なるメトリックを含むことができる。
動作の問題を診断（１３９０）し、起こり得る問題及び／又は是正措置の指示（１３９２）を表示することは、取り込まれた画像データと基準画像データ及び／又はパラメータと間の比較の組み合わせに基づいて実行することができる。ある例では、そのような診断は、所定の位置での複数のパラメータの比較を組み合わせるなどの多次元分析を含むことができる。例えば、例示的な実施形態では、特定の条件は、第１の閾値よりも大きい基準からの周波数の逸脱と、第２の閾値よりも大きい基準からの強度の逸脱の両方によって示され得る。
ある例では、起こり得る問題及び／又は是正措置の指示を表示した（１３９２）後でも、プロセスは、新しい音響画像データ及び関連するパラメータを取り込み（１３８４）、比較及び診断プロセスを繰り返すことを含むことがある。したがって、ユーザは、取られた是正措置が特定された問題を修正するために物体の音響シグネチャを効果的に変更しているかどうか、及び／又は、物体の音響シグネチャを基準に一致させているかどうかを観察し得る。
ある実施形態では、取り込まれたデータを基準データと比較した（１３８６）後で、基準からの十分な逸脱がない（１３８８）場合、プロセスは、物体の現在の音響シグネチャに基づいて、物体は正常に動作しているとの結論とともに終了し得る（１３９４）。その上若しくはそれとは別に、目標ターゲットの新しい音響画像データ及び関連するパラメータを取り込むことができ（１３８４）、比較及び診断プロセスが繰り返されることができる。ある例では、継続的な繰り返し分析が、例えば、図１２Ａの音響撮像ツール１２００を含む、固定された音響分析システムを使用して実行され得る。
音響データ（例えば、画像データ及び／又は他の音響パラメータ）の比較は、ユーザを物体が正しく機能しているかどうかをより簡単に特定させ、そうでない場合は物体の問題を診断するのに役立つ。ある例では、基準との比較が、物体の操作上の問題とは無関係であり得る予想される動作音やフロア／バックグラウンド音など、シーン内の「通常の」音をユーザが無視するのに役立つ。
動作中、音響画像データ及び／又は関連する音響パラメータの観察、あるいは現在の音響シーンとデータベースの音響シーンとの間の比較の結果の観察は、さらなる点検のために目標位置をユーザに示し得る。例えば、データベース画像からの逸脱を示す比較音響画像は、異常に動作しているシーン内の一又はそれ以上の位置を示し得る。同様に、予期しない一又はそれ以上の位置で音響シグネチャを有する音響画像を見ることは、目標位置をユーザに示すことができる。例えば、図１０Ｂを参照すると、音響撮像システムのディスプレイ上で図１０Ｂを観察しているユーザは、特定の位置（例えば、１０２０）が予期せぬ音響信号を放出していることに気付くことがあり、又は同様に、基準画像との比較は、その位置での音響信号の予期しないパラメータ（例えば、予期しない周波数、強度など）を示す。
あるそのような例では、異常がないか位置をより綿密に点検するために、ユーザはそのような位置に近づくことがある。物体に近づくと、ターゲットまでの距離値が更新され、音響アレイとターゲット位置との間の新しい距離が反映され得る。音響センサアレイ及び／又はバックプロパゲーションアルゴリズムは、更新されたターゲットまでの距離に基づいて更新され得る。その上若しくはそれとは別に、より近い位置からの更新された音響分析は、ターゲットからの音響信号の異なる分析をもたらすことがある。例えば、高周波音響信号（例えば、超音波信号）は、音響信号の発生源から比較的短い距離にわたって減衰する傾向がある。したがって、ユーザがさらなる点検のためにターゲットに近づくと、追加の信号（例えば、高周波信号）が音響センサアレイにとって可視であることがある。観察可能なシーンにおけるそのような明らかな変化はまた、音響撮像に使用される音響センサアレイ及び／又はバックプロパゲーションアルゴリズムの調整をもたらすことがある。
したがって、音響撮像に使用されるセンサアレイ及び／又はバックプロパゲーションアルゴリズムは、ユーザが目標物体又は領域に近づくにつれて、１回又はそれ以上の回数で更新されることがある。各更新は、異なるセンサアレイ及び／又はバックプロパゲーションアルゴリズムを使用して、遠くからは観察できなかった可能性のある目標物体又は領域に関する追加の詳細を提供することができる。例えば、より広いシーンの初期の観察に基づいて、目標物体又は領域に近づくと、環境内のバックグラウンド音と比較して、目標の音響信号の音響強度を高めることもできる。
ある実施形態では、音響分析システム（例えば、手持ち式音響撮像ツール）は、シーン内の目標物体又は領域により近く移動するようにユーザに促すことがある。例えば、現在の音響画像を基準データベース画像と比較すると、音響分析システムは、基準から逸脱するシーン内の一又はそれ以上の位置を特定することができる。音響分析システムは、例えば、ディスプレイを介して、そのような一又はそれ以上の位置をユーザに強調表示し、さらなる分析のために、ユーザが特定された位置に近づくことを提案し得る。ある例では、音響分析システムは、環境内の物体の副構成要素又は特定の物体などの特定された位置を、データベースに記憶された独自の基準プロファイルを有するものとして分類することができる。システムは、分類された位置のそのようなプロファイルを提案及び／又は実施して、ユーザが追加の点検のために近づくときに特定された位置のさらなる分析を容易にするように構成され得る。
本明細書に記載のシステム及びプロセスは、音響点検の速度、効率、精度、及び徹底性を改善するために使用することができる。様々な自動化されたアクション及び／又は提案（例えば、センサアレイ、バックプロパゲーションアルゴリズムなど）は、経験の浅いユーザが音響シーンの徹底的な音響点検を実行し得るという点で、点検の容易さを向上することを可能にする。さらに、このようなプロセスは、システム全体、個々の物体、そして、個々の物体の副構成要素など、幅広いシーンを分析するのに使用され得る。音響シーンの基準音響データの事前定義及び／又はユーザ生成のプロファイルは、経験の浅いユーザでも、取り込まれた音響データの異常を特定するのに役立つことができる。
音響画像データを可視光、赤外線、及び／又は紫外線画像データなどの他のデータストリームに重ね合わせることは、音響画像データ内で表される音響信号を放出している物体に追加のコンテキスト及び詳細を提供することができる。音響センサアレイと距離測定ツール（レーザ距離ファインダーなど）を組み合わせることは、音響撮像プロセスで使用する適切なターゲットまでの距離値をすばやく簡単に決定するときにユーザに役立つことがある。様々な例において、音響センサアレイ、距離測定ツール、プロセッサ、メモリ、及び一又はそれ以上の追加の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュールなど）は、複数のシーンの効率的な音響分析を提供できる手持ち式音響撮像ツールの単一の筐体によって支持され得る。このような手持ち式音響撮像ツールは、複数の目標物体を迅速に分析するために、シーンからシーンに移動されることがある。同様に、手持ち式ツールを使用すると、ユーザはシーン内の幕表位置に近づいて、さらなる点検又は分析をすることができる。
本明細書では、音響撮像を実行し、音響画像データを生成及び表示するための様々なシステム及び方法がここに説明されている。例示的なシステムは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成された複数の音響センサ要素を含む音響センサアレイを含むことができる。
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことができる。そのような撮像ツールは、赤外線撮像ツール、可視光撮像ツール、紫外線撮像ツールなど、若しくはそれらの組み合わせを含むことができる。
システムは、音響センサアレイと電磁撮像ツールと通信するプロセッサを含むことができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するように構成され得る。プロセッサは、例えば、バックプロパゲーション計算を介して、受信した音響データと、ターゲットまでの距離を表す受信した距離情報に基づいて、シーンの音響画像データを生成するように構成され得る。音響画像データは、本明細書の他の場所で説明されているような調色若しくは配色などによる音響データの視覚的表現を含むことができる。
プロセッサは、生成された音響画像データと受信した電磁画像データとを組み合わせて、音響画像データと電磁画像データの両方を含むディスプレイ画像を生成し、ディスプレイ画像をディスプレイに通信するように構成され得る。音響画像データと電磁画像データとの組み合わせは、例えば、受信した距離情報に基づいて、音響画像データと電磁画像データとの間の視差エラーを補正することを含むことができる。
ある例では、距離情報は、プロセッサと通信する距離測定ツールから受信することができる。距離測定ツールは、例えば、レーザ距離測定装置などの光学距離測定装置、及び／又は音響距離測定装置を含むことができる。その上若しくはそれとは別に、ユーザは、例えば、ユーザインタフェースを介して、手動で距離情報を入力することができる。
システムは、周波数、デシベルレベル、周期性、距離など、若しくはそれらの組み合わせなどの選択されたパラメータに基づいて、音又は音プロファイルなどの目標ポイントの位置を特定するのを助けるためのレーザポインタを含むことができる。このようなレーザポインタは、シーンの視野をディスプレイに表示される適切な音の視覚化と正確に合わせるとともに、整列するために使用されることがある。これは、点検下の物体が音響撮像装置に対して離れている環境、若しくは、ディスプレイ上の音の視覚化が実際のシーンに対してどこにあるかが明確でない場合に役立つ。
ある例では、レーザポインタは、ディスプレイ上に視覚化され得る。そのような視覚化は、実際のシーンにおけるレーザポインタを表すディスプレイ上に（例えば、プロセッサを介して）レーザポインタスポットを生成することを含むことができる。ある例では、レーザポインタの位置は、例えば、シーン内のレーザポインタを表すアイコン又は別の整列されたディスプレイマーカによりディスプレイ上で強調され、実際のシーンに対するディスプレイ上の位置をより適切に決定することができる。
本明細書の他の個所で説明するように、熱画像システムは、音響画像データを作成することなどによって、一又はそれ以上の音響センサによって生成された音響データの偽色（例えば、調色された）、記号、又は他の非数値視覚表現を作成するように構成され得る。その上若しくはそれとは別に、システムは、スピーカ、ヘッドホン、有線又はリモート通信ヘッドセットなどを介して、ユーザに音声フィードバックを提供することができる。このような音声又はヘテロダイン音声の送信は、検出及び表示された音の視覚的表現に同期させることができる。
様々な例において、音響データは、例えば、そのようなデータの理解を容易にし、視聴者が視覚化される音の性質について誤った想定をすることを防ぐために、様々な方法で視覚化することができる。ある例では、異なるタイプの視覚化が、視覚化された音の直感的な理解を提供することを可能にする。
ある実施形態では、生成されたディスプレイは、視覚化されている音に関する情報の完全な提示を提供するために、数値及び／又は英数字のコンテキストデータを伴う非数値視覚表現を含み、これは、ユーザが一又はそれ以上の適切な行動方針を決定及び／又は実施するのを支援することを可能にする。
様々な非数値グラフィック表現（例えば、記号、調色など）や英数字情報を含む様々な表示特徴は、組み合わせることができる。ある実施形態では、所定のシーン表現に存在する表示特徴は、例えば、複数の選択可能な設定から、ユーザによってカスタマイズされ得る。その上若しくはそれとは別に、表示特徴の事前設定された組み合わせは、ユーザにより選択されて、ディスプレイ画像に情報の所望の組み合わせを自動的に含めることを可能にする。様々な実施形態では、ディスプレイ画像の態様は、例えば、仮想インタフェース（例えば、タッチスクリーンを介して提供される）及び／又は物理的制御を介して、ユーザによって調整可能である。
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。図示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置２３２、２３４、２３６において、音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に譲受された米国特許出願第１５／８０２，１５３号に記載されている。
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。あるそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円のそれぞれの同一色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置３３２、３３４、３３６における音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化している。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加又は代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ〜２０ｄＢの間の強度値などの絶対範囲に対応することができるか、又は最大強度の９０％〜１００％の間の強度値などの相対範囲であり得る。
本明細書の他の個所で説明するように、ある実施形態では、電磁画像データと音響画像データを含むディスプレイ画像は、音響信号の視覚的表示と音響信号に関連する一又はそれ以上のパラメータの英数字表現の両方を含むことができる。図１６は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を示す例示的な視覚化を示している。図示の例では、英数字音強度値ラベルが、調色された音響画像データ（例えば、強さのデータ）を有する３つの位置のそれぞれに関連付けられている。図示されているように、音響信号は、それに関連する音響パラメータ（１６０２、１６０４、１６０６）、と英数字情報（それぞれ、１６１２、１６１４、１６１６）を表す対応する視覚的インジケータを有する。例示的な実施形態では、英数字情報は、調色された音響データが表示される位置に関連する最大強度値などの数値を提供することができる。ある例では、ユーザは、調色及び／又は英数字データを表示するための一又はそれ以上の位置を選択し得る。例えば、ユーザは、シーン内の一又はそれ以上の音響信号に関連する音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
ある例では、英数字情報は、シーン内の所与の位置での音響信号に関連する複数のパラメータ（例えば、音響パラメータ）を表すことができる。図１７は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を含む視覚化の例を示している。図示の例では、音の強度値と対応する周波数値（例えば、平均周波数又はピーク周波数）が、それぞれインジケータ１７０２、１７０４、１７０６を介して示される調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１７１２、１７１４、１７１６に示されている。図１６に関して説明したのと同様に、様々な位置での様々なそのようなデータの包含は、ユーザによって開始されることができる。例えば、ユーザは、シーン内の一又はそれ以上の音響信号に関連する一又はそれ以上の音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
図１８は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を示す別の例示的な視覚化を示している。図示の例では、距離測定が、それぞれインジケータ１８０２、１８０４、１８０６を介して示される、調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１８１２、１８１４、１８１６と共に含まれている。図１６に関して説明したのと同様に、様々な位置に様々なそのようなデータを含めることは、例えば、ディスプレイ画像注釈の一部として、ユーザによって選択され得る。
ある例では、非数値表現が、複数の音響パラメータに関連する情報を伝達するために使用されることがある。例えば、図１９は、異なる音響パラメータ値を表す異なるサイズと色のインジケータ１９０２、１９０４、１９０６（この場合、円）を示す例示的な視覚化を示している。例示的な実施形態では、インジケータのサイズは、所与の位置での音響信号の強度に対応し、インジケータの色は、ピーク又は平均周波数に対応している。例示的な実施形態では、あるインジケータのサイズを別のインジケータのサイズと比較することが、インジケータに関連付けられた位置で表される音響パラメータ値間の相対差を表すように、インジケータサイズは相対値を示すことができる。その上若しくはそれとは別に、英数字情報は、絶対的又は相対的な音響パラメータ値を提供するために、含められ得る。
ある実施形態では、色付きインジケータが、一又はそれ以上の検出された音響信号、及び／又は、基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すために使用されることがある。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示している。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）もう１つの音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色はインジケータは軽度の重大度を表す。他の例では、他の配色又は外観特性（例えば、インジケータの透明度、インジケータのサイズなど）が、音響信号の重大度を視覚的に区別するために使用されることがある。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表している。
本明細書の他の個所で説明するように、様々な実施形態では、一又はそれ以上の音響パラメータが、例えば、調色されたカラーディスプレイ又はグレースケールディスプレイによって、音響シーンの視覚的表現に表示されることがある。ある実施形態では、システムは、特定された周波数範囲、強度範囲、距離範囲などのような、一又はそれ以上の音響条件を満たすシーン内の一又はそれ以上の位置を特定するように構成され得る。ある例では、（例えば、特定のセットの条件又はパラメータを満たす）音プロファイルに対応する様々な位置が特定され得る。そのような特定された位置は、ディスプレイ画像を作成する際に他の方法で使用される音響画像データ調色技術とは異なる方法で提示され得る。例えば、図２１は、シーン内の複数の位置におけるインジケータを含むシーンを示している。インジケータ２１０１、２１０２、２１０３、２１０４、及び２１０５は、シーン内に配置される。インジケータ２１０３、２１０４、及び２１０５は、例えば、スケール２１１０に対応する一又はそれ以上の音響パラメータの値を表す、調色された音響画像データを含んでいる。インジケータ２１０１及び２１０２は、位置２１０３、２１０４、及び２１０５に現れる調色技術と区別できる独特の提示技術を有することが示されている。そのような実施形態では、ユーザは、一又はそれ以上の所望の条件を満たす画像内のそれらの位置を迅速かつ容易に特定し得る。あるそのような例では、ユーザは、例えば、２１１０などのスケールからの値の範囲の選択に基づいて、区別できる方法で表示するための一又はそれ以上の所望の条件を選択し得る。
その上若しくはそれとは別に、特定の音プロファイルの条件を満たす位置は、対応する音プロファイルなど、満たされた条件を表すアイコンで提示することができる。例えば、図２２は、シーン内の認識された音プロファイルを示すディスプレイ画像内に配置された複数のアイコン２２０２、２２０４、２２０６、２２０８を示している。図２２に示される例示的なプロファイルは、ベアリングの摩耗、空気漏れ、及び電気アーク放電を含む。そのようなプロファイルは、そのようなプロファイルに分類されるために、そのようなプロファイルに関連付けられた一又はそれ以上のパラメータのセットを満たす音響信号によって特定され得る。
図２３は、各音響信号に関連する音響強度を表す同心円と英数字情報を使用して、複数のインジケータ２３０２、２３０４及び２３０６を介した音響データを示す別の例示的なディスプレイ画像を示している。本明細書の他の位置で説明するように、ある例では、インジケータのサイズは、対応する位置に存在する一又はそれ以上の音響パラメータを表すことができる。ある実施形態では、インジケータは単色であることがあり、インジケータサイズ、線の太さ、線のタイプ（例えば、実線、破線など）などによって、一又はそれ以上の他の方法で音響パラメータを示すことができる。
ある例では、ディスプレイは、ユーザによって行われた選択に基づく英数字情報を含むことができる。例えば、ある実施形態では、システムは（例えば、プロセッサを介して）、そのような位置での（例えば、ユーザインタフェースを介した）ディスプレイ上のインジケータのユーザ選択に応答して特定の位置に位置する音響信号の一又はそれ以上の音響パラメータを表す情報を含むことができる。図２４は、表示された音響信号に関連するインジケータ及び追加の英数字情報を有する例示的なディスプレイ画像を示している。一例では、ディスプレイ上のインジケータ２４０２は、さらなる分析のために選択され得る（例えば、十字線を介して表され、これは、タッチスクリーン入力を介するなど、選択を示すことができる）。ディスプレイは、ピーク強度及び対応する周波数、周波数範囲、位置までの測定距離、並びにその位置からの音響信号によって示される臨界レベルを含む、インジケータに対応する位置に関連するデータのリストを含む英数字情報２４０４を示している。
ある例では、ディスプレイ画像は、シーン内の対応する複数の音響信号を表す複数のインジケータを含むことができる。ある実施形態では、そのような場合、ユーザは、一又はそれ以上のインジケータを（例えば、タッチスクリーン又は他のユーザインタフェースを介して）選択することがあり、選択の検出に応答して、プロセッサは、音響信号に関する追加情報を提示し得る。このような追加情報には、一又はそれ以上の音響パラメータの英数字を含めることができる。ある例では、そのような追加情報は、複数の音響信号に対して同時に表示することができる。他の例では、所与の音響信号に関するそのような追加情報は、別の音響信号が選択されるときに隠される。
本明細書の他の場所で説明されているように、ある例では、システムはレーザポインタを含むことができる。ある例では、レーザポインタは、固定された方向を有することができるか、若しくは、例えば、プロセッサを介して制御可能な調整可能なポインティングを有することができる。ある例では、システムは、画像内の選択された位置に関連付けられたターゲットシーン内の位置にレーザポインタを向けるように構成され得る。図２５Ａは、インジケータ２５０２が選択されている、図２４に示されているディスプレイなどのディスプレイを含むシステム（ある例では、手持ち式ツールとして具体化されている）を示している。レーザポインタ２５０４は、シーンに向かってレーザビーム２５０６を放出し、レーザは、画像内の選択されたインジケータ２５０２の位置に対応してシーン内にレーザスポット２５０８を作成する。これは、ユーザが環境内の選択及び／又は分析された音響信号の位置を視覚化するのに役立たせることができる。ある実施形態では、レーザスポット２５０８は、電磁撮像ツールによって検出可能であり、表示されたインジケータ２５０２と、音響パラメータ情報を含む英数字情報２５１２と共にディスプレイ上に見ることができる。ある例では、音響撮像システムは、シーン内のレーザの位置を検出又は予測し、レーザ位置の視覚的表示２５１０を提供するように構成されている。図２５Ｂは、図２５Ａのシステムビューに示されるようなディスプレイ画像を示している。
レーザポインタが固定された向きを有する実施形態では、ユーザは、レーザ位置を視覚的に示すディスプレイ画像をフィードバックとして見ることができ、その結果、ユーザは、選択された音響信号と一致するようにレーザの照準を調整することができる。
本明細書の他の個所で説明するように、ある実施形態では、音響画像データを電磁画像データと組み合わせて、ディスプレイ画像で提示することができる。ある例では、音響画像データは、電磁画像データの様々な側面が完全に隠されないように調整可能な透明度を含むことができ、図２６は、シーン内のある位置でインジケータ２６０２によって表される音響画像データを示し、インジケータ２６０２は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を含んでいる。システムは、音響撮像ツールと一体若しくは別個である表示装置であって、電磁画像データと音響画像データを含む表示データを提示するように構成された表示装置を含むことができる。
ある実施形態では、装置（例えば、手持ち式音響撮像ツール）は、物理的ブレンド制御２６１４（例えば、ユーザインタフェースの一部として含まれ得る一又はそれ以上のボタン、ノブ、スライダーなど）及び／又はタッチスクリーン若しくは他の仮想的に実装されたインタフェースを介するなどの仮想ブレンド制御２６０４を含むことができる。ある実施形態では、そのような機能は、スマートフォン、タブレット、コンピュータなどの外部ディスプレイ装置によって提供され得る。
図２７は、部分的に透明な同心円調色技術を含む、ディスプレイ画像のための仮想及び／又は物理的ブレンド制御ツールを示している。図２６に関する説明と同様に、インジケータ２７０２は、シーン内の音響信号を表すことができる。音響撮像システムは、ディスプレイ画像内の音響画像データ（例えば、インジケータ２７０２）の透明度を調整するために使用することができる物理的ブレンド制御２７１４及び／又は仮想ブレンド制御２７０４を含むことができる。
その上若しくはそれとは別に、物理的及び／又は仮想インタフェースが、一又はそれ以上の表示パラメータを調整するために使用され得る。例えば、ある実施形態では、一又はそれ以上のフィルタが、本明細書の他の場所で説明するような、一又はそれ以上の条件を満たす音響画像データを選択的に表示するために、適用され得る。図２８は、一又はそれ以上のフィルタを満たすシーン内の位置を示す（例えば、一又はそれ以上の対応する閾値又は所定の条件を満たす一又はそれ以上の音響又は他のパラメータを有する）グラデーション調色を有するインジケータ２８０２を含むシーンを示している。様々な例において、フィルタ処理は、物理的制御２８１４（例えば、一又はそれ以上のボタン、ノブ、スイッチなどを介して）及び／又は仮想制御２８０４（例えば、タッチスクリーン）を介して選択及び／又は調整され得る。図示の例では、フィルタは、音響パラメータの事前定義された範囲２８０６内にある音響パラメータ（例えば、周波数）を有する音響信号のみの音響画像データを表示することを含む。図示されているように、事前定義された範囲２８０６は、可能なフィルタ範囲２８１６のサブセットである。ある例では、ユーザは、例えば、仮想２８０４又は物理２８１４的制御を介して、フィルタ効果を調整するために、事前定義された範囲２８０６の制限を調整し得る。
図２９は、部分的に透明な同心円調色技術を含む、ディスプレイ画像の仮想及び／又は物理的なフィルタ調整を示している。図示されるように、インジケータ２９０２は、フィルタに基づく値の所定の範囲２９０６内にある音響パラメータに基づいて、シーン内に示される。フィルタは、例えば、仮想２９０４及び／又は物理的な２９１４制御を介して、値の範囲２９１６内で調整可能であり得る。
ある実施形態では、複数のフィルタが、調色された音響画像データを含むディスプレイ画像をカスタマイズするために利用されることがある。図３０は、第１のインジケータと第２のインジケータを示すディスプレイ画像を示している。本明細書の他の個所で説明するように、一又はそれ以上のフィルタが、（例えば、物理的フィルタ制御及び／又は仮想フィルタ制御を介して）ディスプレイ画像に適用され、表示されたデータをカスタマイズすることができる。図３０の図示の例では、フィルタ処理は、第１のフィルタ範囲３００６と第２のフィルタ範囲３００８を確立することを含んでいる。ある例では、フィルタ範囲は、例えば、仮想３００４及び／又は物理的３０１４制御を介して、値の範囲３０１６内で調整可能であり得る。
このようなフィルタ範囲は、周波数、振幅、近接度など、様々なパラメータのいずれかを表すことができる。図示されているように、第１のフィルタ範囲と第２のフィルタ範囲はそれぞれ色に関連付けられ（ある例では、ユーザによって調整可能である）、インジケータ３００２、３０１２は、対応する音響信号が各フィルタ範囲に関連付けられる一又はそれ以上のフィルタ条件を満たす画像内の位置に配置される。図示されているように、第１のインジケータ３００２は、第１のフィルタ範囲３００６（暗い陰影で示される）を満たす音響信号を表し、第２のインジケータ３０１２は、第２のフィルタ範囲３００８（明るい陰影で示される）を満たす音響信号を表している。したがって、ユーザは、どの位置がどの条件を満たすかを特定しながらも、同時に様々な条件を満たす音響データを有するシーン内の位置を迅速に特定することができ得る。
ある例では、音響撮像ツール又は外部ディスプレイ装置などのディスプレイ装置は、図３１に示されるような入力装置として仮想キーボードを含むことができる。図３１は、シーン内の音響信号の一又はそれ以上の音響パラメータを表すインジケータ３１０２を含むディスプレイインタフェースを示している。仮想キーボード３１１０がディスプレイに含まれており、これを使用して、英数字情報３１１２をディスプレイ画像に追加することができる。このような仮想キーボードを利用することは、画像と共に保存できる様々な点検メモ、ラベル、日付／タイムスタンプ、又はその他のデータなど、カスタマイズされた注釈をユーザに入力させることを可能にする。様々な例において、仮想キーボードが使用されて、画像データに含まれる、及び／又は、ディスプレイ画像に関連付けられたメタデータに記憶されることなどによって画像データに追加されるテキストを追加することができる。
様々な装置が使用されて、音響画像データと、英数字データ、一又はそれ以上の電磁スペクトルからの画像データ、記号などの他のデータとの様々な組み合わせを含むディスプレイ画像を提示することがある。ある例では、手持ち式音響撮像ツールは、ディスプレイ画像を提示するためのビルトインディスプレイを含むことができる。他の例では、表示されるべき情報、若しくは、表示を生成するために処理されるデータ（例えば、生のセンサデータ）は、表示のために外部装置に通信され得る。そのような外部装置は、例えば、スマートフォン、タブレット、コンピュータ、ウェアラブル装置などを含むことができる。ある実施形態では、ディスプレイ画像は、拡張されたリアルティタイプのディスプレイにおいて、リアルタイムの電磁画像データ（例えば、可視光画像データ）と組み合わせて提示される。
図３２は、ユーザに着用され得るアイウェア３２１０に組み込まれたディスプレイを示している。ある例では、アイウェアは、関連部分が参照により本明細書に組み込まれる「試験及び測定ツールに組み込まれるか、若しくは、付属される撮像ツールからの画像表示（ＤＩＳＰＬＡＹ ＯＦ ＩＭＡＧＥＳ ＦＲＯＭ ＡＮ ＩＭＡＧＩＮＧ ＴＯＯＬ ＥＭＢＥＤＤＥＤ ＯＲ ＡＴＴＡＣＨＥＤ ＴＯ Ａ ＴＥＳＴ ＡＮＤ ＭＥＡＳＵＲＥＭＥＮＴ ＴＯＯＬ）」と題され、本出願の譲受人に譲受された米国特許公開第２０１６００７６９３７号に記載されるような一又はそれ以上の組み込まれた撮像ツールを含むことができる。あるそのような例では、統合ディスプレイは、リアルタイムディスプレイ画像３２２０を表示することができる。例えば、ディスプレイは、ユーザが向いているシーンを表す電磁画像データ（例えば、可視光画像データ）を表示することができ、同時に（例えば、ブレンド、オーバレイなどを介して）、音響画像データ（例えば、インジケータ３２０２を含む）などの一又はそれ以上の追加のデータストリームを表示して、ユーザに追加情報を提供することができる。ある実施形態では、図３２に示されるようなアイウェアは、透明な表示画面を含み、その結果、ディスプレイ画像がディスプレイに提供されない場合、ユーザは、リアルタイム可視光画像データを提示されるのではなく、アイウェアを通して自分の目で直接シーンを見ることができる。あるそのような例では、音響画像データ、英数字データなどの追加のデータが、ユーザの視野内の他の透明なディスプレイに表示して、ユーザは、ディスプレイを介してシーンの自分の視野に加えてそのようなデータを見ることができる。
本明細書の他の個所で説明するように、様々な例において、ディスプレイ画像に提示される様々なデータは、他のデータストリームとのブレンド（例えば、音響画像データと可視光画像データとのブレンド）を含む様々な方法で組み合わせることができる。ある例では、ブレンドの強さは、単一のディスプレイ画像内の異なる位置間で異なる可能性がある。ある実施形態では、ユーザは、複数の位置のそれぞれ（例えば、検出された音響信号の複数のインジケータのそれぞれ）のブレンド比を手動で調整することができる。その上若しくはそれとは別に、ブレンドは、周波数、振幅、近接度などのような一又はそれ以上のパラメータの関数であり得る。
ある実施形態では、音響撮像ツールは、センサアレイが検出された音響信号を放出している複数の位置のそれぞれを指している程度を特定し、対応する音響画像データを、例えば、可視光画像データとブレンドするように構成され得る。図３３Ａは、音響シーンにおける音響信号を表す第１のインジケータ３３０２と第２のインジケータ３３０４を含む例示的なディスプレイを示している。図３３Ａでは、音響センサは、第２のインジケータ３３０４の位置に対応するパイプ２と比較した場合、第１のインジケータ３３０２の位置に対応するパイプ１をより直接的に指している。したがって、図３３Ａの表示技術では、第１のインジケータ３３０２は、第２のインジケータ３３０４よりも目立つように表示される（例えば、より高いブレンド係数又はより低い透明度を有する）。逆に、図３３Ｂで、音響センサは、第１のインジケータ３３０２の位置に対応するパイプ１と比較した場合、第２のインジケータ３３０４の位置に対応するパイプ２をより直接的に指している。したがって、図３３Ｂの表示技術では、第２のインジケータ３３０４は、第１のインジケータ３３０２よりも目立つように表示される（例えば、より高いブレンド係数又はより低い透明度を有する）。一般に、ある実施形態では、音響撮像システムは、センサが所与の位置に向けられている程度を示すメトリックを決定し（例えば、音響画像データのインジケータに対応して）、それに応じた位置に対応するブレンド比を調整することができる（例えば、照準の程度が大きいほど、対応してブレンド率が高くなる）。
ある例では、プロセッサは、シーン内で検出された音プロファイルを保存することができる。例えば、例示された実施の態様において、ユーザは、一又はそれ以上のパラメータに対応する音プロファイルとして、検出された音響データ(例えば、音響画像データとして表示された)を保存することができる。あるそのような例において、そのような音プロファイルは、空気漏れの存在のようなシーンの一又はそれ以上の特徴に応じて及び／又はそれに関連してラベル付けされることがある。その上若しくはそれとは別に、予め定義された音プロファイルが、音響撮像システムの工場組立時にシステムメモリに読み込まれ得る、及び／又は、音響撮像システムにダウンロードされ得るか、若しくは、それとは別に通信され得る。
ある例では、音プロファイルがシーン内に存在する一又はそれ以上の音を含むことがある。様々な音プロファイルが、周波数やデシベルレベルや周期性や距離などの一又はそれ以上の音響パラメータによって定義され得る（例えば、例示される音プロファイルは、所定の範囲内の周波数値とそのプロファイルに関連する所定の範囲内の周期性を含むことがある）。音プロファイルは、シーン内の一又はそれ以上の音により定義されることがあり、ある例では、複数の音のそれぞれが周波数やデシベルレベルや周期性や距離などの一又はそれ以上の音響パラメータによって定義され得る。所与のプロファイルの複数の音が、同様のパラメータによって特定される（例えば、２つの音のそれぞれが周波数範囲と周期性範囲を有する）か、若しくは、異なるパラメータによって特定される（例えば、ある音が対応する周波数範囲を有するが、他の音が対応するデシベルレベル範囲と最大距離値を有する）ことがある。
ある例では、システムは、音響シーン内の一又はそれ以上の音が既知の音プロファイルに対応している場合のような、音プロファイルに関する通知を提供するように構成されることがある。例えば、通知はユーザ若しくは技術者に認識された音プロファイルの警告を与えることができる。その上若しくはそれとは別に、システムは、認識された音プロファイルに基づいて、音響画像データ、電磁画像データ、及び／又は、ディスプレイ画像に注釈を付すように構成されることがある。通知は、可聴音、ディスプレイ上の視覚化、LEDライトなどを含むことがある。
ある例では、システムプロセッサが、例えば、一又はそれ以上の音プルファイルを考慮して、音響シグナチュアの臨界を分析するように構成されることがある。音響データ(例えば、音プロファイルに関連して)とシステムの臨界の対応が、例えば、機械学習入力及び／又はユーザ入力に基づいて学習され得る。
ある例では、プロセッサが音響シーン内のデータを一又はそれ以上の既知の音プロファイルパターンと比較して、例えば、検知されたシグナチュアの臨界に関してシーンを分析するように構成されることがある。様々な例において、プロセッサは、潜在的な臨界に基づいてユーザに通知するように構成されることがある。このことは、例えば、特定された音響シグナチュアと一又はそれ以上の記憶された基準との比較、ユーザ定義の閾値と比較された相対値、及び／又は、(例えば、過去の実績やエラーや対応する履歴的音響シグナチュアに基づく)機械学習アルゴリズム及び／又は人工知能プログラミングを介して自動的に決められた値に基づいてなしうる。
そのような様々な例において、プロセッサは、一又はそれ以上の音プロファイルに関して音響シーンを分析して、シーンの若しくはシーン内の対象物の発見された音プロファイルの影響を推定するように構成されることがある。影響を推定することは、音プロファイルの潜在的な臨界及び／又は音響シグナチュアに関する潜在的なコスト若しくは利益ロスを含むことがある。ある例では、(例えば、プロセッサを介して)システムは、（例えば、音響シグナチュアを音響シーン内の空気漏れに関する一又はそれ以上の音プロファイルと比較することによって）シーン内の一又はそれ以上の空気漏れを認識するように構成されることがある。そのようなある例では、システムが、検出された空気漏れの数、一又はそれ以上の空気漏れの厳しさ、及び／又は、そのような一又はそれ以上の漏れを修繕することに関連する推定経費節約のような、様々なデータを自動的に算出及び／又は報告することができる。ある例では、コスト見積が、検出された漏れに関連してあらかじめプログラムされた値及び／又はユーザ入力値に基づいてなされ得る。例示されたれ応用例では、システムが、適切に修繕されていない場合、単位時間(例えば、１時間)当たりの圧縮空気漏れのコストインパクトを決定するように構成されることがある。
ある例では、音響撮像システムは、圧力、穴径、又は漏れ量のような、音響シーン内の空気漏れに関する様々な情報を決定するように構成されることがある。ある例では、一又はそれ以上のそのような値は、ユーザによって入力され、残りの値が産出されることがある。例えば、ある例では、ユーザが特定の空気ラインに関連する圧力値を入力することができ、そして、入力された圧力情報を用いて、システムはシーンからの音響データに基づいて穴径や漏れ量を決定するように構成されることがある。そのような決定は、例えば、メモリ内に記憶されたルックアップテーブル及び／又は式を用いて、行われることができる。
例示的なシナリオでは、検出された音プロファイルが1/4インチの径の穴を介して１００PSIGの空気漏れに関連されていることがある。ある実施形態では、そのような記憶された音プロファイルにアクセスされた音響撮像システムは、音響シーン内のそのようなプロファイル認識して、例えば、ルックアップテーブルに基づいて、そのような漏れに関連する時間当たりのコストを推定するようにプログラムされることがある。同様の例では、検出された音プロファイルは、(例えば、手動入力を介して)１００PSIGの入力圧力に基づいて1/4インチの径の穴に関連づけられ得る。そのような記憶された音プロファイルにアクセスされた音響撮像システムは、音響シーン内のそのようなプロファイルを認識して、例えば、ルックアップテーブルに基づいて、そのような漏れに関連する時間当たりのコストを推定するようにプログラムされることがある。
ある例では、音響撮像システムは、式及び／又はルックアップテーブルに基づいて、複数の検出漏れを明確にするためにコスト節約分析を行うように構成されることがある。ある例では、そのような式及び／又はルックアップテーブルは、特定された漏れのコスト分析をするために、音響撮像装置のメモリ若しくはそれによりアクセス可能な他の個所に記憶されることができる。
ある例示の実施では、音響撮像システムは、シーン若しくは施設の点検中において環境内で検出された一又はそれ以上の漏れを特徴づけるように構成されることがある。そのような特徴づけは、例えば、そのような漏れに対応する記憶された音プロファイルに基づき、行われることがある。(例えば、決められた漏れ量の)検出された漏れは、そのような漏れがはっきりしたときのコスト節約を算出するために用いられることがある。例えば、音響撮像システムは、存在する漏れの数とそのような漏れに関する漏れ量を決定して、そのような漏れに関連するコスト節約を算出するために使用されることがある。
ある例では、コスト節約は、以下の式(１)に示すように、漏れの数と、漏れ量（ｃｆｍ)と、漏れに関連するエネルギー量(例えば、ｋＷ／ｃｆｍ)と、稼働時間数と、エネルギー当たりのコストの乗算により算出され得る。
コスト節約(＄)＝漏れの数×漏れ量（ｃｆｍ) ×ｋＷ／ｃｆｍ×時間数×＄／ｋＷｈ…（１）
音響撮像システムは、漏れの数とそのような漏れに関連した（例えば、ｃｆｍでの) 漏れ量を決定するように使用されることがある。他のパラメータは、システムにプログラムされるか（例えば、空気発生当たりのエネルギーをｋＷ／ｃｆｍで)、データベースを介してアクセスされるか（例えば、現状のエネルギーコストを＄／ｋＷｈで)、若しくは、システムによって推定される(例えば、平均稼働時間数)ことがある。システムは、そのような漏れをはっきりさせることに関連するコスト節約を算出するようにプログラムされることがある。
ある例では、システムは、９０ＰＳＩＧで１／３２インチの１００個の漏れと、９０ＰＳＩＧで１／１６インチの５０個の漏れと、１００ＰＳＩＧで１／４インチの１０個の漏れ有する。７０００年間稼働時間と、０．０５＄／ｋＷｈの総電力量と、ほぼ１８ｋＷ／１００ｃｆｍの圧縮空気発生条件を想定すると、式（１)による各漏れに関連するコスト節約は以下のようになる。
１／３２インチの漏れからのコスト節約＝１００×１．５×０．６１×０．１８×７０００×０．０５＝＄５，７６５
１／１６インチの漏れからのコスト節約＝５０×５．９×０．６１×０．１８×７０００×０．０５＝＄１１，３３７
１／４インチの漏れからのコスト節約＝１０×１０４×０．６１×０．１８×７０００×０．０５＝＄３９，９６７
この例に示すように、１／４インチのまさに１０個の漏れを取り除くことによる節約が全節約のうちほぼ７０％を占めている。漏れが特定されているので、ある例では、音響撮像システムは、漏れを分析してどの漏れがより高いコスト節約を生み出す(ただし明らかである場合)のかを特定するように構成されることがある。ある例では、システムは、より高いコスト節約を有する漏れをランク付け若しくは優先順位をつけて、そのようなランクや優先順位をユーザに提供することができる。その上若しくはそれとは別に、システムは、特定された一又はそれ以上の漏れのコスト節約に関する通知をユーザに提供するように構成されることがある。
図３４は、シーン内で特定された空気漏れの潜在的な臨界及び空気漏れに起因する潜在的な損出コストに関係する指示をユーザ又は技術者に提供をする例示的なディスプレイ画像を示している。ある例示の実施形態では、(例えば、プロセッサを介して)音響撮像システムは、例えば、音響シーン内に存在する漏れに関連した既知の音プロファイルに似た音響信号の認識を介して、音響シーン内の漏れの存在を検出する。システムは、検出した音響信号を分析して、例えば、検出された音響信号に対応する一又はそれ以上の音プロファイルを決定することにより、特定された漏れの臨界を確認するように構成されることがある。
本明細書の他の個所に記載されたように、ある例では、音響画像データは決められた臨界に従って調色されることがある。ある実施形態では、音響データの臨界は、一又はそれ以上の音プロファイルに従って決定されることがある。例えば、ユーザが漏れ検出動作モードを選択し、音響撮像システムが漏れに関連した一又はそれ以上の音プロファイルに対して音響データを分析してシーン内の音響データの臨界を決定することができる。
上記のように、システムは、一又はそれ以上の式及び／又はルックアップテーブルなどにより、一又はそれ以上の漏れに関連して数字で表されたコストを算出するように構成されることがある。ある例示の実施形態で、システムは、例えば、そのような漏れに関連した音プロファイルに基づき漏れの大きさと漏れに関連した圧力を特定することができ、その後ルックアップテーブル及び／又は式によりそのような漏れに関連した単位時間当たりのコストを算出できる。
図３４の図示例において、臨界と単位時間当たりのコスト(＄／年)は、音響シーン内の複数の位置のそれぞれと関連している。図示された実施形態では、そのような位置は、臨界に従って調色されるとともに、可視光画像データと組み合わせて各位置に関しユーザに漏れ臨界情報を提供するディスプレイ画像を形成する複数のインジケータ３４１０、３４１２、３４１４を含む音響画像データを介して示されている。そのような臨界は、本明細書に記載されているように、一又はそれ以上の対応する音プロファイルに関連して音響シーンの分析により決定され得る。
様々な実施形態では、臨界の程度及び／又は潜在的な損出コストを変動する漏れが、各種の色、形状、大きさ、不透明度などを含む音響画像データにより示されることがある。同様に、一又はそれ以上のアイコンが、(例えば、特別な音プロファイルに対応する)特別な漏れ若しくはその漏れのコスト又は臨界の範囲を表すために用いられることがある。その上若しくはそれとは別に、コスト／年などのような、英数字情報が対応する漏れの最も近くに含まれることがある。図３４のディスプレイ画像は、さらに、各臨界レベルに関連するおおよそのコストを示す通知３４２０を含んでいる。そのような値は、例えば、特定の空気漏れを表すメモリ内に保存されたプロファイルを考慮して、シーン内で検出された各音響信号に関する音響パラメータに基づいて算出され得る。
ある例では、別のコンテキスト情報が、適切な分析を行うため、そして、シーンの報告活動をするために、有用若しくは必須である。例えば、ある動作中、音響的にシーンを撮像しているとき、ユーザ若しくは技術者は、点検しているシーンについてのコンテキスト情報を記録することを望むことがある。以前のシステムでは、このタスクを行うために、ユーザ若しくは技術者は別のカメラ又は装置で写真を撮るか、文書メモを取るか、若しくは、別の装置を使ってノートを記録する必要がある。そのようなノートは、音響撮像装置からのデータと手動で同期されねばならず、潜在的に収集時のエラーや再収集やデータのミスマッチに導かれ、そして、分析や報告をするときのエラーに潜在的に導かれる。
ある実施形態では、本開示の音響撮像システムは、ターゲットシーンの音響データを取り込み、それをターゲットシーンに関する情報に関連付けすることができる。ターゲットシーンに関するそのような情報は、シーン内の一若しくはそれ以上の物体、シーンの周囲、及び／又は、シーンの位置の周囲に関する詳細を含むことができる。ある実施形態では、関連情報は、画像、オーディオレコーディング若しくはビデオレコーディングの形式で、取り込まれ、シーンを表す音響データ(例えば、音響データそれ自体、対応する音響画像データを含むディスプレイ画像など）と関連付けされ得る。ある例では、関連情報は、音響データと関連付けされて、その情報が何を示しているのかのよりよい理解を提供する。例えば、関連情報は、ターゲットシーン若しくはターゲットシーン内の物体に関する詳細を含むことがある。
ある例では、システムは、シーン内の物体若しくはシーン一般に関する情報を集めるために、一又はそれ以上の装置を含むことができる。一又はそれ以上のそのような装置は、カメラ、位置決め装置、時計、タイマー及び／又は温度センサや電磁センサや湿度センサなどの各種センサを含むことができる。ある例では、音響撮像システムは、画像及び／又はビデオ映像取得のために注釈情報を集めるように構成され得る (例えば、音響撮像装置のハウジングに埋め込まれた) カメラを含むことができる。そのような埋め込みカメラが写真又はビデオ注釈を生成して、音響画像データ又は音響撮像装置によって取得された他のデータに付加される若しくは他の方法でそれらとともに保存されることができる。
ある例では、そのような埋め込みカメラは、本明細書の他の個所で記載されているように、ディスプレイ用に音響画像データを組み合わせることができる電磁撮像データを生成するように構成されることがある。ある実施形態では、音響撮像システムは、タイムスタンプと一緒に、音響データや音響画像データや電磁画像データや注釈データ（例えば、センサデータ、画像／ビデオ注釈データなど）などの様々な情報を保存するように構成されることがある。ある例では、音響撮像システムは、装置上と後でソフトにおいての双方で関連情報を表示し、及び／又は、記録するように構成されることがある。関連情報は、例えば、保存されたディスプレイ画像若しくは音響画像ファイルとともにディスプレイ上に表示されるか、及び／又は、メタデータとして保存され得る。
ある実施形態に従うと、埋め込みカメラ、音響撮像システム内の画像取得装置若しくはビデオ取得装置の使用を通じて、そのような装置は、一次音響データ、組み合わされた電磁及び音響画像データ、及び／又は、オーディオレコーディングに付加される及び／又は、それらとともに保存される写真若しくはビデオ注釈を生成するために利用されることがある。
ある例では、ユーザ又は技術者は、例えば、ユーザインタフェース(例えば、タッチスクリーンや一又はそれ以上のボタンなど)を介して、ディスプレイ上に示された音響画像データ若しくは音響撮像システムによって収集された他のデータに注釈を付することができる。例えば、ある例では、ユーザ又は技術者は、ディスプレイ上の注釈(ｏｎ−ｄｉｓｐｌａｙ ａｎｎｏｔａｔｉｏｎ)を用いて、データの記録中又は以前に収集されたデータのプレイバック中に、データに注釈を付すことができる。
ある例では、音響撮像システムは、システム利用からのオンスクリーン相互作用を介して、(例えば、音響画像データ及び／又は電磁画像データを含む)ディスプレイ画像に注釈を付することができる。あるそのような例では、装置がすべての関連する注釈情報を一次音響画像とともに保存し、同期の必要性に先行するか、若しくは、事後のデータマッチングをする。そのような実施が、結果的に一次データと二次データの不正確なペアリングとなる人間の記憶に関するエラーを減少するか、又は、排除することを可能にする。
(例えば、ユーザインタフェースを介して)ユーザによって追加され得る様々なディスプレイ上の注釈(ｏｎ−ｄｉｓｐｌａｙ ａｎｎｏｔａｔｉｏｎ)は、 (例えばフリーハンドでの) ディスプレイ上の図(ｏｎ−ｄｉｓｐｌａｙ ｄｒａｗｉｎｇｓ)、ディスプレイ上のテキスト及び記述（ｏｎ−ｄｉｓｐｌａｙ ｔｅｘｔ ａｎｄ ｗｒｉｔｉｎｇ)、ディスプレイ上の形状生成（ｏｎ−ｄｉｓｐｌａｙ ｓｈａｐｅ ｃｒｅａｔｉｏｎ）、ディスプレイ上の物体の移動（ｏｎ−ｄｉｓｐｌａｙ ｍｏｖｅｍｅｎｔ ｏｆ ｏｂｊｅｃｔ）、ディスプレイ上の予め構成されたマーカーの配置（ｏｎ−ｄｉｓｐｌａｙ ｐｌａｃｅｍｅｎｔ ｏｆ ｐｒｅ−ｃｏｎｆｉｇｕｒｅｄ ｍａｒｋｅｒｓ）、ディスプレイ上の予め構成されたテキスト、命令又はノートの配置（ｏｎ−ｄｉｓｐｌａｙ ｐｌａｃｅｍｅｎｔ ｏｆ ｐｒｅ−ｃｏｎｆｉｇｕｒｅｄ ｔｅｘｔ、ｉｎｓｔｒｕｍｅｎｔｓ ｏｒ ｎｏｔｅｓ）、ディスプレイ上の予め構成された形状の配置（ｏｎ−ｄｉｓｐｌａｙ ｐｌａｃｅｍｅｎｔ ｏｆ ｐｒｅ−ｃｏｎｆｉｇｕｒｅｄ ｓｈａｐｅｓ）、ディスプレイ上の予め構成された図又は図表の配置(ｏｎ−ｄｉｓｐｌａｙ ｐｌａｃｅｍｅｎｔ ｏｆ ｐｒｅ−ｃｏｎｆｉｇｕｒｅｄ ｄｒａｗｉｎｇｓ ｏｒ ｉｌｌｕｓｔｒａｔｉｏｎｓ)、ディスプレイ上の予め構成された若しくはプログラムされたアイコンの配置(ｏｎ−ｄｉｓｐｌａｙ ｐｌａｃｅｍｅｎｔ ｏｆ ｐｒｅ−ｃｏｎｆｉｇｕｒｅｄ ｏｒ ｐｒｏｇｒａｍｍｅｄ ｉｃｏｎｓ)、又は、一又はそれ以上の音響パラメータのディスプレイ上の視覚化を含むことができるが、これらに限定されるものではない。
ある例では、音響撮像装置はディスプレイを含むことがあり、それは収集された(例えば、ライブ又は予め収集された)音響画像データ及び／又は電磁画像データを示すことができる。ユーザは、ディスプレイに一体化された制御部又はタッチインタフェースを介してそのような画像に注釈を付すことができる。
図３５は、ディスプレイ上の注釈によりディスプレイ画像に注釈を付すユーザの一例を示している。図３５の例においては、３つの音響信号が、そのような音響信号に関連する音響データを表す調色されたインジケータを介して、ディスプレイ画像上の対応する位置に示されている。図示されているように、ある例では、ユーザは、ディスプレイ画像の部分をハイライト若しくは強調するために、フリーフォームの形状３５４０を描くことによって、ディスプレイ画像に注釈を加えることができる。この例では、ユーザは、フリーフォームの図３５４０により中心近くの音を取り囲むことによって、ディスプレイ画像に注釈を付している。図示された例は、また、丸で囲まれた音に関連する構成部分のような、ディスプレイ画像の一又はそれ以上の構成部分を特定又は記述するために使用され得るテキスト３５４２の形式の別の注釈情報を示している。例えば、図示の例では、丸で囲まれた音の明らかな音源（「メインライン２Ｂ−２８」 ）のラベルがディスプレイ画像に付加されている。そのようなテキストは、(例えば、タッチスクリーンインタフェースを介して)手書きされるか、若しくは、（例えば、システムと通信されている仮想キーボード又は物理的キーボードを介して）タイプされる。
図３６は、命令と関連する位置情報を含む注釈付きのディスプレイ画像の一例を示している。この図において、ユーザになすべきタスクを命じるテキスト情報とグラフィカルインディケーションに加えて２つの音がディスプレイ上に示されている。ユーザは、そのような位置の音響点検をしている間に更なるユーザに一又はそれ以上のタスクを実行するように命じるか又は勧めるために、図示のように画像に注釈を付すことができる。
図３６に示されたもののような注釈付き画像を生成するとき、ユーザは予め構成されたマーカー(例えば、矢印３６４０)及び／又は手書きテキスト３６４２を挿入することでディスプレイ画像に注釈を付すことができる。例えば、図示された例では、ユーザは、シーン内のバルブスイッチに向けた矢印３６４０と「まずメインバルブを閉めろ」との文字による命令３６４２を挿入することでディスプレイ画像に注釈を付している。
図３７は、ディスプレイ上の注釈によりディスプレイ画像に注釈を付すユーザの一例を示している。この例では、ディスプレイ画像上の対応するインジケータを介した単独の音響信号が示されている。図示の例は、空気漏れアイコンのようなあらかじめプログラムされたアイコン３７４０をディスプレイ画像に挿入することによりディスプレイ画像に注釈を付しているユーザを示している。そのようなアイコンは、ユーザにより選択されるか、及び／又は、一又はそれ以上の認識された（例えば、履歴的音プロファイルと比較された）特徴音に基づいて、システムによって勧められ、そして、特定された音に配置されることがある。また、ユーザは画像に注釈を付して、観測された音響信号の可能な音源を特定又はフリーフォームラベル、予め定義された形状などでラベル付けすることができる。
図３８は、ディスプレイ上の注釈によりディスプレイ画像に注釈を付すユーザの一例を示している。この例では、ディスプレイ画像上の対応するインジケータを介した単独の音響信号が示されている。図示のように、ユーザは形状３８４０を画像に挿入することでディスプレイ画像に注釈を付すことができる。図示の例では、ユーザはディスプレイ画像の左手側の構成部分の周囲にボックス３８４０を追加して、音響画像データから可能な音源を示している。このようなボックス３８４０は、あらかじめ決められた形状(例えば、位置決め可能で調節可能な大きさの矩形)として選択されうる。ユーザにより、他の形状が使用され、サイズが決められ、位置決めされて、所望のようにディスプレイ画像に注釈を付すことができる。
ある例では、異なるタイプのラベルがディスプレイ上で組み合わされることがある。例えば、図３９は、シーン内の音響信号を表す音響画像データのインジケータの近くでディスプレイ画像に配置されたアイコンラベル３９４２とシーン内の構成部分を取り囲んでいる矩形３９４０を示している。各種の注釈の組み合わせが可能である。ある実施形態では、例えば、特定の音プロファイルがシーン内で認識されたときに、注釈がディスプレイ画像に自動的に加えられる。ある例では、システムはユーザを喚起して認識された音プロファイルを考慮してディスプレイ画像に注釈をつけることがある。
その上若しくはそれとは別に、ある例で、ユーザは、音響シーンに関連する音響パラメータを表す視覚若しくは文字情報を含めることで、画像に注釈を付すことを選択することができる。例えば、ユーザは、（例えば、タッチスクリーン若しくは物理的制御部）を介して、シーンに関連した一又はそれ以上の音響パラメータを示すために特定のタイプのディスプレイを選択することができる。ユーザは、同様に、画像に注釈を付して、検出された漏れのようなシーンの一部に関連したコスト又は臨界の表示に関する情報を含めることができる。
注釈は、ディスプレイ画像のライブ画面内に含まれた、及び／又は、例えば、メモリに保存された、取り込まれた単独のディスプレイ画像に含まれた表示特徴を含むことがある。
本明細書の他の個所に記載されているように、様々な実施形態において、音響撮像装置は、検出された音を表示し、その発生場所を突き止め、それを示し、それを分析するかなりの異なる方法を採用することができる。視覚化方法は各種の色付き形状、アイコンを含んでおり、それらが表示されている見てわかる背景を調節する様々なレベルの透明度調節を伴うことができる。装置上で音響視覚化のためのパラメータ制御を単純化すること、若しくは、そのような制御をより直感的にすることで、ユーザは、より少ない時間で、より少ない訓練で、より容易により良い視覚化の結果を達成することができる。視覚化パラメータ制御の様々な方法が用途やユーザの必要性に従って実行され得る。それらの方法の多くが音視覚化及び音発生場所突き止めの教育や訓練の特別な個々のレベルによる利用に応じて変更適合され、様々なタイプの用途や組織におけるより適応した装置を提供する。本明細書の他の個所に記載されているように、ある例では、ユーザは、特定のデータ視覚化技術をディスプレイ画像に含むことで、ディスプレイ画像に注釈を付すことを選択することができる。
図４０は、ディスプレイ画像４００２と、該ディスプレイ画像の右手側の複数の周波数範囲を含むマルチパラメータデータ視覚化４０４０を含むインタフェースを示している。ある例では、ユーザは、複数の表示された周波数範囲から(例えば、タッチスクリーン及び／又は他のインタフェースを介して)一又はそれ以上の周波数範囲を選択することができ、例えば、音響画像データをろ過して、選択された周波数範囲に関連した周波数コンテンツ(例えば、ある大きさを超える周波数コンテンツ)を有する音響画像を表示する。図示の例では、２つの周波数範囲４０４２と４０４４が選択されている。ディスプレイ画像の対応するインジケータ４０１０と４０１２は、スクリーン上に表示された複数の周波数範囲のうち対応する周波数範囲を満足する音響信号を有するシーン内の位置を示している。図示の例では、周波数範囲４０４２と対応するインジケータ４０１０が明るい影線で示されているが、周波数範囲４０４４と対応するインジケータ４０１２が暗い影線で示されている。一般に、ある実施形態では、ある周波数範囲を満たすシーン内の音響信号は、その周波数範囲として対応する視覚化表現を有するインジケータを介して、表されることができる。
一般に、周波数範囲は、右手寄せ軸、左手寄せ軸、下端寄せ軸、上端寄せ軸又は中心軸のように様々な方法で表示されることが可能である。様々な実施形態において、周波数範囲は、１ｋHz毎(例えば、１ｋHz〜２ｋHz、２ｋＨｚ〜３ｋＨｚなどの)を含む、解像度に分割されることがある。そのような周波数範囲は、必ずしも同じ大きさである必要はなく、又は、同じ周波数範囲にわたる必要もない。ある例では、マルチパラメータ画像４０４０内に表示された周波数範囲の物理的な大きさ(例えば、幅)は、周波数コンテンツの相対量、音響シーン内のそのような周波数の振幅、そのような周波数の近接度などの一又はそれ以上のパラメータに対応している。
様々な実施形態において、タッチスクリーンの相互作用及び／又は方向パッドなどの物理的制御機構を通じて仮想制御で周波数範囲が選択されるが、ユーザは上下左右にスクロールして、所望の範囲バーがハイライト表示されその後選択されるまでボタンを押し続ける。ある例では、複数の範囲がユーザによって選択され、又は、選択解除される。
ある実施形態では、様々な周波数範囲に関連したディスプレイ画像４００２上の周波数バー(例えば、４０４２，４０４４)が、リアルタイムディスプレイ画像内の範囲のデシベルレベルで上下する。様々な例で、範囲のデシベルレベルは、ピークデシベルレベル、平均デシベルレベル、最小デシベルレベル、時間ベースの平均デシベルレベルなどの、かなりの方法で決定され得る。ある実施形態では、各周波数範囲に関連したデシベルレベルは、経時的に追跡されることがある。経時的な追跡は、所与の間隔をおいたような複数の時間のそれぞれにおける周波数情報を保存することを含むことができる。その上若しくはそれとは別に、経時的に周波数データを追跡することは、経時的に(例えば、特別な期間内、動作セッション内で)各周波数範囲において観察されたピークデシベルレベルを追跡することを含むことができる。ピークレベルは、様々な方法で算出可能である。
周波数情報の表示は、電流／現在の周波数情報に加えて、ピーク周波数データを含むことが可能である。図４１は、ディスプレイ画像４１０２と、該ディスプレイ画像の下縁に沿って配置された複数の周波数範囲を含む、周波数情報のマルチパラメータ表示４１４０を含むインタフェースを示している。図４１に示されているように、ディスプレイ画像の下端に表示された周波数情報は、複数の周波数範囲の振幅情報(例えば、４１５０)を含んでいる（図４１の例ではデシベルで測定されている）。ある例では、最大デシベルレベルが一又はそれ以上の周波数範囲において表示される。あるケースでは、最大デシベルレベルを示す周波数範囲がユーザによって選択可能である。ピークマーカー４１５２は、マルチパラメータ表示上に残存することができ、最大デシベルレベルを示すとともに、対照的な色、バーキャップ、矢印、シンボル、数値などのかなりの数の若しくは可能な方法で表されることが可能である。ある例では、データ視覚化において示された最大デシベルレベルは、選択された測定開始から過去５秒以内、過去３０分以内などの期間にわたって検出された最大値を含む。ある例では、ユーザは最大値表示をリセットして、以前の最大値を無視することができる。
様々な実施形態において、ディスプレイ画像に含まれた周波数帯域は、ユーザによって調整され得るか、若しくは、プログラムされたアルゴリズム又は機械学習で装置により自動的に決定され得る。様々な例において、周波数帯域は、均等にサイズ分けされ配分されるか、異なるサイズに分けられるか、等化されたヒストグラムであるか、若しくは、かなりの組み合わされた方法により決定され得る。
図４２は、複数の周波数帯域の周波数情報と、図４１に示されたのと同様の複数の周波数帯域のピーク値を含むディスプレイ画像を示している。図４２の例では、強度と周波数情報を含むマルチパラメータ表示４２４０がスクリーンの右手部分に示され、振幅情報(例えば、４２５０)が右寄りの軸を伴い水平に示されている。図４１と同様に、マルチパラメータ表示４２４０は、期間内における一又はそれ以上の周波数範囲のピーク振幅を示すピークマーカー４２５２を含んでいる。
ある例では、デシベルレベルが、例えば、鏡像において中心軸の右と左に向かって増加する。同様に、デシベルレベルピークも鏡像に現れることがある。
中心軸に対して鏡像化されたそのようなデシベル情報が図４３に示されている。図４３のディスプレイ画像は、複数の周波数の強度情報を示すマルチパラメータ表示４３４０を含んでいる。そのような鏡像軸表示は、ユーザに周波数範囲選択において重要である小さな変化又は低デシベルレベル変化を一層よく特定することを可能にする。
図４１と４２と同様に、図４３のマルチパラメータ表示４３４０は、期間内における一又はそれ以上の周波数範囲のピーク振幅を示すピークマーカー４３５２を含んでいる。
ある実施形態では、一又はそれ以上の周波数範囲が調色されて、そのような周波数範囲のデシベルレベルのような、そのような周波数範囲に関する追加の情報を示すことがある。図４４は、調色を施された組の周波数範囲を含むマルチパラメータ表示４４４０を示しているが、そこでは各周波数範囲が分類分けされているデシベル範囲を調色が表している。例えば、例示の実施形態では、白で示された周波数範囲(例えば、４４５０)は０〜２０ｄBに入り、明るいグレーで示された周波数範囲(例えば、４４５０)は２１〜４０ｄBに入り、暗いグレーで示された周波数範囲は４１〜１００ｄBに入る。ある例では、調色は、例えば、白で示された周波数範囲が「低」強度を有すると考えられ、明るいグレーで示された周波数範囲が「普通の」強度を有すると考えられ、暗いグレーで示された周波数範囲が「高」強度を有すると考えられるように、絶対値よりむしろ相対値に対応する。例示の実施形態では、強度に関して周波数範囲の下の３つが白に分類され、強度に関して周波数範囲の真ん中の３つが明るいグレーに分類され、強度に関して周波数範囲の上の３つが暗いグレーに分類されている。他の例では、最大強度の三分の一までの強度を有する周波数範囲が白で示され、最大強度の三分の一と三分の二の間の強度を有する周波数範囲が明るいグレーで示され、最大強度の三分の二と最大強度の間の強度を有する周波数範囲が暗いグレーで示される。ある例では、表示された周波数情報に示されている調色技術は、音響画像データに存在する一又はそれ以上のインジケータにも使用されることがある。一般に、カラー化技術若しくは(例えば、様々なパターンや透明化などを介した)他の視覚化技術のいずれかが使用され得る。
ある例では、各周波数範囲における検出された音響データの重大度に関して周波数範囲が調色されることがある。例えば、ある例では、暗いグレーで示された周波数範囲は極めて厳しいと考えられ、明るいグレーで示された周波数範囲は中ぐらいに厳しいと考えられ、白で示された周波数範囲は軽微な重大性を示すと考えられる。上記と同様に、ある例では、音響画像データに存在する一又はそれ以上のインジケータが、音響シーン内の一又はそれ以上の位置において同様の調色された重大性指示を含むことがある。
図４５は、異なる周波数範囲を示すマルチパラメータ表示４５４０と、重大度に従って調色されたインジケータ４５１０、４５１２、４５１４を含む例示のディスプレイ画像を示している。様々な例において、異なる重大度レベルに対応する色彩が、装置により自動的に若しくはユーザにより手動で設定されることがある。
本明細書の他の個所に記載されているように、ある例では、周波数強度データが経時的に保存若しくは追跡されることがある。ある実施形態では、強度対時間情報がマルチパラメータ表示の一若しくはそれ以上の周波数範囲のそれぞれにおいて表示されることがある。図４６は、マルチパラメータ表示４６４０内の複数の周波数範囲(例えば、４６５０)のそれぞれにおける強度(ｄＢ表示)対時間傾向を示している。例えば、ある例では、強度対時間に加えて、ピーク強度情報が、ピークマーカー(例えば４６５２)のように、一又はそれ以上の周波数範囲の一又はそれ以上におけるマルチパラメータ表示４６４０に表示されることがある。図４６に示されているように、マルチパラメータ表示４６４０は時間軸を含み、複数の音響周波数若しくは音響周波数範囲(例えば４６５０)のそれぞれにおいて、経時的に音響周波数若しくは音響周波数範囲に対応する強度情報を表示する。
本明細書に記載の様々なプロセスは、一又はそれ以上のプロセッサをそのようなプロセスに実行させるための実行可能命令を含む非一時的なコンピュータ可読媒体として具体化することができる。システムは、例えば、プロセッサと一体の、若しくは、プロセッサの外部のメモリに記憶された命令に基づいて、そのようなプロセスを実行するように構成された一又はそれ以上のプロセッサを含むことができる。場合によっては、様々な構成要素がシステム全体に分散させることができる。例えば、システムは、複数の分散プロセッサを含むことができ、各構成されたプロセッサは、システムによって実行されるプロセス全体の少なくとも一部を実行する。さらに、本明細書に記載の様々な特徴及び機能が、例えば、手持ち式音響撮像ツール又は様々な別個の及び／又は分離可能な構成要素を有する分散システムとして具体化される単一の音響撮像システムに組み合わせることができることが理解されよう。
本明細書に記載の構成要素の様々な機能は組み合わされることが可能である。ある実施形態では、本出願に記載されている特徴は、「音響データを投影及び映写するシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＪＥＣＴＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＡＣＯＵＳＴＩＣ ＤＡＴＡ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１７８．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「音響画像にタグ付けし、関連付けるシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＴＡＧＧＩＮＧ ＡＮＤ ＬＩＮＫＩＮＧ ＡＣＯＵＳＴＩＣ ＩＭＡＧＥＳ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１７９．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「着脱自在の音響撮像センサのためのシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＴＡＣＨＡＢＬＥ ＡＮＤ ＡＴＴＡＣＨＡＢＬＥ ＡＣＯＵＳＴＩＣ ＩＭＡＧＩＮＧ ＳＥＮＳＯＲＳ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８０．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「ターゲットシーンからの音響シグネチャを表示するシステムと方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＲＥＰＲＥＳＥＮＴＩＮＧ ＡＣＯＵＳＴＩＣ ＳＩＧＮＡＴＵＲＥＳ ＦＲＯＭ Ａ ＴＡＲＧＥＴ ＳＣＥＮＥ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８２．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。
様々な実施形態が説明されてきた。このような例は非限定的であり、いかなる方法でも本発明の範囲を限定又は制限するものではない。
図示の実施形態では、音響分析システム２００は、ターゲットシーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。ある例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、及び紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、ある実施形態では、電磁撮像ツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された一又はそれ以上のカメラモジュールを含むことができる。
同様に、対応するピクセル（すなわち、ターゲットシーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、あるそのような配置では、対応する可視光画像と音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と接して、ディスプレイ２１４に表示される画像の一方又は両方の透明性又は不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と接して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータにディスプレイ２１４を調整して、音響画像のみと可視光画像のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響画像のみの画像、可視光画像のみの画像を表示させることを可能にし得る。プロセッサ２１２は、また、シーン情報を、警報データなどの他のデータと組み合わせることも可能である。一般に、可視光画像と音響画像のアルファブレンドされた組み合わせは、１００％の音響と０％の可視光から０％の音響と１００％の可視光までのどこでも含むことができる。ある実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、ある実施形態では、ブレンドされた画像は、１００％の可視光と１００％の音響との間で調整することができる。
図３Ａの音響分析システムは、音響センサアレイ３０２内に配置された距離測定ツール３０４とカメラモジュール３０６をさらに含んでいる。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表してみいいし、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含んでもよい。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプ若しくは異なるタイプの一又はそれ以上の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４及びカメラモジュール３０６は、第１のアレイ３２０と第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０と第２のアレイ３２２内の格子サイト間に配置されるように示されているが、ある実施形態では、一又はそれ以上の構成要素（例えば、カメラモジュール３０６及び／又は距離測定ツール３０４）は、第１のアレイ３２０及び／又は第２のアレイ３２２内の対応する一又はそれ以上の格子サイトに配置することができる。あるそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
図３Ａ及び３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、及び３９６内に配置された距離測定ツール３１４及びカメラアレイ３１６を含んでいる。ある例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を撮像するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、及び３９６内に同様に配置され得る。図３Ａ〜図３Ｃには、一又はそれ以上の音響センサアレイ内に配置されるように示されているが、距離測定ツール及び／又は一又はそれ以上の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。あるそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツール及び／又は一又はそれ以上の撮像ツールは、音響撮像ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、又は音響撮像ツールの筐体の外部に配置できる。
例示的な音響撮像操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景若しくは他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。あるそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ〜図５Ｄに示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ〜１４ｋＨｚ）を選択し得る。
例示的なシナリオでは、図１０Ａは、位置１０１０〜１０９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内（例えば、図１０Ａ及び１０Ｂのターゲットシーン内）のどの音源が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのを役立たせることを可能にする。
特定の条件を満たす音響画像データを示す画像間の循環表示に加えて、又はその代わりに、ある例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、ある実施形態では、位置１０１０〜１０９０のそれぞれから発生する音響信号を表す音響画像データは、特定され、循環表示され得る。例えば、例示的な動作プロセスでは、位置１０１０〜１０９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的に又はユーザの指示で、循環表示され得る。様々な実施形態において、循環表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
ある例では、レーザポインタは、ディスプレイ上に視覚化され得る。そのような視覚化は、実際のシーンにおけるレーザポインタのディスプレイ表示上に（例えば、プロセッサを介して）レーザポインタスポットを生成することを含むことができる。ある例では、レーザポインタの位置は、例えば、シーン内のレーザポインタを表すアイコン又は別の整列されたディスプレイマーカによりディスプレイ上で強調され、実際のシーンに対するディスプレイ上の位置をより適切に決定することができる。
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。図示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置１４３２、１４３４、１４３６において、音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に譲受された米国特許出願第１５／８０２，１５３号に記載されている。
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。あるそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円のそれぞれの同一色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置１５３２、１５３４、１５３６における音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化している。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加又は代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ〜２０ｄＢの間の強度値などの絶対範囲に対応することができるか、又は最大強度の９０％〜１００％の間の強度値などの相対範囲であり得る。
ある実施形態では、色付きインジケータが、一又はそれ以上の検出された音響信号、及び／又は、基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すために使用されることがある。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示している。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）一又はそれ以上の音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色のインジケータは軽度の重大度を表す。他の例では、他の配色又は外観特性（例えば、インジケータの透明度、インジケータのサイズなど）が、音響信号の重大度を視覚的に区別するために使用されることがある。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表している。
ある例では、そのような埋め込みカメラは、本明細書の他の個所で記載されているように、ディスプレイ用に音響画像データを組み合わせることができる電磁画像データを生成するように構成されることがある。ある実施形態では、音響撮像システムは、タイムスタンプと一緒に、音響データや音響画像データや電磁画像データや注釈データ（例えば、センサデータ、画像／ビデオ注釈データなど）などの様々な情報を保存するように構成されることがある。ある例では、音響撮像システムは、装置上と後でソフトにおいての双方で関連情報を表示し、及び／又は、記録するように構成されることがある。関連情報は、例えば、保存されたディスプレイ画像若しくは音響画像ファイルとともにディスプレイ上に表示されるか、及び／又は、メタデータとして保存され得る。

Claims (39)

  1. 複数の音響センサ要素からなる音響センサアレイであって、各音響センサ要素が音響シーンから音響信号を受信するとともに受信した音響信号に基づき音響データを出力するように構成された音響センサアレイと、
    ターゲットシーンからの電磁放射を受信し、受信した電磁放射を示す電磁画像データを出力するように構成された電磁撮像ツールと、
    ユーザインタフェースと、
    ディスプレイと、
    前記音響センサアレイと前記電磁撮像ツールと前記ユーザインタフェースと前記ディスプレイと通信するプロセッサであって、前記電磁撮像ツールから電磁画像データを受信し、前記音響センサアレイからの音響データを受信し、該受信した音響データに基づいてシーンの音響画像データを生成し、組み合わされた音響画像データと電磁画像データからなるディスプレイ画像を生成し、前記ディスプレイに該ディスプレイ画像を提供し、前記ユーザインタフェースから注釈入力を受信し、該受信した注釈入力に基づいてディスプレイ上のディスプレイ画像を更新するように構成されたプロセッサと、
    からなる音響分析システム。
  2. 前記ユーザインタフェースが、タッチスクリーンからなり、前記受信された注釈入力が、該タッチスクリーンを介して受信されたフリースタイル注釈からなる請求項１に記載のシステム。
  3. さらに、前記プロセッサと通信するメモリであって、一又はそれ以上のアイコンからなるメモリを具備し、前記受信した注釈入力がメモリ内に格納されたアイコンの選択と、ディスプレイ画像上のアイコンの位置を設定する入力からなる請求項１又は２に記載のシステム。
  4. 前記注釈入力が、あらかじめ定義された形状の選択と、該あらかじめ定義された形状のサイズを設定する入力と、ディスプレイ画像内の前記あらかじめ定義された形状の位置を設定する入力とからなる請求項１〜３のいずれかに記載のシステム。
  5. 前記プロセッサが、音響シーン内に存在する音響信号の位置を検出するように構成され、
    前記受信された注釈入力に基づいてディスプレイ上のディスプレイ画像を更新することが、音響信号の位置に位置するインジケータをディスプレイ画像内に含むことと、該インジケータの透明度に関連して受信した注釈入力に応じてディスプレイ画像内でインジケータの透明度を調節することからなる請求項１〜４のいずれかに記載のシステム。
  6. ディスプレイ画像内でインジケータの透明度を調節することが、電磁撮像データと音響画像データのブレンドに応じてブレンド比を調節することからなる請求項５に記載のシステム。
  7. 前記プロセッサが、音響シーン内に存在する音響信号の位置を検出し、音響信号に関連して音響パラメータを決定するように構成され、
    前記受信された注釈入力が、音響パラメータに関連して数値の範囲の選択を受信することからなり、
    前記受信した注釈入力に基づいてディスプレイ上のディスプレイ画像を更新することが、音響信号に関連した音響パラメータが該音響パラメータに関連して選択された数値範囲内にあるときにのみ、音響信号の位置に位置するインジケータをディスプレイ画像内に含むことからなる請求項１〜６のいずれかに記載のシステム。
  8. 前記受信した注釈入力が、音響パラメータに関連した複数の数値範囲の選択を受信することからなり、前記受信した注釈入力に基づいてディスプレイ上のディスプレイ画像を更新することが、音響信号に関連した音響パラメータが該音響パラメータに関連して選択された複数のいずれかの数値範囲内にあるときにのみ、音響信号の位置に位置するインジケータをディスプレイ画像内に含むことからなるように構成されている請求項７に記載のシステム。
  9. 前記プロセッサが、音響シーン内に存在する音響信号の位置を検出し、音響信号に関連してターゲットへの距離を決定するように構成され、
    前記ディスプレイ画像が、音響信号の位置に位置するインジケータを含み、
    前記受信した注釈入力に基づいてディスプレイ上のディスプレイ画像を更新することが、音響信号の位置に位置するインジケータの近くで、音響信号に関連したターゲットへの距離を示す注釈を含んでいることからなる請求項１〜８のいずれかに記載のシステム。
  10. 前記プロセッサが、音響信号に関連した一又はそれ以上の音響パラメータを決定し、単独の所定の閾値又は複数の所定の閾値に対する音響パラメータの比較に基づいて音響信号に関連した臨界値を決定するように構成され、
    前記受信した注釈入力に基づいてディスプレイ上のディスプレイ画像を更新することが、さらに音響信号の位置に位置するインジケータの近くで、音響信号に関連して臨界値と一又はそれ以上の音響パラメータを示す注釈を含んでいることからなる請求項９に記載のシステム。
  11. さらにシーンに向かってレーザを発射し、ターゲットシーンへの距離を示す情報をプロセッサに提供するように構成されたレーザポインタからなるレーザ距離センサを具備し、
    前記ディスプレイ画像が、さらにターゲットシーン内でレーザポインタの位置を示すレーザインジケータを含んでいる請求項９又は１０に記載のシステム。
  12. 前記注釈入力が、英数字注釈を定義した英数字入力と、ディスプレイ画像内の英数字注釈の位置を設定する入力からなる請求項１〜１１のいずれかに記載のシステム。
  13. 前記英数字入力が、英数字注釈オプションのあらかじめ定義されたリストから英数字注釈を選択することからなる請求項１２に記載のシステム。
  14. 前記プロセッサが、音響シーン内の複数の音響信号を検出し、検出された複数の音響信号のそれぞれに関連して第１の音響パラメータを決定するように構成され、
    前記ユーザインタフェースから注釈入力を受信することが、ディスプレイ画像を更新して第１の音響パラメータを表す情報を含める命令を受信することからなり、
    受信した注釈入力に基づいてディスプレイ画像を更新することが、検出された音響信号のそれぞれに関連して決定された第１の音響パラメータを表すディスプレイ画像上の指示を含むことからなる請求項１〜１３のいずれかに記載のシステム。
  15. 検出された複数の音響信号のそれぞれに関連して決定された第１の音響パラメータを表すディスプレイ上の指示が、各音響信号の位置に位置する等音響性のインジケータからなり、かつ第１の音響パラメータに関連した特定の数値又は数値範囲を表す単独色を含んでいる請求項１4に記載のシステム。
  16. 各等音響性のインジケータの単独色が、第１の音響パラメータの臨界レベルを表している請求項１５に記載のシステム。
  17. 前記プロセッサが、検出された複数の音響信号のそれぞれに関連して第２の音響パラメータを決定するように構成されており、各等音響性のインジケータが第１の音響パラメータと第２の音響パラメータの特定の数値又は範囲を表している請求項１５又は１６に記載のシステム。
  18. 前記プロセッサが、検出された複数の音響信号のそれぞれに関連して第２の音響パラメータを決定するように構成されており、前記指示が、検出された複数の音響信号のそれぞれに対し、各検出された音響信号に関連した第１の音響パラメータと第２の音響パラメータの英数字表示からなる請求項１４〜１７のいずれかに記載のシステム。
  19. 前記指示が、検出された複数の音響信号のそれぞれに対し、検出された音響信号に対応して音響シーン内の位置においてディスプレイ画像に配置されたインジケータであって、音響信号の第１の音響パラメータを表す視覚化文字を有するインジケータと、
    音響シーン内の第１の音響パラメータと第２の音響パラメータの間の関係を示す複数パラメータ表示からなる請求項１４〜１８のいずれかに記載のシステム。
  20. 前記複数パラメータ表示が、第１の音響パラメータと第２の音響パラメータの間の関係の経年にわたる進展を示す時間軸を含んでいる請求項１９に記載のシステム。
  21. 前記複数パラメータ表示が、音響シーン内の複数の周波数又は周波数範囲に関連して音響強さのグラフィカルな表示からなる請求項１９又は２０に記載のシステム。
  22. さらに、一又はそれ以上の音プロファイルであって、それぞれが一又はそれ以上の音に対応した一又はそれ以上の音響パラメータによって定義される音プロファイルを含むメモリを具備し、
    前記プロセッサが、受信した音響データを分析し、受信した音響データがメモリ内に格納された音プロファイルのうちの一つに合致した場合、該音プロファイルに関連した注釈によりディスプレイ画像に注釈をつけ、
    受信した注釈入力が音響シーン内に存在する音プロファイルを検出する命令からなる請求項１〜２１のいずれかに記載のシステム。
  23. 前記注釈が、合致した音プロファイルに基づいて、音響シーンの検出条件の指示からなる請求項２２に記載のシステム。
  24. 検出された条件が空気漏れからなる請求項２３に記載のシステム。
  25. 前記指示が、空気漏れの英数字注釈からなる請求項２４に記載のシステム。
  26. 前記プロセッサが、さらに、空気漏れに関連したコストを決定するように構成されており、英数字注釈が、空気漏れに関連したコストの表示からなる請求項２５に記載のシステム。
  27. 前記指示が、空気漏れを表すアイコン注釈からなる請求項２４〜２６のいずれかに記載のシステム。
  28. 複数の音響センサ要素からなる音響センサアレイであって、各音響センサ要素が音響シーンから音響信号を受信するとともに受信した音響信号に基づき音響データを出力するように構成された音響センサアレイと、
    第１の音響パラメータと該第１の音響パラメータに関連した第１の所定の条件からなる音プロファイルを含むメモリと、
    ディスプレイと、
    前記音響センサアレイと前記ディスプレイと前記メモリと通信するプロセッサであって、前記音響センサアレイからの音響データを受信し、受信した音響データがメモリ内に格納された音プロファイルに合致しているか否かを決定し、受信した音響データがメモリ内に格納された音プロファイルと合致している場合には、ディスプレイ上の指示であって合致した音プロファイルに関する情報からなる指示を介して、受信した音響データがメモリ内に格納された音プロファイルと合致していることを示す音響分析システム。
  29. 受信した音響データが音プロファイルに合致しているか否かを決定することが、受信した音響データが第１の音響パラメータに関連した第１の所定の条件を満足する音響信号を含んでいるか否かを決定することからなる請求項２８に記載のシステム。
  30. 前記音プロファイルが、第２の音響パラメータと該第２の音響パラメータに関連した第２の所定の条件からなる請求項２８又は２９に記載のシステム。
  31. 前記受信した音響データが第１の音響パラメータに関連した第１の所定の条件と第２の音響パラメータに関連した第２の所定の条件を満足する音響信号を含んでいる場合に、前記受信した音響データが音プロファイルに合致する請求項３０に記載のシステム。
  32. 前記第１の音響パラメータが周波数からなり、前記第１の所定の条件が周波数範囲からなり、前記第２の音響パラメータが強度からなり、前記第２の所定の条件が閾値強度からなり、前記受信した音響データが周波数範囲内の周波数と閾値強度よりも大きい強度を有する音響信号を含む場合に、前記受信した音響データが音プロファイルに合致するようにする請求項３１に記載のシステム。
  33. 前記受信した音響データが第１の音響パラメータに関連した第１の所定の条件を満足する第１の音響信号と第２の音響パラメータに関連した２の所定の条件第２の音響信号を含んでいる場合に、前記受信した音響データが音プロファイルに合致する請求項３０〜３２のいずれかに記載のシステム。
  34. 複数の音響センサ要素からなる音響センサアレイであって、各音響センサ要素が音響シーンから音響信号を受信するとともに受信した音響信号に基づき音響データを出力するように構成された音響センサアレイと、
    ターゲットシーンからの電磁放射を受信し、受信した電磁放射を示す電磁画像データを出力するように構成された電磁撮像ツールであって、電磁放射を検出するように構成された電磁撮像ツールと、
    ディスプレイと、
    前記音響センサアレイと前記電磁撮像ツールと前と前記ディスプレイと通信するプロセッサであって、前記電磁撮像ツールから電磁画像データを受信し、前記音響センサアレイからの音響データを受信し、該受信した音響データに基づいてシーンの音響画像データを生成し、組み合わされた音響画像データと電磁画像データからなるディスプレイ画像を生成し、前記ディスプレイに該ディスプレイ画像を提供するように構成されたプロセッサとを具備し、
    ディスプレイ画像が、検出された音響信号に対応して音響シーン内の位置でディスプレイ上に位置するインジケータであって、音響信号の音響パラメータを表す視覚化文字を有するインジケータと、複数の音響周波数又は音響周波数範囲のそれぞれに対応して受信された音響データを表す強度情報を含むマルチパラメータ表示を含む音響分析システム。
  35. 前記マルチパラメータ表示が、時間軸を含むとともに、複数の音響周波数又は音響周波数範囲のそれぞれに対して、該音響周波数又は音響周波数範囲に対応する強度情報を経時的に表す請求項３４に記載のシステム。
  36. さらに、プロセッサに連絡するユーザインタフェースを具備し、該プロセッサが、ユーザインタフェースを介して、一又はそれ以上の複数の音響周波数又は音響周波数範囲の選択を受信し、選択された一又はそれ以上の複数の音響周波数又は音響周波数範囲内の周波数成分を含む音響信号を有する音響シーン内の位置を決定するように構成され、
    発生された音響画像データが、選択された一又はそれ以上の複数の音響周波数又は音響周波数範囲内の周波数成分を含む音響信号を有する決められた位置のみの情報を含んでいる請求項３４又は３５に記載のシステム。
  37. 前記マルチパラメータ表示が、複数の音響周波数又は音響周波数範囲のそれぞれに対して、現状の強度値指示と最大の音響強度値の表示を含んでいる請求項３４〜３６のいずれかに記載のシステム。
  38. 前記最大の音響強度値が、複数の音響周波数又は音響周波数範囲のそれぞれに対して、所定の時間にわたって観測された最大の音響強度を表している請求項３７に記載のシステム。
  39. 前記インジケータ及び／又はマルチパラメータ表示が、音響シーン内の位置及び／又は音響シーン内の所定の音響周波数若しくは音響周波数の範囲における音響データの臨界を表している臨界情報を含んでいる請求項３４〜３６のいずれかに記載のシステム。
JP2021504177A 2018-07-24 2019-07-24 音響データを分析及び表示するためのシステム及び方法 Active JP7417587B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000575A JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862702716P 2018-07-24 2018-07-24
US62/702,716 2018-07-24
PCT/US2019/043224 WO2020023627A1 (en) 2018-07-24 2019-07-24 Systems and methods for analyzing and displaying acoustic data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000575A Division JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Publications (2)

Publication Number Publication Date
JP2021532357A true JP2021532357A (ja) 2021-11-25
JP7417587B2 JP7417587B2 (ja) 2024-01-18

Family

ID=67539638

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2021504177A Active JP7417587B2 (ja) 2018-07-24 2019-07-24 音響データを分析及び表示するためのシステム及び方法
JP2021504179A Active JP7493491B2 (ja) 2018-07-24 2019-07-24 標的シーンからの音響シグネチャを表すためのシステムおよび方法
JP2021504180A Active JP7403526B2 (ja) 2018-07-24 2019-07-24 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法
JP2021504176A Active JP7488250B2 (ja) 2018-07-24 2019-07-24 音響データを投射および表示するためのシステム及び方法
JP2021504173A Withdrawn JP2021532355A (ja) 2018-07-24 2019-07-24 音響画像にタグを付けて関連付けるためのシステム及び方法
JP2024000575A Pending JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2021504179A Active JP7493491B2 (ja) 2018-07-24 2019-07-24 標的シーンからの音響シグネチャを表すためのシステムおよび方法
JP2021504180A Active JP7403526B2 (ja) 2018-07-24 2019-07-24 取り外し可能および取り付け可能な音響撮像センサのためのシステムおよび方法
JP2021504176A Active JP7488250B2 (ja) 2018-07-24 2019-07-24 音響データを投射および表示するためのシステム及び方法
JP2021504173A Withdrawn JP2021532355A (ja) 2018-07-24 2019-07-24 音響画像にタグを付けて関連付けるためのシステム及び方法
JP2024000575A Pending JP2024041847A (ja) 2018-07-24 2024-01-05 音響データを分析及び表示するためのシステム

Country Status (6)

Country Link
US (6) US20210311187A1 (ja)
EP (5) EP3827230A1 (ja)
JP (6) JP7417587B2 (ja)
KR (5) KR20210033532A (ja)
CN (5) CN112739996A (ja)
WO (5) WO2020023631A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
CN112739996A (zh) 2018-07-24 2021-04-30 弗兰克公司 用于分析和显示声学数据的***和方法
DE102020107181B4 (de) 2020-03-16 2023-09-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und deren verwendung zum orten von schallquellen durch beamforming
WO2022056327A1 (en) 2020-09-11 2022-03-17 Fluke Corporation System and method for acoustic imaging with an accumulated-time view
EP4211494A2 (en) 2020-09-11 2023-07-19 Fluke Corporation System and method for generating panoramic acoustic images and virtualizing acoustic imaging devices by segmentation
EP4009126B1 (en) * 2020-12-04 2024-05-08 United Grinding Group Management AG Method of operating a machine for a production facility
KR102487086B1 (ko) * 2021-01-19 2023-01-10 국방과학연구소 가변형 선측배열 소나 시스템, 이를 포함하는 수중운동체 및 수중운동체의 동작 방법
KR20220170653A (ko) 2021-06-23 2022-12-30 한국전력공사 초음파 가시화와 위상분해 분석을 적용한 부분방전 진단 방법 및 장치
CN113759314A (zh) * 2021-09-01 2021-12-07 浙江讯飞智能科技有限公司 一种声源可视化方法、装置、***和计算机可读存储介质
US20230115216A1 (en) * 2021-10-09 2023-04-13 Theon Technologies, Inc. Utilization Of Coordinate Systems For Compression And Encryption
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
CN114858271B (zh) * 2022-07-05 2022-09-23 杭州兆华电子股份有限公司 一种声音探测用的阵列放大方法
KR102523631B1 (ko) 2022-09-19 2023-04-19 주식회사 창성에이스산업 가스누출 및 화재발생 감지시스템
CN115899598B (zh) * 2022-11-17 2024-06-21 浙江英集动力科技有限公司 一种融合听觉和视觉特征的供热管网状态监测方法及***
DE102023100701B3 (de) * 2023-01-13 2024-02-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. Akustik-thermisches Verfahren und Vorrichtung zur Bestimmung von Undichtigkeiten in einer Gebäudehülle
CN117452336B (zh) * 2023-10-25 2024-06-04 东北大学 一种无人机声事件检测定位装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304055A (ja) * 1996-05-10 1997-11-28 Nec Corp 距離計測装置
WO2004021031A1 (ja) * 2002-08-30 2004-03-11 Nittobo Acoustic Engineering Co.,Ltd. 音源探査システム
JP2012150059A (ja) * 2011-01-20 2012-08-09 Chubu Electric Power Co Inc 音源推定方法及び音源推定装置
JP2014137323A (ja) * 2013-01-18 2014-07-28 Hitachi Power Solutions Co Ltd 異常診断装置およびこれを用いた異常診断方法
WO2016148825A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Acoustic camera based audio visual scene analysis
WO2018055232A1 (en) * 2016-09-22 2018-03-29 Noiseless Acoustics Oy An acoustic camera and a method for revealing acoustic emissions from various locations and devices

Family Cites Families (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3592534A (en) 1969-04-07 1971-07-13 Bell & Howell Co Audiovisual display system
JPS5939341B2 (ja) 1979-07-04 1984-09-22 富士重工業株式会社 車両運搬車
DE3233059C2 (de) 1982-09-06 1985-03-21 Oerlikon-Boehringer GmbH, 7320 Göppingen Tiefbohrmaschine
US4662222A (en) 1984-12-21 1987-05-05 Johnson Steven A Apparatus and method for acoustic imaging using inverse scattering techniques
NL9201787A (nl) 1992-10-14 1994-05-02 Jacobus Lambertus Van Merkstei Lokalisatie van storingen.
US6006175A (en) 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
US7085387B1 (en) 1996-11-20 2006-08-01 Metcalf Randall B Sound system and method for capturing and reproducing sounds originating from a plurality of sound sources
JP3678016B2 (ja) 1998-09-01 2005-08-03 いすゞ自動車株式会社 音源探索方法
DE19844870A1 (de) 1998-09-30 2000-04-20 Bruno Stieper Verfahren zum Darstellen eines Schallfeldes
US20040021031A1 (en) 1998-11-16 2004-02-05 Dan Klaus Device for traversing a flexible linear product for spooling
US6239348B1 (en) 1999-09-10 2001-05-29 Randall B. Metcalf Sound system and method for creating a sound event based on a modeled sound field
US7092882B2 (en) 2000-12-06 2006-08-15 Ncr Corporation Noise suppression in beam-steered microphone array
WO2003011139A1 (en) 2001-07-31 2003-02-13 Koninklijke Philips Electronics N.V. Transesophageal and transnasal, transesophageal ultrasound imaging systems
US6907799B2 (en) 2001-11-13 2005-06-21 Bae Systems Advanced Technologies, Inc. Apparatus and method for non-destructive inspection of large structures
DE10200561B4 (de) 2002-01-09 2006-11-23 Eads Deutschland Gmbh Radarsystem mit einem phasengesteuerten Antennen-Array
US7093974B2 (en) 2002-03-13 2006-08-22 Ulrich Kienitz Radiometer with digital imaging system
US6788618B2 (en) 2002-03-14 2004-09-07 Input/Output, Inc. Method and apparatus for marine source diagnostics
JP2004021031A (ja) 2002-06-18 2004-01-22 Olympus Corp カメラ
AU2003261073A1 (en) 2002-05-16 2003-12-02 Barbara Ann Karmanos Cancer Institute Combined diagnostic and therapeutic ultrasound system
JP2004077277A (ja) 2002-08-19 2004-03-11 Fujitsu Ltd 音源位置の可視化表示方法および音源位置表示装置
WO2004032351A1 (en) 2002-09-30 2004-04-15 Electro Products Inc System and method for integral transference of acoustical events
GB0229059D0 (en) 2002-12-12 2003-01-15 Mitel Knowledge Corp Method of broadband constant directivity beamforming for non linear and non axi-symmetric sensor arrays embedded in an obstacle
DE10304215A1 (de) * 2003-01-30 2004-08-19 Gesellschaft zur Förderung angewandter Informatik eV Verfahren und Vorrichtung zur bildgebenden Darstellung von akustischen Objekten sowie ein entsprechendes Computerprogramm-Erzeugnis und ein entsprechendes computerlesbares Speichermedium
US7538326B2 (en) 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
KR100677554B1 (ko) 2005-01-14 2007-02-02 삼성전자주식회사 비임형성 방식을 이용한 녹음 장치 및 그 방법
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US8253619B2 (en) 2005-02-15 2012-08-28 Techtronic Power Tools Technology Limited Electromagnetic scanning imager
WO2006090320A1 (en) 2005-02-23 2006-08-31 Lyncee Tec S.A. Wave front sensing method and apparatus
DE102005030326B4 (de) 2005-06-29 2016-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Analyse eines Audiosignals
US7996212B2 (en) 2005-06-29 2011-08-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for analyzing an audio signal
JP4983207B2 (ja) 2006-01-30 2012-07-25 日産自動車株式会社 異音対策確認装置および異音対策確認方法
US7532541B2 (en) 2006-02-23 2009-05-12 Fev Engine Technology, Inc Object detection using acoustic imaging
CN100489851C (zh) * 2006-04-29 2009-05-20 上海杰图软件技术有限公司 构建全景电子地图服务的方法
US20080119716A1 (en) 2006-05-17 2008-05-22 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems
DE102006052451B4 (de) 2006-07-24 2008-05-08 Siemens Ag Verfahren zum Betrieb eines dezentralen Datennetzes
EP1936404B1 (en) 2006-12-18 2008-12-10 Aloka Co., Ltd. Ultrasound diagnosis apparatus
US7798967B2 (en) 2006-12-19 2010-09-21 Aloka Co., Ltd. Ultrasound diagnosis apparatus
NZ579125A (en) * 2007-01-19 2012-06-29 Sunnybrook Health Sciences Ct Scanning mechanisms comprising drive mechanism for imparting rotational motion to imaging conduit
US8395496B2 (en) * 2007-03-29 2013-03-12 Shiv P Joshi Miniature modular wireless sensor
CN100505837C (zh) * 2007-05-10 2009-06-24 华为技术有限公司 一种控制图像采集装置进行目标定位的***及方法
CN101079947A (zh) * 2007-05-17 2007-11-28 孟均 一种影像采集***
US8638362B1 (en) 2007-05-21 2014-01-28 Teledyne Blueview, Inc. Acoustic video camera and systems incorporating acoustic video cameras
EP2063419B1 (en) 2007-11-21 2012-04-18 Nuance Communications, Inc. Speaker localization
JP5050935B2 (ja) 2008-03-06 2012-10-17 日本電気株式会社 ソーナー受信装置
US8701491B2 (en) * 2008-04-25 2014-04-22 Stichting Voor De Technische Wetenschapen Acoustic holography
CN101290347B (zh) * 2008-06-13 2011-04-27 清华大学 用规则声阵列和单摄像机获取静止声源声场图像的方法
US8279112B2 (en) 2008-11-03 2012-10-02 Trimble Navigation Limited Methods and apparatuses for RFID tag range determination
US8416957B2 (en) * 2008-12-04 2013-04-09 Honda Motor Co., Ltd. Audio source detection system
TWI389579B (zh) 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
WO2010148141A2 (en) 2009-06-16 2010-12-23 University Of Florida Research Foundation, Inc. Apparatus and method for speech analysis
JP2011015050A (ja) 2009-06-30 2011-01-20 Nittobo Acoustic Engineering Co Ltd ビームフォーミング用のアレイ、及びそれを用いた音源探査測定システム
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
WO2011069964A1 (en) 2009-12-11 2011-06-16 Sorama Holding B.V. Acoustic transducer assembly
JP2011163776A (ja) 2010-02-04 2011-08-25 Ono Sokki Co Ltd 音源モニタリング装置
EP2558815B1 (en) 2010-04-16 2021-01-06 U-E Systems, Inc. On-board ultrasonic frequency spectrum and image generation
JP5553672B2 (ja) * 2010-04-26 2014-07-16 キヤノン株式会社 音響波測定装置および音響波測定方法
CN201718024U (zh) * 2010-05-07 2011-01-19 中国科学院声学研究所 一种平面螺旋形传声器阵列
JP2012021969A (ja) 2010-06-18 2012-02-02 Panasonic Electric Works Co Ltd 部屋、配線器具
EP2413115A1 (en) 2010-07-30 2012-02-01 Technische Universiteit Eindhoven Generating a control signal based on acoustic data
KR101219746B1 (ko) 2010-08-24 2013-01-10 서울대학교산학협력단 탄성 매질에서의 주파수 영역 역시간 구조보정을 이용한 지하구조의 영상화 장치 및 방법
US11120818B2 (en) 2010-11-12 2021-09-14 Nokia Technologies Oy Processing audio with a visual representation of an audio source
KR101736911B1 (ko) * 2010-12-07 2017-05-19 한국전자통신연구원 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법
JP2012133250A (ja) 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
US9176990B2 (en) 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
US20160025993A1 (en) 2014-07-28 2016-01-28 Apple Inc. Overlapping pattern projector
KR101213540B1 (ko) 2011-08-18 2012-12-18 (주)에스엠인스트루먼트 멤스 마이크로폰 어레이를 이용한 음향감지 장치 및 음향카메라
US20130155248A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130155249A1 (en) 2011-12-20 2013-06-20 Fluke Corporation Thermal imaging camera for infrared rephotography
US20130162835A1 (en) 2011-12-23 2013-06-27 Fluke Corporation Thermal imaging camera for infrared rephotography
US9495591B2 (en) 2012-04-13 2016-11-15 Qualcomm Incorporated Object recognition using multi-modal matching scheme
KR101204499B1 (ko) 2012-05-25 2012-11-26 주식회사 서울산전 영상기능이 부가된 전력설비진단용 초음파 진단장치
JP2013250111A (ja) 2012-05-31 2013-12-12 Ono Sokki Co Ltd 音源探査装置
US9599632B2 (en) 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
TW201412092A (zh) * 2012-09-05 2014-03-16 Acer Inc 多媒體處理系統及音訊信號處理方法
CN102879080B (zh) 2012-09-11 2014-10-15 上海交通大学 基于图像识别定位和声学传感器阵列测量的声场分析方法
CN103686136A (zh) * 2012-09-18 2014-03-26 宏碁股份有限公司 多媒体处理***及音频信号处理方法
WO2014064689A1 (en) 2012-10-22 2014-05-01 Tomer Goshen A system and methods thereof for capturing a predetermined sound beam
US20140115055A1 (en) * 2012-10-23 2014-04-24 Dean Kenneth Jackson Co-relating Visual Content with Geo-location Data
US9247367B2 (en) 2012-10-31 2016-01-26 International Business Machines Corporation Management system with acoustical measurement for monitoring noise levels
US9260958B2 (en) 2012-12-20 2016-02-16 Schlumberger Technology Corporation System and method for acoustic imaging using a transducer array
FR3000862B1 (fr) * 2013-01-08 2015-01-09 ACB Engineering Dispositifs passifs d'acquisition acoustique large bande et systemes passifs d'imagerie acoustique large bande.
CN103226038B (zh) * 2013-01-08 2014-09-17 中科声相（天津）科技有限公司 一种可拼拆式无浮线传感器阵列
WO2014113891A1 (en) * 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
CN105229737B (zh) 2013-03-13 2019-05-17 寇平公司 噪声消除麦克风装置
JP6449232B2 (ja) 2013-03-15 2019-01-09 フルークコーポレイションＦｌｕｋｅ Ｃｏｒｐｏｒａｔｉｏｎ 測定データの自動記録及びグラフ化
US20140267757A1 (en) 2013-03-15 2014-09-18 Fluke Corporation Parallax correction in thermal imaging cameras
US9729803B2 (en) 2013-03-15 2017-08-08 Infrared Integrated Systems, Ltd. Apparatus and method for multispectral imaging with parallax correction
US20140269163A1 (en) 2013-03-15 2014-09-18 Navico, Inc. Sonar Multi-Function Display With Built-In Chirp Processing
CN105191345B (zh) * 2013-03-29 2016-11-02 日产自动车株式会社 声源探测用麦克风支承装置
KR102080746B1 (ko) * 2013-07-12 2020-02-24 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP6342136B2 (ja) 2013-10-15 2018-06-13 三菱重工業株式会社 レーダ装置
GB2519347A (en) 2013-10-18 2015-04-22 Pole Star Space Applic Ltd Method and apparatus for tracking and checking compliance of vessels such as ships
US9635456B2 (en) 2013-10-28 2017-04-25 Signal Interface Group Llc Digital signal processing with acoustic arrays
US9798030B2 (en) 2013-12-23 2017-10-24 General Electric Company Subsea equipment acoustic monitoring system
JP2015152316A (ja) * 2014-02-10 2015-08-24 株式会社小野測器 音源可視化装置
FR3018023B1 (fr) 2014-02-25 2017-07-07 Micro Db Dispositif d’identification de sources acoustiques
US9697465B2 (en) 2014-04-30 2017-07-04 Google Technology Holdings LLC Drawing an inference of a usage context of a computing device using multiple sensors
JP6218090B2 (ja) 2014-05-09 2017-10-25 パナソニックＩｐマネジメント株式会社 指向性制御方法
US9892328B2 (en) 2014-06-18 2018-02-13 Mobileye Vision Technologies Ltd. Hazard detection from a camera in a scene with moving shadows
US9949033B2 (en) 2014-07-23 2018-04-17 The Australian National University Planar sensor array
KR101866609B1 (ko) * 2014-07-28 2018-06-12 두산중공업 주식회사 지능형 소음감시장치 및 이를 이용한 소음감시방법
US20160073087A1 (en) 2014-09-10 2016-03-10 Lenovo (Singapore) Pte. Ltd. Augmenting a digital image with distance data derived based on acoustic range information
US20160076937A1 (en) 2014-09-17 2016-03-17 Fluke Corporation Display of images from an imaging tool embedded or attached to a test and measurement tool
CN106852189B (zh) * 2014-10-24 2019-09-27 弗兰克公司 底层墙体结构探测器和红外相机
CN104361586A (zh) * 2014-10-31 2015-02-18 国网上海市电力公司 基于全景图的电力杆塔维护与预警***
WO2016085051A1 (ko) 2014-11-26 2016-06-02 주식회사 아띠베뷰티 초음파 생성 장치 및 이를 이용한 시술 방법
US20160165341A1 (en) * 2014-12-05 2016-06-09 Stages Pcs, Llc Portable microphone array
US10028053B2 (en) * 2015-05-05 2018-07-17 Wave Sciences, LLC Portable computing device microphone array
WO2016176854A1 (en) 2015-05-07 2016-11-10 SZ DJI Technology Co., Ltd. System and method for detecting an object
KR101687825B1 (ko) 2015-05-18 2016-12-20 현대자동차주식회사 차량 및 그 제어 방법
US20160364960A1 (en) 2015-06-09 2016-12-15 Elwha Llc Systems and methods for ultrasonically induced tactile stimuli in an entertainment system
US20170225033A1 (en) * 2015-06-23 2017-08-10 Ipcomm Llc Method and Apparatus for Analysis of Gait and to Provide Haptic and Visual Corrective Feedback
GB2540225A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Distributed audio capture and mixing control
US20170010359A1 (en) 2015-07-09 2017-01-12 Deca System, Inc. Golf device with gps and laser rangefinder functionalities
JP5939341B1 (ja) 2015-07-14 2016-06-22 パナソニックＩｐマネジメント株式会社 モニタリングシステム及びモニタリング方法
JP6543844B2 (ja) 2015-08-27 2019-07-17 本田技研工業株式会社 音源同定装置および音源同定方法
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10042038B1 (en) * 2015-09-01 2018-08-07 Digimarc Corporation Mobile devices and methods employing acoustic vector sensors
KR101678203B1 (ko) * 2015-09-08 2016-12-07 (주)에스엠인스트루먼트 전방향 음장을 전방향 영상에 중첩하여 표현하는 mems 음향센서를 이용한 전방향 음향 시각화 장치
CN205067744U (zh) 2015-10-23 2016-03-02 河海大学 一种范围可调式移动终端控制型障碍物探测***
JP6665379B2 (ja) 2015-11-11 2020-03-13 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
US20170150254A1 (en) * 2015-11-19 2017-05-25 Vocalzoom Systems Ltd. System, device, and method of sound isolation and signal enhancement
US10008028B2 (en) 2015-12-16 2018-06-26 Aquifi, Inc. 3D scanning apparatus including scanning sensor detachable from screen
US10408933B1 (en) 2016-01-08 2019-09-10 Johnson Outdoors Inc. Sonar imaging system with lateral target placement and multiple color display
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20170281982A1 (en) 2016-03-31 2017-10-05 Family Health International Methods and systems for generating an occlusion using ultrasound
JP2017207399A (ja) 2016-05-19 2017-11-24 株式会社小野測器 音源探査装置及び音源探査方法
US10375325B2 (en) 2016-06-23 2019-08-06 Fluke Corporation Thermal anomaly detection
JP6610640B2 (ja) 2016-10-28 2019-11-27 Ｊｆｅスチール株式会社 位置認識方法およびシステム、ならびに異常判定方法およびシステム
KR102625247B1 (ko) * 2016-11-11 2024-01-16 삼성전자주식회사 카메라와 음향 부품을 포함하는 전자 장치
EP3346725B1 (en) * 2017-01-05 2019-09-25 Harman Becker Automotive Systems GmbH Active noise reduction earphones
EP3622529A1 (en) * 2017-05-08 2020-03-18 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
GB201710093D0 (en) * 2017-06-23 2017-08-09 Nokia Technologies Oy Audio distance estimation for spatial audio processing
US11099075B2 (en) 2017-11-02 2021-08-24 Fluke Corporation Focus and/or parallax adjustment in acoustic imaging using distance information
US20190129027A1 (en) 2017-11-02 2019-05-02 Fluke Corporation Multi-modal acoustic imaging tool
US11209306B2 (en) 2017-11-02 2021-12-28 Fluke Corporation Portable acoustic imaging tool with scanning and analysis capability
WO2019104329A1 (en) * 2017-11-27 2019-05-31 Optecks, Llc Medical three-dimensional (3d) scanning and mapping system
US11494158B2 (en) 2018-05-31 2022-11-08 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
CN112739996A (zh) 2018-07-24 2021-04-30 弗兰克公司 用于分析和显示声学数据的***和方法
US10694167B1 (en) * 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09304055A (ja) * 1996-05-10 1997-11-28 Nec Corp 距離計測装置
WO2004021031A1 (ja) * 2002-08-30 2004-03-11 Nittobo Acoustic Engineering Co.,Ltd. 音源探査システム
JP2012150059A (ja) * 2011-01-20 2012-08-09 Chubu Electric Power Co Inc 音源推定方法及び音源推定装置
JP2014137323A (ja) * 2013-01-18 2014-07-28 Hitachi Power Solutions Co Ltd 異常診断装置およびこれを用いた異常診断方法
WO2016148825A1 (en) * 2015-03-19 2016-09-22 Intel Corporation Acoustic camera based audio visual scene analysis
WO2018055232A1 (en) * 2016-09-22 2018-03-29 Noiseless Acoustics Oy An acoustic camera and a method for revealing acoustic emissions from various locations and devices

Also Published As

Publication number Publication date
JP7493491B2 (ja) 2024-05-31
KR20210034661A (ko) 2021-03-30
WO2020023629A1 (en) 2020-01-30
KR20210034076A (ko) 2021-03-29
US20210310857A1 (en) 2021-10-07
US11960002B2 (en) 2024-04-16
US20210310856A1 (en) 2021-10-07
CN112703376A (zh) 2021-04-23
JP2021532356A (ja) 2021-11-25
WO2020023622A1 (en) 2020-01-30
CN112739997A (zh) 2021-04-30
JP2021532358A (ja) 2021-11-25
KR20210035881A (ko) 2021-04-01
US11965958B2 (en) 2024-04-23
JP7403526B2 (ja) 2023-12-22
JP2021532359A (ja) 2021-11-25
EP3827230A1 (en) 2021-06-02
JP7488250B2 (ja) 2024-05-21
CN112703375A (zh) 2021-04-23
WO2020023633A1 (en) 2020-01-30
US11762089B2 (en) 2023-09-19
WO2020023627A1 (en) 2020-01-30
US20240118416A1 (en) 2024-04-11
KR20210033532A (ko) 2021-03-26
CN112739995A (zh) 2021-04-30
EP3827227A1 (en) 2021-06-02
WO2020023631A1 (en) 2020-01-30
CN112739996A (zh) 2021-04-30
JP2024041847A (ja) 2024-03-27
EP3827226A1 (en) 2021-06-02
JP7417587B2 (ja) 2024-01-18
US20210311187A1 (en) 2021-10-07
EP3827228A1 (en) 2021-06-02
US20210293953A1 (en) 2021-09-23
KR20210035273A (ko) 2021-03-31
US20210311188A1 (en) 2021-10-07
EP3827229A1 (en) 2021-06-02
JP2021532355A (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
JP7417587B2 (ja) 音響データを分析及び表示するためのシステム及び方法
US20220146668A1 (en) Multi-modal acoustic imaging tool
US11913829B2 (en) Portable acoustic imaging tool with scanning and analysis capability
CN109756720B (zh) 使用距离信息的声学成像中的焦点和/或视差调整

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220414

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240105

R150 Certificate of patent or registration of utility model

Ref document number: 7417587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150