JP6687032B2 - 耳形状解析方法、頭部伝達関数生成方法、耳形状解析装置および頭部伝達関数生成装置 - Google Patents
耳形状解析方法、頭部伝達関数生成方法、耳形状解析装置および頭部伝達関数生成装置 Download PDFInfo
- Publication number
- JP6687032B2 JP6687032B2 JP2017539786A JP2017539786A JP6687032B2 JP 6687032 B2 JP6687032 B2 JP 6687032B2 JP 2017539786 A JP2017539786 A JP 2017539786A JP 2017539786 A JP2017539786 A JP 2017539786A JP 6687032 B2 JP6687032 B2 JP 6687032B2
- Authority
- JP
- Japan
- Prior art keywords
- ear
- shape
- target
- candidate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 0 *CC12[C@@]3C1C3CC2 Chemical compound *CC12[C@@]3C1C3CC2 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Generation (AREA)
Description
図1は、本発明の第1実施形態に係る音響処理装置100の構成を例示する構成図である。図1に例示される通り、第1実施形態の音響処理装置100には信号供給装置12と放音装置14とが接続される。信号供給装置12は、音声および楽音等の音響を表す音響信号XAを音響処理装置100に供給する。具体的には、周囲の音響を収音して音響信号XAを生成する収音装置、または、可搬型もしくは内蔵型の記録媒体から音響信号XAを取得して音響処理装置100に供給する再生装置が信号供給装置12として採用され得る。
図2は、耳形状モデル生成部30の構成を例示する構成図である。図2に例示される通り、第1実施形態の記憶装置24は、N個(Nは2以上の自然数)の標本耳の各々と事前に用意された1個の耳(以下「基準耳」という)とについて立体形状データD0を記憶する。例えば事前に不特定多数の人間について立体形状が測定された多数の耳(例えば右耳)のうち特定の1個を基準耳として選択するとともに残余を標本耳として選択したうえで各々について立体形状データD0が生成される。各立体形状データD0は、標本耳および基準耳の各々の立体形状を表現するデータである。具体的には、例えば耳形状を多角形の集合体で表現したポリゴンメッシュデータが立体形状データD0として好適に利用される。図2に例示される通り、第1実施形態の耳形状モデル生成部30は、点群特定部32と標本耳解析部34と統計処理部36とを具備する。
図1の耳形状解析部40は、耳形状モデル生成部30が生成した耳形状モデルEを利用して対象者の目標耳の立体形状を推定し、特定の方向から対象者の各耳孔までの頭部伝達関数Fを立体形状の推定結果から生成する。図7は、耳形状解析部40の構成を例示する構成図である。図7に例示される通り、第1実施形態の記憶装置24は、対象者の目標耳の外観を表す画像データDGを記憶する。具体的には、対象者(または対象者の近傍の補助者)は、携帯電話機およびスマートフォン等の情報端末に搭載された撮影装置、または、デジタルスチルカメラ等の専用の撮影装置を利用して所定の撮影条件(例えば撮影の方向または画角)のもとで目標耳を撮影する。また、撮影倍率の指標(例えば所定の寸法のシール)が付加された状態で目標耳は撮影される。以上の方法で撮影された対象者の目標耳の画像(以下「目標耳画像」という)GUを表す画像データDGが記憶装置24に記憶される。図7に例示される通り、第1実施形態の耳形状解析部40は、耳形状データ生成部42と耳形状特定部44と関数算定部48とを具備する。
図1の音響処理部50は、耳形状解析部40が生成した頭部伝達関数Fを音響信号XAに畳込むことで音響信号XBを生成する。図13は、音響処理部50の構成を例示する構成図である。図13に例示される通り、第1実施形態の音響処理部50は、音場制御部52と畳込演算部54Rと畳込演算部54Lとを具備する。
本発明の第2実施形態を以下に説明する。なお、以下に例示する各形態において作用または機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第1実施形態では、統計処理部36がM行M列の変換行列Wを生成した。第3実施形態の統計処理部36は、N個の耳形状データv(1)〜v(N)に対する主成分分析で生成されるM行M列の変換行列Wのうち後段側の所定行(すなわち小さい固有値に対応する所定行)を除去し、除去後のM'行M列(M'<M)の変換行列W'を含む耳形状モデルEを生成する。具体的には、統計処理部36は、主成分分析で生成したM行M列の行列のうち第(M'+1)行から第M行までの(M−M')行を削除することでM'行M列の変換行列W'を生成する。第1行から第M'行までの各要素は変換行列Wと変換行列W'とで共通する。
図16は、第4実施形態における音響処理システム200の構成を例示する構成図である。図16に例示される通り、第4実施形態の音響処理システム200は、端末装置62と解析処理装置64とを具備するコンピュータシステムである。端末装置62は、携帯電話機,スマートフォン,タブレット端末およびパーソナルコンピュータ等の情報処理装置であり、解析処理装置64は、例えばウェブサーバ等のサーバ装置である。なお、実際には複数の端末装置62が音響処理システム200に包含されるが、以下の説明では任意の1個の端末装置62に便宜的に着目する。
図17は、第5実施形態における耳形状解析部40の構成を例示する構成図である。第5実施形態の耳形状解析部40は、推定処理部46と耳形状データ生成部42と耳形状特定部44と関数算定部48とを具備する。第1実施形態と同様に、目標耳画像GUを表す画像データDGと、耳形状モデルE(変換行列Wおよび平均ベクトルμ)と、基準耳の立体形状データD0とが記憶装置24に記憶される。第1実施形態の画像データDGは、相異なる角度から共通の目標耳を撮影した複数の目標耳画像GUを表す。
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
<態様1>
本発明の好適な態様(態様1)に係る耳形状解析方法は、コンピュータが、耳の立体形状を表す点群と基準耳の立体形状を表す点群との差分を示す耳形状データと、耳形状データの各主成分の重みを示す主成分重みベクトルとの関係を示す耳形状モデルに、主成分重みベクトルを付与することで耳形状データを生成し、画像データが表す目標耳画像に対応する目標耳の推定立体形状を、耳形状データ生成部が生成した耳形状データから特定する。態様1では、耳形状データと主成分重みベクトルとの関係を示す耳形状モデルに対する主成分重みベクトルの付与で生成される耳形状データから、目標耳の推定立体形状が特定される。したがって、特定の形状を変形(モーフィング)することで目標耳の立体形状を推定する構成と比較して、耳形状の誤推定の可能性を低減することが可能である。
態様1の好適例(態様2)では、前記耳形状データは、複数の候補耳にそれぞれ対応する複数の耳形状データのひとつであり、耳形状データの生成において、前記主成分重みベクトルを含む複数の主成分重みベクトルの各々を耳形状モデルに付与することで、複数の候補耳の各々について耳形状データを生成し、推定立体形状の特定において、複数の候補耳の各々について、基準耳の立体形状を表現する点群と当該候補耳の耳形状データとに応じて、当該候補耳を表す候補耳画像を生成し、画像データが表す目標耳画像を、複数の候補耳についてそれぞれ生成された複数の候補耳画像の各々と比較して、複数の候補耳画像のうち、目標耳画像との差異が最小となる候補耳画像の候補耳に対応する耳形状を目標耳の推定立体形状として特定する。態様2では、耳形状モデルを利用して生成された複数の候補耳画像の各々と目標耳画像とを比較して、目標耳画像との差異が最小となる候補耳画像の候補耳に対応する耳形状が目標耳の推定立体形状として特定される。したがって、画像の比較という簡便な処理で目標耳の推定立体形状を特定できるという利点がある。
態様2の好適例(態様3)では、候補耳画像の生成において、画像データにおける目標耳の撮影条件に近似する条件の視点で観察された候補耳の候補耳画像を生成する。態様3では、目標耳画像における目標耳の撮影方向に近似する方向からみた候補耳を表す候補耳画像が生成される。したがって、目標耳画像の撮影条件と候補耳画像における候補耳の観察条件とが乖離する場合と比較して、目標耳に立体形状が近似する適切な候補耳を選択できるという利点がある。
態様2または態様3の好適例(態様4)では、耳形状データの生成において、基準耳の点群の一部である第1群の各点に対応する複数の変換ベクトルを含む候補耳の耳形状データを、耳形状モデルに主成分重みベクトルを付与することで生成する一方、基準耳の点群のうち第1群以外の第2群の各点に対応する変換ベクトルを、候補耳の耳形状データに含まれる複数の変換ベクトルの補間により生成し、候補耳画像の生成において、基準耳の点群のうち第1群の各点を候補耳の耳形状データの各変換ベクトルに応じて移動するとともに、基準耳の点群のうち第2群の各点を補間後の各変換ベクトルに応じて移動することで、候補耳画像を生成する。態様4では、基準耳の点群のうち第2群の各点に対応する変換ベクトルが、候補耳の耳形状データに含まれる複数の変換ベクトルの補間により生成されるから、基準耳の点群の全部にわたり耳形状モデルを利用して変換ベクトルを生成する必要はない。したがって、耳形状モデルに対する主成分重みベクトルの付与で候補耳の耳形状データを生成する処理または耳形状モデルを生成する処理の負荷が軽減されるという利点がある。
態様1の好適例(態様5)では、耳画像と主成分重みベクトルとの関係を示すニューラルネットワークに、画像データが表す目標耳画像を付与することで主成分重みベクトルを生成し、耳形状データの生成において、ニューラルネットワークにより生成した主成分重みベクトルを耳形状モデルに付与することで目標耳の耳形状データを生成し、推定立体形状の特定において、基準耳の立体形状を表す点群と当該目標耳の耳形状データとに応じて目標耳の推定立体形状を特定する。態様5では、目標耳画像をニューラルネットワークに付与することで生成された主成分重みベクトルが耳形状モデルに付与されるから、候補耳画像の生成と目標耳画像との比較を反復する必要がない。したがって、候補耳画像の生成と目標耳画像との比較とが複数回にわたり反復される前述の態様2と比較して、目標耳の推定立体形状を特定するために必要な演算量が削減されるという利点がある。
態様1から態様5の何れかの好適例(態様6)では、推定立体形状に対応する頭部伝達関数を算定する。態様1から態様5によれば、前述の通り、耳形状の誤推定の可能性が低減されるから、目標耳を持つ受聴者が音像の適切な位置を知覚可能な頭部伝達関数を特定できるという利点がある。
態様6の好適例(態様7)では、画像データを端末装置から受信し、当該画像データから算定された頭部伝達関数を端末装置に送信する。態様7では、端末装置から受信した画像データから目標耳の推定立体形状が特定され、当該推定立体形状に対応する頭部伝達関数が端末装置に送信される。したがって、目標耳の推定立体形状の特定または当該推定立体形状に対する頭部伝達関数の算定を個々の端末装置で実行する必要がないという利点がある。
本発明の好適な態様(態様8)に係る耳形状解析装置は、耳の立体形状を表す点群と基準耳の立体形状を表す点群との差分を示す耳形状データと、耳形状データの各主成分の重みを示す主成分重みベクトルとの関係を示す耳形状モデルに、主成分重みベクトルを付与することで耳形状データを生成する耳形状データ生成部と、画像データが表す目標耳画像に対応する目標耳の推定立体形状を、耳形状データ生成部が生成した耳形状データから特定する耳形状特定部とを具備する。態様8では、耳形状データと主成分重みベクトルとの関係を示す耳形状モデルに対する主成分重みベクトルの付与で生成される耳形状データから目標耳の推定立体形状が特定される。したがって、特定の形状を変形することで目標耳の立体形状を推定する構成と比較して、耳形状の誤推定の可能性を低減することが可能である。
態様8の好適例(態様9)において、前記耳形状データは、複数の候補耳にそれぞれ対応する複数の耳形状データのひとつであり、耳形状データ生成部は、前記主成分重みベクトルを含む複数の主成分重みベクトルの各々を耳形状モデルに付与することで、複数の候補耳の各々について耳形状データを生成し、耳形状特定部は、複数の候補耳の各々について、基準耳の立体形状を表現する点群と当該候補耳の耳形状データとに応じて、当該候補耳を表す候補耳画像を生成する画像生成部と、画像データが表す目標耳画像を、複数の候補耳についてそれぞれ生成された複数の候補耳画像の各々と比較して、前記複数の候補耳画像のうち、目標耳画像との差異が最小となる候補耳画像の候補耳に対応する耳形状を目標耳の推定立体形状として特定する画像探索部とを含む。態様9では、耳形状モデルを利用して生成された複数の候補耳画像の各々と目標耳画像とを比較して、目標耳画像との差異が最小となる候補耳画像の候補耳に対応する耳形状が目標耳の推定立体形状として特定される。したがって、画像の比較という簡便な処理で目標耳の推定立体形状を特定できるという利点がある。
態様8の好適例(態様10)に係る耳形状解析装置は、耳画像と主成分重みベクトルとの関係を示すニューラルネットワークに、画像データが表す目標耳画像を付与することで主成分重みベクトルを生成する推定処理部を具備し、耳形状データ生成部は、ニューラルネットワークにより生成した主成分重みベクトルを耳形状モデルに付与することで目標耳の耳形状データを生成し、耳形状特定部は、基準耳の立体形状を表す点群と当該目標耳の耳形状データとに応じて目標耳の推定立体形状を特定する。態様10では、目標耳画像をニューラルネットワークに付与することで生成された主成分重みベクトルが耳形状モデルに付与されるから、候補耳画像の生成と目標耳画像との比較を反復する必要がない。したがって、候補耳画像の生成と目標耳画像との比較とが複数回にわたり反復される前述の態様9と比較して、目標耳の推定立体形状を特定するために必要な演算量が削減されるという利点がある。
本発明の好適な態様(態様11)は、画像データが表す目標耳画像と比較される候補耳画像の生成に利用される耳形状モデルを生成する方法であって、コンピュータが、標本耳の立体形状を表現する点群と基準耳の立体形状を表現する点群との差分を表す耳形状データを複数の標本耳の各々について生成し、各主成分の重みを表す主成分重みベクトルに耳形状データを変換するための変換行列を、生成した複数の耳形状データに対する主成分分析で算定し、変換行列またはその逆行列を含む耳形状モデルを生成する。態様11では、目標耳の立体形状の推定に利用される耳形状モデルに複数の標本耳の立体形状の統計的な傾向が反映される。したがって、目標耳の立体形状を高精度に推定できるという利点がある。
態様11の好適例(態様12)では、耳形状モデルの生成において、複数の標本耳について耳形状データの平均ベクトルを算定し、当該平均ベクトルを含む耳形状モデルを生成する。態様12では、耳形状データを主成分重みベクトルに変換するための変換行列またはその逆行列に加えて複数の耳形状データの平均ベクトルを含む耳形状モデルが生成される。したがって、耳形状モデルを利用して適切な候補耳画像を生成できるという利点がある。
態様11または態様12の好適例(態様13)では、耳形状モデルの生成において、主成分分析で算定された変換行列のうち後段の所定行を除去し、当該除去後の変換行列を表す耳形状モデルを生成する。態様13では、主成分分析で算定された変換行列のうち後段の所定行が除去されるから、耳形状モデルのデータ量を削減することが可能である。
Claims (13)
- コンピュータが、
耳の立体形状の統計的な傾向が反映された耳形状モデルを利用して、目標耳の候補となる候補耳の立体形状と基準耳の立体形状との差分を示す耳形状データを生成し、
目標耳画像に対応する前記目標耳の推定立体形状を、前記候補耳の耳形状データと前記基準耳の立体形状とから特定する
耳形状解析方法。 - コンピュータが、
標本として用意された標本耳の立体形状を表す点群と基準耳の立体形状を表す点群との差分を示す耳形状データと、前記耳形状データの各主成分の重みを示す主成分重みベクトルとの関係を示す耳形状モデルに、主成分重みベクトルを付与することで、目標耳の候補となる候補耳の耳形状データを生成し、
目標耳画像に対応する前記目標耳の推定立体形状を、前記候補耳の耳形状データから特定する
耳形状解析方法。 - 前記耳形状データの生成において、複数の主成分重みベクトルの各々を前記耳形状モデルに付与することで、前記目標耳の候補となる複数の候補耳にそれぞれ対応する複数の耳形状データを生成し、
前記推定立体形状の特定において、
前記複数の候補耳の各々について、前記基準耳の立体形状を表現する点群と当該候補耳の耳形状データとに応じて、当該候補耳を表す候補耳画像を生成し、
前記目標耳画像を、前記複数の候補耳についてそれぞれ生成された複数の候補耳画像の各々と比較して、前記複数の候補耳画像のうち、前記目標耳画像との差異が最小となる候補耳画像の候補耳に対応する耳形状を、前記目標耳の推定立体形状として特定する
請求項2の耳形状解析方法。 - コンピュータが、
標本として用意された標本耳の立体形状を表す点群と基準耳の立体形状を表す点群との差分を示す耳形状データと、前記耳形状データの各主成分の重みを示す主成分重みベクトルとの関係を示す耳形状モデルに、目標耳画像に対応する目標耳の主成分重みベクトルを付与することで、当該目標耳の耳形状データを生成し、
前記目標耳の推定立体形状を、前記目標耳の耳形状データと前記基準耳の立体形状とから特定する
耳形状解析方法。 - 耳を表す画像と主成分重みベクトルとの関係を示すニューラルネットワークに、前記目標耳画像を付与することで、前記目標耳の主成分重みベクトルを生成し、
前記耳形状データの生成において、前記ニューラルネットワークにより生成した前記目標耳の主成分重みベクトルを前記耳形状モデルに付与することで前記目標耳の耳形状データを生成し、
前記推定立体形状の特定において、前記基準耳の立体形状を表す点群と当該目標耳の耳形状データとに応じて前記目標耳の推定立体形状を特定する
請求項4の耳形状解析方法。 - 前記推定立体形状に対応する頭部伝達関数を算定する
請求項1から請求項5の何れかの耳形状解析方法。 - コンピュータが、
耳の立体形状の統計的な傾向が反映された耳形状モデルを利用して、目標耳の候補となる複数の候補耳の各々について、当該候補耳の立体形状を表す立体形状データを生成し、
前記複数の候補耳の各々について生成された立体形状データから、当該候補耳を表す候補耳画像を生成し、
前記複数の候補耳についてそれぞれ生成された複数の候補耳画像のうち、前記目標耳を表す目標耳画像に類似する候補耳画像に対応する立体形状を特定し、
前記特定した立体形状から頭部伝達関数を生成する
頭部伝達関数生成方法。 - 前記頭部伝達関数の生成においては、前記特定した立体形状に対する音響解析により、前記頭部伝達関数を生成する
請求項7の頭部伝達関数生成方法。 - 前記目標耳画像を表す画像データを端末装置から受信し、当該画像データから生成された前記頭部伝達関数を前記端末装置に送信する
請求項7または請求項8の頭部伝達関数生成方法。 - 耳の立体形状の統計的な傾向が反映された耳形状モデルを利用して、目標耳の候補となる候補耳の立体形状と基準耳の立体形状との差分を示す耳形状データを生成する耳形状データ生成部と、
目標耳画像に対応する前記目標耳の推定立体形状を、前記候補耳の耳形状データと前記基準耳の立体形状とから特定する耳形状特定部と
を具備する耳形状解析装置。 - 標本として用意された標本耳の立体形状を表す点群と基準耳の立体形状を表す点群との差分を示す耳形状データと、前記耳形状データの各主成分の重みを示す主成分重みベクトルとの関係を示す耳形状モデルに、主成分重みベクトルを付与することで、目標耳の候補となる候補耳の耳形状データを生成する耳形状データ生成部と、
目標耳画像に対応する前記目標耳の推定立体形状を、前記耳形状データ生成部が生成した前記候補耳の耳形状データから特定する耳形状特定部と
を具備する耳形状解析装置。 - 標本として用意された標本耳の立体形状を表す点群と基準耳の立体形状を表す点群との差分を示す耳形状データと、前記耳形状データの各主成分の重みを示す主成分重みベクトルとの関係を示す耳形状モデルに、目標耳画像に対応する目標耳の主成分重みベクトルを付与することで、当該目標耳の耳形状データを生成する耳形状データ生成部と、
前記目標耳の推定立体形状を、前記耳形状データ生成部が生成した前記目標耳の耳形状データと前記基準耳の立体形状とから特定する耳形状特定部と
を具備する耳形状解析装置。 - 耳の立体形状の統計的な傾向が反映された耳形状モデルを利用して、目標耳の候補となる複数の候補耳の各々について、当該候補耳の立体形状を表す立体形状データを生成する機能と、
前記複数の候補耳の各々について生成された立体形状データから、当該候補耳を表す候補耳画像を生成する機能と、
前記複数の候補耳についてそれぞれ生成された複数の候補耳画像のうち、前記目標耳を表す目標耳画像に類似する候補耳画像に対応する立体形状を特定する機能と、
前記特定した立体形状から頭部伝達関数を生成する機能と
を具備する頭部伝達関数生成装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015180993 | 2015-09-14 | ||
JP2015180993 | 2015-09-14 | ||
PCT/JP2016/073829 WO2017047309A1 (ja) | 2015-09-14 | 2016-08-15 | 耳形状解析方法、耳形状解析装置および耳形状モデル生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017047309A1 JPWO2017047309A1 (ja) | 2018-06-28 |
JP6687032B2 true JP6687032B2 (ja) | 2020-04-22 |
Family
ID=58288958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017539786A Active JP6687032B2 (ja) | 2015-09-14 | 2016-08-15 | 耳形状解析方法、頭部伝達関数生成方法、耳形状解析装置および頭部伝達関数生成装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10607358B2 (ja) |
EP (1) | EP3351172B1 (ja) |
JP (1) | JP6687032B2 (ja) |
CN (1) | CN108024762B (ja) |
WO (1) | WO2017047309A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20165211A (fi) | 2016-03-15 | 2017-09-16 | Ownsurround Ltd | Järjestely HRTF-suodattimien valmistamiseksi |
FR3057981B1 (fr) * | 2016-10-24 | 2019-07-26 | Mimi Hearing Technologies GmbH | Procede d'elaboration d'un nuage de points 3d representatif d'une oreille 3d d'un individu, et systeme associe |
US10701506B2 (en) | 2016-11-13 | 2020-06-30 | EmbodyVR, Inc. | Personalized head related transfer function (HRTF) based on video capture |
US10104491B2 (en) | 2016-11-13 | 2018-10-16 | EmbodyVR, Inc. | Audio based characterization of a human auditory system for personalized audio reproduction |
WO2019094114A1 (en) * | 2017-11-13 | 2019-05-16 | EmbodyVR, Inc. | Personalized head related transfer function (hrtf) based on video capture |
CN107944117B (zh) * | 2017-11-17 | 2019-03-05 | 华中科技大学 | 一种基于流动特征获取注塑制品类型的方法 |
US11049331B2 (en) * | 2017-12-01 | 2021-06-29 | Hearables 3D Pty Ltd | Customization method and apparatus |
FI20185300A1 (fi) | 2018-03-29 | 2019-09-30 | Ownsurround Ltd | Järjestely päähän liittyvien siirtofunktiosuodattimien muodostamiseksi |
US10917735B2 (en) * | 2018-05-11 | 2021-02-09 | Facebook Technologies, Llc | Head-related transfer function personalization using simulation |
CN108966083A (zh) * | 2018-08-09 | 2018-12-07 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
US11026039B2 (en) | 2018-08-13 | 2021-06-01 | Ownsurround Oy | Arrangement for distributing head related transfer function filters |
KR20210068409A (ko) | 2018-10-10 | 2021-06-09 | 소니그룹주식회사 | 정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램 |
KR102274581B1 (ko) * | 2018-10-16 | 2021-07-07 | 광주과학기술원 | 개인화된 hrtf 생성 방법 |
DE202019000718U1 (de) | 2019-02-14 | 2019-02-26 | WERRTA GmbH Düsen- und Zerstäubungstechnik | Inhalator |
JP7055762B2 (ja) * | 2019-03-05 | 2022-04-18 | アルパイン株式会社 | 顔特徴部検出装置、顔特徴部検出方法 |
KR102249389B1 (ko) * | 2019-04-30 | 2021-05-07 | 전수진 | 아기 두상 성장 관리 시스템 |
JP7358010B2 (ja) * | 2019-07-29 | 2023-10-10 | アルパイン株式会社 | 頭部伝達関数の推定モデル生成装置、頭部伝達関数の推定装置および頭部伝達関数の推定用プログラム |
DE112020003687T5 (de) | 2019-08-02 | 2022-06-09 | Sony Group Corporation | Audioausgabevorrichtung und diese verwendendes audioausgabesystem |
JP7344149B2 (ja) | 2020-02-07 | 2023-09-13 | キオクシア株式会社 | 最適化装置及び最適化方法 |
WO2022036238A1 (en) * | 2020-08-14 | 2022-02-17 | VisiSonics Corporation | Systems and methods for head related transfer function personalization |
US11778408B2 (en) | 2021-01-26 | 2023-10-03 | EmbodyVR, Inc. | System and method to virtually mix and audition audio content for vehicles |
CN114495171B (zh) * | 2022-01-28 | 2024-05-14 | 杭州师范大学 | 一种基于aam的耳像识别方法 |
CN117291979B (zh) * | 2023-09-26 | 2024-04-26 | 北京鹰之眼智能健康科技有限公司 | 一种耳洞定位方法、电子设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3521900B2 (ja) * | 2002-02-04 | 2004-04-26 | ヤマハ株式会社 | バーチャルスピーカアンプ |
WO2005025270A1 (ja) * | 2003-09-08 | 2005-03-17 | Matsushita Electric Industrial Co., Ltd. | 音像制御装置の設計ツールおよび音像制御装置 |
JP2008512760A (ja) * | 2004-09-08 | 2008-04-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 自動的な耳の再構成のための特徴抽出アルゴリズム |
JP2007299070A (ja) | 2006-04-27 | 2007-11-15 | Toshiba Corp | 顔形状モデル生成装置及びその方法 |
CN101369309B (zh) * | 2008-09-26 | 2011-08-24 | 北京科技大学 | 基于主动表观模型和外耳长轴的人耳图像归一化方法 |
US20120183161A1 (en) * | 2010-09-03 | 2012-07-19 | Sony Ericsson Mobile Communications Ab | Determining individualized head-related transfer functions |
JP5754595B2 (ja) * | 2011-11-22 | 2015-07-29 | 日本電信電話株式会社 | トランスオーラルシステム |
US9030545B2 (en) * | 2011-12-30 | 2015-05-12 | GNR Resound A/S | Systems and methods for determining head related transfer functions |
WO2013149645A1 (en) * | 2012-04-02 | 2013-10-10 | Phonak Ag | Method for estimating the shape of an individual ear |
CN102831390A (zh) * | 2012-07-02 | 2012-12-19 | 北京科技大学 | 一种人耳认证***及方法 |
FR3040807B1 (fr) * | 2015-09-07 | 2022-10-14 | 3D Sound Labs | Procede et systeme d'elaboration d'une fonction de transfert relative a la tete adaptee a un individu |
-
2016
- 2016-08-15 CN CN201680052684.7A patent/CN108024762B/zh active Active
- 2016-08-15 EP EP16846180.4A patent/EP3351172B1/en active Active
- 2016-08-15 JP JP2017539786A patent/JP6687032B2/ja active Active
- 2016-08-15 WO PCT/JP2016/073829 patent/WO2017047309A1/ja active Application Filing
-
2018
- 2018-03-13 US US15/920,206 patent/US10607358B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3351172A1 (en) | 2018-07-25 |
US10607358B2 (en) | 2020-03-31 |
EP3351172A4 (en) | 2019-04-17 |
CN108024762B (zh) | 2020-09-22 |
US20180204341A1 (en) | 2018-07-19 |
JPWO2017047309A1 (ja) | 2018-06-28 |
EP3351172B1 (en) | 2021-05-19 |
CN108024762A (zh) | 2018-05-11 |
WO2017047309A1 (ja) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6687032B2 (ja) | 耳形状解析方法、頭部伝達関数生成方法、耳形状解析装置および頭部伝達関数生成装置 | |
EP3509327B1 (en) | Method for generating customized spatial audio with head tracking | |
US11778400B2 (en) | Methods and systems for audio signal filtering | |
US9681250B2 (en) | Statistical modelling, interpolation, measurement and anthropometry based prediction of head-related transfer functions | |
Meshram et al. | P-HRTF: Efficient personalized HRTF computation for high-fidelity spatial sound | |
US10917735B2 (en) | Head-related transfer function personalization using simulation | |
JPWO2020075622A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US10818100B2 (en) | Method for producing a 3D scatter plot representing a 3D ear of an individual, and associated system | |
US10390167B2 (en) | Ear shape analysis device and ear shape analysis method | |
US20240089689A1 (en) | Method for determining a personalized head-related transfer function | |
Zhao et al. | Efficient prediction of individual head-related transfer functions based on 3D meshes | |
Duraiswami et al. | Capturing and recreating auditory virtual reality | |
JP7493411B2 (ja) | バイノーラル再生装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191017 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6687032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |