JP2018536365A - プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム - Google Patents
プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム Download PDFInfo
- Publication number
- JP2018536365A JP2018536365A JP2018535248A JP2018535248A JP2018536365A JP 2018536365 A JP2018536365 A JP 2018536365A JP 2018535248 A JP2018535248 A JP 2018535248A JP 2018535248 A JP2018535248 A JP 2018535248A JP 2018536365 A JP2018536365 A JP 2018536365A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- image
- refocusing
- dominant
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005236 sound signal Effects 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000004807 localization Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001066 destructive effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Circuit For Audible Band Transducer (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
【選択図】図1
Description
説明されるが、その理由は、個々のコンポーネントが視覚的に識別可能であり、従って参照するのに容易だからである。
xx(t)=alpha*x(t) + (1-alpha)*y(t)
ここで、「alpha 」は重み付け因子である。この例では、数式に示されるように、「alpha」の値が高いと、ローカルなマイクロフォン位置Bから記録されたオーディオ信号が、最終的なオーディオ・フォーカスに大きく寄与することを意味する。
以下、本願により教示される手段を例示的に列挙する。
(付記1)
処理中にオーディオ・キャプチャ・デバイスと通信するプレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法であって、
画像に関連する支配的なオーディオ・ソースの方向を決定するステップ;
前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで除くことにより、オーディオ・ズームを引き起こすステップ;及び
引き起こされたオーディオ・ズームに基づいて前記画像の自動的なリフォーカシングを実行するステップ;
を有する方法。
(付記2)
支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別するステップ;
前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号を選択的にフィルタで除くために、前記関心のあるオーディオ・シーンについてビームフォーミングを実行することにより、前記オーディオ・ズームを達成するステップ;
を更に有する付記1に記載の方法。
(付記3)
前記オーディオ・キャプチャ・デバイスが、マイクロフォン・アレイを更に有する、付記1又は2に記載の方法。
(付記4)
前記プレノプティック・カメラがビデオ・カメラであり、前記キャプチャされた画像がビデオ画像である、付記3に記載の方法。
(付記5)
前記オーディオ・キャプチャ・デバイスが、複数の場所に分散された複数のマイクロフォン・アレイを更に有する、付記4に記載の方法。
(付記6)
前記関心のあるオーディオ・シーンの角度及び幅を決定することを含むオーディオ信号分析を実行するステップを更に有する、付記2又は4に記載の方法。
(付記7)
オーディオ・ソース位置確認法を利用することにより、オーディオ・ソースの方向を決定するステップを更に有する、付記2に記載の方法。
(付記8)
オーディオに基づいて識別される候補方向の中で特定の方向をユーザが選択するユーザ入力部を更に有する、付記1に記載の方法。
(付記9)
オーディオに基づいて識別される候補方向において特定の幅をユーザが選択するユーザ入力部を更に有する、付記1に記載の方法。
(付記10)
オーディオに基づくリフォーカシング画像システムであって:
ビデオ画像をキャプチャするプレノプティック・ビデオ・カメラ;
キャプチャされた画像に関連する音をキャプチャするオーディオ・キャプチャリング手段;
画像に関連する支配的なオーディオ・ソースを決定する手段;
前記支配的なオーディオ・ソースの方向を決定するためにオーディオ信号分析を実行する手段;
支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別する手段;
前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで選択的に除くために、関心のあるオーディオ・シーンについてビームフォーミングを実行することにより、オーディオ・ズームを引き起こす手段;及び
引き起こされたオーディオ・ズームに基づいて前記画像の自動的なリフォーカシングをもたらす手段;
を有する、オーディオに基づくリフォーカシング画像システム。
(付記11)
前記プレノプティック・カメラによりキャプチャされた画像を表示する表示手段を更に有する、付記10に記載のオーディオに基づくリフォーカシング画像システム。
(付記12)
前記プレノプティック・カメラ、表示手段、及び前記オーディオ・キャプチャ・デバイスと通信するプロセッサを更に有する、付記10に記載のオーディオに基づくリフォーカシング画像システム。
(付記13)
前記プロセッサは、支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別するように構成されている、付記12に記載のオーディオに基づくリフォーカシング画像システム。
(付記14)
前記オーディオ・ズームは、前記関心のあるオーディオ・シーンについてビームフォーミングを実行することにより生じる、付記10又は13に記載のオーディオに基づくリフォーカシング画像システム。
(付記15)
前記プレノプティック・カメラはビデオ・カメラであり、前記キャプチャされた画像はビデオ画像である、付記10に記載のオーディオに基づくリフォーカシング画像システム。
Claims (15)
- 処理中にオーディオ・キャプチャ・デバイスと通信するプレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法であって、
画像に関連する支配的なオーディオ・ソースの方向を決定するステップ;
前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで除くことにより、オーディオ・ズームを引き起こすステップ;及び
引き起こされたオーディオ・ズームに基づいて前記画像の自動的なリフォーカシングを実行するステップ;
を有する方法。 - 支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別するステップ;
前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号を選択的にフィルタで除くために、前記関心のあるオーディオ・シーンについてビームフォーミングを実行することにより、前記オーディオ・ズームを達成するステップ;
を更に有する請求項1に記載の方法。 - 前記オーディオ・キャプチャ・デバイスが、マイクロフォン・アレイを更に有する、請求項1又は2に記載の方法。
- 前記プレノプティック・カメラがビデオ・カメラであり、前記キャプチャされた画像がビデオ画像である、請求項3に記載の方法。
- 前記オーディオ・キャプチャ・デバイスが、複数の場所に分散された複数のマイクロフォン・アレイを更に有する、請求項4に記載の方法。
- 前記関心のあるオーディオ・シーンの角度及び幅を決定することを含むオーディオ信号分析を実行するステップを更に有する、請求項2又は4に記載の方法。
- オーディオ・ソース位置確認法を利用することにより、オーディオ・ソースの方向を決定するステップを更に有する、請求項2に記載の方法。
- オーディオに基づいて識別される候補方向の中で特定の方向をユーザが選択するユーザ入力部を更に有する、請求項1に記載の方法。
- オーディオに基づいて識別される候補方向において特定の幅をユーザが選択するユーザ入力部を更に有する、請求項1に記載の方法。
- オーディオに基づくリフォーカシング画像システムであって:
ビデオ画像をキャプチャするプレノプティック・ビデオ・カメラ;
キャプチャされた画像に関連する音をキャプチャするオーディオ・キャプチャリング手段;
画像に関連する支配的なオーディオ・ソースを決定する手段;
前記支配的なオーディオ・ソースの方向を決定するためにオーディオ信号分析を実行する手段;
支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別する手段;
前記支配的なオーディオ・ソースに関連するもの以外の全てのオーディオ信号をフィルタで選択的に除くために、関心のあるオーディオ・シーンについてビームフォーミングを実行することにより、オーディオ・ズームを引き起こす手段;及び
引き起こされたオーディオ・ズームに基づいて前記画像の自動的なリフォーカシングをもたらす手段;
を有する、オーディオに基づくリフォーカシング画像システム。 - 前記プレノプティック・カメラによりキャプチャされた画像を表示する表示手段を更に有する、請求項10に記載のオーディオに基づくリフォーカシング画像システム。
- 前記プレノプティック・カメラ、表示手段、及び前記オーディオ・キャプチャ・デバイスと通信するプロセッサを更に有する、請求項10に記載のオーディオに基づくリフォーカシング画像システム。
- 前記プロセッサは、支配的なオーディオ・ソースの方向に基づいて、関心のあるオーディオ・シーンを識別するように構成されている、請求項12に記載のオーディオに基づくリフォーカシング画像システム。
- 前記オーディオ・ズームは、前記関心のあるオーディオ・シーンについてビームフォーミングを実行することにより生じる、請求項10又は13に記載のオーディオに基づくリフォーカシング画像システム。
- 前記プレノプティック・カメラはビデオ・カメラであり、前記キャプチャされた画像はビデオ画像である、請求項10に記載のオーディオに基づくリフォーカシング画像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15306528.9A EP3151534A1 (en) | 2015-09-29 | 2015-09-29 | Method of refocusing images captured by a plenoptic camera and audio based refocusing image system |
EP15306528.9 | 2015-09-29 | ||
PCT/EP2016/073107 WO2017055348A1 (en) | 2015-09-29 | 2016-09-28 | Method of refocusing images captured by a plenoptic camera and audio based refocusing image system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021016349A Division JP7178435B2 (ja) | 2015-09-29 | 2021-02-04 | プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018536365A true JP2018536365A (ja) | 2018-12-06 |
JP6835853B2 JP6835853B2 (ja) | 2021-02-24 |
JP6835853B6 JP6835853B6 (ja) | 2021-05-26 |
Family
ID=54337220
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018535248A Active JP6835853B6 (ja) | 2015-09-29 | 2016-09-28 | プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム |
JP2021016349A Active JP7178435B2 (ja) | 2015-09-29 | 2021-02-04 | プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021016349A Active JP7178435B2 (ja) | 2015-09-29 | 2021-02-04 | プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10880466B2 (ja) |
EP (3) | EP3151534A1 (ja) |
JP (2) | JP6835853B6 (ja) |
KR (1) | KR20180059802A (ja) |
CN (2) | CN108370411A (ja) |
WO (1) | WO2017055348A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023513318A (ja) * | 2020-02-14 | 2023-03-30 | ノキア テクノロジーズ オサケユイチア | マルチメディアコンテンツ |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10531187B2 (en) * | 2016-12-21 | 2020-01-07 | Nortek Security & Control Llc | Systems and methods for audio detection using audio beams |
GB201800918D0 (en) | 2018-01-19 | 2018-03-07 | Nokia Technologies Oy | Associated spatial audio playback |
KR20200020590A (ko) | 2018-08-16 | 2020-02-26 | 한화테크윈 주식회사 | 시각화된 객체에서 특정영역의 소리를 추출하는 감시 카메라 시스템 및 그 동작 방법 |
WO2020036377A1 (ko) * | 2018-08-16 | 2020-02-20 | 한화테크윈 주식회사 | 시각화된 객체에서 특정영역의 소리를 추출하는 감시 카메라 시스템 및 그 동작 방법 |
KR20210048271A (ko) * | 2019-10-23 | 2021-05-03 | 엘지전자 주식회사 | 복수 객체에 대한 자동 오디오 포커싱 방법 및 장치 |
US11259112B1 (en) * | 2020-09-29 | 2022-02-22 | Harman International Industries, Incorporated | Sound modification based on direction of interest |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005354223A (ja) * | 2004-06-08 | 2005-12-22 | Toshiba Corp | 音源情報処理装置、音源情報処理方法、音源情報処理プログラム |
CN101278596A (zh) * | 2005-09-30 | 2008-10-01 | 史克尔海德科技公司 | 定向音频捕获 |
US20100110232A1 (en) * | 2008-10-31 | 2010-05-06 | Fortemedia, Inc. | Electronic apparatus and method for receiving sounds with auxiliary information from camera system |
US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
JP2011211291A (ja) * | 2010-03-29 | 2011-10-20 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置及び表示装置 |
JP2011259397A (ja) * | 2010-06-11 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
CN104780341A (zh) * | 2014-01-10 | 2015-07-15 | 华为技术有限公司 | 一种信息处理方法以及信息处理装置 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020140804A1 (en) | 2001-03-30 | 2002-10-03 | Koninklijke Philips Electronics N.V. | Method and apparatus for audio/image speaker detection and locator |
US20030160862A1 (en) * | 2002-02-27 | 2003-08-28 | Charlier Michael L. | Apparatus having cooperating wide-angle digital camera system and microphone array |
US7483061B2 (en) * | 2005-09-26 | 2009-01-27 | Eastman Kodak Company | Image and audio capture with mode selection |
EA011601B1 (ru) * | 2005-09-30 | 2009-04-28 | Скуэрхэд Текнолоджи Ас | Способ и система для направленного захвата аудиосигнала |
US8570426B2 (en) * | 2008-11-25 | 2013-10-29 | Lytro, Inc. | System of and method for video refocusing |
KR101524463B1 (ko) | 2007-12-04 | 2015-06-01 | 삼성전자주식회사 | 어레이 스피커를 통해 음향을 포커싱하는 방법 및 장치 |
US8782988B2 (en) * | 2008-02-06 | 2014-07-22 | Boral Stone Products Llc | Prefabricated wall panel with tongue and groove construction |
CN102257401B (zh) | 2008-12-16 | 2014-04-02 | 皇家飞利浦电子股份有限公司 | 使用粒子滤波估计声源地点 |
US8300845B2 (en) * | 2010-06-23 | 2012-10-30 | Motorola Mobility Llc | Electronic apparatus having microphones with controllable front-side gain and rear-side gain |
JP5748422B2 (ja) | 2010-06-29 | 2015-07-15 | 株式会社ザクティ | 電子機器 |
US9274744B2 (en) * | 2010-09-10 | 2016-03-01 | Amazon Technologies, Inc. | Relative position-inclusive device interfaces |
US20130076931A1 (en) * | 2011-09-22 | 2013-03-28 | John Norvold Border | Plenoptic lens unit providing refocusable imaging mode |
EP2748811B1 (en) | 2011-10-17 | 2017-05-17 | Koninklijke Philips N.V. | A medical feedback system based on sound analysis in a medical environment |
TW201318421A (zh) | 2011-10-24 | 2013-05-01 | Hon Hai Prec Ind Co Ltd | 控制攝影機裝置的系統及方法 |
EP2837211B1 (en) * | 2012-04-13 | 2017-08-30 | Nokia Technologies Oy | Method, apparatus and computer program for generating an spatial audio output based on an spatial audio input |
EP2680616A1 (en) * | 2012-06-25 | 2014-01-01 | LG Electronics Inc. | Mobile terminal and audio zooming method thereof |
US9607424B2 (en) * | 2012-06-26 | 2017-03-28 | Lytro, Inc. | Depth-assigned content for depth-enhanced pictures |
US9258644B2 (en) * | 2012-07-27 | 2016-02-09 | Nokia Technologies Oy | Method and apparatus for microphone beamforming |
US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
JP6012342B2 (ja) | 2012-09-03 | 2016-10-25 | キヤノン株式会社 | 再生装置、再生装置の制御方法 |
EP2720464B1 (en) | 2012-10-11 | 2018-01-10 | Sony Mobile Communications Inc. | Generating image information |
US9769588B2 (en) * | 2012-11-20 | 2017-09-19 | Nokia Technologies Oy | Spatial audio enhancement apparatus |
US10127912B2 (en) * | 2012-12-10 | 2018-11-13 | Nokia Technologies Oy | Orientation based microphone selection apparatus |
US9124762B2 (en) | 2012-12-20 | 2015-09-01 | Microsoft Technology Licensing, Llc | Privacy camera |
JP2016511850A (ja) | 2012-12-21 | 2016-04-21 | ヴィディノティ エスアーVidinoti Sa | プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置 |
CN104281397B (zh) | 2013-07-10 | 2018-08-14 | 华为技术有限公司 | 多深度区间的重聚焦方法、装置及电子设备 |
US20150022636A1 (en) * | 2013-07-19 | 2015-01-22 | Nvidia Corporation | Method and system for voice capture using face detection in noisy environments |
KR102021857B1 (ko) * | 2013-07-23 | 2019-09-17 | 엘지전자 주식회사 | 이동 단말기 및 그의 파노라마 촬영방법 |
US9596437B2 (en) * | 2013-08-21 | 2017-03-14 | Microsoft Technology Licensing, Llc | Audio focusing via multiple microphones |
US20150130907A1 (en) | 2013-11-11 | 2015-05-14 | Samsung Electronics Co., Ltd. | Plenoptic camera device and shading correction method for the camera device |
US20150146078A1 (en) * | 2013-11-27 | 2015-05-28 | Cisco Technology, Inc. | Shift camera focus based on speaker position |
WO2016034454A1 (en) * | 2014-09-05 | 2016-03-10 | Thomson Licensing | Method and apparatus for enhancing sound sources |
KR101990370B1 (ko) * | 2014-11-26 | 2019-06-18 | 한화테크윈 주식회사 | 카메라 시스템 및 카메라 시스템 동작 방법 |
EP3139614A1 (en) * | 2015-09-07 | 2017-03-08 | Thomson Licensing | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
EP3151535A1 (en) * | 2015-09-29 | 2017-04-05 | Thomson Licensing | Plenoptic camera having an array of sensors for generating digital images and method of capturing an image using a plenoptic camera |
-
2015
- 2015-09-29 EP EP15306528.9A patent/EP3151534A1/en not_active Withdrawn
-
2016
- 2016-09-28 CN CN201680067659.6A patent/CN108370411A/zh active Pending
- 2016-09-28 WO PCT/EP2016/073107 patent/WO2017055348A1/en active Application Filing
- 2016-09-28 EP EP22186614.8A patent/EP4123368A1/en active Pending
- 2016-09-28 KR KR1020187009005A patent/KR20180059802A/ko not_active Application Discontinuation
- 2016-09-28 CN CN202210790910.9A patent/CN115297255A/zh active Pending
- 2016-09-28 JP JP2018535248A patent/JP6835853B6/ja active Active
- 2016-09-28 EP EP16775208.8A patent/EP3357230B1/en active Active
- 2016-09-28 US US15/764,032 patent/US10880466B2/en active Active
-
2021
- 2021-02-04 JP JP2021016349A patent/JP7178435B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005354223A (ja) * | 2004-06-08 | 2005-12-22 | Toshiba Corp | 音源情報処理装置、音源情報処理方法、音源情報処理プログラム |
CN101278596A (zh) * | 2005-09-30 | 2008-10-01 | 史克尔海德科技公司 | 定向音频捕获 |
US20100110232A1 (en) * | 2008-10-31 | 2010-05-06 | Fortemedia, Inc. | Electronic apparatus and method for receiving sounds with auxiliary information from camera system |
US20100123785A1 (en) * | 2008-11-17 | 2010-05-20 | Apple Inc. | Graphic Control for Directional Audio Input |
JP2011211291A (ja) * | 2010-03-29 | 2011-10-20 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置及び表示装置 |
JP2011259397A (ja) * | 2010-06-11 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | 瞬時直間比推定装置、雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
CN104780341A (zh) * | 2014-01-10 | 2015-07-15 | 华为技术有限公司 | 一种信息处理方法以及信息处理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023513318A (ja) * | 2020-02-14 | 2023-03-30 | ノキア テクノロジーズ オサケユイチア | マルチメディアコンテンツ |
Also Published As
Publication number | Publication date |
---|---|
EP4123368A1 (en) | 2023-01-25 |
EP3357230A1 (en) | 2018-08-08 |
US10880466B2 (en) | 2020-12-29 |
KR20180059802A (ko) | 2018-06-05 |
EP3151534A1 (en) | 2017-04-05 |
JP6835853B2 (ja) | 2021-02-24 |
CN115297255A (zh) | 2022-11-04 |
JP6835853B6 (ja) | 2021-05-26 |
JP2021090208A (ja) | 2021-06-10 |
EP3357230B1 (en) | 2022-11-02 |
US20180288307A1 (en) | 2018-10-04 |
WO2017055348A1 (en) | 2017-04-06 |
JP7178435B2 (ja) | 2022-11-25 |
CN108370411A (zh) | 2018-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7178435B2 (ja) | プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム | |
JP7396341B2 (ja) | 映像音響処理装置および方法、並びにプログラム | |
US10074012B2 (en) | Sound and video object tracking | |
US10015613B2 (en) | System, apparatus and method for consistent acoustic scene reproduction based on adaptive functions | |
CN107439002B (zh) | 深度成像 | |
JP6838994B2 (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
US9759994B1 (en) | Automatic projection focusing | |
EP1348148A1 (en) | Camera that combines the best focused parts from different exposures to an image | |
US10235010B2 (en) | Information processing apparatus configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium | |
US20170215005A1 (en) | Audio refocusing methods and electronic devices utilizing the same | |
JP2022533755A (ja) | 空間オーディオをキャプチャする装置および関連する方法 | |
JP2018019294A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
JP2018019295A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
EP3101839A1 (en) | Method and apparatus for isolating an active participant in a group of participants using light field information | |
KR101683634B1 (ko) | 플레놉틱 카메라 원리를 이용한 디지털 촬상 장치 | |
CN111629126A (zh) | 音视频采集设备和方法 | |
TW202315393A (zh) | 視訊內容提供方法及視訊內容提供裝置 | |
CN115834817A (zh) | 视频内容提供方法及视频内容提供装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180615 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180702 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180702 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190815 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6835853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |