JP2024508899A - オーディオ信号に方向性を適用する電子装置及びその方法 - Google Patents
オーディオ信号に方向性を適用する電子装置及びその方法 Download PDFInfo
- Publication number
- JP2024508899A JP2024508899A JP2023553375A JP2023553375A JP2024508899A JP 2024508899 A JP2024508899 A JP 2024508899A JP 2023553375 A JP2023553375 A JP 2023553375A JP 2023553375 A JP2023553375 A JP 2023553375A JP 2024508899 A JP2024508899 A JP 2024508899A
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- processor
- target object
- audio signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000006854 communication Effects 0.000 claims abstract description 92
- 238000004891 communication Methods 0.000 claims abstract description 92
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 26
- 238000010191 image analysis Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004091 panning Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000001815 facial effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 244000309464 bull Species 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 241000283690 Bos taurus Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Otolaryngology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Stereophonic System (AREA)
- Studio Devices (AREA)
- Telephone Function (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Stereo-Broadcasting Methods (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本文書に開示されている様々な実施例に係る電子装置は、近距離無線通信を支援する通信モジュール、動画イメージを撮影するカメラモジュール、前記撮影する動画イメージを表示するディスプレイ、及び前記通信モジュール、カメラモジュール及びディスプレイと作動的に(operatively)連結されるプロセッサを含み、前記プロセッサは、前記通信モジュールを用いて外部電子装置と連結を確立し、前記動画イメージ撮影と同時に前記外部電子装置からオーディオ信号を受信し、前記撮影される動画イメージに含まれる少なくとも一つの客体のうちターゲットとなるターゲット客体を確認し、前記ターゲット客体が前記ディスプレイ上に表示される位置に関する第1位置情報を確認し、前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定して、実際位置に関する第2位置情報を生成し、前記生成された第2位置情報に基づいて前記オーディオ信号を処理するように設定されてよい。その他、様々な実施例も可能である。
Description
本文書に開示されている様々な実施例は、電子装置が取得したオーディオ信号に方向性を適用する方法に関する。
ステレオオーディオは、複数の音声出力構成を用いて2つ以上の独立したオーディオチャネルを用いる音響提供方法である。同一のオーディオデータにステレオオーディオの情報を含むことができ、それぞれの独立したオーディオチャネルを用いて、複数の音声出力構成にしてそれぞれ異なるオーディオを出力させることにより、聴取者に現場感を提供することができる。
バイノーラル(binaural)オーディオは、複数の音声出力構成を用いてバイノーラル効果(双耳効果)を提供する音響提供方法である。バイノーラル効果とは、人の両耳で聞く音響の強度差、時間差、及び/又は位相差などのような差を用いて聴取者に遠近感、実際感、方向感、空間感、音場(acoustic field)感を提供する効果を意味する。
動画撮影と共に撮影された画像に対応する現場感あるオーディオ信号の録音が必要な場合があり得る。電子装置を用いて動画を撮影する場合に、録音される背景オーディオ信号に対して現場感、方向感などを付与することが必要であり得る。特に、動画撮影の際に無線マイクロホンなどの外部電子装置を用いてオーディオ信号を収集する場合に、単一の外部電子装置を利用する場合が殆どである。このような単一外部電子装置で客体の音を受音して動画を撮影する場合に、客体の音の方向性に関する情報がないため、撮影時に客体が撮影された画面を基準にして左側や右側又はどの方向にあるかに関係なく、録音された客体のオーディオ信号は、固定した方向から音が聞こえてくるかのような効果を出し得る。この時、オーディオ信号はモノ(mono)で録音でき、モノで録音されたオーディオ信号は単調であるか、現場感、空間感を提供し難いことがある。モノ信号として録音された音声を用いて、現場感、空間感などを提供できる方法が望まれることがある。
本文書に開示されている様々な実施例に係る電子装置は、近距離無線通信を支援する通信モジュール、動画イメージを撮影するカメラモジュール、前記撮影する動画イメージを表示するディスプレイ、及び前記通信モジュール、カメラモジュール及びディスプレイと作動的に(operatively)連結されるプロセッサを含み、前記プロセッサは、前記通信モジュールを用いて外部電子装置と連結を確立し、前記動画イメージ撮影と同時に前記外部電子装置からオーディオ信号を受信し、前記撮影される動画イメージに含まれる少なくとも一つの客体のうちターゲットとなるターゲット客体を確認し、前記ターゲット客体が前記ディスプレイ上に表示される位置に関する第1位置情報を確認し、前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定して、実際位置に関する第2位置情報を生成し、前記生成された第2位置情報に基づいて前記オーディオ信号を処理するように設定されてよい。
本文書に開示されている様々な実施例に係る電子装置がオーディオ信号を処理する方法であって、外部電子装置と連結を確立する動作、動画イメージ撮影と同時に前記外部電子装置からオーディオ信号を受信する動作、前記撮影される動画イメージに含まれる少なくとも一つの客体のうちターゲットとなるターゲット客体を確認する動作、前記ターゲット客体が前記電子装置のディスプレイ上に表示される位置に関する第1位置情報を確認する動作、前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定して、実際位置に関する第2位置情報を生成する動作、及び前記生成された第2位置情報に基づいて前記オーディオ信号を処理する動作を含んでよい。
様々な実施例によれば、撮影された動画に対応する、現場感と空間感を有するオーディオ信号を生成することができる。ユーザに動画のイメージと符合する空間感ある音響を提供することによってユーザ経験を向上させることができる。
その他、本文書から直接又は間接に把握される様々な効果が提供されてよい。
図面の説明と関連して、同一又は類似の構成要素には同一又は類似の参照符号が使用されてよい。
図1は、様々な実施例に係る、ネットワーク環境100内の電子装置101のブロック図である。図1を参照すると、ネットワーク環境100において、電子装置101は、第1ネットワーク198(例えば、近距離無線通信ネットワーク)を通じて電子装置102と通信したり、又は第2ネットワーク199(例えば、遠距離無線通信ネットワーク)を通じて電子装置104又はサーバー108のうち少なくとも一つと通信することができる。一実施例によれば、電子装置101はサーバー108を介して電子装置104と通信することができる。一実施例によれば、電子装置101は、プロセッサ120、メモリ130、入力モジュール150、音響出力モジュール155、ディスプレイモジュール160、オーディオモジュール170、センサーモジュール176、インターフェース177、連結端子178、ハプティックモジュール179、カメラモジュール180、電力管理モジュール188、バッテリー189、通信モジュール190、加入者識別モジュール196、又はアンテナモジュール197を含んでよい。ある実施例では、電子装置101には、これらの構成要素のうち少なくとも一つ(例えば、連結端子178)が省略されてもよく、一つ以上の他の構成要素が追加されてもよい。ある実施例では、これらの構成要素のうち一部(例えば、センサーモジュール176、カメラモジュール180、又はアンテナモジュール197)が一つの構成要素(例えば、ディスプレイモジュール160)に統合されてよい。
プロセッサ120は、例えば、ソフトウェア(例えば、プログラム140)を実行し、プロセッサ120に連結された電子装置101の少なくとも一つの他の構成要素(例えば、ハードウェア又はソフトウェア構成要素)を制御でき、様々なデータ処理又は演算を行うことができる。一実施例によれば、データ処理又は演算の少なくとも一部として、プロセッサ120は、他の構成要素(例えば、センサーモジュール176又は通信モジュール190)から受信した命令又はデータを揮発性メモリ132に保存し、揮発性メモリ132に保存された命令又はデータを処理し、結果データを不揮発性メモリ134に保存することができる。一実施例によれば、プロセッサ120は、メインプロセッサ121(例えば、中央処理装置又はアプリケーションプロセッサ)又はこれとは独立に又は共に運営可能な補助プロセッサ123(例えば、グラフィック処理装置、神経網処理装置(NPU:neural processing unit)、イメージシグナルプロセッサ、センサーハブプロセッサ、又はコミュニケーションプロセッサ)を含んでよい。例えば、電子装置101がメインプロセッサ121及び補助プロセッサ123を含む場合に、補助プロセッサ123はメインプロセッサ121に比べて低電力を使用するか、指定された機能に特化するように設定されてよい。補助プロセッサ123は、メインプロセッサ121と別個に、又はその一部として具現されてよい。
補助プロセッサ123は、例えば、メインプロセッサ121がインアクティブ(例えば、スリープ)状態にある間にメインプロセッサ121に代えて、又はメインプロセッサ121がアクティブ(例えば、アプリケーション実行)状態にある間にメインプロセッサ121と一緒に、電子装置101の構成要素のうち少なくとも一つの構成要素(例えば、ディスプレイモジュール160、センサーモジュール176、又は通信モジュール190)に関連した機能又は状態の少なくとも一部を制御できる。一実施例によれば、補助プロセッサ123(例えば、イメージシグナルプロセッサ又はコミュニケーションプロセッサ)は、機能的に関連がある他の構成要素(例えば、カメラモジュール180又は通信モジュール190)の一部として具現されてよい。一実施例によれば、補助プロセッサ123(例えば、神経網処理装置)は、人工知能モデルの処理に特化したハードウェア構造を含んでよい。人工知能モデルは機械学習によって生成されてよい。このような学習は、例えば、人工知能モデルが実行される電子装置101自体で行われてよく、別個のサーバー(例えば、サーバー108)を介して行われてもよい。学習アルゴリズムは、例えば、教師あり学習(supervised learning)、教師なし学習(unsupervised learning)、半教師あり学習(semi-supervised learning)又は強化学習(reinforcement learning)を含んでよいが、前述した例に限定されない。人工知能モデルは、複数の人工神経網レイヤを含んでよい。人工神経網は、深層神経網(DNN:deep neural network)、CNN(convolutional neural network)、RNN(recurrent neural network)、RBM(restricted boltzmann machine)、DBN(deep belief network)、BRDNN(bidirectional recurrent deep neural network)、深層Q-ネットワーク(deep Q-networks)又はこれらのうち2つ以上の組合せのいずれかであってよいが、前述した例に限定されない。人工知能モデルは、ハードウェア構造に、追加として又は代替として、ソフトウェア構造を含んでよい。
メモリ130は、電子装置101の少なくとも一つの構成要素(例えば、プロセッサ120又はセンサーモジュール176)によって用いられる様々なデータを保存することができる。データは、例えば、ソフトウェア(例えば、プログラム140)、及びこれと関連した命令に対する入力データ又は出力データを含んでよい。メモリ130は、揮発性メモリ132又は不揮発性メモリ134を含んでよい。
プログラム140は、メモリ130にソフトウェアとして保存されてよく、例えば、運営体制142、ミドルウェア144又はアプリケーション146を含んでよい。
入力モジュール150は、電子装置101の構成要素(例えば、プロセッサ120)に用いられる命令又はデータを、電子装置101の外部(例えば、ユーザ)から受信することができる。入力モジュール150は、例えば、マイク、マウス、キーボード、キー(例えば、ボタン)、又はデジタルペン(例えば、スタイラスペン)を含んでよい。
音響出力モジュール155は、音響信号を電子装置101の外部に出力することができる。音響出力モジュール155は、例えば、スピーカー又はレシーバーを含んでよい。スピーカーは、マルチメディア再生又は録音再生のように一般用途に用いられてよい。レシーバーは、着信電話を受信するために用いられてよい。一実施例によれば、レシーバーは、スピーカーと別個に、又はその一部として具現されてよい。
ディスプレイモジュール160は、電子装置101の外部(例えば、ユーザ)に情報を視覚的に提供することができる。ディスプレイモジュール160は、例えば、ディスプレイ、ホログラム装置、又はプロジェクター及び当該装置を制御するための制御回路を含んでよい。一実施例によれば、ディスプレイモジュール160は、タッチを感知するように設定されたタッチセンサー、又は前記タッチによって発生する力の強度を測定するように設定された圧力センサーを含んでよい。
オーディオモジュール170は、音を電気信号に変換させたり、逆に電気信号を音に変換させることができる。一実施例によれば、オーディオモジュール170は、入力モジュール150から音を取得したり、音響出力モジュール155、又は電子装置101と直接に又は無線で連結された外部電子装置(例えば、電子装置102)(例えば、スピーカー又はヘッドホン)から音を出力することができる。
センサーモジュール176は、電子装置101の作動状態(例えば、電力又は温度)、又は外部の環境状態(例えば、ユーザ状態)を感知し、感知された状態に対応する電気信号又はデータ値を生成することができる。一実施例によれば、センサーモジュール176は、例えば、ジェスチャーセンサー、ジャイロセンサー、気圧センサー、マグネチックセンサー、加速度センサー、グリップセンサー、近接センサー、カラーセンサー、IR(infrared)センサー、生体センサー、温度センサー、湿度センサー、又は照度センサーを含んでよい。
インターフェース177は、電子装置101が外部電子装置(例えば、電子装置102)と直接に又は無線で連結されるために利用可能な一つ以上の指定されたプロトコルを支援することができる。一実施例によれば、インターフェース177は、例えば、HDMI(登録商標)(high definition multimedia interface)、USB(universal serial bus)インターフェース、SDカードインターフェース、又はオーディオインターフェースを含んでよい。
連結端子178は、それを介して電子装置101が外部電子装置(例えば、電子装置102)と物理的に連結され得るコネクターを含んでよい。一実施例によれば、連結端子178は、例えば、HDMI(登録商標)コネクター、USBコネクター、SDカードコネクター、又はオーディオコネクター(例えば、ヘッドホンコネクター)を含んでよい。
ハプティックモジュール179は、電気的信号を、ユーザが触覚又は運動感覚で認知できる機械的な刺激(例えば、振動又は動き)又は電気的な刺激に変換させることができる。一実施例によれば、ハプティックモジュール179は、例えば、モーター、圧電素子、又は電気刺激装置を含んでよい。
カメラモジュール180は、静止画及び動画を撮影することができる。一実施例によれば、カメラモジュール180は、一つ以上のレンズ、イメージセンサー、イメージシグナルプロセッサ、又はフラッシュを含んでよい。
電力管理モジュール188は、電子装置101に供給される電力を管理することができる。一実施例によれば、電力管理モジュール188は、例えば、PMIC(power management integrated circuit)の少なくとも一部として具現されてよい。
バッテリー189は、電子装置101の少なくとも一つの構成要素に電力を供給することができる。一実施例によれば、バッテリー189は、例えば、再充電不可1次電池、再充電可能2次電池又は燃料電池を含んでよい。
通信モジュール190は、電子装置101と外部電子装置(例えば、電子装置102、電子装置104、又はサーバー108)間の直接(例えば、有線)通信チャネル又は無線通信チャネルの確立、及び確立された通信チャネルを通じた通信実行を支援できる。通信モジュール190は、プロセッサ120(例えば、アプリケーションプロセッサ)と独立して運営され、直接(例えば、有線)通信又は無線通信を支援する一つ以上のコミュニケーションプロセッサを含んでよい。一実施例によれば、通信モジュール190は、無線通信モジュール192(例えば、セルラー通信モジュール、近距離無線通信モジュール、又はGNSS(global navigation satellite system)通信モジュール)又は有線通信モジュール194(例えば、LAN(local area network)通信モジュール、又は電力線通信モジュール)を含んでよい。それらの通信モジュールのうち、該当する通信モジュールは、第1ネットワーク198(例えば、ブルートゥース(登録商標)、WiFi(wireless fidelity)direct又はIrDA(infrared data association)のような近距離通信ネットワーク)又は第2ネットワーク199(例えば、レガシーセルラーネットワーク、5Gネットワーク、次世代通信ネットワーク、インターネット、又はコンピューターネットワーク(例えば、LAN又はWAN)のような遠距離通信ネットワーク)を通じて外部の電子装置104と通信することができる。これらの種々の通信モジュールは、一つの構成要素(例えば、単一チップ)として統合されたり、又はそれぞれ別個の複数の構成要素(例えば、複数チップ)として具現されてよい。無線通信モジュール192は、加入者識別モジュール196に保存された加入者情報(例えば、国際モバイル加入者識別子(IMSI))を用いて第1ネットワーク198又は第2ネットワーク199のような通信ネットワーク内で電子装置101を確認又は認証することができる。
無線通信モジュール192は、4Gネットワーク以後の5Gネットワーク及び次世代通信技術、例えば、NR接続技術(new radio access technology)を支援できる。NR接続技術は、高容量データの高速伝送(eMBB(enhanced mobile broadband))、端末電力最小化と多数端末の接続(mMTC(massive machine type communications))、又は高信頼度及び低遅延(URLLC(ultra-reliable and low-latency communications))を支援できる。無線通信モジュール192は、例えば、高いデータ伝送率の達成のために、高周波帯域(例えば、mmWave帯域)を支援できる。無線通信モジュール192は、高周波帯域での性能確保のための様々な技術、例えば、ビームフォーミング(beamforming)、巨大配列多重入出力(massive MIMO(multiple-input and multiple-output))、全次元多重入出力(FD-MIMO:full dimensional MIMO)、アレイアンテナ(array antenna)、アナログビーム形成(analog beam-forming)、又は大規模アンテナ(large scale antenna)のような技術を支援できる。無線通信モジュール192は、電子装置101、外部電子装置(例えば、電子装置104)又はネットワークシステム(例えば、第2ネットワーク199)に規定される様々な要求事項を支援することができる。一実施例によれば、無線通信モジュール192は、eMBB実現のためのPeak data rate(例えば、20Gbps以上)、mMTC実現のための損失Coverage(例えば、164dB以下)、又はURLLC実現のためのU-plane latency(例えば、下りリンク(DL)及び上りリンク(UL)はそれぞれ0.5ms以下、又はラウンドトリップ1ms以下)を支援できる。
アンテナモジュール197は、信号又は電力を外部(例えば、外部の電子装置)に送信したり又は外部から受信することができる。一実施例によれば、アンテナモジュール197は、サブストレート(例えば、PCB)上に形成された導電体又は導電性パターンからなる放射体を含むアンテナを含んでよい。一実施例によれば、アンテナモジュール197は、複数のアンテナ(例えば、アレイアンテナ)を含んでよい。この場合、第1ネットワーク198又は第2ネットワーク199のような通信ネットワークで用いられる通信方式に適する少なくとも一つのアンテナが、例えば、通信モジュール190によって前記複数のアンテナから選択されてよい。信号又は電力は、前記選択された少なくとも一つのアンテナを通じて通信モジュール190と外部の電子装置間に送信又は受信されてよい。ある実施例によれば、放射体に加え、他の部品(例えば、RFIC(radio frequency integrated circuit))がさらにアンテナモジュール197の一部として形成されてよい。
様々な実施例によれば、アンテナモジュール197は、mmWaveアンテナモジュールを形成できる。一実施例によれば、mmWaveアンテナモジュールは、印刷回路基板、前記印刷回路基板の第1面(例えば、下面)に又はそれに隣接して配置され、指定された高周波帯域(例えば、mmWave帯域)を支援可能なRFIC、及び前記印刷回路基板の第2面(例えば、上面又は側面)に又はそれに隣接して配置され、前記指定された高周波帯域の信号を送信又は受信できる複数のアンテナ(例えば、アレイアンテナ)を含んでよい。
前記構成要素のうち少なくとも一部は、周辺機器間の通信方式(例えば、バス、GPIO(general purpose input and output)、SPI(serial peripheral interface)、又はMIPI(mobile industry processor interface))によって互いに連結され、信号(例えば、命令又はデータ)を相互間に交換できる。
一実施例によれば、命令又はデータは、第2ネットワーク199に連結されたサーバー108を介して電子装置101と外部の電子装置104間に送信又は受信されてよい。外部の電子装置(102又は104)のそれぞれは、電子装置101と同一の又は異なる種類の装置であってよい。一実施例によれば、電子装置101で実行される動作の全部又は一部は、外部の電子装置(102、104又は108)のうち一つ以上の外部の電子装置で実行されてよい。例えば、電子装置101は、ある機能やサービスを自動で、又はユーザ又は他の装置からの要請に反応して行わなければならない場合に、機能又はサービスを独自で実行させる代わりに又はそれに加えて、一つ以上の外部の電子装置にその機能又はそのサービスの少なくとも一部を実行するように要請できる。前記要請を受信した一つ以上の外部の電子装置は、要請された機能又はサービスの少なくとも一部、又は前記要請と関連した追加機能又はサービスを実行し、その実行の結果を電子装置101に伝達できる。電子装置101は前記結果を、そのまま又はさらに処理して、前記要請に対する応答の少なくとも一部として提供できる。そのために、例えば、クラウドコンピューティング、分散コンピューティング、モバイルエッジコンピューティング(MEC:mobile edge computing)、又はクライアント-サーバーコンピューティング技術が用いられてよい。電子装置101は、例えば、分散コンピューティング又はモバイルエッジコンピューティングを用いて超低遅延サービスを提供できる。他の実施例において、外部の電子装置104は、IoT(internet of things)機器を含んでよい。サーバー108は、機械学習及び/又は神経網を用いた知能型サーバーであってよい。一実施例によれば、外部の電子装置104又はサーバー108は、第2ネットワーク199内に含まれてよい。電子装置101は、5G通信技術及びIoT関連技術に基づいて知能型サービス(例えば、スマートホーム、スマートシティ、スマートカー、又はヘルスケア)に適用されてよい。
図2は、様々な実施例に係る電子装置200が動画を撮影する例示図である。
図2を参照すると、電子装置200(例えば、図1の電子装置101)は、様々な被写体(例えば、外部電子装置220及び/又は人物230)の画像を撮影できる。様々な実施例によれば、電子装置200は、電子装置200に含まれたカメラ(例えば、図3のカメラモジュール320)を用いて少なくとも一つの被写体(例えば、外部電子装置220及び/又は人物230)を撮影できる。被写体になり得るものは、人物230、装置(例えば、外部電子装置220)のように様々な人物又は物体であってよく、被写体になり得る客体に制限はないが、本文書では便宜上、少なくとも一つの人物及び/又は少なくとも一つの外部電子装置を被写体とする場合を中心に説明する。
様々な実施例によれば、電子装置200は、被写体(例えば、人物230及び/又は外部電子装置220)を撮影し、撮影した被写体のイメージを生成できる。様々な実施例によれば、電子装置200は、撮影したイメージをディスプレイ210上に表示できる。一実施例によれば、電子装置200の撮影したイメージは、動画イメージであってよい。様々な実施例によれば、電子装置200は、撮影中の動画イメージをディスプレイ210に表示できる。
様々な実施例によれば、電子装置200は、外部電子装置220と連結を構成することができる。様々な実施例によれば、電子装置200は、外部電子装置220と通信的に(communicatively)連結を確立することができる。様々な実施例によれば、電子装置200は、外部電子装置220と有線(例えば、直接通信)及び/又は無線通信ネットワーク(例えば、図1の第1ネットワーク198)を用いて連結を確立できる。一実施例によれば、電子装置200は外部電子装置220と近距離無線通信(例えば、ブルートゥース(登録商標))を用いて連結されてよい。様々な実施例によれば、電子装置200は、通信連結確立及び/又は機能実行に必要なデータを外部電子装置220に送信したり、又は外部電子装置220から受信することができる。
様々な実施例によれば、電子装置200はオーディオ信号を取得できる。様々な実施例によれば、電子装置200は、動画を撮影する場合に、画像の背景音に該当するオーディオ信号を取得できる。電子装置200は、電子装置200に含まれたマイクロホン(例えば、図1の入力モジュール150)から外部音声が入力され、オーディオ信号を生成することができる。一実施例によれば、電子装置200は、連結された外部電子装置220からオーディオ信号を受信することができる。例えば、外部電子装置220は、収集した音声を用いてオーディオ信号を生成でき、生成したオーディオ信号を電子装置200に送信できる。電子装置200は、外部電子装置220からオーディオ信号を受信できる。一実施例によれば、電子装置200は、画像を撮影すると同時に、外部電子装置220から画像に対応する音声のオーディオ信号を受信することができる。図2を参照すると、電子装置200が表示した動画イメージは、少なくとも一つの客体を含んでよい。動画イメージに含まれた少なくとも一つの客体は、例えば、人物230が撮影されたイメージ客体である第1客体211及び/又は外部電子装置220が撮影されたイメージ客体である第2客体221を含んでよい。様々な実施例によれば、電子装置200は、撮影された動画イメージ又は撮影中の動画イメージを分析し、動画イメージに含まれた少なくとも一つのイメージ客体(例えば、第1客体211及び/又は第2客体221)を識別することができる。一実施例によれば、電子装置200は、メモリ(例えば、図3のメモリ340)に既に保存されたアルゴリズムを用いてイメージを分析でき、イメージ分析により、動画イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、電子装置200は、ディスプレイ210上に表示されたイメージを分析し、イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。様々な実施例によれば、電子装置200は、識別した各客体(例えば、第1客体211及び/又は第2客体221)がディスプレイ210上に表示される位置に関する情報(例えば、座標)(例えば、第1位置情報)を確認することができる。様々な実施例によれば、電子装置200は、識別した各客体(例えば、第1客体211及び/又は第2客体221)のディスプレイ210上に表示される座標(例えば、第1位置情報)を持続的に確認することができる。電子装置200は、撮影中にディスプレイ210上で実時間で移動する客体(例えば、第1客体211及び/又は第2客体221)の座標(例えば、第1位置情報)を確認することができる。様々な実施例によれば、電子装置200は、撮影した動画イメージを分析し、ターゲットとなる客体(例えば、ターゲット客体)を確認することができる。ターゲット客体は、例えば、電子装置200が実際に位置を推定しようとする客体を意味できる。様々な実施例によれば、電子装置200は、イメージ分析を用いてターゲット客体を確認することができる。一実施例によれば、電子装置200は、動画イメージを分析して顔面認識を行うことができ、顔面認識実行結果に基づいて人物客体(例えば、第1客体211)を識別できる。一実施例によれば、電子装置200は、識別された人物客体(例えば、第1客体211)をターゲット客体として識別できる。一実施例によれば、電子装置200は、識別された外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として識別できる。一実施例によれば、電子装置200は、撮影されたイメージを分析して視覚的信号(例えば、点滅中のLED信号)を識別し、外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として確認できる。様々な実施例によれば、電子装置200は、ターゲット客体を確認するための条件をメモリ(例えば、図3のメモリ340)にあらかじめ保存することができる。一実施例によれば、電子装置200は、ディスプレイ210上のユーザ(図示せず)のタッチ入力を受信でき、受信したタッチ入力に基づいてターゲット客体を確認することができる。例えば、認識された少なくとも一つの客体のうち、タッチ入力の位置に対応する客体をターゲット客体として認識できる。一実施例によれば、電子装置200は、センサー(例えば、図1のセンサーモジュール176)を用いてセンサー情報を生成し、センサー情報に基づいて外部電子装置220又は人物230を認識し、認識結果に基づいてターゲット客体を確認することができる。一実施例によれば、電子装置200は、外部電子装置220との通信を用いて外部電子装置220の位置に関する情報を受信し、受信した位置情報を保存することができる。様々な実施例によれば、電子装置200は、撮影された動画イメージ分析、受信したタッチ入力分析、センサー情報、及び受信した位置情報のうち少なくとも一つに基づいてターゲット客体を識別し確認することができる。
様々な実施例によれば、電子装置200は、ターゲット客体がディスプレイ210上に表示される位置(例えば、第1位置情報)を確認することができる。一実施例によれば、電子装置200は、ディスプレイ210上に存在する全ての客体(例えば、第1客体211及び第2客体221)のディスプレイ210上の位置(例えば、第1位置情報)を確認することができる。一実施例によれば、電子装置200は、ディスプレイ210上に表示された少なくとも一つのイメージ客体(例えば、第1客体211及び/又は第2客体221)のうち、ターゲット客体(例えば、第1客体211又は第2客体221)のディスプレイ210上に表示される位置(例えば、第1位置情報)を確認することができる。第1位置情報は、ターゲット客体がディスプレイ210上に表示される位置に関する情報であってよい。一実施例によれば、第1位置情報は、ディスプレイ210上の一定の座標で表現される情報であってよい。一実施例によれば、第1位置情報は、電子装置200の動画撮影中に実時間で変更される情報であってよい。一実施例によれば、電子装置200は、動画撮影中に第1位置情報を持続的に及び/又は即時に確認することができる。
様々な実施例によれば、電子装置200は、付加情報を確認することがてきる。付加情報は、電子装置200がターゲット客体に対応する被写体(例えば、外部電子装置220又は人物230)の実際位置に関する情報(例えば、第2位置情報)を推定するために第1位置情報の他に用いられる情報であってよい。付加情報は、電子装置200に含まれたカメラ(例えば、図3のカメラモジュール320)に設定された情報を含んでよい。様々な実施例によれば、付加情報は、撮影中である電子装置200の画角(field of view,FOV)及び/又は倍率のように、カメラ(例えば、カメラモジュール320)の状態及び/又は設定に関する情報を含んでよい。一実施例によれば、カメラ(例えば、図3のカメラモジュール320)は、距離を測定できる深度カメラ(depth camera)を含んでよく、電子装置200及びターゲット客体の距離を測定できる。一実施例によれば、付加情報は、電子装置200とターゲット客体間の距離情報を含んでよい。一実施例によれば、付加情報は、ターゲット客体の大きさを含んでよい。一実施例によれば、電子装置200は、ターゲット客体のイメージに対応するディスプレイの領域範囲を確認し、ターゲット客体の大きさ(例えば、長さ及び/又は面積)を確認することができる。
様々な実施例によれば、電子装置200は、被写体(例えば、人物230及び/又は外部電子装置220)の位置を推定できる。一実施例によれば、電子装置200は、撮影した動画イメージに含まれた全ての客体(例えば、第1客体211及び第2客体221)に対応する被写体(例えば、人物230及び外部電子装置220)の実際位置を推定できる。一実施例によれば、電子装置200は、ターゲット客体に対応する被写体(例えば、人物230又は外部電子装置220)の実際位置のみを推定できる。一実施例によれば、電子装置200は、ターゲット客体に対応する被写体の実際位置を推定し、推定した位置に関する第2位置情報を生成できる。様々な実施例によれば、電子装置200は、第1位置情報に基づいて第2位置情報を生成できる。一実施例によれば、電子装置200は、撮影されたイメージ客体(例えば、ターゲット客体)のディスプレイ210上の位置(例えば、第1位置情報)を確認し、ディスプレイ210上の位置に基づいて実際位置(例えば、第2位置情報)を推定できる。様々な実施例によれば、電子装置200は、付加情報に基づいて第2位置情報を推定できる。一実施例によれば、電子装置200は、ターゲット客体の第1位置情報及び付加情報を用いて、被写体(例えば、人物230又は外部電子装置220)の実際位置を推定できる。一実施例によれば、電子装置200が推定する実際位置は、電子装置200を基準にする被写体(例えば、人物230又は外部電子装置220)の相対的な位置を意味できる。一実施例によれば、電子装置200は、具備したセンサーで生成したセンサー情報に基づいて、第2位置情報を生成できる。例えば、電子装置200は、赤外線センサーのような距離測定センサーを用いてターゲット客体との距離を確認し、確認した距離に基づいて第2位置情報を生成できる。一実施例によれば、電子装置200は、外部電子装置220から外部電子装置220の位置情報を受信でき、受信した位置情報に基づいて第2位置情報を生成できる。一実施例によれば、第2位置情報は、左右偏向した位置のみを表現する1次元的位置情報であってよく、又は、電子装置200を基準に前後(例えば、距離)を含んでよく、又は、上下に偏向した位置を表現する3次元的位置情報であってよい。様々な実施例によれば、第2位置情報は、被写体の前後位置、左右位置、及び上下位置のうち少なくとも一つ又はその組合せ(例えば、1次元的位置、2次元的位置、又は3次元的位置)を含んでよい。
様々な実施例によれば、電子装置200は、第2位置情報に基づいてオーディオ信号を処理することができる。オーディオ信号の処理は、取得したオーディオ信号に方向感を付与する動作であってよい。オーディオ信号の処理は、例えば、オーディオ信号の変更、及び/又は変換を含んでよい。一実施例によれば、電子装置200は、取得したオーディオ信号をパンニング(panning)してステレオオーディオ信号に変換させることができる。一実施例によれば、電子装置200は、取得したオーディオ信号をレンダリング(rendering)して、空間感、位置感及び/又は方向感を提供する3次元音響(例えば、バイノーラル音響)に変換させることができる。一実施例によれば、電子装置200は、取得したオーディオ信号の音量を調節して距離感を提供するようにオーディオ信号を処理できる。様々な実施例によれば、電子装置200は、一つのオーディオ信号を処理して、聴取者基準で左耳で聞く信号(左側オーディオ)及び右耳で聞く信号(右側オーディオ)をそれぞれ生成できる。一実施例によれば、電子装置200は、左側オーディオ及び右側オーディオにそれぞれ音響の強度差、時間差及び位相差のうち少なくとも一つを生成してオーディオ信号を処理することができる。
図2を参照すると、外部電子装置220は、電子装置200と通信的に連結を確立できる。一実施例によれば、外部電子装置220は電子装置200にオーディオ信号を送信できる。一実施例によれば、外部電子装置220は音声を受信し、受信した音声を用いてオーディオ信号を生成できる。一実施例によれば、外部電子装置220はセンサーを備え、センサー情報を生成し、生成したセンサー情報を電子装置200に送信できる。一実施例によれば、外部電子装置220は、位置を知らせる信号(例えば、UWB(ultra wide band)信号)を電子装置200に送信できる。一実施例によれば、外部電子装置220は、外部電子装置220の位置を確認して位置情報を生成し、生成された位置情報を電子装置200に送信できる。
図3は、様々な実施例に係る電子装置のブロック図である。
図3を参照すると、電子装置300(例えば、図1の電子装置101及び/又は図2の電子装置200)は、通信モジュール310、カメラモジュール320、ディスプレイ330、メモリ340及びプロセッサ350を含んでよい。電子装置300は、図1の電子装置101の構成及び/又は機能のうち少なくとも一部を含んでよい。
様々な実施例によれば、通信モジュール310は、有線及び/又は無線ネットワーク通信(例えば、図1の第1ネットワーク198又は第2ネットワーク199)を用いて外部電子装置(例えば、図2の外部電子装置220)と通信することができる。通信モジュール310によって支援される遠距離通信に制限はなく、様々な通信方式(例えば、ブルートゥース(登録商標)、UWB)を支援できる。様々な実施例によれば、通信モジュール310は、近距離無線通信(例えば、ブルートゥース(登録商標)(Bluetooth)、BLE(Bluetooth low energy)、WiFi(wireless fidelity)direct、及び/又はUWB(ultra wide band))を支援でき、近距離無線通信を用いて外部電子装置220に情報を送信できる。様々な実施例によれば、通信モジュール310は、外部電子装置220と単方向性又は両方向性の通信を行うことができる。単方向性通信は、例えば、他の電子装置に情報を送信することに限定されてよく、情報の送信は、単に、一定信号を外部に出力することからなってもよい。
様々な実施例によれば、様々な実施例によれば、カメラモジュール320は、電子装置300の外部環境のイメージ及び/又は画像を撮影できる。カメラモジュール320は、図1のカメラモジュール180の構成及び/又は機能の少なくとも一部を含んでよい。様々な実施例によれば、カメラモジュール320は、外部から入射した光を電気的信号に変換させてイメージ情報を生成できる。様々な実施例によれば、カメラモジュール320は電子装置300の外部環境を撮影し、周辺環境を撮影した動画イメージを生成することができる。一実施例によれば、カメラモジュール320は、被写体(例えば、図2の人物230及び/又は外部電子装置220)を撮影し、撮影した被写体のデジタルイメージを生成できる。一実施例によれば、カメラモジュール320は、距離を測定できる深度カメラ(depth camera)を含んでよい。
様々な実施例によれば、ディスプレイ330は、電子装置300の外部に情報を表示できる。ディスプレイ330は、図1のディスプレイモジュール160の構成及び/又は機能のうち少なくとも一部を含んでよい。様々な実施例によれば、ディスプレイ330は、ディスプレイパネルを含み、プロセッサ350から受信した情報を視覚的に表示できる。様々な実施例によれば、ディスプレイ330は、入力モジュール331を含んでよい。一実施例によれば、ディスプレイ330は、タッチセンサー及び/又は圧力センサーを含み、ユーザのタッチ入力を受信することができる。
様々な実施例によれば、メモリ340は、デジタルデータを一時的又は永久的に保存するためのものであり、図1のメモリ130の構成及び/又は機能のうち少なくとも一部を含んでよい。また、メモリ340は、図1のプログラム140のうち少なくとも一部を保存することができる。メモリ340は、プロセッサ350によって実行可能な様々なインストラクション(instruction)を保存することができる。このようなインストラクションはプロセッサ350によって認識され実行され得る論理演算、データ入出力などの制御命令を含んでよい。メモリ340が保存できるデータの種類及び/又は量に限定はないが、本文書では、様々な実施例に係るオーディオ信号を処理する方法及びその方法を行うプロセッサ350の動作と関連したメモリの構成及び機能についてのみ説明する。
様々な実施例によれば、プロセッサ350は、電子装置300の各構成要素の制御及び/又は通信に関する演算やデータを処理することができる。プロセッサ350は、図1のプロセッサ120の構成及び/又は機能のうち少なくとも一部を含んでよい。プロセッサは、通信モジュール310、カメラモジュール320、ディスプレイ330及びメモリ340のような電子装置300の構成要素と作動的に(operatively)、電気的に(electrically)及び/又は機能的に(functionally)連結されてよい。様々な実施例に係るプロセッサ350の各動作は実時間でなされてよい。例えば、プロセッサ350がオーディオ信号を処理するために行う一連の演算及び/又は動作は順次に又は同時に、非常に小さい時間範囲内でなされてよい。プロセッサ350で実行可能な動作、演算及びデータ処理の種類及び/又は量に限定はないが、本文書では、様々な実施例に係るオーディオ信号を処理する方法及びその方法を行う動作と関連したプロセッサ350の構成及び機能についてのみ説明する。
様々な実施例によれば、プロセッサ350は、動画を撮影し、オーディオ信号を受信することができる。プロセッサ350は、様々な被写体(例えば、図2の外部電子装置220及び/又は人物230)の画像を撮影できる。様々な実施例によれば、プロセッサ350は、カメラモジュール320を用いて少なくとも一つの被写体(例えば、外部電子装置220及び/又は人物230)を撮影できる。被写体になり得るものは、人物230、装置(例えば、外部電子装置220)のように様々な客体であってよく、被写体になり得る客体に限定はないが、本文書では便宜上、少なくとも一つの人物及び/又は少なくとも一つの外部電子装置を被写体とする場合を中心に説明する。様々な実施例によれば、プロセッサ350は、被写体(例えば、人物230及び/又は外部電子装置220)を撮影し、撮影した被写体のイメージを生成できる。様々な実施例によれば、プロセッサ350は、撮影したイメージをディスプレイ330(例えば、図2のディスプレイ210)上に表示できる。一実施例によれば、プロセッサ350が撮影したイメージは、動画イメージであってよい。様々な実施例によれば、プロセッサ350は、撮影中の動画イメージをディスプレイ330に表示できる。
様々な実施例によれば、プロセッサ350は、外部電子装置(例えば、図2の外部電子装置220)と連結を構成することができる。様々な実施例によれば、プロセッサ350は、外部電子装置220と通信的に(communicatively)連結を確立できる。様々な実施例によれば、プロセッサ350は、外部電子装置220と有線(例えば、直接通信)及び/又は無線通信ネットワーク(例えば、図1の第1ネットワーク198)を用いて連結を確立できる。一実施例によれば、プロセッサ350は、外部電子装置220と近距離無線通信(例えば、ブルートゥース(登録商標))を用いて連結されてよい。様々な実施例によれば、プロセッサ350は、通信連結確立及び/又は機能実行に必要なデータを外部電子装置220に送信したり、又は外部電子装置220から受信することができる。
様々な実施例によれば、プロセッサ350はオーディオ信号を取得できる。様々な実施例によれば、プロセッサ350は動画を撮影する場合に、画像の背景音に該当するオーディオ信号を取得できる。プロセッサ350は、プロセッサ350に含まれたマイクロホン(例えば、図1の入力モジュール150)を用いて外部音声を受信し、オーディオ信号を生成できる。一実施例によれば、プロセッサ350は、連結された外部電子装置220からオーディオ信号を受信することができる。例えば、外部電子装置220は、収集した音声を用いてオーディオ信号を生成でき、生成したオーディオ信号をプロセッサ350に送信できる。プロセッサ350は外部電子装置220からオーディオ信号を受信することができる。一実施例によれば、プロセッサ350は画像を撮影すると同時に、外部電子装置220から画像に対応する音声のオーディオ信号を受信することができる。一実施例によれば、プロセッサ350が外部電子装置220から受信したオーディオ信号は、モノ(mono)音響であってよい。
様々な実施例によれば、プロセッサ350はターゲット客体を確認することができる。様々な実施例によれば、プロセッサ350は、撮影した動画イメージを分析し、ターゲットとなる客体(例えば、ターゲット客体)を確認することができる。ターゲット客体は、例えば、プロセッサ350が実際に位置を推定しようとする客体を意味できる。様々な実施例によれば、プロセッサ350は、撮影した動画イメージをディスプレイ330に表示できる。プロセッサ350が表示した動画イメージは、少なくとも一つの客体を含んでよい。動画イメージに含まれた少なくとも一つの客体は、例えば、人物(例えば、図2の人物230)が撮影されたイメージ客体である第1客体(例えば、図2の第1客体211)及び/又は外部電子装置220が撮影されたイメージ客体である第2客体(例えば、図2の第2客体221)を含んでよい。様々な実施例によれば、プロセッサ350は、撮影された動画イメージ又は撮影中の動画イメージを分析し、動画イメージに含まれた少なくとも一つのイメージ客体(例えば、図2の第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、プロセッサ350は、メモリ340に既に保存されたアルゴリズムを用いてイメージを分析することができ、イメージ分析により、動画イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、プロセッサ350は、ディスプレイ210上に表示されたイメージを分析し、イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。
様々な実施例によれば、プロセッサ350は、イメージ分析を用いてターゲット客体を確認することができる。一実施例によれば、プロセッサ350は、動画イメージを分析して顔面認識を行うことができ、顔面認識実行結果に基づいて人物客体(例えば、第1客体211)を識別できる。一実施例によれば、プロセッサ350は、識別された人物客体(例えば、第1客体211)をターゲット客体として識別できる。一実施例によれば、プロセッサ350は、識別された外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として識別できる。一実施例によれば、プロセッサ350は、撮影されたイメージを分析して視覚的信号(例えば、点滅中のLED信号)を識別し、外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として確認することができる。様々な実施例によれば、プロセッサ350は、ターゲット客体を確認するための条件をメモリ(例えば、図3のメモリ340)にあらかじめ保存することができる。一実施例によれば、プロセッサ350は、ディスプレイ210上にユーザ(図示せず)のタッチ入力を受信でき、受信したタッチ入力に基づいてターゲット客体を確認することができる。例えば、認識された少なくとも一つの客体のうちタッチ入力の位置に対応する客体をターゲット客体として認識できる。一実施例によれば、プロセッサ350は、センサー(例えば、図1のセンサーモジュール176)を用いてセンサー情報を生成し、センサー情報に基づいて外部電子装置220又は人物230を認識し、認識結果に基づいてターゲット客体を確認することができる。一実施例によれば、プロセッサ350は、外部電子装置220との通信を用いて外部電子装置220の位置に関する情報を受信し、受信した位置情報を保存することができる。様々な実施例によれば、プロセッサ350は、撮影された動画イメージ分析、受信したタッチ入力分析、センサー情報、及び受信した位置情報のうち少なくとも一つに基づいてターゲット客体を識別し確認することができる。
様々な実施例によれば、プロセッサ350は、第1位置情報及び付加情報を確認することができる。第1位置情報は、ターゲット客体がディスプレイ210上に表示される位置に関する情報であってよい。一実施例によれば、第1位置情報は、ディスプレイ210上の一定の座標で表現される情報であってよい。様々な実施例によれば、プロセッサ350は、識別した各客体(例えば、第1客体211及び/又は第2客体221)がディスプレイ210上に表示される位置に関する情報(例えば、座標)(例えば、第1位置情報)を確認することができる。様々な実施例によれば、プロセッサ350は、識別した各客体(例えば、第1客体211及び/又は第2客体221)のディスプレイ210上に表示される座標(例えば、第1位置情報)を持続的に確認することができる。プロセッサ350は、撮影中にディスプレイ210上で実時間に移動する客体(例えば、第1客体211及び/又は第2客体221)の座標(例えば、第1位置情報)を確認することができる。一実施例によれば、第1位置情報は、プロセッサ350の動画撮影中に実時間で変更される情報であってよい。一実施例によれば、プロセッサ350は、動画撮影中に第1位置情報を持続的に及び即時に確認することができる。様々な実施例によれば、プロセッサ350は、ターゲット客体がディスプレイ210上に表示される位置(例えば、第1位置情報)を確認することができる。一実施例によれば、プロセッサ350は、ディスプレイ210上に存在する全ての客体(例えば、第1客体211及び第2客体221)のディスプレイ210上の位置(例えば、第1位置情報)を確認することができる。一実施例によれば、プロセッサ350は、ディスプレイ210上に表示された少なくとも一つのイメージ客体(例えば、第1客体211及び/又は第2客体221)のうちターゲット客体(例えば、第1客体211又は第2客体221)のディスプレイ210上に表示される位置(例えば、第1位置情報)を確認することができる。
様々な実施例によれば、プロセッサ350は付加情報を確認することができる。付加情報は、プロセッサ350がターゲット客体に対応する被写体(例えば、外部電子装置220又は人物230)の実際位置に関する情報(例えば、第2位置情報)を推定するために第1位置情報の他に用いられる情報であってよい。付加情報は、電子装置300に含まれたカメラモジュール320に設定された情報を含んでよい。様々な実施例によれば、付加情報は、撮影中であるプロセッサ350の画角(field of view,FOV)及び/又は倍率のように、カメラモジュール320の状態及び/又は設定に関する情報を含んでよい。一実施例によれば、プロセッサ350は、ターゲット客体の距離を測定できる。一実施例によれば、付加情報は、電子装置300とターゲット客体間の距離情報を含んでよい。一実施例によれば、付加情報は、ターゲット客体の大きさを含んでよい。一実施例によれば、プロセッサ350は、ターゲット客体のイメージに対応するディスプレイの領域範囲を確認し、ターゲット客体の大きさ(例えば、長さ及び/又は面積)を確認することができる。
様々な実施例によれば、プロセッサ350は第2位置情報を生成できる。第2位置情報は、被写体(例えば、図2の人物230及び/又は外部電子装置220)の実際位置に関する情報であってよい。様々な実施例によれば、プロセッサ350は、被写体(例えば、図2の人物230及び/又は外部電子装置220)の位置を推定できる。一実施例によれば、プロセッサ350は、撮影した動画イメージに含まれた全ての客体(例えば、第1客体211及び第2客体221)に対応する被写体(例えば、人物230及び外部電子装置220)の実際位置を推定できる。一実施例によれば、プロセッサ350は、ターゲット客体に対応する被写体(例えば、人物230又は外部電子装置220)の実際位置のみを推定できる。一実施例によれば、プロセッサ350は、ターゲット客体に対応する被写体の実際位置を推定し、推定した位置に関する第2位置情報を生成できる。様々な実施例によれば、プロセッサ350は、第1位置情報に基づいて第2位置情報を生成できる。一実施例によれば、プロセッサ350は、撮影されたイメージ客体(例えば、ターゲット客体)のディスプレイ210上の位置(例えば、第1位置情報)を確認し、ディスプレイ210上の位置に基づいて実際位置(例えば、第2位置情報)を推定できる。様々な実施例によれば、プロセッサ350は、付加情報に基づいて第2位置情報を推定できる。一実施例によれば、プロセッサ350は、ターゲット客体の第1位置情報及び付加情報を用いて被写体(例えば、人物230又は外部電子装置220)の実際位置を推定できる。一実施例によれば、プロセッサ350が推定する実際位置は、プロセッサ350を基準にする被写体(例えば、人物230又は外部電子装置220)の相対的な位置を意味できる。一実施例によれば、プロセッサ350は、電子装置300に含まれたセンサー(例えば、図1のセンサーモジュール176)を用いて生成したセンサー情報に基づいて、第2位置情報を生成できる。一実施例によれば、プロセッサ350は、外部電子装置220から外部電子装置220の位置情報を受信でき、受信した位置情報に基づいて第2位置情報を生成できる。一実施例によれば、第2位置情報は、左右偏向した位置のみを表現する1次元的位置情報であってよく、又は、プロセッサ350を基準に前後(例えば、距離)を含んでよく、又は、上下に偏向した位置を表現する3次元的位置情報であってよい。様々な実施例によれば、第2位置情報は、被写体の前後位置、左右位置及び上下位置のうち少なくとも一つ又はその組合せを含んでよい。
様々な実施例によれば、プロセッサ350は、第2位置情報に基づいてオーディオ信号を処理できる。オーディオ信号の処理は、取得したオーディオ信号に方向感を付与する動作であってよい。オーディオ信号の処理は、例えば、オーディオ信号の変更及び/又は変換を含んでよい。一実施例によれば、プロセッサ350は、取得したオーディオ信号をパンニング(panning)してステレオオーディオ信号に変換させることができる。一実施例によれば、プロセッサ350は、取得したオーディオ信号をレンダリング(rendering)し、空間感、位置感及び/又は方向感を提供する3次元音響(例えば、バイノーラル音響)に変換させることができる。一実施例によれば、プロセッサ350は、取得したオーディオ信号の音量を調節して距離感を提供するようにオーディオ信号を処理できる。様々な実施例によれば、プロセッサ350は一つのオーディオ信号を処理し、聴取者基準で左耳で聞く信号(左側オーディオ)及び右耳で聞く信号(右側オーディオ)をそれぞれ生成できる。一実施例によれば、プロセッサ350は、左側オーディオ及び右側オーディオにそれぞれ音響の強度差、時間差、及び位相差のうち少なくとも一つを生成してオーディオ信号を処理できる。
図4は、様々な実施例に係る電子装置がオーディオ信号に方向性を適用する動作フローチャートである。
図4を参照すると、電子装置(例えば、図3の電子装置300)がオーディオ信号を処理する一連の各動作は、電子装置300に含まれたプロセッサ(例えば、図3のプロセッサ350)が行う動作と表現されてよい。
動作410を参照すると、プロセッサ350は動画を撮影し、オーディオ信号を受信することができる。プロセッサ350は、様々な被写体(例えば、図2の外部電子装置220及び/又は人物230)の画像を撮影できる。様々な実施例によれば、プロセッサ350は、カメラモジュール(例えば、図3のカメラモジュール320)を用いて少なくとも一つの被写体(例えば、外部電子装置220及び/又は人物230)を撮影できる。被写体になり得るものは、人物230、装置(例えば、外部電子装置220)のように様々な客体であってよく、被写体になり得る客体に限定はないが、本文書では便宜上、少なくとも一つの人物及び/又は少なくとも一つの外部電子装置を被写体とする場合を中心に説明する。様々な実施例によれば、プロセッサ350は、被写体(例えば、人物230及び/又は外部電子装置220)を撮影し、撮影した被写体のイメージを生成できる。様々な実施例によれば、プロセッサ350は、撮影したイメージをディスプレイ(例えば、図3のディスプレイ330)上に表示できる。一実施例によれば、プロセッサ350が撮影したイメージは、動画イメージであってよい。様々な実施例によれば、プロセッサ350は、撮影中の動画イメージをディスプレイ330に表示できる。様々な実施例によれば、プロセッサ350は、外部電子装置(例えば、図2の外部電子装置220)と連結を構成することができる。様々な実施例によれば、プロセッサ350は、外部電子装置220と通信的に(communicatively)連結を確立できる。様々な実施例によれば、プロセッサ350は、外部電子装置220と有線(例えば、直接通信)及び/又は無線通信ネットワーク(例えば、図1の第1ネットワーク198)を用いて連結を確立できる。一実施例によれば、プロセッサ350は、外部電子装置220と近距離無線通信(例えば、ブルートゥース(登録商標))を用いて連結されてよい。様々な実施例によれば、プロセッサ350は、通信連結確立及び/又は機能実行に必要なデータを外部電子装置220に送信したり、又は、外部電子装置220から受信することができる。様々な実施例によれば、プロセッサ350はオーディオ信号を取得できる。様々な実施例によれば、プロセッサ350は動画を撮影する場合に、画像の背景音に該当するオーディオ信号を取得できる。プロセッサ350は、プロセッサ350に含まれたマイクロホン(例えば、図1の入力モジュール150)を用いて外部音声を受信し、オーディオ信号を生成できる。一実施例によれば、プロセッサ350は、連結された外部電子装置220からオーディオ信号を受信することができる。例えば、外部電子装置220は、収集した音声を用いてオーディオ信号を生成でき、生成したオーディオ信号をプロセッサ350に送信できる。プロセッサ350は、外部電子装置220からオーディオ信号を受信できる。一実施例によれば、プロセッサ350は画像を撮影すると同時に、外部電子装置220から画像に対応する音声のオーディオ信号を受信することができる。一実施例によれば、プロセッサ350が外部電子装置220から受信したオーディオ信号は、モノ(mono)音響であってよい。
動作420を参照すると、プロセッサ350は、ターゲット客体を確認することができる。様々な実施例によれば、プロセッサ350は、撮影した動画イメージを分析し、ターゲットとなる客体(例えば、ターゲット客体)を確認することができる。ターゲット客体は、例えば、プロセッサ350が実際に位置を推定しようとする客体を意味できる。様々な実施例によれば、プロセッサ350は、撮影した動画イメージをディスプレイ330に表示できる。プロセッサ350が表示した動画イメージは、少なくとも一つの客体を含んでよい。動画イメージに含まれた少なくとも一つの客体は、例えば、人物(例えば、図2の人物230)が撮影されたイメージ客体である第1客体(例えば、図2の第1客体211)及び/又は外部電子装置220が撮影されたイメージ客体である第2客体(例えば、図2の第2客体221)を含んでよい。様々な実施例によれば、プロセッサ350は、撮影された動画イメージ又は撮影中の動画イメージを分析し、動画イメージに含まれた少なくとも一つのイメージ客体(例えば、図2の第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、プロセッサ350は、メモリ(例えば、図3のメモリ340)に既に保存されたアルゴリズムを用いてイメージを分析でき、イメージ分析により、動画イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、プロセッサ350は、ディスプレイ210上に表示されたイメージを分析し、イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。
様々な実施例によれば、プロセッサ350は、イメージ分析を用いてターゲット客体を確認することができる。一実施例によれば、プロセッサ350は、動画イメージを分析して顔面認識を行うことができ、顔面認識実行結果に基づいて人物客体(例えば、第1客体211)を識別できる。一実施例によれば、プロセッサ350は、識別された人物客体(例えば、第1客体211)をターゲット客体として識別できる。一実施例によれば、プロセッサ350は、識別された外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として識別できる。一実施例によれば、プロセッサ350は、撮影されたイメージを分析して視覚的信号(例えば、点滅中のLED信号)を識別し、外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として確認することができる。様々な実施例によれば、プロセッサ350は、ターゲット客体を確認するための条件をメモリ(例えば、図3のメモリ340)にあらかじめ保存することができる。一実施例によれば、プロセッサ350は、ディスプレイ210上にユーザ(図示せず)のタッチ入力を受信でき、受信したタッチ入力に基づいてターゲット客体を確認することができる。例えば、認識された少なくとも一つの客体のうちタッチ入力の位置に対応する客体をターゲット客体として認識できる。一実施例によれば、プロセッサ350は、センサー(例えば、図1のセンサーモジュール176)を用いてセンサー情報を生成し、センサー情報に基づいて外部電子装置220又は人物230を認識し、認識結果に基づいてターゲット客体を確認することができる。一実施例によれば、プロセッサ350は、外部電子装置220との通信を用いて外部電子装置220の位置に関する情報を受信し、受信した位置情報を保存することができる。様々な実施例によれば、プロセッサ350は、撮影された動画イメージ分析、受信したタッチ入力分析、センサー情報、及び受信した位置情報のうち少なくとも一つに基づいてターゲット客体を識別し確認することができる。
動作430を参照すると、プロセッサ350は第1位置情報及び付加情報を確認することができる。第1位置情報は、ターゲット客体がディスプレイ210上に表示される位置に関する情報であってよい。一実施例によれば、第1位置情報は、ディスプレイ210上の一定の座標で表現される情報であってよい。様々な実施例によれば、プロセッサ350は、識別した各客体(例えば、第1客体211及び/又は第2客体221)がディスプレイ210上に表示される位置に関する情報(例えば、座標)(例えば、第1位置情報)を確認することができる。様々な実施例によれば、プロセッサ350は、識別した各客体(例えば、第1客体211及び/又は第2客体221)のディスプレイ210上に表示される座標(例えば、第1位置情報)を持続的に確認することができる。プロセッサ350は、撮影中にディスプレイ210上で実時間に移動する客体(例えば、第1客体211及び/又は第2客体221)の座標(例えば、第1位置情報)を確認することができる。一実施例によれば、第1位置情報は、プロセッサ350の動画撮影中に実時間で変更される情報であってよい。一実施例によれば、プロセッサ350は、動画撮影中に第1位置情報を持続的に及び即時に確認することができる。様々な実施例によれば、プロセッサ350は、ターゲット客体がディスプレイ210上に表示される位置(例えば、第1位置情報)を確認することができる。一実施例によれば、プロセッサ350は、ディスプレイ210上に存在する全ての客体(例えば、第1客体211及び第2客体221)のディスプレイ210上の位置(例えば、第1位置情報)を確認することができる。一実施例によれば、プロセッサ350は、ディスプレイ210上に表示された少なくとも一つのイメージ客体(例えば、第1客体211及び/又は第2客体221)のうちターゲット客体(例えば、第1客体211又は第2客体221)のディスプレイ210上に表示される位置(例えば、第1位置情報)を確認することができる。
様々な実施例によれば、プロセッサ350は付加情報を確認することができる。付加情報は、プロセッサ350がターゲット客体に対応する被写体(例えば、外部電子装置220又は人物230)の実際位置に関する情報(例えば、第2位置情報)を推定するために第1位置情報の他に用いられる情報であってよい。付加情報は、電子装置300に含まれたカメラモジュール(例えば、図3のカメラモジュール320)に設定された情報を含んでよい。様々な実施例によれば、付加情報は、撮影中であるプロセッサ350の画角(field of view,FOV)及び/又は倍率のように、カメラモジュール320の状態及び/又は設定に関する情報を含んでよい。
動作440を参照すると、プロセッサ350は第2位置情報を生成できる。第2位置情報は、被写体(例えば、図2の人物230及び/又は外部電子装置220)の実際位置に関する情報であってよい。様々な実施例によれば、プロセッサ350は、被写体(例えば、図2の人物230及び/又は外部電子装置220)の位置を推定できる。一実施例によれば、プロセッサ350は、撮影した動画イメージに含まれた全ての客体(例えば、第1客体211及び第2客体221)に対応する被写体(例えば、人物230及び外部電子装置220)の実際位置を推定できる。一実施例によれば、プロセッサ350は、ターゲット客体に対応する被写体(例えば、人物230又は外部電子装置220)の実際位置のみを推定できる。一実施例によれば、プロセッサ350は、ターゲット客体に対応する被写体の実際位置を推定し、推定した位置に関する第2位置情報を生成できる。様々な実施例によれば、プロセッサ350は、第1位置情報に基づいて第2位置情報を生成できる。一実施例によれば、プロセッサ350は、撮影されたイメージ客体(例えば、ターゲット客体)のディスプレイ210上の位置(例えば、第1位置情報)を確認し、ディスプレイ210上の位置に基づいて実際位置(例えば、第2位置情報)を推定できる。様々な実施例によれば、プロセッサ350は、付加情報に基づいて第2位置情報を推定できる。一実施例によれば、プロセッサ350は、ターゲット客体の第1位置情報及び付加情報を用いて被写体(例えば、人物230又は外部電子装置220)の実際位置を推定できる。一実施例によれば、プロセッサ350が推定する実際位置は、プロセッサ350を基準にする被写体(例えば、人物230又は外部電子装置220)の相対的な位置を意味できる。一実施例によれば、プロセッサ350は、電子装置300に含まれたセンサー(例えば、図1のセンサーモジュール176)を用いて生成したセンサー情報に基づいて、第2位置情報を生成できる。一実施例によれば、プロセッサ350は、外部電子装置220から外部電子装置220の位置情報を受信でき、受信した位置情報に基づいて第2位置情報を生成できる。一実施例によれば、第2位置情報は、左右偏向した位置のみを表現する1次元的位置情報であってよく、又は、プロセッサ350を基準に前後(例えば、距離)を含んでよく、又は、上下に偏向した位置を表現する3次元的位置情報であってよい。様々な実施例によれば、第2位置情報は、被写体の前後位置、左右位置及び上下位置のうち少なくとも一つ又はその組合せを含んでよい。
動作450を参照すると、プロセッサ350は第2位置情報に基づいてオーディオ信号を処理できる。オーディオ信号の処理は、取得したオーディオ信号に方向感を付与する動作であってよい。オーディオ信号の処理は、例えば、オーディオ信号の変更及び/又は信号の変換を含んでよい。一実施例によれば、プロセッサ350は、取得したオーディオ信号をパンニング(panning)してステレオオーディオ信号に変換させることができる。一実施例によれば、プロセッサ350は、取得したオーディオ信号をレンダリング(rendering)し、空間感、位置感及び/又は方向感を提供する3次元音響(例えば、バイノーラル音響)に変換させることができる。一実施例によれば、プロセッサ350は、取得したオーディオ信号の音量を調節して距離感を提供するようにオーディオ信号を処理できる。様々な実施例によれば、プロセッサ350は一つのオーディオ信号を処理し、聴取者基準で左耳で聞く信号(左側オーディオ)及び右耳で聞く信号(右側オーディオ)をそれぞれ生成できる。一実施例によれば、プロセッサ350は、左側オーディオ及び右側オーディオにそれぞれ音響の強度差、時間差及び位相差のうち少なくとも一つを生成してオーディオ信号を処理できる。
一実施例によれば、プロセッサ350は、処理されたオーディオ信号をメモリ(例えば、図3のメモリ340)に保存することができる。一実施例によれば、プロセッサ350は、撮影された動画イメージを動画データとして保存し、処理されたオーディオ信号とエンコードすることができる。一実施例によれば、プロセッサ350は、処理されたオーディオ信号を動画に対応する背景オーディオとしてエンコードして保存することができる。一実施例によれば、プロセッサ350は、生成した第2位置情報をオーディオ信号とは別個にエンコードすることができる。例えば、プロセッサ350は、第2位置情報とオーディオ信号を別個にエンコードした後、以後の再生時に、さらにデコードして第2位置情報に基づくオーディオ信号処理を行うことができる。
図5~図7は、様々な実施例に係る電子装置がターゲット客体を確認する例示図である。
図5~図7を参照すると、電子装置200(例えば、図1の電子装置101及び/又は図3の電子装置300)が少なくても一つの被写体(例えば、図2の人物230及び/又は外部電子装置220)を撮影してディスプレイ210(例えば、図3のディスプレイ330)に表示した動画イメージの例示であってよい。
図5を参照すると、電子装置200は、ディスプレイ210上に表示された動画イメージを分析してターゲット客体を確認することができる。
様々な実施例によれば、電子装置200が表示した動画イメージは、少なくとも一つの客体を含んでよい。動画イメージに含まれた少なくとも一つの客体は、例えば、人物被写体(例えば、図2の人物230)が撮影されたイメージ客体である第1客体211及び/又は外部電子装置(例えば、図2の外部電子装置220)が撮影されたイメージ客体である第2客体221を含んでよい。様々な実施例によれば、電子装置200は、撮影された動画イメージ又は撮影中の動画イメージを分析し、動画イメージに含まれた少なくとも一つのイメージ客体(例えば、第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、電子装置200は、メモリ(例えば、図3のメモリ340)に既に保存されたアルゴリズムを用いてイメージを分析でき、イメージ分析により、動画イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。一実施例によれば、電子装置200は、ディスプレイ210上に表示されたイメージを分析し、イメージに含まれた客体(例えば、第1客体211及び/又は第2客体221)を識別できる。様々な実施例によれば、電子装置200は、撮影した動画イメージを分析し、ターゲットとなる客体(例えば、ターゲット客体)を確認することができる。ターゲット客体は、例えば、電子装置200が実際に位置を推定しようとする客体を意味できる。様々な実施例によれば、電子装置200はイメージ分析を用いてターゲット客体を確認することができる。一実施例によれば、電子装置200は、動画イメージを分析して顔面認識を行うことができ、顔面認識実行結果に基づいて人物客体(例えば、第1客体211)を識別できる。
図5の[a]を参照すると、電子装置200が識別した客体500は第1客体211であってよい。一実施例によれば、電子装置200は、動画イメージを分析して認識した顔面に基づいて人物客体(例えば、第1客体211)を識別できる。一実施例によれば、電子装置200は、識別された人物客体(例えば、第1客体211)をターゲット客体として確認することができる。
図5の[b]を参照すると、電子装置200が識別した客体500は、第2客体221であってよい。一実施例によれば、電子装置200は、動画イメージを分析して認識した顔面に基づいて人物客体(例えば、第2客体221)を識別できる。一実施例によれば、電子装置200は、撮影されたイメージを分析して視覚的信号(例えば、点滅中のLED信号)を識別し、外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として確認することができる。一実施例によれば、外部電子装置220は、視覚的信号(例えば、LED点滅信号)を出力でき、電子装置200は、外部電子装置220の信号を識別して外部電子装置220のイメージに対応する客体を識別できる。実施例によれば、電子装置200は、識別された外部電子装置220に対応する客体(例えば、第2客体221)をターゲット客体として識別できる。様々な実施例によれば、電子装置200は、ターゲット客体を確認するための条件をメモリ(例えば、図3のメモリ340)にあらかじめ保存することができる。一実施例によれば、電子装置200は、センサー(例えば、図1のセンサーモジュール176)を用いてセンサー情報を生成し、センサー情報に基づいて外部電子装置220に対応する客体(例えば、第2客体221)を認識し、認識結果に基づいてターゲット客体を確認することができる。一実施例によれば、電子装置200は、外部電子装置220との通信を用いて外部電子装置220の位置に関する情報を受信し、受信した位置情報を保存することができる。図5の[b]を参照すると、外部電子装置220は、特定の周波数を有する信号(例えば、UWB信号)を持続的に出力する状態であってよい。この場合、電子装置200は、外部電子装置220が出力する信号(例えば、UWB信号)をセンサー(例えば、図1のセンサーモジュール176)を用いて受信し、センサー情報を生成して第2客体221を認識することができる。
図5の[c]を参照すると、電子装置200は、複数のイメージ客体(例えば、第1客体211及び第2客体221)が認識される場合に、認識された客体の中から、あらかじめ設定された条件によってターゲット客体を選択できる。図5の[c]を参照すると、識別された客体(例えば、第1識別された客体501及び第2識別になった客体502)が複数個である場合であってよい。一実施例によれば、電子装置200は、識別された複数の客体(501及び502)のうち少なくとも一つを選択してターゲット客体として確認することができる。一実施例によれば、電子装置200は、識別された複数の客体をターゲット客体として確認することができる。
図6及び図7を参照すると、電子装置200は、タッチ入力に基づいてターゲット客体を確認することができる。様々な実施例によれば、電子装置200は、ディスプレイ210上にユーザ(図示せず)のタッチ入力を受信でき、受信したタッチ入力に基づいてターゲット客体を確認することができる。様々な実施例によれば、電子装置200のディスプレイ210は、タッチパネル(例えば、図3の入力モジュール331)を含んでよく、タッチパネル(例えば、入力モジュール331)を介してユーザのタッチ入力を受信することができる。様々な実施例によれば、電子装置200はタッチ入力を受信し、タッチ入力の発生した領域(例えば、タッチ領域212)を確認することができる。一実施例によれば、電子装置200は、タッチ領域212のディスプレイ210上の座標を確認することができる。一実施例によれば、電子装置200は、タッチ領域212の面積を様々に設定することができる。図6及び図7を参照すると、電子装置200は、比較的狭い範囲のタッチ領域(例えば、図6のタッチ領域212)又は比較的広い範囲のタッチ領域(例えば、図7のタッチ領域212)を設定できる。電子装置200は、タッチ入力が受信された位置からあらかじめ定められた一定半径以内の領域をタッチ領域212として設定できる。
図6を参照すると、電子装置200は、例えば、認識された少なくとも一つの客体のうちタッチ入力の位置に対応する客体をターゲット客体として認識できる。図6の[a]及び[b]を参照すると、電子装置200は、タッチ入力を受信することができる。様々な実施例によれば、電子装置200は、ディスプレイ210上にユーザのタッチ入力を受信することができる。様々な実施例によれば、電子装置200は、タッチ入力が受信されたタッチ領域212を確認することができる。一実施例によれば、電子装置200は、タッチ領域212を確認し、タッチ領域212のディスプレイ210上の位置に基づいてターゲット客体を確認することができる。図6の[a]を参照すると、電子装置200は、ディスプレイ210上に撮影中のイメージを表示でき、撮影イメージはイメージ客体211を含んでよい。一実施例によれば、電子装置200はタッチ入力を受信し、入力を受信したタッチ領域212の位置を確認することができる。一実施例によれば、電子装置200は、タッチ領域212の位置に基づいて、タッチ領域212と実質的に同じ位置に存在するイメージ客体211をターゲット客体として確認することができる。
図6の[b]を参照すると、電子装置200は、複数のイメージ客体(例えば、第1客体211a、第2客体211b及び第3客体211c)を含む撮影画像をディスプレイ210上に表示できる。様々な実施例によれば、電子装置200は、撮影画像に含まれた複数のイメージ客体のうち、ターゲットとなるターゲット客体(例えば、第1客体211a)をターゲット客体として確認することができる。一実施例によれば、電子装置200は、複数の客体(例えば、第1客体211a、第2客体211b及び第3客体211c)のうち、タッチ領域212の位置に基づいてターゲット客体を確認することができる。一実施例によれば、電子装置200は、イメージ分析を用いて、ディスプレイ210上に表示された画像イメージに含まれた複数の客体(例えば、第1客体211a、第2客体211b及び第3客体211c)を認識できる。一実施例によれば、電子装置200が認識する複数の客体(例えば、第1客体211a、第2客体211b及び第3客体211c)は、人物イメージ客体であってよい。一実施例によれば、電子装置200は、画像イメージを分析して人物イメージ客体(例えば、第1客体211a、第2客体211b及び第3客体211c)を認識できる。一実施例によれば、電子装置200は、人物イメージに含まれた顔形態を識別でき、画像イメージ内に含まれた複数の客体(例えば、第1客体211a、第2客体211b及び第3客体211c)のうち、複数の識別した客体(例えば、第1識別された客体501、第2識別された客体502及び第3識別された客体503)を確認することができる。識別した客体(例えば、第1識別された客体501、第2識別された客体502及び第3識別された客体503)は、画像イメージ内の複数の客体のうち、電子装置200が識別した客体であってよい。一実施例によれば、電子装置200は、識別した客体(例えば、第1識別された客体501、第2識別された客体502及び第3識別された客体503)の位置、及びタッチ領域212の位置に基づいてターゲット客体を確認することができる。図6の[b]を参照すると、電子装置200は、タッチ領域212と最も近い第1識別された客体501をターゲット客体として確認することができる。
図7を参照すると、電子装置200は、タッチ位置から一定半径範囲の領域をタッチ領域212として確認することができる。図7の[a]及び[b]を参照すると、タッチ領域212は、タッチ入力の発生した位置を基準にして一定の面積を有するディスプレイ210上の領域であってよい。様々な実施例によれば、電子装置200は、タッチ領域212に基づいてターゲット客体を確認することができる。一実施例によれば、電子装置200は、タッチ領域212と対応する位置にある客体をターゲット客体として確認することができる。一実施例によれば、電子装置200はタッチ領域212に含まれるか、重複又は最も近似している位置に存在する客体を、ターゲット客体として確認することができる。図7の[b]を参照すると、電子装置200がディスプレイ210上に表示するイメージは、複数の客体(例えば、第1客体211a、第2客体211b及び第3客体211c)を含んでよい。一実施例によれば、電子装置200はイメージ分析によってディスプレイ210上に複数の客体(例えば、第1客体211a、第2客体211b及び第3客体211c)をそれぞれ識別できる。電子装置200は、識別した客体(例えば、第1識別された客体501、第2識別された客体502及び第3識別された客体503)のうち、タッチ領域212と対応する客体(例えば、第1客体211a)をターゲット客体として確認することができる。図7の[b]を参照すると、電子装置200は、タッチ領域212に第1識別された客体501が含まれることが確認でき、第1識別された客体501に対応する第1客体211aをターゲット客体として確認することができる。
図8は、様々な実施例に係る付加情報を説明するための例示図である。
様々な実施例によれば、電子装置200は付加情報を確認することができる。様々な実施例によれば、プロセッサ(例えば、図3のプロセッサ350)は付加情報を確認することができる。付加情報は、プロセッサ350がターゲット客体に対応する被写体(例えば、外部電子装置220又は人物230)の実際位置に関する情報(例えば、第2位置情報)を推定するために第1位置情報の他に用いられる情報であってよい。付加情報は、電子装置300に含まれたカメラモジュール(例えば、図3のカメラモジュール320)に設定された情報を含んでよい。様々な実施例によれば、付加情報は、撮影中であるカメラモジュール320の画角(例えば、第1角度(θ1))(field of view,FOV)及び/又は倍率(m)のように、カメラモジュール320の状態及び/又は設定に関する情報を含んでよい。
図8を参照すると、電子装置200は、被写体230を動画撮影している中であってよい。一実施例によれば、電子装置200は、カメラモジュール(例えば、図3のカメラモジュール320)を用いて動画を撮影できる。
図8の[a]を参照すると、電子装置200のカメラモジュール320は、一定の角度(例えば、第1角度(θ1))の画角を形成できる。一実施例によれば、カメラモジュール320は少なくとも一つのレンズ(図示せず)を含んでよく、少なくとも一つのレンズが有する口径及び/又は倍率によって撮影できる画角(例えば、第1角度(θ1))を形成することができる。電子装置200は、メモリ(例えば、図3のメモリ340)に画角に関する情報をあらかじめ保存することができる。
図8の[b]を参照すると、電子装置200は、現在撮影中であるカメラモジュール320に設定された倍率(m)に対する情報及び識別された客体500(例えば、ターゲット客体)のディスプレイ上の位置に対する座標情報を確認することができる。一実施例によれば、電子装置200は、ディスプレイ210のx軸上の長さdx及びy軸上の長さdyにおいて識別された客体500が表示される位置を確認することができる。一実施例によれば、電子装置200は、撮影中の画像イメージに適用された倍率(m)情報を確認することができる。倍率(m)に関する情報は、電子装置200が動画を撮影する時に拡大した比率に関する情報であってよい。様々な実施例によれば、付加情報は画角及び/又は倍率情報を含んでよく、電子装置200は、画角及び/又は倍率情報を用いて客体(例えば、ターゲット客体)がディスプレイ210の中心から外れた角度(例えば、上下方向の高度角及び/又は左右方向の方位角)を計算でき、実際位置情報(例えば、第2位置情報)を生成することができる。
図9は、様々な実施例に係るステレオ音響を説明するための例示図である。
図10及び図11は、様々な実施例に係る空間感が与えられたオーディオ信号を説明するための例示図である。
図9の[a]及び[b]を参照すると、音響を聴取する聴取者90は、音響を聴取することができる。一実施例によれば、聴取者90は、イヤホンのような音源出力装置を用いて音源を聴取している中であってよい。様々な実施例によれば、聴取者90は音響を聴取しながら、特定の距離及び/又は方向に音源が存在していると認識でき、該当する距離及び/又は方向に対応する仮想の位置に音像(sound image又はacoustic image)900が形成されてよい。一実施例によれば、音像900が形成されることにより、聴取者90にとっては、音源が存在する空間(例えば、音場(acoustic field))があるかのように感じる効果が得られる。例えば、聴取者90は、音像900が形成されることにより、音場がある感じ、すなわち、音長感を感じることができる。
図9の[a]を参照すると、聴取者90は、モノ(mono)音響に該当するオーディオ信号を聴取している中であってよい。モノオーディオ信号は、左耳及び右耳に同一の音声を出力させる信号であってよい。同一の音声は、同一の位相の音声、同一の音量の音声及び/又は同一の時点の音声と理解されてよい。図9の[a]を参照すると、モノオーディオ信号は、1つの第1音像910のみを形成できる。第1音像910は、ユーザの正面に、ユーザから一定の距離だけ離隔して形成されてよい。
図9の[b]、図10及び図11を参照すると、聴取者90は、ステレオ(stereo)音響に該当するオーディオ信号を聴取している中であってよい。ステレオオーディオ信号は、左耳及び右耳に互いに異なる音声を出力させる信号であってよい。互いに異なる音声は、互いに異なる位相の音声、互いに異なる音量の音声及び/又は互いに異なる時点の音声と理解されてよい。すなわち、左耳に到達する音声及び牛耳に到達する音声間に位相差、音量差及び/又は時間差が形成されたオーディオ信号であってよい。様々な実施例によれば、ステレオオーディオ信号は、少なくとも2つの音像(例えば、左側第2音像920L及び右側第2音像920R)を形成できる。
図9の[b]を参照すると、ステレオオーディオ信号が2つの音像(例えば、左側第2音像920L及び右側第2音像920R)を形成した場合である。一実施例によれば、左側第2音像920L及び右側第2音像920Rは、聴取者90の正面から同一の角度(例えば、θ2)だけ離隔していてよい。一実施例によれば、左側第2音像920L及び右側第2音像920Rは、聴取者90から実質的に同一の距離だけ離隔した位置に形成されてよい。様々な実施例によれば、電子装置(例えば、図3の電子装置300)はステレオオーディオ信号を生成できる。一実施例によれば、電子装置300はオーディオ信号を処理して、ステレオオーディオ信号を生成できる。ステレオオーディオ信号を生成する場合に、電子装置300は、第2位置情報に基づいてステレオオーディオ信号を生成できる。一実施例によれば、第2位置情報は、ターゲット客体が形成する左右方位角又は左右距離のみを含んでよい。左右方位角又は左右距離は、ターゲット客体が電子装置300の中心から左右方向に離隔した角度又は距離を意味できる。一実施例によれば、電子装置300は、ターゲット客体の左右方位角又は左右距離に基づいてオーディオ信号を処理できる。電子装置300は、左右方位角又は左右距離に基づいて左右音響を互いに異なるように生成、すなわち、パンニング(panning)することができる。
図10を参照すると、ステレオオーディオ信号の音像(900及び901)は、聴取者90を中心にした全方向に形成されてよい。この場合、2よりも大きい個数の音像(900及び901)が形成されてよい。この場合、ステレオオーディオ信号は、バイノーラル(binaural)信号を形成するものと理解されてよい。様々な実施例によれば、バイノーラルオーディオ信号は方向感を形成できる。図10を参照すると、特定の位置の音像(例えば、第4音像901)から聴取者90の左耳91及び牛耳92までの距離はそれぞれ、dl及びdrに該当し得る。この場合、左耳91及び牛耳92にそれぞれ到達する音声の音量は、それぞれdl及びdrに反比例して決定されてよい。また、左耳91及び牛耳92に音声が到達する時間はそれぞれ、dl及びdrに比例して決定されてよい。様々な実施例によれば、電子装置300は、オーディオ信号において、特定の位置の音像(例えば、第4音像901)を形成するために、設定された左耳91及び牛耳92までの距離に基づいて、左耳91及び牛耳92のそれぞれに到達する音響に音量差及び/又は時間差を形成してオーディオ信号を処理できる。この場合、電子装置300は、第2位置情報に基づいて方向感が与えられたオーディオ信号を生成できる。一実施例によれば、第2位置情報は、ターゲット客体が形成する左右方位角、左右距離及び/又は、電子装置300からの距離を含んでよい。一実施例によれば、電子装置300は、第2位置情報に基づいて、オーディオ信号に方向感を付与する、すなわち、レンダリング(rendering)することができる。
図11を参照すると、オーディオ信号は、上下方向感及び距離感を形成できる。図11の[a]を参照すると、聴取者90は、上下方向の方向感が形成されたオーディオ信号を聴取でき、上側及び下側に音像(例えば、上部音像900H及び下部音像900L)が形成されてよい。様々な実施例によれば、電子装置300は、オーディオ信号の全体的な振動数特性を調節(例えば、イコライジング(equalizing))して高振動数領域として処理する場合に、上側に音像(上部音像900H)を形成でき、低振動数領域として処理する場合に、下部音像900Lを形成できる。この場合、電子装置300は、上下位置を含む第2位置情報に基づいてオーディオ信号を上下レンダリングすることができる。
図11の[b]を参照すると、音像(例えば、近距離音像900C及び遠距離音像900F)は距離感を形成することができる。図11の[b]を参照すると、聴取者90の正面を基準にして同一の角度(θ3)だけ離隔した2つの音像(例えば、近距離音像900C及び遠距離音像900F)を例示的に表現されている。一実施例よれば、近距離音像900Cは、聴取者90から距離dcだけ離隔しており、遠距離音像900Fは、聴取者90から距離dfだけ離隔していてよい。一実施例によれば、電子装置300は、各距離(例えば、dc及びdf)に反比例する音量を適用して、左耳及び牛耳に到達する音声を含むようにオーディオ信号を処理できる。一実施例によれば、電子装置300は、距離情報を含む第2位置情報を生成し、互いに異なる距離情報に基づいて、互いに異なる距離に該当する音像を含むようにオーディオ信号を処理できる。様々な実施例によれば、電子装置300は、音像の形成された距離によって左右偏向の程度が異なるようにオーディオ信号を処理できる。例えば、近距離音像900C及び遠距離音像900Fはそれぞれ、聴取者90を基準にして同一の角度(θ3)だけ離隔していても、距離によって聴取者90は左右方向偏向の程度を互いに異なるように感じることができる。聴取者90は、近くにある近距離音像900Cの左右偏向程度を遠距離音像900Fに比べて大きく感じることができる。一実施例によれば、電子装置300は、近距離音像との距離(dc)及び遠距離音像との距離(df)に反比例して偏向程度を決定し、オーディオ信号を処理(例えば、パンニング)することができる。
本文書に開示されている様々な実施例に係る電子装置(例えば、電子装置300)は、近距離無線通信を支援する通信モジュール310、動画イメージを撮影するカメラモジュール320、前記撮影する動画イメージを表示するディスプレイ330、及び前記通信モジュール、カメラモジュール及びディスプレイと作動的に(operatively)連結されるプロセッサ350を含み、前記プロセッサは、前記通信モジュールを用いて外部電子装置(例えば、外部電子装置220)と連結を確立し、前記動画イメージ撮影と同時に前記外部電子装置からオーディオ信号を受信し、前記撮影される動画イメージに含まれる少なくとも一つの客体(例えば、第1客体211a、第2客体211b及び/又は第3客体211c)のうちターゲットとなるターゲット客体を確認し、前記ターゲット客体が前記ディスプレイ上に表示される位置に関する第1位置情報を確認し、前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定し、実際位置に関する第2位置情報を生成し、前記生成された第2位置情報に基づいて前記オーディオ信号を処理するように設定されてよい。
また、前記プロセッサは、前記撮影中の動画イメージに含まれる少なくとも一つの客体を認識し、前記認識された少なくとも一つの客体のうちターゲット客体を確認するように設定されてよい。
また、前記ディスプレイは、タッチ入力を受信する入力モジュール331をさらに含み、前記プロセッサは、前記タッチ入力を受信し、前記受信したタッチ入力の前記ディスプレイ上の位置を確認し、前記確認されたタッチ入力の位置(例えば、タッチ領域212)に基づいて前記ターゲット客体を確認するように設定されてよい。
また、前記プロセッサは、前記少なくとも一つの客体のイメージを分析し、前記イメージ分析に基づいて前記ターゲット客体を確認するように設定されてよい。
また、前記プロセッサは、前記イメージ分析に基づいて前記外部電子装置のイメージ及び前記少なくとも一つの客体の顔イメージのうち少なくとも一つに対するイメージを認識し、前記認識されたイメージに基づいて前記ターゲット客体を確認するように設定されてよい。
また、前記プロセッサは、前記カメラモジュールの拡大倍率情報、前記カメラモジュールの画角情報を含む付加情報をさらに確認し、前記確認された付加情報及び前記第1位置情報に基づいて前記第2位置情報を生成するように設定されてよい。
また、前記外部電子装置から前記外部電子装置の位置情報をさらに受信し、前記プロセッサは、前記外部電子装置の位置情報に基づいて前記第2位置情報を生成するように設定されてよい。
また、センサー(例えば、センサーモジュール176)をさらに含み、前記プロセッサは、前記センサーを用いて前記外部電子装置から発生する信号を感知し、前記感知した信号に基づいて前記第2位置情報を生成するように設定されてよい。
また、前記第2位置情報は左右距離又は左右方位角を含み、前記プロセッサは、前記オーディオ信号を前記第2位置情報に基づいてパンニング(panning)して前記オーディオ信号を処理するように設定されてよい。
また、前記第2位置情報は上下をさらに含み、前記プロセッサは、前記オーディオ信号を前記第2位置情報に基づいて3次元レンダリングして前記オーディオ信号を処理するように設定されてよい。
また、前記第2位置情報は、前記ターゲット客体の前記電子装置との距離をさらに含み、前記プロセッサは、前記オーディオ信号を、前記実際位置に基づいて前記オーディオ信号の音量を調節するように設定されてよい。
また、データを保存し、前記プロセッサと作動的に連結されたメモリ(例えば、メモリ340)をさらに含み、前記プロセッサは、前記処理されたオーディオ信号及び前記撮影された動画イメージをエンコードして前記メモリに保存するように設定されてよい。
本文書に開示されている様々な実施例に係る電子装置(例えば、電子装置300)がオーディオ信号を処理する方法であって、外部電子装置(例えば、外部電子装置220)と連結を確立する動作、動画イメージ撮影と同時に前記外部電子装置からオーディオ信号を受信する動作、前記撮影される動画イメージに含まれる少なくとも一つの客体(例えば、第1客体211a、第2客体211b及び/又は第3客体211c)のうちターゲットとなるターゲット客体を確認する動作、前記ターゲット客体が前記電子装置のディスプレイ上に表示される位置に関する第1位置情報を確認する動作、前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定して、実際位置に関する第2位置情報を生成する動作、及び前記生成された第2位置情報に基づいて前記オーディオ信号を処理する動作を含んでよい。
また、前記ターゲット客体を確認する動作は、前記撮影中の動画イメージに含まれる少なくとも一つの客体を認識する動作、及び前記認識された少なくとも一つの客体のうちターゲット客体を確認する動作を含んでよい。
また、前記ターゲット客体を確認する動作は、タッチ入力を受信する動作、前記受信したタッチ入力の前記ディスプレイ上の位置を確認する動作、及び前記確認されたタッチ入力の位置に基づいて前記ターゲット客体を確認する動作を含んでよい。
また、前記ターゲット客体を確認する動作は、前記少なくとも一つの客体のイメージを分析する動作、及び前記イメージ分析に基づいて前記ターゲット客体を確認する動作を含んでよい。
また、前記第2位置情報を生成する動作は、前記電子装置に含まれたカメラモジュール(例えば、カメラモジュール320)の拡大倍率情報、前記カメラモジュールの画角情報を含む付加情報をさらに確認する動作、及び前記確認された付加情報及び前記第1位置情報に基づいて前記第2位置情報を生成する動作を含んでよい。
また、前記第2位置情報は、左右距離又は左右方位角を含み、前記オーディオ信号を処理する動作は、前記オーディオ信号を前記第2位置情報に基づいてパンニング(panning)して前記オーディオ信号を処理する動作を含んでよい。
また、前記第2位置情報は、高さをさらに含み、前記オーディオ信号を処理する動作は、前記オーディオ信号を前記第2位置情報に基づいて3次元レンダリングして前記オーディオ信号を処理する動作を含んでよい。
また、前記第2位置情報は、前記ターゲット客体の前記電子装置との距離をさらに含み、前記オーディオ信号を処理する動作は、前記第2位置情報に基づいて前記オーディオ信号の音量を調節する動作を含んでよい。
本文書に開示されている様々な実施例に係る電子装置は、様々な形態の装置であってよい。電子装置は、例えば、携帯用通信装置(例えば、スマートフォン)、コンピュータ装置、携帯用マルチメディア装置、携帯用医療機器、カメラ、ウェアラブル装置、又は家電装置を含んでよい。本文書の実施例に係る電子装置は、前述した機器に限定されない。
本文書の様々な実施例及びそれらに使われた用語は、本文書に記載された技術的特徴を特定の実施例に限定しようとするものではなく、当該実施例の様々な変更、均等物、又は代替物を含むものとして理解されるべきである。図面の説明と関連して、類似の又は関連する構成要素に対しては類似の参照符号が用いられてよい。アイテムに対応する名詞の単数型は、関連した文脈において特に断らない限り、前記アイテムを1個又は複数個含んでよい。本文書において、「A又はB」、「A及びBのうち少なくとも一つ」、「A又はBのうち少なくとも一つ」、「A、B又はC」、「A、B及びCのうち少なくとも一つ」、及び「A、B、又はCのうち少なくとも一つ」のような語句のそれぞれは、これらの語句のうち該当する語句に一緒に並べられた項目のいずれか一つ、又はそれらのあらゆる可能な組合せを含んでよい。「第1」、「第2」、又は「一番目」又は「二番目」のような用語は、単に、当該構成要素を他の該当構成要素と区別するために使われてよく、当該構成要素を他の側面(例えば、重要性又は順序)において限定するものではない。一つ(例えば、第1)の構成要素が他(例えば、第2)の構成要素に、「機能的に」又は「通信的に」という用語と一緒に又はこのような用語無しで「結合」又は「連結」されるとしたとき、それは、前記一つの構成要素が前記他の構成要素に直接に(例えば、有線で)、無線で、又は第3構成要素を介して連結され得るということを意味する。
本文書の様々な実施例において使われた用語「モジュール」は、ハードウェア、ソフトウェア又はファームウェアとして具現されたユニットを含んでよく、例えば、ロジック、論理ブロック、部品、又は回路のような用語と同じ意味で使われてよい。モジュールは、一体に構成された部品又は一つ又はそれ以上の機能を持つ、前記部品の最小単位又はその一部であってよい。例えば、一実施例によれば、モジュールは、ASIC(application-specific integrated circuit)の形態で具現されてよい。
本文書の様々な実施例は、機器(machine)(例えば、電子装置101)で読み可能な記憶媒体(storage medium)(例えば、内蔵メモリ136又は外付メモリ138)に保存された一つ以上の命令語を含むソフトウェア(例えば、プログラム140)として具現されてよい。例えば、機器(例えば、電子装置101)のプロセッサ(例えば、プロセッサ120)は、記憶媒体から、保存されている一つ以上の命令語のうち少なくとも一つの命令を呼び出し、それを実行することができる。これは、機器が前記呼び出された少なくとも一つの命令語によって少なくとも一つの機能を果たすように運営されることを可能にする。前記一つ以上の命令語は、コンパイラーによって生成されたコード又はインタープリターによって実行可能なコードを含んでよい。機器で読み可能な記憶媒体は、非一時的(non-transitory)記憶媒体の形態で提供されてよい。ここで、「非一時的」は、記憶媒体が実在(tangible)する装置であり、信号(signal)(例えば、電磁気波)を含まないということを意味するだけで、この用語は、データが記憶媒体に半永久的に保存される場合と臨時的に保存される場合とを区分しない。
一実施例によれば、本文書に開示されている様々な実施例に係る方法は、コンピュータプログラム製品(computer program product)に含まれて提供されてよい。コンピュータプログラム製品は、商品として販売者及び購買者間に取引されてよい。コンピュータプログラム製品は、機器で読み可能な記憶媒体(例えば、compact disc read only memory(CD-ROM))の形態で配布されたり、又はアプリケーションストア(例えば、PlaystoreTM)を介して又は2つのユーザ装置(例えば、スマートフォン)間に直接、オンラインで配布(例えば、ダウンロード又はアップロード)できる。オンライン配布では、コンピュータプログラム製品の少なくとも一部が、メーカーのサーバー、アプリケーションストアのサーバー、又は中継サーバーのメモリのような、機器で読み可能な記憶媒体に少なくとも一時保存されたり、又は臨時的に生成されてよい。
様々な実施例によれば、前記記述した構成要素のそれぞれの構成要素(例えば、モジュール又はプログラム)は、単数又は複数の個体を含んでよく、複数の個体のうち一部は、別の構成要素に分離配置されてもよい。様々な実施例によれば、前述した当該構成要素のうち一つ以上の構成要素又は動作が省略されたり、又は一つ以上の他の構成要素又は動作が追加されてよい。代替として又は追加として、複数の構成要素(例えば、モジュール又はプログラム)は一つの構成要素として統合されてよい。この場合、統合された構成要素は、前記複数の構成要素のそれぞれの構成要素の一つ以上の機能を、前記統合以前に前記複数の構成要素のうち当構成要素によって行われるのと同一又は類似に行うことができる。様々な実施例によれば、モジュール、プログラム又は他の構成要素によって行われる動作は順次に、並列的に、反復的に、又はヒューリスティックに実行されたり、前記動作のうち一つ以上が他の順序で実行されたり、省略されたり、又は一つ以上の他の動作が追加されてよい。
100 ネットワーク環境
101 電子装置
102 電子装置
104 電子装置
108 サーバー
120 プロセッサ
121 メインプロセッサ
123 補助プロセッサ
130 メモリ
132 揮発性メモリ
134 不揮発性メモリ
136 内蔵メモリ
138 外付メモリ
140 プログラム
142 運営体制
144 ミドルウェア
146 アプリケーション
150 入力モジュール
155 音響出力モジュール
160 ディスプレイモジュール
170 オーディオモジュール
176 センサーモジュール
177 インターフェース
178 連結端子
179 ハプティックモジュール
180 カメラモジュール
188 電力管理モジュール
189 バッテリー
190 通信モジュール
192 無線通信モジュール
194 有線通信モジュール
196 加入者識別モジュール
197 アンテナモジュール
198 第1ネットワーク
199 第2ネットワーク
200 電子装置
210 ディスプレイ
211 イメージ客体
212 タッチ領域
220 外部電子装置
221 第2客体
230 被写体
300 電子装置
310 通信モジュール
320 カメラモジュール
330 ディスプレイ
331 入力モジュール
340 メモリ
350 プロセッサ
500 識別した客体
501 第1識別された客体
502 第2識別された客体
503 第3識別された客体
900 音像
901 第4音像
910 第1音像
920 第2音像
101 電子装置
102 電子装置
104 電子装置
108 サーバー
120 プロセッサ
121 メインプロセッサ
123 補助プロセッサ
130 メモリ
132 揮発性メモリ
134 不揮発性メモリ
136 内蔵メモリ
138 外付メモリ
140 プログラム
142 運営体制
144 ミドルウェア
146 アプリケーション
150 入力モジュール
155 音響出力モジュール
160 ディスプレイモジュール
170 オーディオモジュール
176 センサーモジュール
177 インターフェース
178 連結端子
179 ハプティックモジュール
180 カメラモジュール
188 電力管理モジュール
189 バッテリー
190 通信モジュール
192 無線通信モジュール
194 有線通信モジュール
196 加入者識別モジュール
197 アンテナモジュール
198 第1ネットワーク
199 第2ネットワーク
200 電子装置
210 ディスプレイ
211 イメージ客体
212 タッチ領域
220 外部電子装置
221 第2客体
230 被写体
300 電子装置
310 通信モジュール
320 カメラモジュール
330 ディスプレイ
331 入力モジュール
340 メモリ
350 プロセッサ
500 識別した客体
501 第1識別された客体
502 第2識別された客体
503 第3識別された客体
900 音像
901 第4音像
910 第1音像
920 第2音像
Claims (15)
- 電子装置であって、
近距離無線通信を支援する通信モジュールと、
動画イメージを撮影するカメラモジュールと、
前記撮影する動画イメージを表示するディスプレイと、
前記通信モジュール、カメラモジュール及びディスプレイと作動的に(operatively)連結されるプロセッサと、
を含み、
前記プロセッサは、
前記通信モジュールを用いて外部電子装置と連結を確立し、
前記動画イメージの撮影と同時に前記外部電子装置からオーディオ信号を受信し、
前記撮影される動画イメージに含まれる少なくとも一つの客体のうちターゲットとなるターゲット客体を確認し、
前記ターゲット客体が前記ディスプレイ上に表示される位置に関する第1位置情報を確認し、
前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定して、実際位置に関する第2位置情報を生成し、
前記生成された第2位置情報に基づいて前記オーディオ信号を処理する
ように設定された電子装置。 - 前記プロセッサは、
前記撮影中の動画イメージに含まれる少なくとも一つの客体を認識し、
前記認識された少なくとも一つの客体のうちターゲット客体を確認するように設定された、請求項1に記載の電子装置。 - 前記ディスプレイは、タッチ入力を受信する入力モジュールをさらに含み、
前記プロセッサは、
前記タッチ入力を受信し、
前記受信したタッチ入力の前記ディスプレイ上の位置を確認し、
前記確認されたタッチ入力の位置に基づいて前記ターゲット客体を確認するように設定された、請求項1に記載の電子装置。 - 前記プロセッサは、
前記少なくとも一つの客体のイメージを分析し、
前記イメージの分析に基づいて前記ターゲット客体を確認するように設定された、請求項1に記載の電子装置。 - 前記プロセッサは、
前記イメージ分析に基づいて前記外部電子装置のイメージ及び前記少なくとも一つの客体の顔イメージのうち少なくとも一つに対するイメージを認識し、
前記認識されたイメージに基づいて前記ターゲット客体を確認するように設定された、請求項4に記載の電子装置。 - 前記プロセッサは、
前記カメラモジュールの拡大倍率情報、前記カメラモジュールの画角情報を含む付加情報をさらに確認し、
前記確認された付加情報及び前記第1位置情報に基づいて前記第2位置情報を生成するように設定された、請求項1に記載の電子装置。 - 前記外部電子装置から前記外部電子装置の位置情報をさらに受信し、
前記プロセッサは、
前記外部電子装置の位置情報に基づいて前記第2位置情報を生成するように設定された、請求項1に記載の電子装置。 - センサーをさらに含み、
前記プロセッサは、
前記センサーを用いて前記外部電子装置から発生する信号を感知し、
前記感知した信号に基づいて前記第2位置情報を生成するように設定された、請求項1に記載の電子装置。 - 前記第2位置情報は、左右距離又は左右方位角を含み、
前記プロセッサは、
前記オーディオ信号を前記第2位置情報に基づいてパンニング(panning)して前記オーディオ信号を処理するように設定された、請求項1に記載の電子装置。 - 前記第2位置情報は、上下をさらに含み、
前記プロセッサは、
前記オーディオ信号を前記第2位置情報に基づいて3次元レンダリングして前記オーディオ信号を処理するように設定された、請求項9に記載の電子装置。 - 前記第2位置情報は、前記ターゲット客体の前記電子装置との距離をさらに含み、
前記プロセッサは、
前記オーディオ信号を、前記実際位置に基づいて前記オーディオ信号の音量を調節するように設定された、請求項9に記載の電子装置。 - データを保存し、前記プロセッサと作動的に連結されたメモリをさらに含み、
前記プロセッサは、
前記処理されたオーディオ信号及び前記撮影された動画イメージをエンコードして前記メモリに保存するように設定された、請求項1に記載の電子装置。 - 電子装置がオーディオ信号を処理する方法であって、
外部電子装置と連結を確立する動作と、
動画イメージの撮影と同時に前記外部電子装置からオーディオ信号を受信する動作;
前記撮影される動画イメージに含まれる少なくとも一つの客体のうちターゲットとなるターゲット客体を確認する動作と、
前記ターゲット客体が前記電子装置のディスプレイ上に表示される位置に関する第1位置情報を確認する動作と、
前記第1位置情報に基づいて前記ターゲット客体の実際位置を推定して、実際位置に関する第2位置情報を生成する動作と、
前記生成された第2位置情報に基づいて前記オーディオ信号を処理する動作と、
を含む方法。 - 前記ターゲット客体を確認する動作は、
前記撮影中の動画イメージに含まれる少なくとも一つの客体を認識する動作と、
前記認識された少なくとも一つの客体のうちターゲット客体を確認する動作と、
を含む、請求項13に記載の方法。 - 前記ターゲット客体を確認する動作は、
タッチ入力を受信する動作と、
前記受信したタッチ入力の前記ディスプレイ上の位置を確認する動作と、
前記確認されたタッチ入力の位置に基づいて前記ターゲット客体を確認する動作と、
を含む、請求項13に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0027626 | 2021-03-02 | ||
KR1020210027626A KR20220123986A (ko) | 2021-03-02 | 2021-03-02 | 오디오 신호에 방향성을 적용하는 전자 장치 및 그 방법 |
PCT/KR2022/002941 WO2022186599A1 (ko) | 2021-03-02 | 2022-03-02 | 오디오 신호에 방향성을 적용하는 전자 장치 및 그 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024508899A true JP2024508899A (ja) | 2024-02-28 |
Family
ID=83155486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023553375A Pending JP2024508899A (ja) | 2021-03-02 | 2022-03-02 | オーディオ信号に方向性を適用する電子装置及びその方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230413002A1 (ja) |
EP (1) | EP4280624A4 (ja) |
JP (1) | JP2024508899A (ja) |
KR (1) | KR20220123986A (ja) |
CN (1) | CN116888979A (ja) |
AU (1) | AU2022229172A1 (ja) |
BR (1) | BR112023017335A2 (ja) |
WO (1) | WO2022186599A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024147487A1 (ko) * | 2023-01-03 | 2024-07-11 | 삼성전자 주식회사 | 이미지를 처리하는 전자 장치 및 그 동작 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100028326A (ko) * | 2008-09-04 | 2010-03-12 | 엘지전자 주식회사 | 미디어 처리 방법 및 그를 위한 장치 |
US9084068B2 (en) * | 2011-05-30 | 2015-07-14 | Sony Corporation | Sensor-based placement of sound in video recording |
KR101410976B1 (ko) * | 2013-05-31 | 2014-06-23 | 한국산업은행 | 대사 또는 현장감 전달 목적에 따른 스피커 위치 지정 방법 및 그 장치 |
KR20160002132A (ko) * | 2014-06-30 | 2016-01-07 | 삼성전자주식회사 | 음장 효과를 제공하기 위한 전자 장치 및 방법 |
US10848899B2 (en) * | 2016-10-13 | 2020-11-24 | Philip Scott Lyren | Binaural sound in visual entertainment media |
US9674453B1 (en) * | 2016-10-26 | 2017-06-06 | Cisco Technology, Inc. | Using local talker position to pan sound relative to video frames at a remote location |
KR20180084550A (ko) * | 2017-01-17 | 2018-07-25 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
-
2021
- 2021-03-02 KR KR1020210027626A patent/KR20220123986A/ko unknown
-
2022
- 2022-03-02 WO PCT/KR2022/002941 patent/WO2022186599A1/ko active Application Filing
- 2022-03-02 AU AU2022229172A patent/AU2022229172A1/en active Pending
- 2022-03-02 JP JP2023553375A patent/JP2024508899A/ja active Pending
- 2022-03-02 CN CN202280016801.XA patent/CN116888979A/zh active Pending
- 2022-03-02 EP EP22763581.0A patent/EP4280624A4/en active Pending
- 2022-03-02 BR BR112023017335A patent/BR112023017335A2/pt unknown
-
2023
- 2023-08-31 US US18/241,130 patent/US20230413002A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4280624A4 (en) | 2024-07-31 |
KR20220123986A (ko) | 2022-09-13 |
AU2022229172A1 (en) | 2023-09-07 |
EP4280624A1 (en) | 2023-11-22 |
WO2022186599A1 (ko) | 2022-09-09 |
US20230413002A1 (en) | 2023-12-21 |
CN116888979A (zh) | 2023-10-13 |
BR112023017335A2 (pt) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4203458A1 (en) | Electronic device for image capturing, method, and non-transitory storage medium | |
US11954324B2 (en) | Method for performing virtual user interaction, and device therefor | |
CN111354434A (zh) | 电子装置及其提供信息的方法 | |
US20230005227A1 (en) | Electronic device and method for offering virtual reality service | |
US20230413002A1 (en) | Electronic device for applying directionality to audio signal, and method therefor | |
KR20220009601A (ko) | 전자 장치 및 전자 장치에서 이미지 전송 방법 | |
US20220225054A1 (en) | Electronic device for measuring posture of user and method thereof | |
KR20220103548A (ko) | 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법 | |
KR20220090716A (ko) | 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법 | |
KR20220125648A (ko) | 이미지 생성을 위한 전자 장치 및 전자 장치의 동작 방법 | |
EP4332966A1 (en) | Method and device for sound recording by electronic device using earphones | |
EP4254942A1 (en) | Electronic device for providing video conference, and method therefor | |
US11838652B2 (en) | Method for storing image and electronic device supporting the same | |
US20240036323A1 (en) | Electronic device and method for adjusting volume using acoustic signal output from external object | |
KR20220074092A (ko) | 화상 회의를 제공하는 전자 장치 및 그 방법 | |
US20240236535A9 (en) | Speaker module and electronic device including the same | |
KR20240069552A (ko) | 가상 오브젝트를 표시하는 전자 장치 및 이의 제어 방법 | |
KR20220102422A (ko) | 영상을 촬영하기 위한 전자 장치, 방법 및 비 일시적 저장 매체 | |
KR20220036261A (ko) | 복수의 사용자들과 통화 수행 중 사용자 음성을 처리하는 전자 장치 및 그 작동 방법 | |
KR20240045932A (ko) | 위험을 감지하는 전자 장치, 그의 동작 방법 및 프로그램을 저장하는 저장 매체 | |
KR20220011401A (ko) | 음상 정위에 따른 음성 출력 방법 및 이를 이용한 장치 | |
KR20220015716A (ko) | Ar 오디오 데이터 제공 방법 및 장치 | |
KR20240050963A (ko) | 음향 효과를 제공하기 위한 전자 장치 및 그 동작 방법, 저장 매체 | |
KR20230072889A (ko) | 초광대역 태그를 이용한 가상 태그 생성 장치 및 방법 | |
KR20220096894A (ko) | 전자 장치 및 전자 장치의 동작 방법 |