CN113453126A - 信息处理方法及信息处理装置 - Google Patents

信息处理方法及信息处理装置 Download PDF

Info

Publication number
CN113453126A
CN113453126A CN202110290568.1A CN202110290568A CN113453126A CN 113453126 A CN113453126 A CN 113453126A CN 202110290568 A CN202110290568 A CN 202110290568A CN 113453126 A CN113453126 A CN 113453126A
Authority
CN
China
Prior art keywords
information
audio
spatial
sound
sound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110290568.1A
Other languages
English (en)
Other versions
CN113453126B (zh
Inventor
白木原太
森川直
纳户健太郎
三轮明宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN113453126A publication Critical patent/CN113453126A/zh
Application granted granted Critical
Publication of CN113453126B publication Critical patent/CN113453126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/024Positioning of loudspeaker enclosures for spatial sound reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明提供信息处理方法及信息处理装置,其实现考虑了物理空间的形状的音像定位。在信息处理方法中,接受第1空间信息及第2空间信息的设定,在所述第1空间信息中的第1坐标中,接受表示使音像定位的位置的第1音像定位信息,将所述第1音像定位信息变换为与所述第2空间信息中的第2坐标相对应的第2音像定位信息。

Description

信息处理方法及信息处理装置
技术领域
本发明的一个实施方式涉及信息处理方法及信息处理装置。
背景技术
专利文献1的声音调整控制台在长方体形状的空间中,接受音像定位点的坐标。专利文献1的声音调整控制台以使音像定位于接受到的坐标的方式,对从在空间中配置的多个扬声器输出的音的音量进行计算。
专利文献1:日本特开2018-74280号公报
但是,音乐厅等的物理空间并不限定于长方体形状。因此,专利文献1的声音调整控制台那样的装置即使在长方体空间中接受到音像定位点的坐标,由于没有考虑物理空间的坐标,因此有时也无法使音像定位于利用者所意图的位置。
发明内容
因此,本发明的一个实施方式的目的之一在于,提供信息处理方法及信息处理装置,其实现考虑了物理空间的形状的音像定位。
本发明的一个实施方式所涉及的信息处理方法,接受第1空间信息及第2空间信息的设定,在所述第1空间信息中的第1坐标中,接受表示使音像定位的位置的第1音像定位信息,将所述第1音像定位信息变换为与所述第2空间信息中的第2坐标相对应的第2音像定位信息。
发明的效果
根据本发明的一个实施方式,能够实现考虑了物理空间的形状的音像定位。
附图说明
图1是表示信息处理装置1的结构的框图。
图2是表示在显示器15进行显示的音像定位的设定画面的一个例子的图。
图3是表示处理器12的动作的流程图。
图4是对坐标变换的概念进行说明的图。
图5是对坐标变换的概念进行说明的图。
图6是表示变形例1所涉及的信息处理装置1A的结构的框图。
图7是表示信息处理装置1A的动作的流程图。
图8是表示层的概念的图。
图9是对坐标变换的变形例进行说明的图。
图10是表示在对多个音源55A及音源55B的音像定位位置信息进行编辑的情况下在显示器15显示的音像定位的设定画面的一个例子的图。
图11(A)及图11(B)是表示在对多个音源55A及音源55B的音像定位位置信息进行编辑的情况下在显示器15显示的音像定位的设定画面的一个例子的图。
图12是表示在显示器15显示的音像定位的设定画面的一个例子的图。
图13(A)及图13(B)是表示在显示器15显示的音像定位的设定画面的一个例子的图。
图14(A)及图14(B)是表示在显示器15显示的音像定位的设定画面的一个例子的图。
图15(A)及图15(B)是表示在显示器15显示的音像定位的设定画面的一个例子的图。
图16是表示信息处理装置1或信息处理装置1A的动作的流程图。
具体实施方式
图1是表示信息处理装置1的结构的框图。信息处理装置1具有通信部11、处理器12、RAM 13、闪存14、显示器15及用户I/F 16。
信息处理装置1由个人计算机、智能手机或者平板型计算机等构成。另外,混频器等声响设备也是信息处理装置的一个例子。
通信部11与服务器等其他装置进行通信。通信部11例如具有Bluetooth(注册商标)或者Wi-Fi(注册商标)等无线通信功能、USB或者LAN等有线通信功能。通信部11例如取得表示音乐厅等的物理空间的形状的空间信息。空间信息是表示以某位置为基准点(原点)的2维或3维的坐标的信息。空间信息是包含CAD数据等2维或3维的坐标的信息,该CAD数据表示例如音乐厅等的物理空间的形状。
处理器12由CPU、DSP或SoC(System on a Chip)等构成。处理器12从作为存储介质的闪存14读出程序,暂时存储于RAM 13,由此进行各种动作。处理器12通过读出的程序而实现空间设定部141、音像定位信息接受部142及变换部143等功能结构。此外,程序无需存储在闪存14中。处理器12例如在需要从服务器等其他装置下载的情况下可以暂时存储于RAM13。
显示器15由LCD等构成。显示器15例如对如图2所示那样的音像定位的设定画面进行显示。
用户I/F 16是操作部的一个例子。用户I/F 16由鼠标、键盘或者触摸面板等构成。用户I/F 16接受利用者的操作。此外,触摸面板也可以层叠于显示器15。
参照图2及图3对音像定位的设定画面进行说明。图2是表示在显示器15进行显示的音像定位的设定画面的一个例子的图。图3是表示处理器12的动作的流程图。图2所示的音像定位的设定画面是内容(content)的编辑画面的一个例子。利用者在音像定位的设定画面中,对内容所包含的音源的音像定位位置进行编辑。
显示器15对逻辑坐标系的逻辑空间图像151、物理坐标系的物理空间图像152进行显示。在本例中,显示器15在画面的左上对逻辑空间图像151进行显示,在画面的右上对物理空间图像152进行显示。另外,显示器15在画面的左下对逻辑平面图像153进行显示,在画面的右下对物理平面图像154进行显示。
逻辑空间图像151作为一个例子为长方体形状。逻辑平面图像153与对逻辑空间图像151进行俯视观察时的图相对应。物理空间图像152作为一个例子为八棱柱形状。物理平面图像154与对物理空间图像152进行俯视观察时的图相对应。
首先,处理器12的空间设定部141接受与逻辑空间相对应的信息即第1空间信息及与音乐厅等的物理空间相对应的信息即第2空间信息的设定(S11)。
第1空间信息为逻辑坐标。逻辑坐标例如为0~1的归一化的坐标。在本实施方式中,空间设定部141作为第1空间信息而接受长方体的空间信息的设定,但除此以外也可以接受棱锥、方柱、多面体、圆柱、圆锥或球体等各种空间信息。另外,空间设定部141也可以接受2维空间的信息。2维空间例如包含由直线构成的多边形、由曲线构成的圆形或者由直线及曲线构成的复合形状等。
第2空间信息为物理坐标。物理坐标是表示音乐厅等物理空间的形状的CAD数据等所包含的2维或3维的坐标。处理器12的空间设定部141例如从闪存14读出包含CAD数据等2维或3维的坐标的信息,由此接受第2空间信息的设定。
接下来,空间设定部141生成逻辑空间图像151、物理空间图像152、逻辑平面图像153及物理平面图像154,在显示器15进行显示(S12)。在图2的例子中,逻辑空间图像151是立方体形状的立面图的图像,逻辑平面图像153是正方形状的图像。物理空间图像152及物理平面图像154是模拟出音乐厅等的实际空间的图像。空间设定部141基于包含CAD数据等2维或3维的坐标的信息而生成物理空间图像152及物理平面图像154。
接下来,处理器12的音像定位信息接受部142接受扬声器的配置信息或者音像定位信息(S13)。扬声器的配置信息及音像定位信息分别是逻辑坐标系的坐标,是第1音像定位信息的一个例子。
利用者对用户I/F 16进行操作,在图2所示的逻辑空间图像151或者逻辑平面图像153中,对扬声器的配置信息或者音像定位信息进行编辑。例如,在图2的例子中,利用者在逻辑空间图像151及逻辑平面图像153中,配置有中央扬声器50C、左扬声器50L、右扬声器50R、左后扬声器50SL及右后扬声器50SR。中央扬声器50C、左扬声器50L、右扬声器50R、左后扬声器50SL及右后扬声器50SR配置于高度方向的中间。
如果将逻辑平面图像153中的左上的顶点的位置设为原点,则左扬声器50L的坐标为(x,y)=(0,0)。右扬声器50R的坐标为(x,y)=(1,0)。中央扬声器50C的坐标为(x,y)=(0.5,0)。左后扬声器50SL的坐标为(x,y)=(0,1)。右后扬声器50SR的坐标为(x,y)=(1,1)。
另外,在图2的例子中,利用者在逻辑空间图像151及逻辑平面图像153中,在与中心相比的左侧(左端和中心之间)配置有音源55的音像定位位置。即,音源55的坐标为(x,y)=(0.25,0.5)。
在图2的例子中,中央扬声器50C、左扬声器50L、右扬声器50R、左后扬声器50SL、右后扬声器50SR及音源的高度方向的坐标全部为z=0.5。
音像定位信息接受部142例如如图2所示那样,接受利用者对扬声器的配置信息或者音源的音像定位信息进行编辑的操作,由此接受扬声器的配置信息或者音源位置信息(S13:Yes)。
变换部143基于接受到的扬声器的配置信息或者音源位置信息而进行坐标变换(S14)。
图4及图5是对坐标变换的概念进行说明的图。变换部143将扬声器的配置信息及音源位置信息从逻辑坐标系的第1空间信息的第1坐标变换为物理坐标系的第2空间信息的第2坐标。在图4的例子中,在物理坐标系中存在8个基准点70A(x1,y1)、70B(x2,y2)、70C(x3,y3)、70D(x4,y4)、70E(x5,y5)、70F(x6,y6)、70G(x7,y7)、70H(x8,y8)及变换前的逻辑坐标系的8个基准点70A(0,0)、70B(0.25,0)、70C(0.75,0)、70D(1,0)、70E(0,1)、70F(0.25,1)、70G(0.75,1)、70H(1,1)。变换部143求出变换前的逻辑坐标系的8个基准点的重心G、及变换后的物理坐标系的8个基准点的重心G’,生成以这些重心为中心的三角形的网格。变换部143通过规定的坐标变换对逻辑坐标系的三角形的内部空间和物理坐标系的三角形的内部空间进行变换。变换例如使用仿射变换。仿射变换是几何变换的一个例子。仿射变换将变换后的x坐标(x’)及y坐标(y’)分别作为变换前的x坐标(x)及y坐标(y)的函数进行表示。即,仿射变换通过x’=ax+by+c及y’=dx+ey+f的公式进行坐标变换。根据变换前的三角形的三个顶点的坐标和变换后的三角形的三个顶点的坐标,能够唯一地求出系数a~f。变换部143关于全部三角形同样地求出仿射变换系数,由此从逻辑坐标系的第1坐标变换为物理坐标系的第2空间信息的第2坐标。此外,系数a~f也可以通过最小二乘法而求出。
而且,变换部143使用求出的系数a~f,对扬声器的配置信息及音源位置信息的坐标进行变换。在图5中,变换部143使用上述公式,将音源55的逻辑坐标系的坐标(x,y)变换为物理坐标系的坐标(x’,y’)。
由此,扬声器的配置信息及音源位置信息的坐标变换为与物理空间的形状相匹配的第2音像定位信息。处理器12将第2音像定位信息例如存储于闪存14。或者,处理器12将第2音像定位信息例如经由通信部11而发送至声响设备等其他装置。声响设备基于接收到的第2音像定位信息而进行使音像定位的处理。声响设备基于第2音像定位信息所包含的扬声器的配置信息及音源位置信息,计算向多个扬声器输出的音信号的电平平衡,对音信号的电平进行调整,以使得音源的音像定位于指定出的位置。由此,本实施方式的信息处理装置1能够实现考虑了物理空间的形状的音像定位。
此外,上述网格也可以是除了三角形以外的多边形的网格、它们的组合。例如,变换部143可以如图9所示那样,生成四边形的网格,进行坐标变换。变换方法并不限定于上述仿射变换。例如,变换部143也可以基于以下所示的公式对四边形的网格进行变换,将音源55的逻辑坐标系的坐标(x,y)变换为物理坐标系的坐标(x’,y’)(其中x0、y0、x1、y1、x2、y2、x3、y3分别是变换点的坐标)。x’=x0+(x1-x0)x+(x3-x0)y+(x0-x1+x2-x3)xyy’=y0+(y1-y0)x+(y3-y0)y+(y0-y1+y2-y3)xy
变换方法除此以外,还可以是例如等长映射、相似变换或者投影变换等其他几何变换。例如投影变换通过x’=(ax+by+c)/(gx+hy+1)及y’=(dx+ey+f)/(gx+hy+1)的公式表示。与上述的仿射变换同样地求出系数。例如构成四边形的投影变换的8个系数(a~h)能够通过8连立方程式而唯一地求出。或者,系数例如也可以通过最小二乘法而求出。
图6是表示变形例1所涉及的信息处理装置1A的结构的框图。图7是表示信息处理装置1A的动作的流程图。对与信息处理装置1相同的结构、功能及动作标注相同的标号,省略说明。
信息处理装置1A还具有音频I/F 17。音频I/F 17由模拟音频端子或数字音频端子等构成。处理器12经由音频I/F 17而取得音源的音信号。由此,处理器12作为音信号取得部起作用。另外,音信号也可以经由通信部11而从外部的装置取得。另外,音信号也可以存储于闪存14。
音频I/F 17与在音乐厅等实际空间中设置的中央扬声器50C、左扬声器50L、右扬声器50R、左后扬声器50SL及右后扬声器50SR连接。
处理器12具有DSP。处理器12针对音信号实施规定的信号处理。处理器12经由音频I/F 17将信号处理后的音信号输出至中央扬声器50C、左扬声器50L、右扬声器50R、左后扬声器50SL及右后扬声器50SR。
处理器12将在闪存14中存储的程序读出至RAM 13,由此还实现定位处理部144的功能结构。处理器12的定位处理部144基于通过变换部143变换后的扬声器的配置信息及音源位置信息(第2音像定位信息),进行使音信号音像定位于与第2音像定位信息相对应的位置的处理(S15)。即,定位处理部144基于第2音像定位信息所包含的扬声器的配置信息及音源位置信息,计算向中央扬声器50C、左扬声器50L、右扬声器50R、左后扬声器50SL及右后扬声器50SR输出的音信号的电平平衡,对音信号的电平进行调整,以使得音源的音像定位于指定出的位置。信息处理装置可以如上所述进行音像定位处理。
在图2至图5中,示出了2维空间(平面)中的坐标变换。但是,信息处理装置也可以进行3维空间中的坐标变换。在该情况下,将变换后的坐标的x’、y’、z’分别通过x、y、z的函数表示。变换部143基于该函数,对扬声器的配置信息及音源位置信息进行变换。
另外,3维空间的信息可以是包含平面坐标(x,y)和在高度方向表示多个层(Layer)的信息在内的方式。
图8是表示层(Layer)的概念的图。利用者对用户I/F 16进行操作,对层、扬声器的配置信息或者音源的音像定位信息进行编辑。在图8的例子中,利用者对在高度方向排列的3个层的高度进行指定。另外,利用者在指定出的层的任意者对扬声器的配置或者音源的音像进行指定。在图8的例子中,利用者对层151L1、层151L2、层151L3、层152L1、层152L2及层152L3进行指定,从这些层对扬声器的配置或者音源的音像进行指定。
变换部143将物理坐标系的平面的坐标(x’,y’)如上述那样通过几乎变换进行变换。高度的坐标由利用者指定。在图8的例子中,逻辑坐标系的层151L1为z=1.0,层151L2为z=0.5的坐标,层151L3为z=0。物理坐标系的层152L1与实际的空间中的最高的位置,即顶棚面的坐标相对应。物理坐标系的层152L3与实际的空间中的最低的位置,即地面的坐标相对应。层152L2是顶棚面的坐标及地面的坐标之间的坐标。例如,在音源55配置于逻辑坐标系的层151L3的情况下,变换部143将物理坐标系的层152L3的高度方向的坐标z3求出而作为第2音像定位信息的高度信息。
另外,扬声器的配置信息或者音源位置信息的任意者可以对多个层间的坐标进行指定。例如,扬声器的配置信息可以对层进行指定,音源位置信息可以对3维空间内的自由位置进行指定。在该情况下,变换部143基于多个层的高度信息而求出音源位置信息。变换部143例如通过线性插补而求出物理坐标系的坐标。例如,在音源处于层151L1及层151L2之间的情况下,变换部143根据变换前的音源的坐标z,通过以下方式求出变换后的音源坐标z’。
z’=(z-z1)*(z’2-z’1)/(z2-z1)+z’1
当然层的数量并不限定于3个。层的数量也可以为2个或者大于或等于4个。
应该认为本实施方式的说明的所有方面都是例示,且并不是限制性的内容。本发明的范围不是由上述的实施方式表示,而是由权利要求书表示。并且,本发明的范围包含与权利要求书等同的范围。
例如,利用者可以在物理空间图像152或者物理平面图像154中对扬声器的配置信息及音源的音像定位信息进行编辑。在该情况下,空间设定部141接受物理坐标系的空间信息而作为第1空间信息,接受逻辑坐标系的空间信息而作为第2空间信息。变换部143将物理坐标系的扬声器的配置信息及音源位置信息(第1音像定位信息)变换为逻辑坐标系的扬声器的配置信息及音源位置信息(第2音像定位信息)。
此外,音源的数量并不限定于1个。图10是表示在对多个音源55A及音源55B的音像定位位置信息进行编辑的情况下在显示器15显示的音像定位的设定画面的一个例子的图。在图10的例子中,信息处理装置1或信息处理装置1A显示逻辑平面图像153以及物理平面图像154,但实际上还显示出逻辑空间图像151以及物理空间图像152。信息处理装置1的动作与图3所示的流程图相同,信息处理装置1A的动作与图7所示的流程图相同。
在本例中,利用者在逻辑平面图像153以及物理平面图像154中,配置有音源55A及音源55B的音像定位位置。音源55A的坐标为(x1,y1)=(0.25,0.5)。音源55B的坐标为(x2,y2)=(0.25,0.25)。
利用者对在逻辑平面图像153或物理平面图像154配置的音源55A及音源55B分别进行编辑。例如,利用者将在物理平面图像154配置的音源55A及音源55B变更至分别不同的位置。变换部143将变更后的音源55A及音源55B的物理坐标系的音源位置坐标(第1音像定位信息)分别变换为逻辑坐标系的音源位置信息(第2音像定位信息)。
另外,第1音像定位信息也可以规定为包含多个音像的群组。图11(A)及图11(B)是表示在对多个音源55A及音源55B的音像定位位置信息进行编辑的情况下在显示器15显示的音像定位的设定画面的一个例子的图。
在该情况下,音源55A及音源55B被规定为相同群组。而且,第1音像定位信息被规定为包含音源55A及音源55B的群组。而且,第2音像定位信息也被规定为包含音源55A及音源55B的群组。利用者对在逻辑平面图像153或物理平面图像154配置的音源55A或音源55B中的任意者进行编辑。音像定位信息接受部142对包含于相同群组的多个音像各自的相对的位置关系进行保持并变更第1音像定位信息。例如,利用者如图11(A)所示,将在逻辑平面图像153配置的音源55A从(x1,y1)=(0.25,0.5)的坐标变更为(x1,y1)=(0.75,0.75)的坐标。音像定位信息接受部142对包含于相同群组的音源55A及音源55B的相对的位置关系进行保持并变更音源55B的坐标。音源55A的坐标为(x1,y1)=(0.25,0.5)。音源55B的坐标为(x2,y2)=(0.25,0.25)。在该情况下,相对的位置为(x1-x2,y1-y2)=(0,0.25)。因此,音像定位信息接受部142将音源55B的坐标变更为(x2,y2)=(0.75,0.5)。显示器15与变更后的音源55A及音源55B的坐标对应地在逻辑平面图像153显示音源55A及音源55B。而且,变换部143将变更后的音源55A及音源55B的逻辑坐标系的音源位置坐标(第1音像定位信息)分别变化为物理坐标系的音源位置信息(第2音像定位信息)。或者,变换部143也可以将逻辑坐标系中的变更后的音源55A以及相对的位置的坐标を分别变换为物理坐标系。在该情况下,变换部143也可以基于物理坐标系的音源55A的坐标以及相对的位置的坐标求出物理坐标系的音源55B的位置。然后,显示器15如图11(B)所示,在物理平面图像154中对音源55A及音源55B的位置进行变更。
利用者也可以对在物理平面图像154配置的音源55A及音源55B中的任意者进行变更。例如,如果利用者对在物理平面图像154配置的音源55A进行变更,则音像定位信息接受部142对包含于相同群组的音源55A及音源55B的相对的位置关系进行保持并变更音源55B的坐标。显示器15与变更后的音源55A及音源55B的坐标对应地在物理平面图像154显示音源55A及音源55B。而且,变换部143将变更后的音源55A及音源55B的物理坐标系的音源位置坐标(第1音像定位信息)分别变换为逻辑坐标系的音源位置信息(第2音像定位信息)。然后,显示器15在逻辑平面图像153中,对音源55A及音源55B的位置进行变更。
此外,显示器15例如也可以显示群组的代表点。用户通过对群组的代表点的位置进行变更而共同变更音源55A及音源55B的位置。在该情况下,音像定位信息接受部142也是对包含于相同群组的音源55A及音源55B的相对的位置关系进行保持并变更各音源的坐标。
接下来,对在物理平面图像154内进一步接受其他物理坐标系的空间信息(第3空间信息)的指定的例子进行说明。图12是表示在信息处理装置1或信息处理装置1A的显示器15显示的音像定位的设定画面的一个例子的图。为了容易说明,在图12中省略扬声器的显示。在该情况下,也是信息处理装置1的动作与图3所示的流程图相同,信息处理装置1A的动作与图7所示的流程图相同。
在本例中,显示器15在物理平面图像154内进一步显示物理平面图像155。物理平面图像155与第3空间信息对应,该第3空间信息不同于与物理平面图像154对应的第1空间信息。第3空间信息也是物理坐标。空间设定部141在图3及图7所示的S11的动作中,例如从闪存14读出包含CAD数据等的2维或3维的坐标的信息,由此接受第3空间信息的设定。以上述方式,空间设定部141在显示器15显示出的第1空间信息中接受第3空间信息的指定。音像定位信息接受部142在逻辑平面图像153或物理平面图像154中接受音像的位置。变换部143将物理坐标系的音源位置坐标变换为逻辑坐标系的音源位置坐标、或将逻辑坐标系的音源位置坐标变换为物理坐标系的音源位置坐标。
另外,音像定位信息接受部142在逻辑平面图像153或物理平面图像154中接受音像的位置的变更。例如,如图13(A)所示,利用者将在物理平面图像154配置的音源55的位置指定至物理平面图像155的右上端部。
显示器15在物理平面图像154中对变更后的音源55的位置进行显示。在图13(A)的例子中,显示器15在物理平面图像154内显示出的物理平面图像155的右上端部显示音源55的位置。
变换部143通过仿射变换等将物理坐标系的音源位置坐标(第1音像定位信息)变换为逻辑坐标系的音源位置坐标(第2音像定位信息)。在上述的实施方式中,变换部143进行了与物理平面图像154对应的物理坐标、和与逻辑平面图像153对应的逻辑坐标之间的变换。另一方面,在图13(A)的例子中,物理坐标系的第3空间信息对应于逻辑坐标系的第2空间信息。例如,物理平面图像155的左下端部的坐标对应于逻辑坐标系的坐标(x,y)=(0,0),物理平面图像155的左上端部的坐标对应于逻辑坐标系的坐标(x,y)=(0,1),物理平面图像155的右下端部的坐标对应于逻辑坐标系的坐标(x,y)=(1,0),物理平面图像155的右上端部的坐标对应于逻辑坐标系的坐标(x,y)=(1,1)。
变换部143基于物理平面图像155的第3空间信息和逻辑平面图像153的第2空间信息,求出逻辑坐标系的音源位置坐标。即,变换部143将与物理平面图像155对应的物理坐标变换为与逻辑平面图像153对应的逻辑坐标。
在图13(A)的例子中,音源55位于物理平面图像155的右上端部。因此,音源55的逻辑坐标系的音源位置坐标成为(x,y)=(1,1)。显示器15在通过变换部143求出的逻辑坐标系的音源位置坐标显示音源55的位置。
如上所示,变换部143基于第3空间信息和第2空间信息,将物理坐标系的第1音像定位信息变换为逻辑坐标系的第2音像定位信息。
此外,如图14(A)所示,用户也能够将音源55的位置指定于物理平面图像154内、且物理平面图像155之外。物理平面图像155的端部的坐标对应于逻辑平面图像153的端部的坐标。因此,在音源55位于物理平面图像155之外的情况下,变换部143使逻辑坐标系的音源55的坐标的x坐标或y坐标的至少任一者对应于与逻辑平面图像153的端部对应的0或1。在图14(B)的例子中,音源55的坐标的x坐标以及y坐标均被指定于物理平面图像155之外,因此即使用户将音源55的位置从物理平面图像155的右上端部进一步向右上变更,逻辑平面图像153的音源55的位置也是保持(x,y)=(1,1)而不发生变化。
此外,关于规定在相同群组中的多个音源也相同。在规定在相同群组中的多个音源中的至少1个音源被指定于物理平面图像155之外的情况下,变换部143关于该被指定于物理平面图像155之外的音源,使逻辑坐标系的音源55的坐标的x坐标或y坐标中的至少任一个对应于0或1。而且,关于与该被指定于物理平面图像155之外的音源规定在相同群组的、除了该被指定于物理平面图像155之外的音源以外的其他音源,将物理坐标系的坐标变更为,与该被指定于物理平面图像155之外的音源的其被指定的物理坐标系的坐标成为在该群组中应保持的各自的相对的位置关系。
如上所述,利用者对在逻辑平面图像153或物理平面图像154配置的音源55进行编辑。如图15(A)所示,用户在音源55位于物理平面图像155之外的情况下,有时会对逻辑平面图像153的音源55的位置进行变更。如上所述,物理坐标系的物理平面图像155对应于逻辑坐标系的逻辑平面图像153。如图15(A)所示,音源55位于物理平面图像155之外,用户对逻辑平面图像153的音源55的位置进行了变更的情况下,假设如果变换部143将逻辑坐标系的坐标变换为物理坐标系的坐标,则物理坐标系的音源55的位置从物理平面图像155之外向物理平面图像155之内瞬间地移动。声响设备基于物理坐标系的音源55的位置,进行使音像定位的处理,因此如果物理坐标系的音源55的位置从物理平面图像155之外向物理平面图像155之内瞬间地移动,则音像的定位位置急剧地变化。
在此,信息处理装置1或信息处理装置1A进行图16的流程图所示的动作。信息处理装置1或信息处理装置1A在音源55位于物理平面图像155之外的状态下,在逻辑坐标系接受到音源55的位置的变更的情况下,进行图16所示的动作。首先,变换部143求出物理坐标系的音源55的位置(物理坐标系的音源位置坐标(第1音像定位信息))(S31)。具体而言,变换部143求出逻辑坐标系中的音源55的移动前和移动后的相对的位置。而且,变换部143将该相对的位置换算为物理坐标系的相对的位置,求出物理坐标系中的移动后的音源55的位置。在该情况下,变换部143也可以将与物理平面图像155对应的物理坐标系和逻辑坐标系相关联起来,将逻辑坐标系的相对的位置换算为物理坐标系的相对的位置。或者,变换部143也可以将与物理平面图像154对应的物理坐标系和逻辑坐标系相关联起来,将逻辑坐标系的相对的位置换算为物理坐标系的相对的位置。
另外,变换部143也可以将与物理平面图像154对应的物理坐标系和逻辑坐标系相关联起来,将逻辑坐标系中的音源55的移动后的坐标变换为物理坐标系的移动后的坐标,求出物理坐标系中的移动后的音源55的位置。
而且,显示器15如图15(A)所示,首先在物理坐标系的物理平面图像154中,显示移动后的音源55的位置(S32)。此时,显示器15优选将逻辑坐标系中的移动后的音源55的位置以浅颜色显示或以虚线显示而作为临时位置进行显示。
然后,变换部143将移动后的物理坐标系的音源55的坐标变换为逻辑坐标系的坐标(逻辑坐标系的音源位置坐标(第2音像定位信息))(S33)。在物理坐标系的音源55的坐标成为物理平面图像155之内的情况下,逻辑坐标系的音源55的坐标成为逻辑平面图像153之内。另一方面,在物理坐标系的音源55的坐标成为物理平面图像155之外的情况下,变换部143使逻辑坐标系的音源55的坐标对应于作为逻辑坐标系的端部的坐标的0或1。在该情况下,如图15(B)所示,逻辑坐标系的音源55还是保持位于逻辑平面图像153的端部。
如上所示。在音源55位于物理平面图像155之外的情况下,即使接受到逻辑平面图像153的音源55的位置的变更的情况下,物理坐标系的音源55的位置也不会急剧地变化。音像的定位位置不会急剧地变化。此外,图16所示的动作并不限定于在音源55位于物理平面图像155之外的状态下在逻辑坐标系接受到音源55的位置的变更的情况,也可以设为在逻辑坐标系接受到音源55的位置的变更的情况下始终进行动作。
(其他例子)
逻辑坐标系的图像(逻辑空间图像151以及逻辑平面图像153)和、物理坐标系的图像(物理空间图像152以及物理平面图像154)也可以在分别不同的装置进行显示。例如,也可以是逻辑坐标系的图像在信息处理装置1显示,物理坐标系的图像在信息处理装置1A显示。在该情况下,信息处理装置1及信息处理装置1A相互收发空间信息及表示音源的坐标的信息并共有即可。
在图10~图15中,示出了2维空间(平面)中的音源的显示以及坐标变换。但是,也可以进行3维空间中的音源的显示以及坐标变换。另外,如图8所示,3维空间的信息也可以是包含平面坐标(x,y)和在高度方向表示多个层的信息的方式。
标号的说明
1、1A…信息处理装置
11…通信部
12…处理器
13…RAM
14…闪存
15…显示器
16…用户I/F
17…音频I/F
50C…中央扬声器
50L…左扬声器
50R…右扬声器
50SL…左后扬声器
50SR…右后扬声器
55…音源
70A、70B、70C、70D、70E、70F、70G、70H…基准点
141…空间设定部
142…音像定位信息接受部
143…变换部
144…定位处理部
151…逻辑空间图像
152…物理空间图像
151L1、151L2、151L3、152L1、152L2、152L3…层
153…逻辑平面图像
154…物理平面图像

Claims (23)

1.一种信息处理方法,其接受第1空间信息及第2空间信息的设定,
在所述第1空间信息的第1坐标中,接受第1音像定位信息,该1音像定位信息表示使音像定位的位置,
将所述第1音像定位信息变换为与所述第2空间信息的第2坐标相对应的第2音像定位信息。
2.根据权利要求1所述的信息处理方法,其中,
取得音信号,
将所述音信号在与所述第2音像定位信息相对应的位置处使所述音像进行定位。
3.根据权利要求1或2所述的信息处理方法,其中,
所述第1空间信息及所述第2空间信息包含2维空间的信息。
4.根据权利要求1或2所述的信息处理方法,其中,
所述第1空间信息及所述第2空间信息包含3维空间的信息。
5.根据权利要求4所述的信息处理方法,其中,
所述3维空间的信息包含平面坐标和在高度方向表示多个层的信息。
6.根据权利要求5所述的信息处理方法,其中,
基于所述多个层的高度信息,将所述第1音像定位信息变换为所述第2音像定位信息。
7.根据权利要求1至6中任一项所述的信息处理方法,其中,
所述第1音像定位信息作为包含多个音像的群组而规定,
在接受到所述多个音像中的至少任意一个的位置的变更的情况下,对包含于所述群组中的所述多个音像的各自的相对的位置关系进行保持并变更所述第1音像定位信息,
将包含于所述群组中的所述多个音像的各自的所述第1音像定位信息变换为所述第2音像定位信息。
8.根据权利要求1至7中任一项所述的信息处理方法,其中,
所述第1空间信息是与逻辑空间相对应的信息,
所述第2空间信息是与物理空间相对应的信息。
9.根据权利要求1至7中任一项所述的信息处理方法,其中,
所述第1空间信息是与物理空间相对应的信息,
所述第2空间信息是与逻辑空间相对应的信息。
10.根据权利要求9所述的信息处理方法,其中,
对所述第1空间信息、所述第2空间信息、所述第1音像定位信息及所述第2音像定位信息进行显示,
在显示出的所述第1空间信息之中进一步接受与物理空间相对应的第3空间信息的指定。
11.根据权利要求10所述的信息处理方法,其中,
在所述第2空间信息中接受所述音像的位置的变更,
基于所述接受到的变更,求出所述第1音像定位信息,然后,基于所述第3空间信息和所述第2空间信息,将所述第1音像定位信息变换为第2音像定位信息。
12.一种信息处理装置,其具有:
空间设定部,其接受第1空间信息及第2空间信息的设定;
音像定位信息接受部,其在所述第1空间信息的第1坐标中,接受第1音像定位信息,该第1音像定位信息表示使音像定位的位置;以及
变换部,其将所述第1音像定位信息变换为与所述第2空间信息的第2坐标相对应的第2音像定位信息。
13.根据权利要求12所述的信息处理装置,其中,
具有:
音信号取得部,其取得音信号;以及
定位处理部,其将所述音信号在与所述第2音像定位信息相对应的位置处使所述音像进行定位。
14.根据权利要求12或13所述的信息处理装置,其中,
所述第1空间信息及所述第2空间信息包含2维空间的信息。
15.根据权利要求12或13所述的信息处理装置,其中,
所述第1空间信息及所述第2空间信息包含3维空间的信息。
16.根据权利要求15所述的信息处理装置,其中,
所述3维空间的信息包含平面坐标和在高度方向表示多个层的信息。
17.根据权利要求16所述的信息处理装置,其中,
所述变换部基于所述多个层的高度信息,将所述第1音像定位信息变换为所述第2音像定位信息。
18.根据权利要求12至17中任一项所述的信息处理装置,其中,
第1音像定位信息作为包含多个音像的群组而规定,
音像定位信息接受部在接受到所述多个音像中的至少任意一个的位置的变更的情况下,对包含于所述群组中的所述多个音像的各自的相对的位置关系进行保持并变更所述第1音像定位信息,
所述变换部将包含于所述群组中的所述多个音像的各自的所述第1音像定位信息变换为所述第2音像定位信息。
19.根据权利要求12至18中任一项所述的信息处理装置,其中,
所述第1空间信息是与逻辑空间相对应的信息,
所述第2空间信息是与物理空间相对应的信息。
20.根据权利要求12至18中任一项所述的信息处理装置,其中,
所述第1空间信息是与物理空间相对应的信息,
所述第2空间信息是与逻辑空间相对应的信息。
21.根据权利要求12至20中任一项所述的信息处理装置,其中,
具有:
显示器,其对所述第1空间信息、所述第2空间信息、所述第1音像定位信息及所述第2音像定位信息进行显示;以及
操作部,其接受对所述第1音像定位信息进行指定的利用者的操作。
22.根据权利要求21所述的信息处理装置,其中,
具有:
显示器,其对所述第1空间信息、所述第2空间信息、所述第1音像定位信息及所述第2音像定位信息进行显示;以及
操作部,其接受对所述第1音像定位信息进行指定的利用者的操作,
所述操作部在显示于所述显示器的所述第1空间信息之中接受第3空间信息的指定。
23.根据权利要求22所述的信息处理装置,其中,
所述操作部在所述第2空间信息中接受所述音像的位置的变更,
所述变换部基于所述接受到的变更,求出所述第1音像定位信息,然后,基于所述第3空间信息和所述第2空间信息,将所述第1音像定位信息变换为第2音像定位信息。
CN202110290568.1A 2020-03-24 2021-03-18 信息处理方法及信息处理装置 Active CN113453126B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020052801 2020-03-24
JP2020-052801 2020-03-24

Publications (2)

Publication Number Publication Date
CN113453126A true CN113453126A (zh) 2021-09-28
CN113453126B CN113453126B (zh) 2023-04-28

Family

ID=77809021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110290568.1A Active CN113453126B (zh) 2020-03-24 2021-03-18 信息处理方法及信息处理装置

Country Status (2)

Country Link
JP (1) JP2021153292A (zh)
CN (1) CN113453126B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023141461A (ja) * 2022-03-24 2023-10-05 ヤマハ株式会社 映像処理方法および映像処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419796A (zh) * 2000-12-25 2003-05-21 索尼株式会社 虚拟音像定位处理装置、虚拟音像定位处理方法以及记录介质
CN1901755A (zh) * 2005-07-19 2007-01-24 雅马哈株式会社 音响设计支持设备
JP2015179986A (ja) * 2014-03-19 2015-10-08 ヤマハ株式会社 オーディオ定位設定装置、方法、及び、プログラム
CN106961647A (zh) * 2013-06-10 2017-07-18 株式会社索思未来 音频再生装置以及方法
CN108429998A (zh) * 2018-03-29 2018-08-21 广州视源电子科技股份有限公司 音源定位方法和***、音箱***定位方法和音箱***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1419796A (zh) * 2000-12-25 2003-05-21 索尼株式会社 虚拟音像定位处理装置、虚拟音像定位处理方法以及记录介质
CN1901755A (zh) * 2005-07-19 2007-01-24 雅马哈株式会社 音响设计支持设备
CN106961647A (zh) * 2013-06-10 2017-07-18 株式会社索思未来 音频再生装置以及方法
JP2015179986A (ja) * 2014-03-19 2015-10-08 ヤマハ株式会社 オーディオ定位設定装置、方法、及び、プログラム
CN108429998A (zh) * 2018-03-29 2018-08-21 广州视源电子科技股份有限公司 音源定位方法和***、音箱***定位方法和音箱***

Also Published As

Publication number Publication date
JP2021153292A (ja) 2021-09-30
CN113453126B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
KR101923562B1 (ko) 가변 렌더링 및 래스터화 파라미터 하에서 가변 뷰포트에 대하여 오브젝트를 효율적으로 리렌더링하는 방법
JP5991423B2 (ja) 表示装置、表示方法、表示プログラムおよび位置設定システム
KR101932537B1 (ko) 3차원 전자지도상에 촬영영상을 표시하는 방법 및 장치
JP2016006627A (ja) 画像処理装置と画像処理方法
US20030184602A1 (en) Information processing method and apparatus
JP4926826B2 (ja) 情報処理方法および情報処理装置
CN108344401B (zh) 定位方法、装置及计算机可读存储介质
JP6096634B2 (ja) 仮想現実を用いた3次元地図表示システム
CN114173105B (zh) 信息生成方法、信息生成***以及记录介质
JP5387668B2 (ja) 情報処理端末、情報処理方法、およびプログラム
CN113453126B (zh) 信息处理方法及信息处理装置
US11546719B2 (en) Information processing method, information processing device, and non-transitory storage medium
WO2007129065A1 (en) Virtual display method and apparatus
JP4636741B2 (ja) 画像処理装置および立体形状表示プログラム
US10902554B2 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
KR102662058B1 (ko) 서로 다른 위치에서 획득한 복수의 2차원 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램
EP4149124A1 (en) Information processing method, information processing apparatus and program
CN109302668B (zh) 基于非中心点的声场重建方法、设备、存储介质及装置
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
CN111476873A (zh) 一种基于增强现实的手机虚拟涂鸦方法
JP6849331B2 (ja) デバイス及びコンピュータプログラム
JP3429271B2 (ja) 3次元画像処理方法、その装置、3次元画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲーム装置
KR20170011468A (ko) 증강 현실 스티커
KR20180005430A (ko) 이미지를 통한 증강 현실 구현 시스템
JP3684171B2 (ja) 柄替えシミュレーションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant