CN110268705A - 图像拾取设备和图像拾取*** - Google Patents

图像拾取设备和图像拾取*** Download PDF

Info

Publication number
CN110268705A
CN110268705A CN201880011180.XA CN201880011180A CN110268705A CN 110268705 A CN110268705 A CN 110268705A CN 201880011180 A CN201880011180 A CN 201880011180A CN 110268705 A CN110268705 A CN 110268705A
Authority
CN
China
Prior art keywords
microphone
image
sound
optical system
imaging optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880011180.XA
Other languages
English (en)
Other versions
CN110268705B (zh
Inventor
加贺良太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN110268705A publication Critical patent/CN110268705A/zh
Application granted granted Critical
Publication of CN110268705B publication Critical patent/CN110268705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Stereophonic Arrangements (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

[目的]目的是要提供一种图像拾取设备和一种图像拾取***，利用该图像拾取设备和图像拾取***可以再现具有逼真感的图像。[实现该目的的手段]一种图像拾取设备，包括成像光学***，其包括多个广角镜头；图像拾取装置；以及安装在三角锥的各个顶点处的四个或更多个声音拾取装置。

Description

图像拾取设备和图像拾取***
技术领域
本发明涉及图像拾取设备和图像拾取***。
背景技术
近来，已知一种基于由相机拍摄的图像生成全方向图像或全方向运动图像的技术。
在这方面，特别是在回放全方向运动图像时，可能希望以逼真的感觉再现图像。
例如，日本未审查专利申请公开No.2001-298733(专利文献1)公开了一种这样的技术：在通过镜头将半天球图像或整个天球图像变换成平面图像之后通过相机拍摄半天球图像或整个天球图像；以及通过投影仪将变换后的图像投影到屏幕上。此时，使用至少五个三维布置的麦克风11来收集声音。
然而，专利文献1没有公开麦克风相对于相机的具体布置。因此，专利文献1没有阐明用于再现具有逼真感的图像的简单配置。
发明内容
技术问题
本公开的目的是要提供一种能够以逼真的感觉容易地再现图像的图像拾取设备和图像拾取***。
解决问题的技术方案
根据本公开，一种图像拾取设备包括成像光学***，该成像光学***包括多个广角镜头；图像拾取装置；以及安装在三角锥的各个顶点处的四个或更多个声音拾取装置。
本发明的有益效果
如上所述，根据本公开，可以提供能够以逼真的感觉容易地再现图像的图像拾取设备和图像拾取***。
附图说明
当结合附图阅读以下详细描述时，其他目的、特征和优点将变得更加明显。
图1是示出根据一实施例的全方向相机的内部结构的示意性侧立面图；
图2示出了由全方向相机拍摄的图像的示例；
图3示出了全方向相机的硬件配置；
图4A示出了一个示例中的麦克风的数量和布置；
图4B示出了另一示例中的麦克风的数量和布置；
图4C示出了又一个示例中的麦克风的数量和布置；
图4D示出了再一示例中的麦克风的数量和布置；
图5A示出了全方向相机的示意性透视轮廓图；
图5B示出了全方向相机中的麦克风的布置的示例；
图5C示出了全方向相机中的麦克风的布置的另一示例；
图5D示出了全方向相机中的麦克风的布置的再一示例；
图6A是全方向相机中的图像拾取单元的透视图，其示出了在第一示例中用于获取立体声声音的麦克风的布置；
图6B是全方向相机中的图像拾取单元的正视图，其示出了在第一示例中用于获取立体声声音的麦克风的布置；
图6C是全方向相机中的图像拾取单元的侧视图，其示出了在第一示例中用于获取立体声声音的麦克风的布置；
图7A是全方向相机中的图像拾取单元的透视图，其示出了在第二示例中用于获取立体声声音的麦克风的布置；
图7B是全方向相机中的图像拾取单元的正视图，其示出了在第二示例中用于获取立体声声音的麦克风的布置；
图7C是全方向相机中的图像拾取单元的侧视图，其示出了在第二示例中用于获取立体声声音的麦克风的布置；
图8A示出了用于获取立体声声音的五个麦克风的布置的一个示例；
图8B示出了用于获取立体声声音的五个麦克风的布置的另一示例。
具体实施方式
现在，将描述本发明的实施例。然而，本发明的实施例不限于现在将描述的实施例。
注意到，在现在将描述的各个图中，相同的附图标记被给予共同的元件，并且将适当地省略这些元件的描述。
在以下描述中，术语“声音”所指的内容不限于人产生的声音。术语“声音”可以用于通常指由于诸如音乐、机器声音、操作声音等的空气振动而传播的声音。
图1是示出作为根据本发明的实施例的图像拾取设备的示例的全方向相机100的内部结构的示意性截面侧视图。
图1所示的全方向相机100至少包括图像拾取单元12、壳体14、快门按钮16和麦克风142A-142D。
图像拾取单元12包括至少两个成像光学***20A和20B，以及两个图像拾取装置22A和22B。成像光学***20A和20B包括作为光学元件的前镜头组、棱镜23、后镜头组、滤光器、孔径光阑等。
成像光学***20A和20B的光学元件分别分为前光学元件组25A和25B，以及后光学元件组26A和26B。
穿过前光学元件组25A的光被棱镜23弯曲；穿过后光学元件组26A；然后入射到图像拾取装置22A上并在图像拾取装置22A上形成图像。
以相同的方式，穿过前光学元件组25B的光被棱镜23弯曲；穿过后光学元件组26B；然后入射在图像拾取装置22B上并在图像拾取装置22B上形成图像。
例如，包括在上述光学元件中的广角镜头或鱼眼镜头具有大于180度的全视角(＝360(度)/n，其中光学系数n＝2)。更合适地，广角镜头或鱼眼镜头可具有大于或等于185度的视角。更合适地，广角镜头或鱼眼镜头可具有大于或等于190度的视角。
图像拾取装置22A和22B将由成像光学***20A和20B收集的光转换为图像信号。图像拾取装置22A和22B包括例如CCD(电荷耦合装置)传感器、CMOS(互补金属氧化物半导体)传感器等。
一个广角成像光学***和图像拾取装置的组合称为广角图像拾取光学***。
成像光学***20A和20B的光学元件相对于图像拾取装置22A和22B的位置关系被适当地确定。
更具体地，以这样的方式进行定位，使得成像光学***20A和20B的光学元件的光轴垂直于并分别穿过图像拾取装置22A和22B的光接收区域的中心部分；并且鱼眼镜头的成像平面分别与图像拾取装置22A和22B的光接收区域一致。
成像光学***20A和20B符合相同的规格，并且以相反的方向组合，使得各个光轴一致。
图像拾取装置22A和22B将从成像光学***20A和20B接收的光的分布转换为图像信号，并且将图像帧顺序输出到包括在控制器中的图像处理单元。
由成像光学***20A和20B拍摄的成像在图像拾取装置22A和22B的各个光接收区域上。由于合成由成像光学***20A和20B拍摄的各个图像的图像拾取装置22A和22B，因此生成全方向图像。例如，由于合成图2所示的半天球面图像，因此生成全方向图像。
全方向图像是具有4π球面度的立体角的图像，用于完全三维地围绕全方向相机100的范围。在这方面，基于全方向图像的连续帧生成全方向运动图像。
如图1所示，壳体14保持诸如图像拾取单元12、控制器和电池的部件。
壳体14具有开口15A和15B，用于暴露成像光学***20A和20B的镜头。成像光学***20A和20B的镜头通过开口15A和15B从壳体14突出。
壳体14具有快门按钮16。快门按钮16用于向全方向相机100输入指令以开始拍摄。
麦克风142A-142D获取全方向相机100周围的声音并输出声音信号。
麦克风142A-142D可以是定向麦克风，或者可以是非定向麦克风。在使用定向麦克风作为麦克风142A-142D的情况下，可以获得特定方向上的声音。在使用非定向麦克风作为麦克风142A-142D的情况下，可以容易地执行麦克风的校准。麦克风142A-142D可以包括组合的定向麦克风和非定向麦克风。在麦克风142A-142D中的至少一个是非定向麦克风的情况下，可以容易地执行校准，可以降低成本，并且可以减少个体差异。
接下来，将描述全方向相机100的硬件配置。
图3示出了根据该实施例的全方向相机100的硬件配置的示例。
全方向相机100包括CPU(中央处理单元)112、ROM(只读存储器)114、运动图像压缩块116、图像处理块120、声音信号处理块122和DRAM(动态随机访问存储器)接口124。
CPU 112控制部件的操作和全方向相机100的整体。
ROM 114存储以CPU 112可解释的代码描述的控制程序和各种参数。
运动图像压缩块116是压缩和解压缩符合MPEG-4AVC/H.264等的运动图像的编码块。
图像处理块120连接到也在图1中示出的两个图像拾取装置22A和22B。由各个图像拾取装置22A和22B拍摄的图像的图像信号被输入到图像处理块120。
图像处理块120包括ISP(图像信号处理器)等，并对从图像拾取装置22A和22B输入的图像信号执行阴影校正、拜耳插值、白平衡校正、伽马校正等。
声音信号处理块122对由声音拾取装置(即，麦克风142A-142D)获取的声音信号执行各种处理。
声音信号处理块122连接到壳体14内的至少四个麦克风142A-142D。由麦克风142A-142D获取的各个声音信号被输入到声音信号处理块122。
声音信号处理块122包括前置放大器、ADC(模数转换器)、各种滤波器、压缩器等，并对从麦克风142A-142D输入的声音信号执行各种处理，例如信号放大、AD转换、频率分离等。
声音信号处理块122能够输出用于实现由麦克风142A-142D获取的作为立体声的声音的回放的数据。作为立体声声音的回放意味着回放由四个或更多个麦克风获取的声音，作为反映由多个扬声器实现的声源的三维方向的声音，使得可以向观看者提供逼真的感觉。
DRAM 144连接到DRAM(动态随机存取存储器)接口124。DRAM 144提供临时存储将在其上执行各种信号处理和图像处理的数据的存储区域。
全方向相机100还可以包括外部存储接口126、外部传感器接口128、USB(通用串行总线)接口130和串行块132。
外部存储器146连接到外部存储接口126。外部存储接口126控制来自于外部存储器146的读取数据和向外部存储器146写入数据，所述外部存储器为例如***存储卡槽的存储卡。
加速度传感器148连接到外部传感器接口128。加速度传感器148检测三轴加速度分量。检测到的加速度分量用于检测竖直方向以执行全方向图像的天顶校正。
USB连接器150连接到USB接口130。USB接口130控制利用诸如经由USB连接器150连接的个人计算机的外部设备实现的USB通信。
串行块132控制用诸如个人计算机的外部设备实现的串行通信。NIC(网络接口卡)152连接到串行块132。
在由于操作电源开关而在全方向相机100中接通电源之后，由ROM 114存储的控制程序被加载到主存储器上。
CPU 112根据加载在主存储器上的控制程序控制全方向相机100的组件的操作，并临时存储要用于控制所述组件的数据。
此后，响应于按下快门按钮16，CPU 112控制图像拾取装置22A和22B以及麦克风142A-142D以获取图像和声音。
由于执行调整图像和声音之间的回放定时的处理的各种硬件组件，因此产生能够回放立体声声音的全方向运动图像。
全方向运动图像经由视频输出接口118输出到回放机器。注意到，全方向运动图像可以输出到经由USB连接器150或无线电NIC 152连接的外部设备。
因此，已经描述了包括至少四个麦克风142A-142D的根据本发明实施例的全方向相机100的配置。
注意到，相同或类似的功能可以由图像拾取***实现，其中诸如图像拾取单元12、麦克风142A-142D等的各个组件被单独安装。
接下来，将描述取决于获取声音的麦克风的数量的声音类型。
图4A-4D示出了麦克风的各种数量和布置。图4A-4D所示的点表示麦克风或麦克风的位置。图4A-4D示出了麦克风的数量是一个、两个、三个和四个的相应情况。
首先，将描述图4A的情况。单个麦克风可以从所有周围方向或从特定方向获取声音。在此情况下，不可能回放反映声源方向的声音，并且可以进行单声道回放。
接下来，将描述图4B的情况。两个麦克风可以获得反映一维差异的声音。因此，可以将声音回放为可以标识声源方向的声音。也就是说，通过使用两个相应的扬声器来回放由两个麦克风获取的声音使得能够将声音再现为指示声源方向的立体声。
接下来，将描述图4C的情况。除非三个麦克风安装在一条直线上，否则三个麦克风可以限定一平面。例如，如图4C所示，三个麦克风可以限定x-y平面，其中三个麦克风安装在三角形的各个顶点处。该布置中的三个麦克风可以获得反映二维差异的声音。因此，可以将声音回放为可以标识声源在x-y平面上的方向的声音。例如，通过使用两个扬声器来回放由麦克风获取的声音使得能够合成考虑音量并指示声源在平面上的方向的声音。
最后，将描述图4D的情况。在麦克风安装在x-y-z空间中的情况下，四个麦克风可以限定一空间。例如，如图4D所示，四个麦克风没有安装在单个平面上，并且安装在三角锥的各个顶点处。该布置中的麦克风可以获得反映三维差异的声音。因此，可以将声音回放为可以标识空间中声源的方向的声音。因此，可以将声音回放为立体声。例如，使用诸如头戴式显示器之类的设备回放运动图像使得能够根据用户视线的方向回放声音。
根据该实施例的全方向相机100可以包括五个或更多个麦克风，用于以逼真感来再现图像。此外，在麦克风的数量是五个或更多的情况下，类似于麦克风的数量是四的情况，可以提供逼真的感觉。
接下来，将参照图5A-7C描述根据图4D所示的布置的麦克风142A-142D的实际布置。
图5A-5C示出了根据该实施例的全方向相机100中的麦克风142A-142D的布置的示例。
图5A示出了在图5A中示意性地示出的全方向相机100的x，y和z轴的定义。
x轴平行于全方向相机100的成像光学***20A和20B的前光学元件组25A和25B的光轴。
z轴平行于全方向相机100的成像光学***20A和20B的后光学元件组26A和26B的光轴。
y轴垂直于x轴和z轴中的每个。
图5B示出了四个麦克风142A-142D安装在位置a，b，c和d的示例。例如，这些位置a，b，c和d的相应x，y，z坐标可以表示如下：
位置a的坐标＝(α，0，0)
位置b的坐标＝(-α，0，0)
位置c的坐标＝(0，α，β)
位置d的坐标＝(0，-α，β)
其中α和β表示每个都大于0的实数。
位置a和b位于x轴上。位置c和d在y-z平面上与y轴平行的直线上。因此，所有位置a，b，c和d不在单个平面上，并形成三角锥，其中位置a，b，c和d位于相应的顶点处。
也就是说，通过将麦克风142A-142D分别安装在图5B所示的位置a，b，c和d，可以限定一空间。由此，可以获取并执行反映三维差异的回放立体声。
在图5C的示例中，4个麦克风142A-142D分别安装在位置e，f，g和h处。例如，这些位置的x，y，z坐标可表示如下：
位置e的坐标＝(0，0，α)
位置f的坐标＝(-β，-γ，0)
位置g的坐标＝(α'，0，0)
位置h的坐标＝(-β'，γ'，0)
其中α，β，γ，α'，β'和γ'表示每个都大于0的实数。
位置e在z轴上。三个位置f，g和h在x-y平面上，并且所有位置f，g和h不在单个直线上。因此，位置e，f，g和h也形成三角锥，其中位置e，f，g和h位于相应的顶点处。
也就是说，通过将麦克风142A-142D分别安装在图5C所示的位置e，f，g和h，可以限定一空间。由此，可以获取并执行反映三维差异的回放立体声。
在图5D的示例中，4个麦克风142A-142D分别安装在位置i，j，k和m处。例如，这些位置的x，y，z坐标可表示如下：
位置i的坐标＝(α，0，β“)
位置j的坐标＝(-α，0，β“)
位置k的坐标＝(0，α，β')
位置m的坐标＝(0，-α，β')
其中α，β'和β“表示每个都大于0的实数。
位置i和j位于与x-z平面上的x轴平行的直线上。位置k和m在y-z平面上与y轴平行的直线上。因此，位置i，j，k和m也不在单个平面上，并且形成三角锥，其中位置i，j，k和m位于相应的顶点处。
也就是说，通过将麦克风142A-142D分别安装在如图5D所示的位置i，j，k和m处，可以限定一空间。由此，可以获取并执行反映三维差异的回放立体声。
在这方面，麦克风142A-142D之间的距离不受特别限制。接下来，将描述由各种组合的麦克风142A-142D之间的距离引起的影响。
例如，在麦克风之间的距离非常小的情况下，在各个麦克风获取的低频声音信号之间不太可能出现差异。因此，当合成立体声时，可能产生低频噪声。
在麦克风之间的距离非常大的情况下，由于相位旋转，在高频侧的各个声音信号之间可能没有相位差。结果，可能不能令人满意地形成立体声的方向性。
另外，考虑到特性的个体差异，可以使得所有组合中的麦克风142A-142D之间的相应距离彼此相等，以实现麦克风142A-142D的布置。因此，麦克风142A-142D的理想布置使得形成具有各个顶点的正四面体，在各个顶点处安装有4个麦克风142A-142D。
接下来，将描述包括在全方向相机100中的图像拾取单元12和麦克风142A-142D的布置的示例。
作为第一示例，现在将参考图6A-6C描述将麦克风142A-142D布置在图5B中所示的位置a，b，c和d的情况。
图6A-6C分别是图像拾取单元12和麦克风142A-142D的布置的透视图、正视图和侧视图。
在第一示例中，如图6A-6C所示，四个麦克风142A-142D安装在包括在图像拾取单元12中的成像光学***20A和20B上方和下方的基板上。
在这方面，麦克风142A-142D的实际安装方式不限于使用基板的安装方式。作为另一种安装方式，麦克风142A-142D可以固定到壳体14。作为又一种安装方式，麦克风142A-142D的缆线可以连接到壳体14。
更详细地，两个麦克风142A和142B分别安装在图5A所示的全方向相机100的x轴上的成像光学***20A和20B下方，分别在图5B中所示的位置a和b处。
麦克风142A和142B安装在与成像光学***20A和20B的前光学元件组25A和25B的光轴平行的直线(可以与x轴重合)上。
在成像光学***20A和20B上方，两个麦克风142C和142D安装在与图5A所示的全方向相机100的y轴平行的直线上，分别在图5B所示的位置c和d处。
其上安装有麦克风142C和142D的上述直线垂直于前光学元件组25A和25B的光轴并垂直于后光学元件组26A和26B的光轴。
因此，所有四个麦克风142A-142D都不在单个平面上。形成具有各个顶点的三角锥，在该各个顶点处安装有麦克风142A-142D。
注意到，麦克风142A和142C之间的距离、麦克风142A和142D之间的距离、麦克风142B和142C之间的距离以及麦克风142B和142D之间的距离可以彼此相等。此外，麦克风142A和142B之间的距离可以等于麦克风142C和142D之间的距离。
如图6A-6C所示，麦克风142A和142B可以沿着各自的直线安装，每条直线平行于图5A所示的全方向相机100的z轴。在这方面，z轴可以与成像光学***20A和20B的后光学元件组26A和26B的相应光轴一致。
麦克风142C和142D可以以这样的方式安装，使得麦克风142C和142D沿着上述其上安装有麦克风142C和142D的直线与z轴的相应距离彼此相等。
另外，麦克风142C和142D可以沿着各自的直线安装，每条直线平行于图5A所示的全方向相机100的x轴。在这方面，x轴可以平行于成像光学***20A和20B的前光学元件组25A和25B的相应光轴。
如图6C所示，麦克风142A-142D可以分别安装在各个平面A-A'和B-B'之间，所述各个平面包括形成为暴露成像光学***20A和20B的镜头的壳体14的开口15A和15B的平面。
麦克风142A-142D可以安装在基板的侧面上，基板的侧面安装成比成像光学***20A和20B的部分更靠内侧；该部分从壳体14突出。另外，麦克风142A-142D可以安装成比成像光学***20A和20B的部分更靠内侧；该部分从壳体14突出。如果麦克风142A-142D安装成比成像光学***20A和20B的部分更靠外侧，该部分从壳体14突出，则麦克风142A-142D可能出现在由包括成像光学***20A和20B的图像拾取单元12拍摄的图像中。
作为第二示例，现在将参考图7A-7C描述其中麦克风142A-142D安装在图5D中所示的点e，f，g和h处的配置。图7A-7C是根据第二示例的图像拾取单元12和麦克风142A-142D的布置的透视图、正视图和侧视图。
根据第二示例，如图7A-7C所示，四个麦克风142A-142D安装在图像拾取单元12的成像光学***20A和20B上方。更详细地，两个麦克风142A和142B安装在平行于图5A所示的全方向相机100的x轴的直线上，分别在图5D所示的上述位置i和j处。
其他两个麦克风142C和142D也安装在图像拾取单元12的成像光学***20A和20B的上方。更详细地，两个麦克风142C和142D安装在与图5A所示的全方向相机100的y轴平行的直线上，位于成像光学***20A和20B上方，分别在图5D所示的上述位置k和m处。
因此，所有四个麦克风142A-142D都不安装在单个平面上。形成具有各个顶点的三角锥，在各个顶点处安装有麦克风142A-142D。
另外，根据第二示例，麦克风142A-142D安置成使得所有组合的麦克风142A-142D之间的各个距离彼此相等。因此，形成具有各个顶点的正四面体，在各个顶点处安装有麦克风142A-142D。
以与上面参考图6A-6C描述的第一示例相同的方式，根据第二示例的麦克风142A-142D也可以安装成比成像光学***20A和20B的部分更靠内侧；该部分从壳体14突出。如果麦克风142A-142D安装成比成像光学***20A和20B的部分更靠外侧，该部分从壳体14突出，则麦克风142A-142D可能出现在由包括成像光学***20A和20B的图像拾取单元12拍摄的图像中。
现在将描述麦克风的数量是五个或更多的情况。
图8A和8B示出了在全方向相机100中安装五个麦克风的示例。
图8A示出了具有安装五个麦克风的五个顶点的五面体是四角锥的示例。
图8B示出了具有安装五个麦克风的五个顶点的六面体是双三角锥的示例。
注意到，对于麦克风的数量大于五的情况，可以以类似的方式确定麦克风的布置。
在图8A的示例中，麦克风分别安装在x-y平面上的位置a，b，c和d处以及z轴上的位置e处。因此，安装在位置a-d处的麦克风安装在单个平面上。
在图8B的示例中，麦克风分别安装在x-y平面上的位置a，b和c处以及z轴上的位置d和e处。在图8B所示的布置中，从任意组合的五个麦克风中选择的四个麦克风没有安装在单个平面上。
注意到，关于图5B-5D，8A和8B所示的麦克风的布置的各个示例，全方向相机100与x，y和z轴之间的位置关系不限于全方向相机100与上述参考图5A的x，y和z轴之间的位置关系。也就是说，图5B-5D，8A和8B中所示的x-y-z坐标系的原点可以相对于全方向相机100自由地移动到任何位置。例如，图5B，5C，8A和8B所示的布置中的每个x-y-z坐标***都可以移位到成像光学***20A和20B上方的位置，使得所有麦克风可以安装在成像光学***20A和20B上方，如图7A-7C所示的示例中那样。
对于安装在全方向相机100中的麦克风的数量是四的情况，所有组合中的麦克风之间的相应距离可以彼此相等，并且可以形成具有安装麦克风的各个顶点的正四面体。由此，可以简化对从四个麦克风获取的声音执行的处理。
在本发明的实施例中，麦克风可以安装在虚拟球体的表面上，使得可以进一步减小来自各个麦克风的特性的个体差异的影响。更详细地，通过以这样的方式将麦克风安装在全方向相机100中，使得具有安装麦克风的各个顶点的多面体具有外接球体，如图8A和8B所示，可以进一步减小由个体差异引起的影响。
注意到，对于安装在全方向相机100中的麦克风的数量是四的情况，具有安装麦克风的各个顶点的多面体是对于所有组合中的麦克风之间的相应距离彼此相等的情况的正四面体。因此，在此情况下，具有安装麦克风的各个顶点的多面体必须是具有外接球体的多面体。
对于安装在全方向相机100中的麦克风的数量是五个或更多的情况，通过以这样的方式安装麦克风使得具有安装麦克风的各个顶点的多面体可以具有外接球体并且多面体的各个侧面的长度可以彼此相等，可以有效地减小来自个体差异的影响。
根据上述实施例，可以提供一种图像拾取设备和图像拾取***，利用该图像拾取设备和图像拾取***可以再现具有真实感的图像。
因此，已经在实施例中描述了图像拾取设备和图像拾取***。然而，本发明不限于这些实施例，并且在不脱离本发明的范围的情况下可以进行各种修改和改进。
本申请基于2017年3月16日提交的日本专利申请No.2017-050712，其全部内容通过引用结合于此。
附图标记列表
12 图像拾取单元
14 壳体
16 快门按钮
20A，20B 成像光学***
22A，22B 图像拾取装置
100 全方向相机
112 CPU
114 ROM
116 运动图像压缩块
118 视频输出接口
120 图像处理块
122 声音信号处理块
124 DRAM接口
126 外部存储接口
128 外部传感器接口
130 USB接口
132 串行块
142A-142D 麦克风
144 DRAM
146 外部存储器
148 加速度传感器
150 USB连接器
152 无线网络接口卡
引用文献列表
专利文献
专利文献1日本未审查专利申请公开No.2001-298733

Claims (5)

1.一种图像拾取设备，包括：
成像光学***，包括多个广角镜头；
图像拾取装置；和
安装在三角锥的各个顶点处的四个或更多个声音拾取装置。
2.根据权利要求1所述的图像拾取设备，其中，
所有组合中的声音拾取装置之间的相应距离彼此相等。
3.根据权利要求1所述的图像拾取设备，其中，
至少两个声音拾取装置安装在成像光学***上方，并且至少两个声音拾取装置安装在成像光学***下方。
4.根据权利要求1所述的图像拾取设备，其中，
成像光学***的广角镜头从图像拾取设备的壳体的开口突出。
5.一种图像拾取***，包括：
成像光学***，包括多个广角镜头；
图像拾取装置；和
安装在三角锥的各个顶点处的四个或更多个声音拾取装置。
CN201880011180.XA 2017-03-16 2018-03-08 图像拾取设备和图像拾取*** Active CN110268705B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017050712A JP6878974B2 (ja) 2017-03-16 2017-03-16 撮像装置、撮像システム
JP2017-050712 2017-03-16
PCT/JP2018/009037 WO2018168652A1 (en) 2017-03-16 2018-03-08 Image pickup apparatus and image pickup system

Publications (2)

Publication Number Publication Date
CN110268705A true CN110268705A (zh) 2019-09-20
CN110268705B CN110268705B (zh) 2021-09-21

Family

ID=61764069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011180.XA Active CN110268705B (zh) 2017-03-16 2018-03-08 图像拾取设备和图像拾取***

Country Status (5)

Country Link
US (1) US11228708B2 (zh)
EP (1) EP3596916B1 (zh)
JP (3) JP6878974B2 (zh)
CN (1) CN110268705B (zh)
WO (1) WO2018168652A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10966017B2 (en) 2019-01-04 2021-03-30 Gopro, Inc. Microphone pattern based on selected image of dual lens image capture device
EP3840399A1 (en) * 2019-12-20 2021-06-23 GN Audio A/S Loudspeaker and soundbar

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3512155A1 (de) * 1985-04-03 1985-10-31 Gerhard 4330 Mülheim Woywod Elektroakustische anordnung fuer richtungsorientiertes, raeumliches hoeren
CN1437068A (zh) * 2002-02-09 2003-08-20 三星电子株式会社 可与多个声音获取单元组合的便携式摄像机
JP2006222618A (ja) * 2005-02-09 2006-08-24 Casio Comput Co Ltd カメラ装置、カメラ制御プログラム及び記録音声制御方法
US20110012003A1 (en) * 2005-04-19 2011-01-20 Geo Systems, Inc. Apparatus and methods for providing a retractible mast
CN102160398A (zh) * 2008-07-31 2011-08-17 诺基亚公司 电子设备定向音频视频采集
WO2014177855A1 (en) * 2013-04-29 2014-11-06 University Of Surrey Microphone array for acoustic source separation
EP3067855A1 (en) * 2015-03-10 2016-09-14 Ricoh Company, Ltd. Image processing system and image processing method

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06101875B2 (ja) 1990-06-19 1994-12-12 ヤマハ株式会社 音響空間再生方法及び音響記録装置並びに音響記録体
JP2001298733A (ja) 2000-04-12 2001-10-26 Iwao Yuasa パノラマ再現装置
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US8199954B2 (en) * 2007-12-12 2012-06-12 Canon Kabushiki Kaisha Image capturing apparatus
JP4753978B2 (ja) 2008-07-08 2011-08-24 株式会社ズーム ステレオ収録用マイクロホンユニット
US10904658B2 (en) * 2008-07-31 2021-01-26 Nokia Technologies Oy Electronic device directional audio-video capture
US8401178B2 (en) * 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
JP5365470B2 (ja) 2008-11-26 2013-12-11 株式会社リコー カメラボディ、撮像ユニット、撮像システム、その撮像ユニットのカメラボディに対する着脱方法、その撮像ユニットのカメラボディに対する装着方法、その撮像ユニットのカメラボディに対する抜き取り方法
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
WO2010095759A1 (en) 2009-02-19 2010-08-26 Ricoh Company, Ltd. Camera body, imaging unit mounted/removed on/from the camera body and imaging apparatus
JP5201093B2 (ja) * 2009-06-26 2013-06-05 株式会社ニコン 撮像装置
JP5445038B2 (ja) 2009-09-14 2014-03-19 株式会社リコー カメラボディ及びこのカメラボディに着脱される撮像ユニット及び撮像装置
JP5413133B2 (ja) 2009-11-05 2014-02-12 株式会社リコー カメラボディ及びこのカメラボディに着脱される撮像ユニット及び撮像装置
JP5454089B2 (ja) 2009-11-09 2014-03-26 株式会社リコー カメラボディおよび撮像装置
JP5948825B2 (ja) 2011-12-01 2016-07-06 株式会社リコー 開閉蓋装置、電子機器
JP5892797B2 (ja) * 2012-01-20 2016-03-23 日本放送協会 送受信システム及び送受信方法、受信装置及び受信方法
JP5910485B2 (ja) 2012-03-16 2016-04-27 株式会社リコー 撮像システム
JP2016114953A (ja) 2012-03-16 2016-06-23 株式会社リコー 撮像システム
JP5935432B2 (ja) 2012-03-22 2016-06-15 株式会社リコー 画像処理装置、画像処理方法及び撮像装置
EP2832111B1 (en) * 2012-03-26 2018-05-23 University of Surrey Acoustic source separation
JP6471418B2 (ja) * 2014-06-25 2019-02-20 株式会社リコー 画像・音声配信システム、画像・音声配信装置および画像・音声配信プログラム
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
JP2016046699A (ja) 2014-08-25 2016-04-04 株式会社 ゼネテック 画像音声入出力システム
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
JP6586819B2 (ja) * 2015-08-21 2019-10-09 株式会社リコー 画像管理システム、画像通信システム、画像管理方法、及びプログラム
US10206040B2 (en) * 2015-10-30 2019-02-12 Essential Products, Inc. Microphone array for generating virtual sound field
EP3190780A1 (en) * 2016-01-05 2017-07-12 Giroptic Two-lens spherical camera
WO2017119555A1 (en) * 2016-01-08 2017-07-13 Lg Electronics Inc. Portable camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3512155A1 (de) * 1985-04-03 1985-10-31 Gerhard 4330 Mülheim Woywod Elektroakustische anordnung fuer richtungsorientiertes, raeumliches hoeren
CN1437068A (zh) * 2002-02-09 2003-08-20 三星电子株式会社 可与多个声音获取单元组合的便携式摄像机
JP2006222618A (ja) * 2005-02-09 2006-08-24 Casio Comput Co Ltd カメラ装置、カメラ制御プログラム及び記録音声制御方法
US20110012003A1 (en) * 2005-04-19 2011-01-20 Geo Systems, Inc. Apparatus and methods for providing a retractible mast
CN102160398A (zh) * 2008-07-31 2011-08-17 诺基亚公司 电子设备定向音频视频采集
WO2014177855A1 (en) * 2013-04-29 2014-11-06 University Of Surrey Microphone array for acoustic source separation
EP3067855A1 (en) * 2015-03-10 2016-09-14 Ricoh Company, Ltd. Image processing system and image processing method

Also Published As

Publication number Publication date
JP6878974B2 (ja) 2021-06-02
EP3596916A1 (en) 2020-01-22
CN110268705B (zh) 2021-09-21
US20190342495A1 (en) 2019-11-07
JP7196949B2 (ja) 2022-12-27
EP3596916B1 (en) 2023-07-26
JP2023026477A (ja) 2023-02-24
US11228708B2 (en) 2022-01-18
JP2018155820A (ja) 2018-10-04
JP2021121121A (ja) 2021-08-19
WO2018168652A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP7408678B2 (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
CN105164727B (zh) 头戴式装置和***
CN110099198A (zh) 相机模块
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
JP2023026477A (ja) 撮像装置、撮像システム
KR20180091122A (ko) 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템
WO2002069623A1 (fr) Dispositif d'entree d'images
JP7205386B2 (ja) 撮像装置、画像処理方法、プログラム
CN111970625A (zh) 录音方法和装置、终端和存储介质
CN109672827A (zh) 用于组合多个图像的电子装置及其方法
CN109218606A (zh) 摄像控制设备、其控制方法及计算机可读介质
JP2021168513A (ja) 音声取得装置
US8965004B2 (en) Method for acquiring audio signals, and audio acquisition system thereof
KR20200087816A (ko) 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기록 매체
CN111970626A (zh) 录音方法和装置、录音***和存储介质
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR102418852B1 (ko) 이미지 표시를 제어하는 전자 장치 및 방법
CN108696698B (zh) 摄像装置、电子设备及获取图像方法
JP2021117924A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
JP2020174363A (ja) 撮影システム、方法およびプログラム
RU2782312C1 (ru) Способ обработки изображения и устройство отображения, устанавливаемое на голове
KR20190065736A (ko) 3d 이미지를 생성하기 위한 전자 장치 및 방법
KR102490789B1 (ko) 움직임 변화량에 기반하여 영상 제공 방식을 변경하는 전자 장치 및 방법
JP6888810B2 (ja) 全天球カメラ及び音声処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant