CN109064397A - 一种基于摄像耳机的图像拼接方法及*** - Google Patents

一种基于摄像耳机的图像拼接方法及*** Download PDF

Info

Publication number
CN109064397A
CN109064397A CN201810726198.XA CN201810726198A CN109064397A CN 109064397 A CN109064397 A CN 109064397A CN 201810726198 A CN201810726198 A CN 201810726198A CN 109064397 A CN109064397 A CN 109064397A
Authority
CN
China
Prior art keywords
image
earphone
spliced
camera shooting
effective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810726198.XA
Other languages
English (en)
Other versions
CN109064397B (zh
Inventor
李文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xi Mai Creative Technology Ltd
Original Assignee
Guangzhou Xi Mai Creative Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xi Mai Creative Technology Ltd filed Critical Guangzhou Xi Mai Creative Technology Ltd
Priority to CN201810726198.XA priority Critical patent/CN109064397B/zh
Priority to EP18204776.1A priority patent/EP3591607A1/en
Priority to US16/188,334 priority patent/US20200013144A1/en
Publication of CN109064397A publication Critical patent/CN109064397A/zh
Application granted granted Critical
Publication of CN109064397B publication Critical patent/CN109064397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于摄像耳机的图像拼接方法及***，包括：获取至少两个不同角度的摄像耳机拍摄的图像；剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，获取有效的两个待拼接的图像；提取有效的两个待拼接的图像中的特征点并对进行配准；根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；在初拼接的全景图找寻拼接缝并生成掩码图像；将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。通过剔除两个不同角度的摄像耳机拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。

Description

一种基于摄像耳机的图像拼接方法及***
技术领域
本发明涉及一种图像处理领域，特别指针对摄像耳机拍摄的图像进行拼接的方法及***。
背景技术
随着信息技术的发展，虚拟现实(Virtual Reality，以下简称VR)技术作为一种可以创建和体验虚拟世界的计算机仿真***，迅速遍布了包括视频，游戏，图片，购物等各个领域。全景图像和全景视频作为VR内容的重要一部分，通过它们对应的生成工具如全景相机进行拼接以获取大视场图片，可以让观看者更加身临其境的感受拍摄这张图片或者视频时的各个视角。但是，目前市面上存在的全景相机产品体积相对较大，不便于携带，或者拍摄全景照片时需要刻意地手持用一个设备来进行拍摄，不够方便。
而方便携带或者体积较小的例如具有摄像功能的眼镜或者蓝牙耳机等却都是只有一个摄像头，而且因为一个摄像头必定其视场角不会太大，没法提供足够角度的内容让观看者有身临其境的感受，并且很少有人会在日常生活愿意戴一个眼镜上有一个摄像头的电子产品去进行拍摄，周围人也会觉得奇怪。
耳机作为目前大多数年轻人必不可少的电子消费品，首先在佩戴上不会给周围人很突兀的感受，而摄像耳机是在原有耳机本身能够佩戴听歌的前提下在左右听筒再各自置入一个摄像头进行拍摄，这样只要左右摄像头的视场角够大，就能够作为以第一视角采集当前佩戴者所处环境的最佳设备，而且也能够帮助佩戴者记录下自己的一些日常生活的美妙瞬间。
不过基于这种摄像耳机的拼接方法目前还处于空白，并且也有相应的挑战难度，由于佩戴摄像耳机进行摄影时，耳朵置于人头的中后方，必然会出现头部遮挡部分光线进入镜头，而用这种成像中有遮挡的照片进行拼接很容易出现拼接失败或者拼接效果非常差的情况。
发明内容
基于此，本发明的目的在于，提供一种基于摄像耳机的图像拼接方法，其具有可剔除左右摄像耳机拍摄的左右图像中遮挡的区域，可拼接形成无缝的全景图像，获取超过人眼所看角度范围的全景图像视觉，且拼接效率高的优点。
一种基于摄像耳机的图像拼接方法，包括如下步骤：
获取至少两个不同角度的摄像耳机拍摄的图像；
剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；
提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；
根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；
在初拼接的全景图找寻拼接缝并生成掩码图像；
将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。
相比于现有技术，本发明通过剔除两个不同角度的摄像耳机拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。
进一步地，所述两个不同角度的摄像耳机为设置在佩戴者左耳的一侧的左摄像耳机，以及设置在佩戴者右耳的一侧的右摄像耳机；所述两个不同角度的摄像耳机拍摄的图像为左摄像耳机拍摄的左图像，以及右摄像耳机拍摄的右图像。
进一步地，所述剔除左右图像中被人脸遮挡的区域，包括如下步骤：
所述剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像，包括如下步骤：
将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；
分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；
从右到左依序统计灰度化的左图像每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；
从左到右依序统计灰度化的右图像每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
进一步地，在剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域后，再分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为所述有效的两个待拼接的图像，以提高拼接效率。
进一步地，通过SURF算法、ORB算法或者SIFT算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
进一步地，在对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准之后，还通过RANSAC算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点，以提高配准精度。
进一步地，所述根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图，包括如下步骤：
通过求解透视投影矩阵，并将待拼接的左图像通过透视投影投射到待拼接的右图像，以统一有效的两个待拼接的图像的坐标系；或者，
通过求解透视投影矩阵，并将待拼接的右图像通过透视投影投射到待拼接的左图像，以统一有效的两个待拼接的图像的坐标系。
进一步地，通过最大流算法在初拼接的全景图中进行拼接缝查找再生成掩码图。
进一步地，通过渐进渐出融合方法或者多频段融合方法将掩码图和初拼接的全景图进行融合。
进一步地，在获取两个不同角度的摄像耳机拍摄的图像后，还获取两个摄像耳机中的定位装置传送的定位信息，并根据定位信息计算出两个摄像耳机的相对位置，并根据两个摄像耳机相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将摄像耳机拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域。以两个摄像耳机的相对位置为依据，在与数据库中存储的两个摄像耳机的相对位置相同时，无需重新确定拼接参数，直接调用拼接所需要的参数进行拼接，提高了拼接效率。
进一步地，所述根据两个摄像耳机相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个摄像耳机相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个摄像耳机的相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。
进一步地，所述拼接模板数据包括两个摄像耳机的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
进一步地，在所述生成掩码图之后，还将两个摄像耳机的相对位置、剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、以及掩码图像绑定为拼接模板数据，保存至数据库中，进而在遇到两个摄像耳机的相对位置相同时，直接调取该拼接模板数据进行有缝拼接，从而提高拼接效率。
本发明还提供一种基于摄像耳机的图像拼接***，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述的基于摄像耳机的图像拼接方法的步骤。
本发明还提供一种计算机可读储存介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述所述的基于摄像耳机的图像拼接方法的步骤。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1摄像耳机的设置位置结构图；
图2为本发明摄像耳机的拍摄区域；
图3为本发明实施例中基于摄像耳机的图像拼接方法的流程图；
图4为本发明人体佩戴摄像耳机的位置坐标图；
图5为本发明剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域时的流程图；
图6为左摄像耳机和右摄像耳机拍摄的重叠区域的示意图；
图7为左图像和右图像的示意图。
具体实施方式
请同时参阅图1和图2，图1摄像耳机的设置位置结构图；图2为本发明摄像耳机的拍摄区域。本发明提供的一种基于摄像耳机的图像拼接方法，其对应的摄像耳机的形态如下：所述摄像耳机包括左听筒主体1和右听筒主体2；所述左听筒主体1上背对佩戴者左耳的一侧设有左摄像头11，所述右听筒主体2上背对佩戴者右耳的一侧设有右摄像头21；所述左摄像头11与所述右摄像头21为视场角至少为180度的超广角摄像头，并且所述左摄像头11与所述右摄像头21的光轴方向与佩戴者的人眼光轴垂直。此外，所述左摄像头11和右摄像头21的超广角镜头为鱼眼镜头，鱼眼镜头采用的透镜为鱼眼透镜。若定义人眼正视的方向为光轴Y’，左摄像头与右摄像头连线为轴X’，则左摄像头11与右摄像头21的连线与人眼光轴垂直，即左摄像头11与右摄像头21的安装方向与用户的眼睛垂直，也即左摄像头11的光轴、右摄像头21的光轴与人眼光轴垂直(包括大致垂直)。优选地，左摄像头11与右摄像21连线与用户左耳孔和右耳孔形成的连线平行或重合。通过左鱼眼透镜可拍摄佩戴者左侧A区域至少180度视场角的范围的静态或动态图像，通过右鱼眼透镜可拍摄佩戴者右侧B区域至少180度视场角的范围的静态或动态图像。左摄像头与右摄像头拍摄的图像数据经过拼接后，就可以获得360度全景图像。
所述左听筒主体和右听筒主体内还分别嵌设有左陀螺仪芯片和右左陀螺仪芯片。针对上述摄像耳机的形态，本发明的目的是为了拼接上述左摄像头和右摄像头拍摄的图像，以获得超过人眼所看角度范围的全景图像。下面将详细介绍本发明提供的拼接方法。
请参阅图3，其为本发明实施例中基于摄像耳机的图像拼接方法的流程图；所述基于摄像耳机的图像拼接方法，包括如下步骤：
步骤S1：获取至少两个不同角度的摄像耳机拍摄的图像。
所述两个不同角度的摄像耳机为设置在佩戴者左耳的一侧的左摄像耳机，以及设置在佩戴者右耳的一侧的右摄像耳机；所述两个不同角度的摄像耳机拍摄的图像为左摄像耳机拍摄的左图像，以及右摄像耳机拍摄的右图像。
在一个实施例中，为方便快捷地对相对位置相同的两个摄像耳机获取的图像进行拼接，在一个实施例中，在获取两个不同角度的摄像耳机拍摄的图像后，还获取两个摄像耳机中的定位装置传送的定位信息，并根据定位信息计算出两个摄像耳机的相对位置，并根据两个摄像耳机相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将摄像耳机拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域。所述根据两个摄像耳机相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个摄像耳机相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个摄像头相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。所述拼接模板数据包括两个摄像耳机的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
所述两个摄像耳机中的定位装置为设置在左摄像耳机上的左陀螺仪和设置在右摄像耳机上的右陀螺仪。所述定位信息为左陀螺仪所在的姿态角和右陀螺仪所在的姿态角度。请参阅图4，其为本发明人体佩戴摄像耳机的位置坐标图。在一个实施例中，所述左右陀螺仪信息为当前的左陀螺仪的姿态角度GL和右陀螺仪的姿态角度GR，其为一个三维向量，GL为(Lpitch,Lyaw,Lroll)，GR为(Rpitch,Ryaw,Rroll)，其中，定义左摄像机的中心和右摄像机的中心连线为X轴方向，竖直方向为Y轴方向，垂直于X轴和Y轴所在平面的方向为Z轴方向，用pitch、yaw、roll分别表示在这X轴、Y轴和Z轴三个方向的旋转角度。所述两个摄像耳机的相对位置的计算方式为：将左陀螺仪所在的定位信息GL和右陀螺仪所在的信息GR相减即为当前拍摄左右图像的左右摄像头的相对位置D，具体为(Lpitch-Rpitch,Lyaw-Ryaw,Lroll-Rroll)。
步骤S2：剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像。
请参阅图5，其为本发明中剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域时的流程图。在一个实施例中，所述剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，包括如下步骤：
步骤S21：将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；
步骤S22：分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；
步骤S23：从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；
步骤S24：从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
其中，从右到左的位置定义为面对左图像时，左耳所对的一侧为左边，右耳所对的一侧为右边。从左到右的位置定义为面对右图像时，左耳所对的一侧为左边，右耳所对的一侧为右边。
在一个实施例中，为提高拼接效率，在剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域后，再分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为有效的两个待拼接的图像。所述获取有效重叠区域为：根据左摄像耳机的左陀螺仪和和右摄像耳机内的右陀螺仪的相对位置以及左摄像耳机和右摄像耳机相机的视场角)通过标定的视场角起始位置以及图像所在的重叠起始位置的经验值获取。具体的，请同时参阅图6和图7，图6为左摄像耳机和右摄像耳机拍摄的重叠区域的示意图；图7为左图像和右图像的示意图。在左摄像耳机和右摄像耳机的相对位置和视场角为120°确定的情况下，通过对预先标定的经验值，在这个相对角度下就可以获取左图像和右图像重叠的区域，那么对应在左图像和右图像就是图6的矩形框标定的区域。
步骤S4：提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准。
在一个实施例中，可通过加速稳健特征(Speeded Up Robust Features，简称“SURF”)、算法快速特征点提取和描述(Oriented FAST and Rotated BRIEF，简称“ORB”)算法或者尺度不变特征转换(Scale-invariant feature transform，简称“SIFT”)算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
为进一步减少误匹配，提高匹配的准确性，在一个实施例中，使用随机抽样一致算法(random sample consensus，简称RANSAC)算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点。
步骤S4：根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图。
在一个实施例中，通过求解透视投影矩阵，并将待拼接的左图像通过透视投影投射到待拼接的右图像，以统一有效的两个待拼接的图像的坐标系，具体包括如下步骤：
配对的左右图像可用n组特征点坐标对表示，具体(L1(x1,y1),R1(x1’,y1’)),(L2(x2,y2),R2(x2’,y2’)),……,(Ln(xn,yn),Rn(xn’,yn’))，(Li,Ri)为一组匹配对，Li和Ri均为一个二维坐标，Li包含的x,y为这个特征点在左图像的坐标位置，Ri包含的x,y为这个特征点在右图像上的坐标位置，通过解齐次线性方程可以计算出存在一个透视投影矩阵M，使得R＝M*L，其中其中，透视投影矩阵M的8个参数代表着旋转、尺寸、平移的量，也就是透视投影矩阵M乘上左图特征点的坐标(x,y)即可得到右图特征点的坐标(x’,y’)，因为透视投影矩阵中M中有8个未知数，所以一般来说8组特征对即可得到一组特定的解，不过一般来说特征点对会超过这个值，那么最后计算出来的M的各个参数是使得最小，其中Ri-M·Li为M乘上Li以后的向量坐标和原本的R做差得到一个向量，然后对这个差向量求模得到该向量的长度，也就是最后的M要使得所有的左图特征点转换后和所有对应的右图特征点的差达到最小值，也就是使得下面公式达到最小值：
因此，透视投影矩阵M乘上左图中每个点即可得到左图上每个点在最后以右图为标准的全景图中的位置，即实现了左右图像的坐标系的统一，此时即获得有缝的全景图。
在另外一个实施例中，也可通过求解透视投影矩阵，并将待拼接的右图像通过透视投影投射到待拼接的左图像，以统一有效的两个待拼接的图像的坐标系。
步骤S6：在初拼接的全景图找寻拼接缝并生成掩码图像。
为获得较完整的图像，防止因视差比较大而影响拼接效果，在一个实施例中，通过最大流算法在初拼接的全景图中进行拼接缝查找再生成掩码图。
为方便快捷地对相对位置相同的左右摄像耳机获取的左右图像进行拼接，在一个实施例中，还将步骤S1中两个摄像耳机的相对位置、步骤S2中剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域的剔除位置、步骤S4中统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、以及步骤S5掩码图像绑定为拼接模板数据，保存至数据库中，进而在遇到相同的左右摄像耳机的相对位置，直接调取该拼接模板数据进行有缝拼接。
步骤S5：将掩码图和初拼接的全景图进行融合，获取拼接后的全景。
在一个实施例中，通过渐进渐出融合方法或者多频段融合方法将掩码图和初拼接的全景图进行融合。
本发明还提供一种基于摄像耳机的图像拼接***，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的基于摄像耳机的图像拼接方法的步骤。
本发明还提供一种计算机可读储存介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述所述的一种基于摄像耳机的图像拼接方法的步骤。
相比于现有技术，本发明通过剔除两个不同角度的摄像耳机拍摄的图像中遮挡的区域，再将图像拼接形成全景图像，拼接成的全景图像完整且效果好，可获取超过人眼所看角度范围的全景图像视觉。
进一步地，以左右摄像耳机的相对位置为依据，在与数据库中存储的左右摄像耳机的相对位置相同时，无需重新确定拼接参数，直接调用拼接所需要的参数进行拼接，大大提高了拼接效率。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (18)

1.一种基于摄像耳机的图像拼接方法，其特征在于，包括如下步骤：
获取至少两个不同角度的摄像耳机拍摄的图像；
剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像；
提取有效的两个待拼接的图像中的特征点，并对有效的两个待拼接的图像的特征点进行配准；
根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图；
在初拼接的全景图找寻拼接缝并生成掩码图像；
将掩码图和初拼接的全景图进行融合，获取拼接后的全景图。
2.根据权利要求1所述的基于摄像耳机的图像拼接方法，其特征在于，所述两个不同角度的摄像耳机为设置在佩戴者左耳的一侧的左摄像耳机，以及设置在佩戴者右耳的一侧的右摄像耳机；所述两个不同角度的摄像耳机拍摄的图像为左摄像耳机拍摄的左图像，以及右摄像耳机拍摄的右图像。
3.根据权利要求2所述的基于摄像耳机的图像拼接方法，其特征在于，所述剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域，以获取有效的两个待拼接的图像，包括如下步骤：
将左图像和右图像分别进行灰度化处理，获取灰度化的左图像和右图像；
分别获取灰度化的左图像和右图像在每行上的每个像素点的梯度值；
从右到左依序统计灰度化的左图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的左图像；若非大于设定的阈值，则往左移动一列，继续统计下一列的梯度值总和；
从左到右依序统计灰度化的右图像在每列上的梯度值的总和，且判断每列的梯度值总和是否大于预先设定的阈值，若大于设定的阈值，则将该列作为新的左边界，截取从该新的左边界至左图像的右边界的图像作为有效的待拼接的右图像；若非大于设定的阈值，则往右移动一列，继续统计下一列的梯度值总和。
4.根据权利要求3所述的基于摄像耳机的图像拼接方法，其特征在于，在剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域后，再分别获取左图像和右图像中重叠的区域，以左图像和右图像中重叠的区域作为所述有效的两个待拼接的图像。
5.根据权利要求2所述的基于摄像耳机的图像拼接方法，其特征在于，通过SURF算法、ORB算法或者SIFT算法分别提取有效的待拼接的左图像和有效的待拼接的右图像中的特征点，并对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准。
6.根据权利要求5所述的基于摄像耳机的图像拼接方法，其特征在于，在对有效的待拼接的左图像和有效的待拼接的右图像中的特征点进行配准之后，还通过RANSAC算法剔除掉有效的待拼接的左图像和有效的待拼接的右图像中的误匹配的特征点。
7.根据权利要求2所述的基于摄像耳机的图像拼接方法，其特征在于，所述根据配准的特征点统一有效的两个待拼接的图像的坐标系，以获得初拼接的全景图，包括如下步骤：
通过求解透视投影矩阵，并将待拼接的左图像通过透视投影投射到待拼接的右图像，以统一有效的两个待拼接的图像的坐标系；或者，
通过求解透视投影矩阵，并将待拼接的右图像通过透视投影投射到待拼接的左图像，以统一有效的两个待拼接的图像的坐标系。
8.根据权利要求2所述的基于摄像耳机的图像拼接方法，其特征在于，通过最大流算法在初拼接的全景图中进行拼接缝查找再生成掩码图。
9.根据权利要求2所述的基于摄像耳机的图像拼接方法，其特征在于，通过渐进渐出融合方法或者多频段融合方法将掩码图和初拼接的全景图进行融合。
10.根据权利要求1至9中任意一项所述的基于摄像耳机的图像拼接方法，其特征在于，在获取两个不同角度的摄像耳机拍摄的图像后，还获取两个摄像耳机中的定位装置传送的定位信息，并根据定位信息计算出两个摄像耳机的相对位置，并根据两个摄像耳机相对位置查询数据库是否存在其对应的拼接模板数据，若存在，则通过数据库存储的拼接模板数据将摄像耳机拍摄的图像拼接成初拼接的全景图，并获取拼接模板数据中的掩码图，将掩码图和初拼接的全景图进行融合，获取拼接后的全景图；若不存在对应的拼接模板数据，才剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域。
11.根据权利要求10所述的基于摄像耳机的图像拼接方法，其特征在于，所述两个摄像耳机中的定位装置为设置在左摄像耳机上的左陀螺仪和设置在右摄像耳机上的右陀螺仪。
12.根据权利要求11所述的基于摄像耳机的图像拼接方法，其特征在于，所述定位信息为左陀螺仪所在的姿态角和右陀螺仪所在的姿态角度。
13.根据权利要求12所述的基于摄像耳机的图像拼接方法，其特征在于，通过将左陀螺仪的姿态角度与右陀螺仪的姿态角度相减，计算出所述左摄像耳机和右摄像耳机的相对位置。
14.根据权利要求13所述的基于摄像耳机的图像拼接方法，其特征在于，所述根据两个摄像耳机相对位置查询数据库是否存在其对应的拼接模板数据的方式为：将两个摄像耳机相对位置与数据库中存储的拼接模板数据进行比对，判断是否存在一项数据与两个摄像耳机的相对位置相同，若相同，则存在对应的拼接模板数据；否则，不存在对应的拼接模板数据。
15.根据权利要求14所述的基于摄像耳机的图像拼接方法，其特征在于，所述拼接模板数据包括两个摄像耳机的相对位置以及在所述相对位置上进行图像拼接时所需的拼接参数，所述拼接参数包括剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域时的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵以及掩码图像。
16.根据权利要求15所述的基于摄像耳机的图像拼接方法，其特征在于，在所述生成掩码图之后，还将两个摄像耳机的相对位置、剔除两个摄像耳机拍摄的图像中被人脸遮挡的区域的剔除位置、统一有效的两个待拼接的图像的坐标系时的透视投影矩阵、以及掩码图像绑定为拼接模板数据，保存至数据库中。
17.一种基于摄像耳机的图像拼接***，其特征在于，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-16中任一项所述的基于摄像耳机的图像拼接方法的步骤。
18.一种计算机可读储存介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-16中任一项所述的基于摄像耳机的图像拼接方法的步骤。
CN201810726198.XA 2018-07-04 2018-07-04 一种基于摄像耳机的图像拼接方法及*** Active CN109064397B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810726198.XA CN109064397B (zh) 2018-07-04 2018-07-04 一种基于摄像耳机的图像拼接方法及***
EP18204776.1A EP3591607A1 (en) 2018-07-04 2018-11-07 Image stitching method and system based on camera earphone
US16/188,334 US20200013144A1 (en) 2018-07-04 2018-11-13 Image stitching method and system based on camera earphone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810726198.XA CN109064397B (zh) 2018-07-04 2018-07-04 一种基于摄像耳机的图像拼接方法及***

Publications (2)

Publication Number Publication Date
CN109064397A true CN109064397A (zh) 2018-12-21
CN109064397B CN109064397B (zh) 2023-08-01

Family

ID=64267579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810726198.XA Active CN109064397B (zh) 2018-07-04 2018-07-04 一种基于摄像耳机的图像拼接方法及***

Country Status (3)

Country Link
US (1) US20200013144A1 (zh)
EP (1) EP3591607A1 (zh)
CN (1) CN109064397B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测***
CN110232730A (zh) * 2019-06-03 2019-09-13 深圳市三维人工智能科技有限公司 一种三维人脸模型贴图融合方法和计算机处理设备
CN111407450A (zh) * 2020-03-02 2020-07-14 刘洪强 利用区块链的洗牙需求解析平台

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200081681A1 (en) * 2018-09-10 2020-03-12 Spotify Ab Mulitple master music playback
CN111738907B (zh) * 2020-06-08 2022-08-23 广州运达智能科技有限公司 一种基于双目标定及图像算法的列车受电弓检测方法
CN111665254A (zh) * 2020-06-15 2020-09-15 陈鹏 一种桥梁裂缝检测方法
CN111815517B (zh) * 2020-07-09 2021-11-09 苏州万店掌网络科技有限公司 一种基于球机抓拍图片的自适应全景拼接方法
CN112437327B (zh) * 2020-11-23 2023-05-16 瞰瞰技术(深圳)有限公司 实时全景直播拼接方法及***
CN112472293B (zh) * 2020-12-15 2022-10-21 山东威高医疗科技有限公司 一种术前三维影像与术中透视图像的配准方法
CN112613471B (zh) * 2020-12-31 2023-08-01 中移（杭州）信息技术有限公司 人脸活体检测方法、装置及计算机可读存储介质
CN112884652B (zh) * 2021-02-26 2024-05-31 西安维塑智能科技有限公司 一种一体化双相机智能体测装置和人体图像拼接方法
CN113033334A (zh) * 2021-03-05 2021-06-25 北京字跳网络技术有限公司 图像处理方法、装置、电子设备、介质和计算机程序产品
CN112991175B (zh) * 2021-03-18 2024-04-02 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备
CN113902905A (zh) * 2021-10-11 2022-01-07 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN116309036B (zh) * 2022-10-27 2023-12-29 杭州图谱光电科技有限公司 一种基于模板匹配和光流法的显微图像实时拼接方法
CN116228831B (zh) * 2023-05-10 2023-08-22 深圳市深视智能科技有限公司 耳机接缝处的段差测量方法及***、校正方法、控制器

Citations (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307747A (ja) * 1995-04-28 1996-11-22 Sony Corp ビデオカメラ用アダプターおよびビデオカメラ装置
CN1991574A (zh) * 2005-12-30 2007-07-04 鸿富锦精密工业（深圳）有限公司 相机耳机模组及便携式电子装置
CN101231786A (zh) * 2007-12-28 2008-07-30 北京航空航天大学 一种基于视频图像特征的车辆检测方法
CN101344707A (zh) * 2008-01-09 2009-01-14 上海海事大学 自动多投影仪非线性几何校正与边缘融合方法
CN102096915A (zh) * 2011-02-09 2011-06-15 北京航空航天大学 一种基于精准图像拼接的摄像机镜头去污方法
CN201893905U (zh) * 2010-11-19 2011-07-06 深圳市指媒科技有限公司 一种带摄像功能的耳机装置
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
US20120262569A1 (en) * 2011-04-12 2012-10-18 International Business Machines Corporation Visual obstruction removal with image capture
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理***
CN104936053A (zh) * 2015-04-24 2015-09-23 成都迈奥信息技术有限公司 一种集成摄像功能的蓝牙耳机
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
JP2016005263A (ja) * 2014-06-19 2016-01-12 Kddi株式会社 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN105608689A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接消除图像特征误匹配方法及装置
CN105657594A (zh) * 2015-12-25 2016-06-08 星人科技（北京）有限公司 耳机
CN105894451A (zh) * 2016-03-30 2016-08-24 沈阳泰科易科技有限公司 全景图像拼接方法和装置
CN106412497A (zh) * 2016-08-30 2017-02-15 中国南方电网有限责任公司 一种基于全景拼接凝视技术的双目视觉立体匹配方法
JP2017130210A (ja) * 2017-02-16 2017-07-27 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
WO2017124868A1 (zh) * 2016-01-20 2017-07-27 北京疯景科技有限公司 一种获得全景图像的方法和装置
CN107124544A (zh) * 2017-03-31 2017-09-01 北京疯景科技有限公司 全景拍摄装置及方法
CN107146213A (zh) * 2017-05-08 2017-09-08 西安电子科技大学 基于缝合线的无人机航拍图像拼接方法
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
CN206585725U (zh) * 2017-03-16 2017-10-24 李文杰 一种耳机
CN107305682A (zh) * 2016-04-22 2017-10-31 富士通株式会社 用于对图像进行拼接的方法和装置
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视***中的图像拼接方法
CN107464230A (zh) * 2017-08-23 2017-12-12 京东方科技集团股份有限公司 图像处理方法及装置
CN107481273A (zh) * 2017-07-12 2017-12-15 南京航空航天大学 一种航天器自主导航快速图像匹配方法
CN107508942A (zh) * 2017-10-11 2017-12-22 上海展扬通信技术有限公司 一种基于智能终端的图像拍摄方法及图像拍摄***
CN107578373A (zh) * 2017-05-27 2018-01-12 深圳先进技术研究院 全景图像拼接方法、终端设备及计算机可读存储介质
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN107730558A (zh) * 2017-02-14 2018-02-23 上海大学 基于双向鱼眼摄像机的360°行车记录***及方法
US20180061006A1 (en) * 2016-08-26 2018-03-01 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
WO2018040510A1 (zh) * 2016-08-29 2018-03-08 中兴通讯股份有限公司 一种图像生成方法、装置及终端设备
KR101836238B1 (ko) * 2016-12-20 2018-03-09 인천대학교 산학협력단 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
CN108009985A (zh) * 2017-11-24 2018-05-08 武汉大学 一种基于图割的视频拼接方法
CN108632695A (zh) * 2017-03-16 2018-10-09 李文杰 一种耳机

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI241127B (en) * 2004-08-27 2005-10-01 Univ Nat Cheng Kung Image-capturing device and method for removing strangers
RU2460187C2 (ru) * 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
EP2494498B1 (en) * 2009-10-30 2018-05-23 QUALCOMM Incorporated Method and apparatus for image detection with undesired object removal
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
US9826297B2 (en) * 2014-10-29 2017-11-21 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
WO2016141543A1 (en) * 2015-03-10 2016-09-15 SZ DJI Technology Co., Ltd. System and method for adaptive panoramic image generation
WO2016165016A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis-panorama
US20170243384A1 (en) * 2016-02-19 2017-08-24 Mediatek Inc. Image data processing system and associated methods for processing panorama images and image blending using the same
US10051180B1 (en) * 2016-03-04 2018-08-14 Scott Zhihao Chen Method and system for removing an obstructing object in a panoramic image
KR102558473B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10477168B2 (en) * 2017-01-27 2019-11-12 Otoy, Inc. Headphone based modular VR/AR platform with vapor display
US10136208B2 (en) * 2017-04-05 2018-11-20 Danielle Julienne Barnave Headset with multimedia capabilities

Patent Citations (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307747A (ja) * 1995-04-28 1996-11-22 Sony Corp ビデオカメラ用アダプターおよびビデオカメラ装置
CN1991574A (zh) * 2005-12-30 2007-07-04 鸿富锦精密工业（深圳）有限公司 相机耳机模组及便携式电子装置
CN101231786A (zh) * 2007-12-28 2008-07-30 北京航空航天大学 一种基于视频图像特征的车辆检测方法
CN101344707A (zh) * 2008-01-09 2009-01-14 上海海事大学 自动多投影仪非线性几何校正与边缘融合方法
CN201893905U (zh) * 2010-11-19 2011-07-06 深圳市指媒科技有限公司 一种带摄像功能的耳机装置
CN102096915A (zh) * 2011-02-09 2011-06-15 北京航空航天大学 一种基于精准图像拼接的摄像机镜头去污方法
US20120262569A1 (en) * 2011-04-12 2012-10-18 International Business Machines Corporation Visual obstruction removal with image capture
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理***
JP2016005263A (ja) * 2014-06-19 2016-01-12 Kddi株式会社 複数の撮影画像からパノラマ画像を生成する画像生成システム、端末、プログラム及び方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN105608689A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接消除图像特征误匹配方法及装置
CN104936053A (zh) * 2015-04-24 2015-09-23 成都迈奥信息技术有限公司 一种集成摄像功能的蓝牙耳机
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
CN105657594A (zh) * 2015-12-25 2016-06-08 星人科技（北京）有限公司 耳机
WO2017124868A1 (zh) * 2016-01-20 2017-07-27 北京疯景科技有限公司 一种获得全景图像的方法和装置
CN105894451A (zh) * 2016-03-30 2016-08-24 沈阳泰科易科技有限公司 全景图像拼接方法和装置
CN107305682A (zh) * 2016-04-22 2017-10-31 富士通株式会社 用于对图像进行拼接的方法和装置
US20180061006A1 (en) * 2016-08-26 2018-03-01 Multimedia Image Solution Limited Method for ensuring perfect stitching of a subject's images in a real-site image stitching operation
WO2018040510A1 (zh) * 2016-08-29 2018-03-08 中兴通讯股份有限公司 一种图像生成方法、装置及终端设备
CN107786803A (zh) * 2016-08-29 2018-03-09 中兴通讯股份有限公司 一种图像生成方法、装置及终端设备
CN106412497A (zh) * 2016-08-30 2017-02-15 中国南方电网有限责任公司 一种基于全景拼接凝视技术的双目视觉立体匹配方法
KR101836238B1 (ko) * 2016-12-20 2018-03-09 인천대학교 산학협력단 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
CN107730558A (zh) * 2017-02-14 2018-02-23 上海大学 基于双向鱼眼摄像机的360°行车记录***及方法
JP2017130210A (ja) * 2017-02-16 2017-07-27 セイコーエプソン株式会社 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
CN108632695A (zh) * 2017-03-16 2018-10-09 李文杰 一种耳机
CN206585725U (zh) * 2017-03-16 2017-10-24 李文杰 一种耳机
CN107124544A (zh) * 2017-03-31 2017-09-01 北京疯景科技有限公司 全景拍摄装置及方法
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视***中的图像拼接方法
CN107146213A (zh) * 2017-05-08 2017-09-08 西安电子科技大学 基于缝合线的无人机航拍图像拼接方法
CN107274341A (zh) * 2017-05-18 2017-10-20 合肥工业大学 基于固定拼接参数的快速双目鱼眼全景图像拼接方法
CN107578373A (zh) * 2017-05-27 2018-01-12 深圳先进技术研究院 全景图像拼接方法、终端设备及计算机可读存储介质
CN107481273A (zh) * 2017-07-12 2017-12-15 南京航空航天大学 一种航天器自主导航快速图像匹配方法
CN107464230A (zh) * 2017-08-23 2017-12-12 京东方科技集团股份有限公司 图像处理方法及装置
CN107734268A (zh) * 2017-09-18 2018-02-23 北京航空航天大学 一种结构保持的宽基线视频拼接方法
CN107508942A (zh) * 2017-10-11 2017-12-22 上海展扬通信技术有限公司 一种基于智能终端的图像拍摄方法及图像拍摄***
CN108009985A (zh) * 2017-11-24 2018-05-08 武汉大学 一种基于图割的视频拼接方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109753930A (zh) * 2019-01-03 2019-05-14 京东方科技集团股份有限公司 人脸检测方法及人脸检测***
CN110232730A (zh) * 2019-06-03 2019-09-13 深圳市三维人工智能科技有限公司 一种三维人脸模型贴图融合方法和计算机处理设备
CN110232730B (zh) * 2019-06-03 2024-01-19 深圳市三维人工智能科技有限公司 一种三维人脸模型贴图融合方法和计算机处理设备
CN111407450A (zh) * 2020-03-02 2020-07-14 刘洪强 利用区块链的洗牙需求解析平台

Also Published As

Publication number Publication date
US20200013144A1 (en) 2020-01-09
CN109064397B (zh) 2023-08-01
EP3591607A1 (en) 2020-01-08

Similar Documents

Publication Publication Date Title
CN109064397A (zh) 一种基于摄像耳机的图像拼接方法及***
JP6095763B2 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
CN106331527B (zh) 一种图像拼接方法及装置
EP2328125B1 (en) Image splicing method and device
JP2020061137A (ja) 両眼視野／単眼視野間の移行
CN107810633A (zh) 立体渲染***
JP6732617B2 (ja) 情報処理装置および画像生成方法
CN107666606A (zh) 双目全景图像获取方法及装置
US20140009570A1 (en) Systems and methods for capture and display of flex-focus panoramas
US20140009503A1 (en) Systems and Methods for Tracking User Postures to Control Display of Panoramas
CN107820012A (zh) 一种鱼眼图像处理方法、装置、服务器及***
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
Zhang et al. Multiscale-vr: Multiscale gigapixel 3d panoramic videography for virtual reality
CN105989354A (zh) 一种定位方法与***
JP2002354505A (ja) 立体視システム
CN209057332U (zh) 一种耳机
CN109068207B (zh) 一种耳机及耳机***
CN108307090A (zh) 一种摄像头模组、移动终端及其拍摄图像的方法和装置
CN108270951B (zh) 智能电子设备生成全景照片的方法及相应的智能电子设备
WO2018232630A1 (zh) 三维影像预处理方法、装置及头戴显示设备
WO2018176575A1 (zh) 一种可共光心的摄像机装置、全景无缝拼接组件及方法
KR20170059879A (ko) 입체 영상 촬영 장치
WO2019138925A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN109218704A (zh) 基于多3d摄像机的建模装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant