CN112188088B - 水下自拍*** - Google Patents

水下自拍*** Download PDF

Info

Publication number
CN112188088B
CN112188088B CN202010993178.6A CN202010993178A CN112188088B CN 112188088 B CN112188088 B CN 112188088B CN 202010993178 A CN202010993178 A CN 202010993178A CN 112188088 B CN112188088 B CN 112188088B
Authority
CN
China
Prior art keywords
module
self
timer
underwater
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010993178.6A
Other languages
English (en)
Other versions
CN112188088A (zh
Inventor
袁飞
卢健祥
张皓
何心宇
陈加俊
朱逸
程恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010993178.6A priority Critical patent/CN112188088B/zh
Publication of CN112188088A publication Critical patent/CN112188088A/zh
Application granted granted Critical
Publication of CN112188088B publication Critical patent/CN112188088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种水下自拍***,包括安装在自拍者身上的智能穿戴设备,智能穿戴设备包括第一声学模块,第一声学模块用于实时发送引导信号;水下机器人,水下机器人包括第二声学模块,水下机器人通过第二声学模块追踪第一声学模块实时发送的引导信号,以便通过引导信号跟随所述自拍者进行移动;安装在水下机器人上的用户终端,用户终端包括拍摄模块和手势识别模块,用户终端通过拍摄模块实时捕捉自拍者的水下画面,并通过手势识别模块根据水下画面判断自拍者摆出预设自拍手势时,控制拍摄模块进行拍摄以获取自拍图像由此,能够有效地克服水下用户终端触控灵敏度低、自拍距离不足、拍照姿势受限等问题,从而提高用户的自拍体验效果。

Description

水下自拍***
技术领域
本发明涉及水下摄影技术领域,特别涉及一种水下自拍***。
背景技术
相关技术中,随着技术的突破,水下摄影成为当下流行的一种摄影类型,作为水下摄影的一种方式,水下自拍吸引了许多参与者;并且随着智能手机的普及和手机相机性能的提高,人们已经逐渐喜欢使用自己的手机进行拍照;相比于水下他拍,水下自拍可以给予摄影对象更多自我创作的空间,尝试以水为环境的全新摄影模式。
目前,用手机进行水下自拍的主要方式是通过将手机套上防水壳后再带入水中进行拍照,但是,这样的自拍方式存在较多缺点,例如手机触控灵敏度低、自拍距离不足、拍照姿势受限等,从而导致自拍体验效果差。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明的一个目的在于提出一种水下自拍***,能够有效地克服水下用户终端触控灵敏度低、自拍距离不足、拍照姿势受限等问题,从而提高用户的自拍体验效果。
为达到上述目的,本发明实施例提出了一种水下自拍***,包括:安装在自拍者身上的智能穿戴设备,所述智能穿戴设备包括第一声学模块,所述第一声学模块用于实时发送引导信号;水下机器人,所述水下机器人包括第二声学模块,所述水下机器人通过所述第二声学模块追踪所述第一声学模块实时发送的引导信号,以便通过所述引导信号跟随所述自拍者进行移动;安装在所述水下机器人上的用户终端,所述用户终端包括拍摄模块和手势识别模块,所述用户终端通过所述拍摄模块实时捕捉所述自拍者的水下画面,并通过所述手势识别模块根据所述水下画面判断所述自拍者摆出预设自拍手势时,控制所述拍摄模块进行拍摄以获取自拍图像。
根据本发明提出的水下自拍***,通过将智能穿戴设备安装在自拍者身上,将用户终端安装在水下机器人上,且智能穿戴设备包括第一声学模块,水下机器人包括第二声学模块,以便水下机器人通过第二声学模块追踪第一声学模块实时发送的引导信号,以通过引导信号跟随自拍者进行移动,并且用户终端包括拍摄模块和手势识别模块,用户终端通过拍摄模块实时捕捉自拍者的水下画面,并通过手势识别模块根据水下画面判断自拍者摆出预设自拍手势时,控制拍摄模块进行拍摄以获取自拍图像;由此,能够有效地克服水下用户终端触控灵敏度低、自拍距离不足、拍照姿势受限等问题,从而提高用户的自拍体验效果。
另外,根据本发明上述实施例提出的水下自拍***还可以具有如下附加的技术特征:
可选地,所述智能穿戴设备还包括水下显示模块,所述用户终端还包括第一蓝牙模块,所述水下机器人还包括第二蓝牙模块,所述用户终端通过所述第一蓝牙模块将所述水下画面发送给所述水下机器人的第二蓝牙模块,以便所述水下机器人的第二蓝牙模块将所述水下画面发送给所述第二声学模块以通过所述第二声学模块将所述水下画面发送给所述智能穿戴设备的第一声学模块,以通过所述智能穿戴设备的水下显示模块实现对所述水下画面进行显示预览。
可选地,所述水下机器人还包括控制模块、无刷水下推进模块和电子调速模块,所述手势识别模块还根据所述水下画面判断所述自拍者摆出预设操控手势时,通过所述第一蓝牙模块向所述第二蓝牙模块发送所述预设操控手势对应的操控指令,以便所述第二蓝牙模块将所述预设操控手势对应的操控指令传输给所述控制模块,并通过所述控制模块将接收到的操控指令发送给所述电子调速模块,使得所述无刷水下推进模块根据所述电子调速模块传输的操控指令控制所述水下机器人完成相应的动作。
可选地,所述水下机器人还包括照明模块,所述照明模块与所述控制模块相连接,所述手势识别模块根据所述水下画面判断所述自拍者摆出预设自拍手势时,还通过所述第一蓝牙模块向所述第二蓝牙模块发送所述预设自拍手势对应的自拍指令,以便所述第二蓝牙模块将所述预设自拍手势对应的自拍指令传输给所述控制模块,并通过所述控制模块将所述预设自拍手势对应的自拍指令发送给所述照明模块,以在所述照明模块接收到所述控制模块发送的所述自拍指令后发出亮光以提示所述自拍者已完成拍摄。
可选地,所述用户终端还包括水下图像复原模块,所述用户终端通过所述水下图像复原模块对所述自拍图像进行颜色校正及清晰处理。
可选地,所述用户终端还包括自决策构图模块,所述自决策构图模块根据三分构图规则对所述水下画面的构图质量进行分析,以获取所述自拍者与所述拍摄模块的最佳构图决策,并根据所述最佳构图决策通过第一蓝牙模块发送给所述第二蓝牙模块,以便根据所述最佳构图决策对所述拍摄模块进行调整。
可选地,所述第二声学模块为换能器声元基阵,包括两对相互正交的水听器和一个发射换能器。
可选地,所述手势识别模块使用深度学习方法,使用轻量级神经网络进行模型训练,并经过模型加速和模型优化移植到所述用户终端,以通过所述用户终端的算力资源实现。
可选地,所述水下图像复原模块根据水下图像散射数学模型,使用深度神经网络估计散射系数,以获取复原后的自拍图像,并经过模型加速和模型优化移植到所述用户终端,以通过所述用户终端的算力资源实现。
附图说明
图1为根据本发明一个实施例的水下自拍***的方框示意图;
图2为根据本发明一个实施例的水下自拍***的水下机器人的方框示意图;
图3为根据本发明一个实施例的水下自拍***的用户终端的方框示意图;
图4为根据本发明一个实施例的水下自拍***的智能穿戴设备的方框示意图;
图5为根据本发明一个实施例的水下自拍***的手势识别模块的预设手势示意图;
图6为根据本发明一个实施例的水下自拍***的水下图像复原模块的网络结构图;
图7为根据本发明一个实施例的水下自拍***的水下图像复原模块的使用效果图;
图8为根据本发明一个实施例的水下自拍***的自决策构图模块的方框示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1-4所示,该水下自拍***1000包括智能穿戴设备100、水下机器人200以及用户终端300。
其中,智能穿戴设备100安装在自拍者身上,智能穿戴设备100包括第一声学模块101,第一声学模块101用于实时发送引导信号;水下机器人200包括第二声学模块201,水下机器人200通过第二声学模块201追踪第一声学模块101实时发送的引导信号,以便通过引导信号跟随自拍者进行移动;用户终端300安装在水下机器人200上,用户终端300包括拍摄模块301和手势识别模块302,用户终端300通过拍摄模块301实时捕捉自拍者的水下画面,并通过手势识别模块302根据水下画面判断自拍者摆出预设自拍手势时,控制拍摄模块301进行拍摄以获取自拍图像。
作为一个实施例,上述智能穿戴设备100可为潜水手表,佩戴在自拍者身上;上述用户终端可为手机,手机放置在水下机器人的防水盒内。
也就是说,将潜水手表佩戴在自拍者身上,然后将手机放置在水下机器人的防水盒内,自拍者佩戴好潜水手表下水后,水下机器人与自拍者一起下水,接着水下机器人通过潜水手表上的第一声学模块101发出声学引导信号,使得水下机器人200的第二声学模块201追踪第一声学模块101实时发送的声学引导信号,以使水下机器人200跟随自拍者进行移动,并在自拍者做出自拍手势时,用户终端300通过手势识别模块302根据拍摄模块301实时捕捉的自拍者的水下画面识别出该自拍手势时控制拍摄模块301进行拍摄以获取自拍图像。
作为一个实施例,上述第一声学模块101为应答器,第二声学模块201为换能器声元基阵,包括两对相互正交的水听器和一个发射换能器。
需要说明的是,声学引导功能基于水下超短基线***,包括水下机器人中的换能器声元基阵与潜水手表的应答器,其中换能器声元基阵包括两对相互正交的水听器和一个发射换能器。
作为一个具体实施例,智能穿戴设备100还包括水下显示模块102,用户终端300还包括第一蓝牙模块303,水下机器人200还包括第二蓝牙模块202,用户终端300通过第一蓝牙模块303将水下画面发送给水下机器人的第二蓝牙模块202,以便水下机器人200的第二蓝牙模块202将水下画面发送给第二声学模块201以通过第二声学模块201将水下画面发送给智能穿戴设备100的第一声学模块101,以通过智能穿戴设备100的水下显示模块102实现对水下画面进行显示预览。
也就是说,智能穿戴设备100具有水下显示模块102可以接收拍摄模块301实时捕捉的自拍者的水下画面,并进行显示,以便实现实时图像预览,进一步提升用户体验。
需要说明的是,水下显示模块102也可以接收拍摄模块301拍摄的自拍图像并进行预览。
作为一个具体实施例,水下机器人200还包括控制模块203、无刷水下推进模块204和电子调速模块205,手势识别模块302还根据水下画面判断自拍者摆出预设操控手势时,通过第一蓝牙模块303向第二蓝牙模块202发送预设操控手势对应的操控指令,以便第二蓝牙模块202将预设操控手势对应的操控指令传输给控制模块203,并通过控制模块203将接收到的操控指令发送给电子调速模块205,使得无刷水下推进模块204根据电子调速模块205传输的操控指令控制水下机器人200完成相应的动作。
需要说明的是,水下机器人200至少包含两个垂直方向的无刷水下推进模块,两个水平方向的无刷水下推进模块,且如图5所示,手势识别模块302预设了五种手势,分别对应拍照、上浮、下潜、左转以及前进五个动作;手势识别模块302使用tensorflow lite轻量级框架的Mobilenet-V2手势识别模型,平均识别精度达到了97.4%,在手机端上的速度达到了25FPS,满足了实时处理的需求,模型大小仅有4.8M,内存空间占用小。
进一步说明,手势识别模块302运用深度学习算法,使用SSD-MobileNet-V2网络;SSD算法是一种端到端的单次多框实时检测的深度神经网络模型,融合了YOLO的回归思想和Faster R-CNN的候选框机制;SSD算法利用回归的思想极大地减少了神经网络的计算量,提升了算法运行的速度;它不需要生成候选框,而是直接提取输入图片的特征信息,然后直接在特征图上回归这个位置的边界框以及对物体类别进行分类;运用局部特征提取的方法得到不同位置,不同宽高比、尺寸的特征,这一点相比于YOLO针对某一位置进行全局特征提取的方式更加有效率;此外,为了增加模型检测不同大小物体的鲁棒性,SSD算法选取网络中多个层次的特征图进行预测。
SSD的网络模型基于一个前馈卷积网络,分为两个部分:一个是前端的特征提取网络,使用一个去除了全连接层的分类网络,本发明使用的是VGG网络;另一个是添加在后面的多尺度特征检测网络,通过池化操作将前面网络产生的特征图尺寸逐层减小,然后再用不同卷积层的多个特征图预测物体分类以及目标边界框的偏移,最后使用最大值抑制方法(Non Maximum Suppression,NMS)产生最终的检测结果,实现多个尺度特征图的检测。
通用型计算机视觉神经网络MobileNet-V2是面向移动设备设计的,支持分类和检测等功能;MobileNets的核心可分离卷积(Separable Convolution),是个轻量级卷积神经网络;可以在牺牲较小性能的前提下有效的减少参数量;MobileNet-V2使用深度可分离卷积作为高效构建块;此外,V2在架构中引入了两项新功能:层之间的线性瓶颈以及瓶颈之间的快捷连接。
作为一个示例,通过将五种手势设置为预设手势,并收集现有的预设手势图片与对应标签制作成数据集,其中每种手势照片各200张,共1200张;之后对数据集进行一定的预处理后,将数据集输入神经网络,构建目标检测模型;在目标检测模型的构建上,选用TensorFlow-Lite深度学习基础框架,使用SSD目标检测框架下的Mobilenet模型;对于训练参数的设定上,初始学习率设定为0.004,宽度因子设定为0.5,训练步数设定为20000步;使用均方根反向传播(RMSProp)学习策略提高收敛速度,rms-decay设置为0.95;借助构建损失函数Loss函数,通过梯度下降算法不断更新梯度,优化模型;最后保存完成所有训练步数后的模型;之后便可以使用所得模型,对测试集手势图片进行识别和目标位置检测。
作为一个具体实施例,水下机器人200还包括照明模块206,照明模块206与控制模块203相连接,手势识别模块302根据水下画面判断自拍者摆出预设自拍手势时,还通过第一蓝牙模块303向第二蓝牙模块202发送预设自拍手势对应的自拍指令,以便第二蓝牙模块202将预设自拍手势对应的自拍指令传输给控制模块203,并通过控制模块203将预设自拍手势对应的自拍指令发送给照明模块206,以在照明模块206接收到控制模块203发送的自拍指令后发出亮光以提示自拍者已完成拍摄。
需要说明的是,通过照明模块206在拍摄模块301拍摄完照片后发出亮光以提示自拍者完成自拍动作,从而使得自拍者的体验效果更好。
作为一个具体实施例,用户终端300还包括水下图像复原模块304,用户终端300通过水下图像复原模块304对自拍图像进行颜色校正及清晰处理。
需要说明的是,在获取自拍图像后还通过水下图像复原模块304对自拍图像进行颜色校正及清晰处理,使得获取的自拍图像的效果更佳;其中水下图像复原模块304根据水下图像散射数学模型,使用深度神经网络估计散射系数,以获取复原后的自拍图像。
如图6所示,水下图像复原模块304采用深度神经网络结构EstlMATION Network;主要包括一个编码器和四个译码器,有很强的生成能力和提取深度特征的能力;如图7所示,将水下图像复原模块算法与目前较新的几个方法进行主观上的对比分析;从左到右分别是原始图像、由简单白平衡、水下暗通道、多融合、基于除雾网络、水下生成对抗式网络和水下图像复原模块算法所输出的图像;可以看出算法在校正色偏,去模糊等方面都有较好的效果,也可以看出来算法保留了更多的高频细节。
作为一个示例,由于光线在水中的作用,水下图像也存在很严重的色彩失真的现象,特别是当相机距离目标较远时,光的传播路径越远,色彩失真越严重;衰减作用与光线波长息息相关,通常在深水区采集的图像偏蓝绿色,这是由于红紫光已经被完全衰减掉;因此,对水下自拍图像进行颜色矫正和图像复原十分重要,可以还原真实的场景信息。
其中水下图像的散射模型的公式为:
Figure BDA0002691485760000061
其中Ic表示水下模糊失真图像,即自拍图像,Jc表示没有衰减信号的水下图像,即经过水下图像复原模块304处理后的自拍图像,
Figure BDA0002691485760000062
表示环境光强度,
Figure BDA0002691485760000063
表示后向散射衰减强度,
Figure BDA0002691485760000064
表示前向散射衰减强度;我们可以将这个模型进行简化为:
Figure BDA0002691485760000065
因为Ic是已知的,因此复原图像可以通过以下公式进行表示:
Figure BDA0002691485760000071
从单幅图像中很难得到
Figure BDA0002691485760000072
Figure BDA0002691485760000073
所以提出了一个深度神经网络结构EstlMATION Network;网络主要包括一个编码器和四个译码器,去估计Jc
Figure BDA0002691485760000074
Figure BDA0002691485760000075
网络中使用2*2平均池化层和瓶颈层代替最后的Dense block和Classification Layer;Refined block结合每个颜色通道的传输衰减;算法还使用非对称卷积块代替3*3卷积,它可以帮助水下复原图像保留更多的高频细节;当输入一幅自拍图像时,通过网络估计出
Figure BDA0002691485760000076
Figure BDA0002691485760000077
进而通过公式计算获取处理后的自拍图像Jc
作为一个具体实施例,用户终端300还包括自决策构图模块305,自决策构图模块305根据三分构图规则对水下画面的构图质量进行分析,以获取自拍者与拍摄模块301的最佳构图决策,并根据最佳构图决策通过第一蓝牙模块303发送给第二蓝牙模块202,以便根据最佳构图决策对拍摄模块301进行调整。
需要说明的是,在进行自拍时,还通过自决策构图模块305控制拍摄模块301与自拍者的相对位置,从而使得拍摄的自拍图像质量更佳。
作为一个示例,如图8所示,自决策构图模块305通过对水下画面的光照强度、光照方向、拍摄模块301与自拍者的相对距离和拍摄模块301与自拍者的相对位置进行分析,并在不合格时将最佳构图决策发送给水下机器人以进行相应调整;例如,拍摄模块301与自拍者的相对距离不合格时,自决策构图模块305将最佳距离通过第一蓝牙模块303发送给第二蓝牙模块202,以便第二蓝牙模块202将最佳距离发送给第二声学模块201以通过第二声学模块201控制水下机器人200维持最佳距离跟随自拍者进行移动。
需要说明的是,根据人类主观的美学标准,一幅“美的”图像应当满足以下规则:其目标主题应当鲜明突出;并且整体布局合理;考虑到“三分法”构图方式的布局紧凑、简洁、目标清楚明了,与人类的欣赏习惯一致,因此使用“三分法”构图方式,从美学角度自动地进行图像构图客观评价;这也符合人类的主观美学视角。
“三分法”是黄金比例构图的简化版本,其构图方式的思路是:一幅图像可以分为3×3共9个相同大小的区域块,并且每个区域块之间用网格分离开,包括两条垂直线和两条水平线。合理的构图方式有两种:(1)“三分线”构图法,图像主体区域分布在四条分割线上(沿着横向的分割线,或者沿着竖向的分割线,各两条);(2)“三分点”构图法,图像主体目标分布在分割线的交叉点上(共四个交叉点)。
但是,这种标准只是一个大概的位置分布,无法刚好精确到点或线上,图像主体的中心点只要大致在“三分点”上或者沿着“三分线”,就认为这幅图像是符合“三分法”构图规则的;在实际摄影过程中,构图分布是灵活变化的,但是都以此为基础。
为了最小化显著目标的质心与三分点之间的距离,通过增加或减去目标质心差异的一半来补偿,取决于这种差异是正还是负;三分法则误差(Rule of Thirds Error)Ert定义为:
Figure BDA0002691485760000081
其中,O={o1,o2,…}代表显著目标集合,目标面积Ao是加权系数,C(o)是对象质心,P(i)是图像中的四个三分点之一,do是目标的差异值。
作为一个实施例,如图1-4所示,用户终端300还包括第一处理模块306,用于调度用户终端300其他模块的运行;智能穿戴设备100还包括第二处理模块103、第一电源模块104和第一充电模块105,第二处理模块103用于调度智能穿戴设备100其他模块的运行,第一电源模块104用于为智能穿戴设备100其他模块进行供电,第一充电模块105用于为第一电源模块104充电;水下机器人200还包括第二电源模块207和第二充电模块208,第二电源模块207用于为水下机器人200其他模块进行供电,第二充电模块208用于为第二电源模块207充电。
需要说明的是,上述水下机器人具备上浮、下潜、直行,左右转向等动作控制功能。其控制信号由手机蓝牙发出至蓝牙接收机并送达水下机器人的控制模块,控制模块根据不同指令通过8个通道发出500Hz-1000Hz的PWM控制信号给电子调速模块,电子调速模块驱动电机运作;外部遥控4路基本通道包括控制水下机器人的上浮、下潜、转向前行、后退等,4路辅助通道可控制水下机器人实现照明等功能。8路通道并行发出信号不会存在混叠现象;机器人控制模块,结合需求采用STM32F407进行框架建设,通过分析遥控信号的PWM波形在500Hz-1000Hz,使用多路信号捕获通道并行处理接收信号;稳压电源,使用5v降压模块给处理器单独供电,起到保护处理器并保证处理器的功率正常;电机采用带BEC的电调供电,即免电池电路电调,其具有分流供电能力,可将动力电池电压变为5V电压给控制模块供电;电调识别的主要是PWM的脉宽1ms-2ms,也就是1ms认为油门是最小值,2ms认为油门是最大值,2ms对应的PWM周期是500HZ,所以这里决定了PWM频率的上限不能超过500hz;当电子调速模块接收到1500Hz的信号时表明***开机,电子调速模块滴答待机声消失;蓝牙接收机接收外部控制信号发送至机器人控制模块,机器人控制模块驱动电机工作。
需要说明的是,控制模块采用STM32F407ARM处理器,因为其具有多重AHB总线矩阵和多通道DMA:支持程序执行和数据传输并行处理,数据传输速率非常快;主频168MHz,内存1MB FLASH,192KB SRAM:128KB在总线矩阵上,64KB在专为CPU使用的数据总线上高级外设与STM32F2兼容;并且支持多通道的PWM信号捕获处理。
需要说明的是,上述图像传输过程均采用线性变频调制技术(Chirp),线性调频信号(Linearly-Frequency Modulated,LFM),是一种成熟的非平稳信号,具有良好的自相关性和抗多普勒性,在水声通信中得到广泛应用,其时间和频率成线性关系,可表示为:
x(t)=cos(2πf0t+πkt2),0≤t≤T
式中f0、k分别代表起始频率和调频率。k为正数则为上扫频(up-Chirp)信号,若k为负数,则为下扫频(down-Chirp)信号,T为线性调频信号的时宽。
以Chirp上扫频为例,其匹配滤波器的冲激响应函数的数学表达式为:
h(t)=cos(2πf0t-πkt2),0≤t≤T
则其经过匹配滤波器的输出为:
Figure BDA0002691485760000091
由上式可以看出信号的主瓣宽度为2/B,主瓣的高度为
Figure BDA0002691485760000092
且BT值越大,匹配滤波后输出的峰值越高,输出结果具有冲激谱峰特性,利于检测和捕获Chirp信号同步头。g(t)的峰值在t=0时刻出现,其峰值偏移与Chirp信号的时延变化有关。
综上所述,根据本发明提出的水下自拍***,通过将智能穿戴设备安装在自拍者身上,将用户终端安装在水下机器人上,且智能穿戴设备包括第一声学模块,水下机器人包括第二声学模块,以便水下机器人通过第二声学模块追踪第一声学模块实时发送的引导信号,以通过引导信号跟随自拍者进行移动,并且用户终端包括拍摄模块和手势识别模块,用户终端通过拍摄模块实时捕捉自拍者的水下画面,并通过手势识别模块根据水下画面判断自拍者摆出预设自拍手势时,控制拍摄模块进行拍摄以获取自拍图像;由此,能够有效地克服水下用户终端触控灵敏度低、自拍距离不足、拍照姿势受限等问题,从而提高用户的自拍体验效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种水下自拍***,其特征在于,包括:
安装在自拍者身上的智能穿戴设备,所述智能穿戴设备包括第一声学模块,所述第一声学模块用于实时发送引导信号;
水下机器人,所述水下机器人包括第二声学模块,所述水下机器人通过所述第二声学模块追踪所述第一声学模块实时发送的引导信号,以便通过所述引导信号跟随所述自拍者进行移动;
安装在所述水下机器人上的用户终端,所述用户终端包括拍摄模块和手势识别模块,所述用户终端通过所述拍摄模块实时捕捉所述自拍者的水下画面,并通过所述手势识别模块根据所述水下画面判断所述自拍者摆出预设自拍手势时,控制所述拍摄模块进行拍摄以获取自拍图像;
其中,所述智能穿戴设备还包括水下显示模块,所述用户终端还包括第一蓝牙模块,所述水下机器人还包括第二蓝牙模块,所述用户终端通过所述第一蓝牙模块将所述水下画面发送给所述水下机器人的第二蓝牙模块,以便所述水下机器人的第二蓝牙模块将所述水下画面发送给所述第二声学模块以通过所述第二声学模块将所述水下画面发送给所述智能穿戴设备的第一声学模块,以通过所述智能穿戴设备的水下显示模块实现对所述水下画面进行显示预览;
其中,所述用户终端还包括自决策构图模块,所述自决策构图模块根据三分构图规则对所述水下画面的构图质量进行分析,以获取所述自拍者与所述拍摄模块的最佳构图决策,并根据所述最佳构图决策通过第一蓝牙模块发送给所述第二蓝牙模块,以便根据所述最佳构图决策对所述拍摄模块进行调整;
其中,自决策构图模块通过对水下画面的光照强度、光照方向、拍摄模块与自拍者的相对距离和拍摄模块与自拍者的相对位置进行分析,并在不合格时将最佳构图决策发送给水下机器人以进行相应调整。
2.如权利要求1所述的水下自拍***,其特征在于,所述水下机器人还包括控制模块、无刷水下推进模块和电子调速模块,所述手势识别模块还根据所述水下画面判断所述自拍者摆出预设操控手势时,通过所述第一蓝牙模块向所述第二蓝牙模块发送所述预设操控手势对应的操控指令,以便所述第二蓝牙模块将所述预设操控手势对应的操控指令传输给所述控制模块,并通过所述控制模块将接收到的操控指令发送给所述电子调速模块,使得所述无刷水下推进模块根据所述电子调速模块传输的操控指令控制所述水下机器人完成相应的动作。
3.如权利要求2所述的水下自拍***,其特征在于,所述水下机器人还包括照明模块,所述照明模块与所述控制模块相连接,所述手势识别模块根据所述水下画面判断所述自拍者摆出预设自拍手势时,还通过所述第一蓝牙模块向所述第二蓝牙模块发送所述预设自拍手势对应的自拍指令,以便所述第二蓝牙模块将所述预设自拍手势对应的自拍指令传输给所述控制模块,并通过所述控制模块将所述预设自拍手势对应的自拍指令发送给所述照明模块,以在所述照明模块接收到所述控制模块发送的所述自拍指令后发出亮光以提示所述自拍者已完成拍摄。
4.如权利要求1所述的水下自拍***,其特征在于,所述用户终端还包括水下图像复原模块,所述用户终端通过所述水下图像复原模块对所述自拍图像进行颜色校正及清晰处理。
5.如权利要求1所述的水下自拍***,其特征在于,所述第一声学模块为应答器,所述第二声学模块为换能器声元基阵,包括两对相互正交的水听器和一个发射换能器。
6.如权利要求1所述的水下自拍***,其特征在于,所述手势识别模块使用深度学习方法,使用轻量级神经网络进行模型训练,并经过模型加速和模型优化移植到所述用户终端,以通过所述用户终端的算力资源实现。
7.如权利要求4所述的水下自拍***,其特征在于,所述水下图像复原模块根据水下图像散射数学模型,使用深度神经网络估计散射系数,以获取复原后的自拍图像,并经过模型加速和模型优化移植到所述用户终端,以通过所述用户终端的算力资源实现。
CN202010993178.6A 2020-09-21 2020-09-21 水下自拍*** Active CN112188088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010993178.6A CN112188088B (zh) 2020-09-21 2020-09-21 水下自拍***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010993178.6A CN112188088B (zh) 2020-09-21 2020-09-21 水下自拍***

Publications (2)

Publication Number Publication Date
CN112188088A CN112188088A (zh) 2021-01-05
CN112188088B true CN112188088B (zh) 2022-10-25

Family

ID=73955538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010993178.6A Active CN112188088B (zh) 2020-09-21 2020-09-21 水下自拍***

Country Status (1)

Country Link
CN (1) CN112188088B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591615A (zh) * 2021-07-14 2021-11-02 广州敏视数码科技有限公司 一种基于多模型的驾驶员抽烟检测方法
CN113891003A (zh) * 2021-11-15 2022-01-04 珠海读书郎软件科技有限公司 一种电话手表水下自拍的***及方法
CN114077313A (zh) * 2021-11-25 2022-02-22 深之蓝(天津)水下智能科技有限公司 水下机器人及其控制方法
CN117290773B (zh) * 2023-10-13 2024-04-26 哈尔滨工业大学 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094648A1 (zh) * 2016-11-24 2018-05-31 华为技术有限公司 拍摄构图引导方法及装置
CN107564033B (zh) * 2017-07-26 2020-03-03 北京臻迪科技股份有限公司 一种水下目标的跟踪方法、水下设备和可穿戴设备
CN107592451A (zh) * 2017-08-31 2018-01-16 努比亚技术有限公司 一种多模式辅助拍照方法、装置及计算机可读存储介质
CN108012077B (zh) * 2017-11-10 2021-03-26 北京臻迪科技股份有限公司 拍照控制方法、拍照方法、装置及***
CN109963117B (zh) * 2017-12-26 2023-09-01 中船重工(昆明)灵湖科技发展有限公司 一种水下航行器的自主跟踪拍摄***
CN108320487B (zh) * 2017-12-28 2021-11-16 臻迪科技股份有限公司 一种水下设备通讯方法和***
CN111080537B (zh) * 2019-11-25 2023-09-12 厦门大学 水下机器人智能控制方法、介质、设备及***
CN110913140B (zh) * 2019-11-28 2021-05-28 维沃移动通信有限公司 一种拍摄信息提示方法及电子设备

Also Published As

Publication number Publication date
CN112188088A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112188088B (zh) 水下自拍***
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
CN103869468B (zh) 信息处理设备
CN1926851B (zh) 通过深度信息优化捕获装置设置的方法和设备
CN110249622A (zh) 实时的语义感知的相机曝光控制
CN105187723B (zh) 一种无人飞行器的摄像处理方法
US20200371535A1 (en) Automatic image capturing method and device, unmanned aerial vehicle and storage medium
WO2018161289A1 (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
WO2019089120A1 (en) Digital image auto exposure adjustment
CN107409175A (zh) 跟踪控制装置、跟踪控制方法、跟踪控制程序及自动跟踪摄影***
US11289078B2 (en) Voice controlled camera with AI scene detection for precise focusing
CN104023177A (zh) 摄像机控制方法、装置及摄像机
CN110035203A (zh) 图像处理设备及其控制方法
CN109981976A (zh) 摄像设备及其控制方法和存储介质
CN112188059B (zh) 可穿戴设备、智能引导方法及装置、引导***
CN106934402A (zh) 室内移动视频跟踪定位辅助拍摄方法和装置
CN110213480A (zh) 一种对焦方法及电子设备
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN106993130A (zh) 采集图像的方法、装置及移动设备
CN115471662A (zh) 语义分割模型的训练方法、识别方法、装置和存储介质
CN111589138A (zh) 动作预测方法、装置、设备及存储介质
CN105025219A (zh) 图像获取方法
CN111935389A (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
CN116485974A (zh) 画面渲染、数据预测及其训练方法、***及存储和服务器
WO2023086398A1 (en) 3d rendering networks based on refractive neural radiance fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant