CN104281397B - 多深度区间的重聚焦方法、装置及电子设备 - Google Patents

多深度区间的重聚焦方法、装置及电子设备 Download PDF

Info

Publication number
CN104281397B
CN104281397B CN201310288099.5A CN201310288099A CN104281397B CN 104281397 B CN104281397 B CN 104281397B CN 201310288099 A CN201310288099 A CN 201310288099A CN 104281397 B CN104281397 B CN 104281397B
Authority
CN
China
Prior art keywords
refocusing
image
information
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310288099.5A
Other languages
English (en)
Other versions
CN104281397A (zh
Inventor
徐晶
张爱东
胡昌启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310288099.5A priority Critical patent/CN104281397B/zh
Priority to PCT/CN2014/080053 priority patent/WO2015003544A1/zh
Priority to JP2016524663A priority patent/JP6369842B2/ja
Priority to EP14822408.2A priority patent/EP3021206B1/en
Priority to KR1020167000950A priority patent/KR20160019548A/ko
Publication of CN104281397A publication Critical patent/CN104281397A/zh
Priority to US14/977,966 priority patent/US10203837B2/en
Application granted granted Critical
Publication of CN104281397B publication Critical patent/CN104281397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种多深度区间的重聚焦方法、装置及电子设备。该方法包括：在显示设备上显示图像；获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异；在所述显示设备上显示所述重聚焦图像。实现了多深度区间的重聚焦。

Description

多深度区间的重聚焦方法、装置及电子设备
技术领域
本发明实施例涉及人机交互、图像处理技术，尤其涉及一种多深度区间的重聚焦方法、装置及电子设备。
背景技术
重聚焦是指在图片形成后，根据用户的需要，重新选择图片的聚焦面或者景深。观看者在观看图片时，可以自行选择感兴趣的景物使之变清晰，而不必只是被动地观看摄影师选择的主题景物。
现有技术中的重聚焦方法只能对单一深度平面进行重聚焦，这种方式只能一次选择一个区域，对应一个深度平面。而在实际应用中，用户可能需要重聚焦多个深度平面、单个或多个深度区间，现有的重聚焦算法不能满足用户该需求。即使通过增加按钮个数或者设置多层级的菜单，也不能很好的解决这个问题。还会增加用户的记忆负担。因此，亟需提出一种多深度区间的重聚焦方法。
发明内容
本发明实施例提供一种多深度区间的重聚焦方法、装置及电子设备，用以实现多深度区间的重聚焦。
第一方面，本发明实施例提供的多深度区间的重聚焦方法，包括：
在显示设备上显示图像；
获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；
对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异；
在所述显示设备上显示所述重聚焦图像。
在第一方面的第一种可能的实现方式中，所述在显示设备上显示图像包括：
在所述显示设备上显示在任意深度平面聚焦的图像；或者
在所述显示设备上显示在任意深度区间聚焦的图像。
在第一方面的第二种可能的实现方式中，所述获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域包括：
获取用户在触摸屏上的至少两次单点滑动的输入，确定所述至少两次单点滑动对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每次所述单点滑动对应一个深度区间；或
获取用户在触摸屏上至少两次多手指发散式的多点滑动，以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域，确定通过所述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中，所述每个封闭的图形区域对应一个深度区间；或
获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图形，并将所述轨迹或封闭的几何图形移动至所述显示图像的另一个位置，确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每个所述轨迹或封闭的几何图形对应一个深度区间；或
获取用户在触摸屏上的至少两次单点点击以选择至少两个点，根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦区域，其中，每个所述点对应一个深度区间。
在第一方面的第三种可能的实现方式中，所述获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域包括：
当用户按住一个物理按钮或一个图形按钮的同时，所述显示设备上显示相应的图形对象，检测用户对设备的姿态操作，所述图形对象标记所述姿态操作所经过的路径，将所述图形对象标记的所述路径作为所述重聚焦区域，用户再次按住所述物理按钮或图形按钮的同时，重复上述动作，选择下一个所述重聚焦区域；或
在所述显示设备上显示所述图形对象，所述图形对象随着用户对设备的所述姿态操作相应的进行物理运动，当用户触发一个物理按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域，用户重复上述动作选择下一个所述重聚焦区域；
其中，所述检测用户对设备的姿态操作，包括：
获取用户对设备的平移操作，将所述设备的平移距离映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景；或
获取用户对设备的倾斜操作，将所述设备的倾斜的角度映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景。
在第一方面的第四种可能的实现方式中，所述获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域包括：
在所述显示设备上显示图形对象，并追踪用户的手部移动的轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，确定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或
监测用户推动手掌的动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置，在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
结合第一方面至第一方面的第四种可能的实现方式，在第五种可能的实现方式中，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域之后，
在所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像之前，所述方法还包括：
确定所述重聚焦区域的重聚焦信息；
对应，所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，具体包括：
基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理，以合成重聚焦图像，并在所述显示设备上显示重聚焦图像。
根据第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述获取用户输入之后，还包括：
根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象并进行显示，所述图形对象包括点、线、圆、椭圆或多边形；
相应的，所述确定所述重聚焦区域的重聚焦信息包括：
所述图形对象为点，则根据预定义的所述深度区间值将包含所述点的深度区间信息和/或图像像素区间信息作为所述重聚焦信息；或
所述图形对象为线，则将所述线对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为圆，则将所述圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为椭圆，则将所述椭圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为多边形，则将所述多边形所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息。
结合第一方面至第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述获取用户输入之后，还包括：
根据所述用户输入确定显示信息，所述显示信息包括重聚焦图像的发散中心和/或显示次序；
对应，所述在所述显示设备上显示重聚焦图像，具体包括：
在所述显示设备上从所述发散中心开始，由内向外或由外向内的显示所述重聚焦图像；或者，在所述显示设备上按照所述显示次序依次，或交互，或同时的显示所述重聚焦图像。
根据第一方面的第五种可能的实现方式，在第八种可能的实现方式中，所述确定所述重聚焦区域的重聚焦信息包括：
计算各所述重聚焦区域中的景物的深度区间信息和/或像素区间信息，作为所述重聚焦信息，其中，所述深度区间信息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息：像素坐标信息、强度信息、颜色信息和聚焦信息。
在第一方面的第九种可能的实现方式中，所述确定所述重聚焦区域的重聚焦信息包括：
在用户输入用例集中匹配所述用户输入，根据所述用户输入在所述显示图像中确定与所述用户输入对应的深度区间信息和/或像素区间信息，作为所述重聚焦信息。
结合第一方面的第六种或第七种可能的实现方式，在第十种可能的实现方式中，所述确定所述重聚焦区域的重聚焦信息之后，还包括：
在所述显示设备上显示相应的所述深度区间信息、所述像素区间信息和景深信息。
根据第一方面的第五种可能的实现方式，在第十一种可能的实现方式中，
基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像；
对应地，在所述显示设备上显示所述重聚焦图像包括：显示一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。
根据第一方面的第六种可能的实现方式，在第十二种可能的实现方式中，所述在所述显示设备上显示所述重聚焦图像包括：
从所述重聚焦区域的发散中心对应的重聚焦图像开始，按照预设的顺序依次显示各所述重聚焦图像。
根据第一方面的第六种可能的实现方式，在第十三种可能的实现方式中，所述在所述显示设备上显示所述重聚焦图像包括：
根据预定义信息显示所述重聚焦图像，所述预定义信息包括预定义的所述发散中心、所述显示次序和所述显示图形对象。
第二方面，本发明实施例提供的多深度区间的重聚焦装置，包括：
显示模块，用于在显示设备上显示图像；
处理模块，用于获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；
所述处理模块还用于对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异；
所述显示模块还用于在所述显示设备上显示所述重聚焦图像。
在第二方面的第一种可能的实现方式中，所述显示模块具体用于：
在所述显示设备上显示在任意深度平面聚焦的图像；或者
在所述显示设备上显示在任意深度区间聚焦的图像。
在第二方面的第二种可能的实现方式中，所述处理模块具体用于：
获取用户在触摸屏上的至少两次单点滑动的输入，确定所述至少两次单点滑动对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每次所述单点滑动对应一个深度区间；或
获取用户在触摸屏上至少两次多手指发散式的多点滑动，以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域，确定通过所述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中，所述每个封闭的图形区域对应一个深度区间；或
获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图形，并将所述轨迹或封闭的几何图形移动至所述显示图像的另一个位置，确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每个所述轨迹或封闭的几何图形对应一个深度区间；或
获取用户在触摸屏上的至少两次单点点击以选择至少两个点，根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦区域，其中，每个所述点对应一个深度区间。
在第二方面的第三种可能的实现方式中，所述处理模块包括：
姿态传感器单元，用于当用户按住一个物理按钮或一个图形按钮的同时，所述显示设备上显示相应的图形对象，检测用户对设备的姿态操作，所述图形对象标记所述姿态操作所经过的路径，将所述图形对象标记的所述路径作为所述重聚焦区域，用户再次按住所述物理按钮或图形按钮的同时，重复上述动作，选择下一个所述重聚焦区域；或
在所述显示设备上显示所述图形对象，所述图形对象随着用户对设备的所述姿态操作相应的进行物理运动，当用户触发一个物理按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域，用户重复上述动作选择下一个所述重聚焦区域；
所述姿态传感器单元具体用于获取用户对设备的平移操作，将所述设备的平移距离映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景；或
获取用户对设备的倾斜操作，将所述设备的倾斜的角度映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景。
在第二方面的第四种可能的实现方式中，所述处理模块包括：
动作跟踪单元，用于在所述显示设备上显示图形对象，并追踪用户的手部移动的轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，确定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或
监测用户推动手掌的动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置，在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
结合第二方面至第四种可能的实现方式，在第五种可能的实现方式中，所述处理模块还用于：
确定所述重聚焦区域的重聚焦信息；基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理，以合成重聚焦图像，
所述显示模块还用于在所述显示设备上显示重聚焦图像。
根据第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述处理模块还用于：
根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象并进行显示，所述图形对象包括点、线、圆、椭圆或多边形；
所述处理模块具体用于：
所述图形对象为点，则根据预定义的所述深度区间值将包含所述点的深度区间信息和/或图像像素区间信息作为所述重聚焦信息；或
所述图形对象为线，则将所述线对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为圆，则将所述圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为椭圆，则将所述椭圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为多边形，则将所述多边形所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息。
结合第二方面至第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述处理模块还用于根据所述用户输入确定显示信息，所述显示信息包括重聚焦图像的发散中心和/或显示次序；
所述显示设备具体用于从所述发散中心开始，由内向外或由外向内的显示所述重聚焦图像；或者，在所述显示设备上按照所述显示次序依次，或交互，或同时的显示所述重聚焦图像。
根据第二方面的第四种可能的实现方式，在第八种可能的实现方式中，所述处理模块还包括计算单元，用于计算各所述重聚焦区域中的景物的深度区间信息和/或像素区间信息，作为所述重聚焦信息，其中，所述深度区间信息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息：像素坐标信息、强度信息、颜色信息和聚焦信息。
在第二方面的第九种可能的实现方式中，所述处理模块还用于：
在用户输入用例集中匹配所述用户输入，根据所述用户输入在所述显示图像中确定与所述用户输入对应的深度区间信息和/或像素区间信息，作为所述重聚焦信息。
结合第二方面的第五种或第六种可能的实现方式，在第十种可能的实现方式中，所述显示模块还用于在所述显示设备上显示相应的所述深度区间信息、所述像素区间信息和景深信息。
根据第二方面的第四种可能的实现方式，在第十一种可能的实现方式中，所述处理模块具体用于：
基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像；
对应地，在所述显示设备上显示所述重聚焦图像包括：显示一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。
根据第二方面的第四种可能的实现方式，在第十二种可能的实现方式中，所述显示模块具体用于：
从所述重聚焦区域的发散中心对应的重聚焦图像开始，按照预设的顺序依次显示各所述重聚焦图像。
根据第二方面的第四种可能的实现方式，在第十三种可能的实现方式中，所述显示模块具体用于：
根据预定义信息显示所述重聚焦图像，所述预定义信息包括预定义的所述发散中心、所述显示次序和所述显示图形对象。
第三方面，本发明实施例提供的电子设备，包括至少一个处理器、内存控制器、***设备接口和输入输出***，所述输入输出***至少连接有显示设备和用户输入设备，还包括：上述任意的多深度区间的重聚焦装置。
在第三方面的第一种可能的实现方式中，所述用户输入设备为触摸屏、触摸板、姿态传感器和/或动作跟踪模块。
在第三方面的第二种可能的实现方式中，所述显示设备用于显示重聚焦交互前或重聚焦过程中的图像和图形对象。
本发明实施例提供的重聚焦方法、装置及电子设备，通过获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域；对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异，从而实现了多深度区间的重聚焦。
附图说明
图1为本发明多深度区间的重聚焦方法实施例一的流程图；
图2a为本发明用户手势实施例一示意图；
图2b为本发明用户手势实施例二示意图；
图2c为本发明用户手势实施例三示意图；
图2d为本发明用户手势实施例四示意图；
图2e为本发明用户手势实施例五示意图；
图2f为本发明用户手势实施例六示意图；
图2g为本发明用户手势实施例七示意图；
图2h为本发明用户手势实施例八示意图；
图2i为本发明用户手势实施例九示意图；
图3为本发明多深度区间的重聚焦方法实施例五的流程图；
图4为本发明多深度区间的重聚焦方法实施例一的结构示意图；
图5为本发明多深度区间的重聚焦方法实施例二的结构示意图；
图6为本发明多深度区间的重聚焦方法实施例三的结构示意图；
图7为本发明多深度区间的重聚焦方法实施例四的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的多深度区间重聚焦方法可以应用于以下场景：带有成像模块的设备。该设备上的显示模块实时地显示场景图像。用户通过本发明提供的多深度区间的重聚焦方法对该设备进行交互式地拍摄控制；也可以是接受或存储可重聚焦数据的设备，如一个投影仪，用户通过本发明中的多深度区间的重聚焦方法对该设备显示模块上显示的图像进行交互式地浏览。本发明实施例中提及的图像，可以包括通过光场相机所获取的原始的光场数据形成的图像，或者是通过计算处理后的任一深度重聚焦的图像，或者是全部深度的图像，或者是通过计算机合成的虚拟图像。
图1为本发明多深度区间的重聚焦方法实施例一的流程图。本实施例的方法由多深度区间的重聚焦装置执行，该装置通常以硬件和/或软件的方式来实现，可配置在电子设备中。如图1所示，本实施例提供的多深度区间的重聚焦方法可以包括：
步骤101、在显示设备上显示图像。
具体地，显示的图像可以是某一深度平面聚焦的图像，也可以是全聚焦的图像，该深度是指景物与照相机中成像元件的成像面之间的距离。需要说明的是，该显示的图像可以是通过特定算法处理光场相机所采集数据的结果图像。该光场相机的主镜头及图像传感器之间有一个微透镜阵列，每个微透镜阵列形成一个小像，被图像传感器记录下来，很多个小像组成图像阵列。
在显示设备上显示图像可以包括在显示设备上显示在任意深度平面聚焦的图像；或者是在显示设备上显示在任意深度区间聚焦的图像。
步骤102、获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度。
具体地，用户输入可以为与所显示图像的交互操作，也可以为用户自定义的输入方法，例如输入命令等，本实施例不对此进行限制。上述与所显示图像的交互操作可以为用户在触摸屏上的单点点击、多点点击、单点滑动或多点滑动的输入，多深度区间的重聚焦装置可以根据用户输入在显示图像中确定包括至少两个间断的深度区间的重聚焦区域。
步骤103、对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识的清晰度差异。
具体地，重聚焦信息可以是深度区间信息，也可以是像素区间信息，或是同时包括深度区间信息及像素区间信息。深度区间信息包含至少一个深度平面，深度区间可以是由一个或多个连续的深度平面组成；像素区间信息包括以下任意一种或几种信息：像素的坐标信息、强度信息、颜色信息、聚焦信息。
多深度区间的重聚焦装置获取到用户在触摸屏上的单点点击、多点点击、单点滑动或多点滑动的输入后，可以根据重聚焦区域的聚焦像素坐标，对重聚焦区域中的聚焦像素所对应的原始数据进行处理，确定重聚焦区域的重聚焦信息，重聚焦信息可以包括重聚焦区域的聚焦像素对应物点的深度、重聚焦区域的聚焦像素的视差、重聚焦区域的聚焦像素的点扩散函数、重聚焦区域的聚焦像素的光斑半径、重聚焦区域的坐标信息。需要说明的是，由于处理的图像类型不同和实现方法不同，所需要的重聚焦信息也有所不同。可能是上述某一种重聚焦信息，也可能是它们的任意组合。
进一步地，合成的重聚焦图像可以是对图像进行重聚焦操作，也可以是对图像进行融合拼接操作，也可以是对图像进行重聚焦及融合拼接的操作，本实施例不对此进行限制。
步骤104、在所述显示设备上显示所述重聚焦图像。
所显示的重聚焦图像可以是显示一个重聚焦区域内所有聚焦像素同时重聚焦的图像；也可以是以动作起点为所述显示信息的发散中心，显示重聚焦区域内聚焦像素由发散中心向外依次重聚焦的图像；也可以是以各深度区间的最近深度、中心深度或最远深度等为序，由近到远或由远到近地依次显示包含至少两个深度区间重聚焦的图像。
本实施例提供的多深度区间的重聚焦方法，通过获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域；对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识的清晰度差异，从而实现了多深度区间的重聚焦。
在图1所示实施例的基础上，在本实施例中，上述步骤102具体可以包括：
获取用户在触摸屏上的至少两次单点滑动的输入，如图2a所示，确定所述至少两次单点滑动对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每次所述单点滑动对应一个深度区间；或者，获取用户在触摸屏上至少两次多手指发散式的多点滑动，以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域，如图2b、图2c、图2d、图2e、图2f及图2g所示，确定通过所述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中，所述每个封闭的图形区域对应一个深度区间；或者，获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图形，如图2h所示，并将所述轨迹或封闭的几何图形移动至所述显示图像的另一个位置，确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每个所述轨迹或封闭的几何图形对应一个深度区间；或者，获取用户在触摸屏上的至少两次单点点击以选择至少两个点，如图2i所示，根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦区域，其中，每个所述点对应一个深度区间。
在实际的应用过程中，用户在触摸屏上单手指先后多次单点点击或先后多次单点滑动，选择包含所述至少两个间断的深度区间的重聚焦区域，每次单点点击或单点滑动选择包含一个深度区间的重聚焦区域。重聚焦信息具体可以是每个深度区间中最近的深度平面和最远的深度平面以及各深度区间被选中的先后次序。用户第一次单点点击或单点滑动时，选择的第一个深度区间被重聚焦。用户第二次单点点击或单点滑动时，选择的第二个深度区间被重聚焦，第一个深度区间仍保持重聚焦状态。当用户多次单点点击或单点滑动时，显示屏上始终显示至少两个深度区间被重聚焦的图像；也可以在用户所有点击或滑动动作结束后，显示所有选中的深度区间同时重聚焦的图像；或根据选择次序，依次重聚焦选中的深度区间，最后形成包含至少两个深度区间重聚焦的图像；或根据深度区间的深度由近到远或由远到近地依次重聚焦选中的深度区间，最后形成包含至少两个间断的深度区间的重聚焦图像。
用户在触摸屏上用多手指同时多点点击或多点滑动，选择包含所述至少两个间断的深度区间的重聚焦区域。每个手指选择包含一个深度区间的重聚焦区域，每个手指的滑动方向可以一致，也可以不一致。多个重聚焦区域可以部分或完全重叠，也可以不重叠。重聚焦信息可以是每个深度区间中最近的深度平面和最远的深度平面以及各深度区间被选中的先后次序。在显示时，可以显示所有选中的深度区间同时重聚焦的图像；也可以根据选择次序，依次重聚焦选中的深度区间，最后形成包含至少两个深度区间重聚焦的图像；也可以根据深度区间的深度由近到远或由远到近地依次重聚焦选中的深度区间，最后形成包含至少两个间断的深度区间的重聚焦图像。
用户多次用多手指发散式地多点滑动，每次以每个手指为图形的顶点或边，可以选择一个封闭的几何图形区域，如圆形区域或多边形区域。所述封闭的几何图形对应一个深度区间。重复以上动作，用户可以选择包含至少两个间断的深度区间的重聚焦区域。重聚焦信息可以是每个深度区间中最近的深度平面和最远的深度平面、各封闭几何图形的几何中心、质心和边界、各深度区间被选中的先后次序。用户第一次多手指发散式地多点滑动时，选择的第一个深度区间被重聚焦，用户第二次多手指发散式地多点滑动时，选择的第二个深度区间被重聚焦，第一个深度区间仍保持重聚焦状态。当用户多次多手指发散式地多点滑动时，显示屏上始终显示至少两个间断的深度区间被重聚焦的图像。也可以在用户所有多手指发散式地多点滑动之后，显示所有选中的深度区间同时重聚焦的图像；或根据选择次序，依次重聚焦选中的深度区间，最后形成包含至少两个间断的深度区间的重聚焦图像；或根据深度区间的深度由近到远或由远到近地依次重聚焦选中的深度区间，最后形成包含至少两个间断的深度区间的重聚焦图像。
用户用多个手指或单个手指进行多点滑动或单点滑动，可以是画一条轨迹，也可以是画一个封闭的几何图形。然后通过单个手指的单点拖动将所述轨迹或封闭的几何图形拖动到该图像的另一个位置，以上动作可以实现对该轨迹或封闭几何图形包括的区域进行重聚焦操作，其中，重聚焦信息可以是最近深度平面的深度、最远深度平面的深度、单点拖动的路径、封闭几何图形的质心、几何中心、边界中的任一个。用户拖动轨迹或封闭几何图形时，可以在拖动完成之后，显示轨迹或封闭几何图形被拖动路径所经过的所有区域同时重聚焦的图像；也可以根据拖动的路径，在拖动的同时或拖动之后依次显示包含至少两个深度区间重聚焦的图像；也可以以各深度区间的深度为序，在拖动完成之后，由近到远或由远到近的依次显示包含至少两个间断的深度区间的重聚焦图像。
用户用单手指单点点击选择一个点，然后根据预定义的深度区间值或用户自定义的深度区间值，选中包含所述点的一个深度区间，用户可以通过重复上述动作或者多手指同时点击的方式，选择包括至少两个间断的深度区间的重聚焦区域，所述深度区间的值可以为所述深度区间的最近和最远深度平面的深度，用户用单手指单点点击选择的点可以位于深度区间的任意位置，其中，重聚焦信息可以是用户单点点击选择的点的坐标。
进一步，获取用户在触摸屏上的输入后，在用户输入用例集中匹配该用户输入对应的深度区间信息和/或像素区间信息，作为重聚焦信息。若该用户输入与用户输入用例集不匹配，则不进行相应的重聚焦操作，并对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等；或在预定的时间间隔之后，再次探测用户的输入，重复以上过程，本实施例不对此进行限制。
用户输入可以为用户与显示图像的交互操作，也可以为用户对显示设备的姿态操作，或是显示设备监测到的用户动作，在获取到用户输入后，在用户输入用例集中匹配获取到的用户输入以得到重聚焦信息。深度区间信息包含至少一个深度平面，深度区间可以是由一个或多个连续的深度平面组成；像素区间信息包括以下任意一种或几种信息：像素的坐标信息、强度信息、颜色信息、聚焦信息。
需要说明的是，重聚焦区域可以是封闭的几何图形区域的深度区间所对应的所有区域，也可以是仅是所述封闭几何图形区域选择的深度区间所对应的区域中被所述封闭几何图形所包含的子区域。
该触摸屏可以是多手指敏感的触摸屏，也可以是与显示设备连接的多手指敏感的触摸板，本实施例不以此为限。
本实施例提供多深度区间的重聚焦方法，当多深度区间的重聚焦装置探测到用户手指与触摸屏的接触时，判断接触的个数和位置，然后探测用户手指是否有移动，如果用户手指没有移动，则计算选定的重聚焦区域所对应的重聚焦信息；如果用户手指有移动，则探测和跟踪移动速度的大小和方向，移动的加速度，移动的路径，并判断该移动是否结束，如果结束，则计算接触和移动组合或序列手势对应的重聚焦信息，若没有结束，则继续探测移动的路径，直至该移动结束，最后根据计算得到的重聚焦信息对各图像进行重聚焦操作和/或图像融合拼接操作，并在显示设备上显示获得的重聚焦图片。
需要说明的是，该重聚焦模式可以由用户自行选择是否使用，如果使用该重聚焦模式，则多深度区间的重聚焦装置可以按照用户的输入对图片进行相应的重聚焦操作，若用户输入的动作不属于多深度区间的重聚焦装置可以识别的动作，则多深度区间的重聚焦装置会通过一定的方式对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等。如果不使用该重聚焦模式，则就算用户输入的动作属于多深度区间的重聚焦装置可以识别的动作，该动作将会被忽略，多深度区间的重聚焦装置不会对图像进行重聚焦操作，但并不影响其它操作的正常使用。
本实施例提供的多深度区间的重聚焦方法，通过用户与所显示的图像进行交互输入，再根据用户输入确定重聚焦区域，再根据重聚焦区域确定重聚焦信息，并基于重聚焦信息对显示图像对应的数据进行处理，以合成多深度区间的重聚焦图像，实现了多深度区间的重聚焦。并且，用户可以用多点输入的方式划定重聚焦区域，同时选择多个重聚焦的深度区间并进行显示。
在图1所示实施例的基础上，在本实施例中，上述步骤102具体可以包括：
当用户按住一个物理按钮或一个图形按钮的同时，所述显示设备上显示相应的图形对象，检测用户对设备的姿态操作，所述图形对象标记所述姿态操作所经过的路径，将所述图形对象标记的所述路径作为所述重聚焦区域，用户再次按住所述物理按钮或图形按钮的同时，重复上述动作，选择下一个所述重聚焦区域；或，在所述显示设备上显示所述图形对象，所述图形对象随着用户对设备的所述姿态操作相应的进行物理运动，当用户触发一个物理按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域，用户重复上述动作选择下一个所述重聚焦区域；
其中，所述检测用户对设备的姿态操作，包括：获取用户对设备的平移操作，将所述设备的平移距离映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景；或，获取用户对设备的倾斜操作，将所述设备的倾斜的角度映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景。
姿态传感器可以检测设备在转动、偏转、轴向运动等动作时的方向、方位、加速度、角加速度或它们的任意组合，重构设备当前完整的3D姿态。例如，当用户将设备向前旋转或向自己拉近时，姿态传感器感应到设备的当前姿态，与用户输入用例集进行匹配，若匹配，则相应的显示近距离场景的重聚焦图像；当用户将设备向后旋转或推远时，姿态传感器感应到设备的当前姿态，与用户输入用例集进行匹配，若匹配，则相应的显示远距离场景的重聚焦图像；若设备当前的运动姿态不能与用户输入用例集匹配，则不进行相应的重聚焦操作，并对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等；或在预定的时间间隔之后，再次探测设备的姿态，重复以上过程。
具体的，用户向前平移设备时，图像中的背景或前景被重聚焦；用户向后平移设备时，图像中的前景或背景被重聚焦；或者，用户向左平移设备时，图像中左侧物体或右侧物体被重聚焦；用户向右平移设备时，图像中右侧物体或左侧物体被重聚焦。其中，设备左右平移的距离可以以某种比例关系映射为图像中场景的空间位置，所述空间位置对应至少两个间断的深度区间，包括X-Y坐标和/或深度信息。
或者，用户向前倾斜设备，即设备上边缘向前，下边缘向后，图像中的背景或前景被重聚焦；用户向后倾斜设备，即设备上边缘向后，下边缘向前，图像中的前景或背景被重聚焦；或者，用户向左倾斜设备，即设备左边缘向前，右边缘向后，图像中左侧物体或右侧物体被重聚焦；用户向右倾斜设备，即设备右边缘向后，左边缘向前，图像中右侧物体或左侧物体被重聚焦。其中，倾斜可以仅包含旋转，也可以同时包含平移和旋转，旋转中心轴可以是经过手机的某个虚拟旋转轴，也可以是手机以外的某个虚拟旋转轴，比如用户腕关节不动，手掌向上，手掌左右摆动，其中，设备倾斜的角度将以某种比例关系映射为图片中场景的空间位置，所述空间位置对应至少两个间断的深度区间，包括X-Y坐标和/或深度信息。
或者，用户按住某个物理或图形的按钮时，显示设备上显示相应的图形对象，该图形对象随着设备的姿态变化，其所处位置也发生相应的变化，比如，用户按住按钮时，显示设备上显示一个圆点，当用户操纵设备，使设备姿态发生变化时，该圆点模拟相应的物理运动，并利用曲线等图形对象像画笔一样标记所经过路径，从而选中重聚焦区域；或者，显示设备上显示图形对象，该图形对象会随移动设备的姿态变化发生相应的物理运动。然后当用户触发物理或图形按钮时，选中此时图形对象所处位置的图像区域为重聚焦区域。其中，设备姿态的变化，包括平移距离、旋转角度将以一定的比例关系映射为图片中场景的空间位置，所述空间位置对应至少两个间断的深度区间，包括X-Y坐标和/或深度信息。
用户若想要形成一段连续的重聚焦区域，则可以通过按住一个预先设定的支持该功能的按钮，同时转动或移动设置有姿态传感器的设备，从而选择一段连续的重聚焦区域，所述连续的重聚焦区域包含至少两个间断的深度区间。
进一步，姿态传感器可以包括陀螺仪、加速计、磁力计、重力感应器等。上述陀螺仪测量设备偏转、倾斜时的角速度；上述加速计可以检测设备加速度的大小和方向；上述磁力计可以检测磁场强度和方向；上述重力感应器是通过感应重物重力正交两个方向的分力大小，来判断水平方向。本实施例提供多深度区间的重聚焦方法，姿态传感器通过检测设备在各个方向的运动速率、运动方向、加速度、角加速度、重力加速度或它们的任意组合，获取设备当前的运动姿态，从而确定用户所选择的包含至少两个间断的深度区间的重聚焦区域。
由上述可知，本实施例提供的多深度区间的重聚焦方法，通过检测用户对设备的姿态操作，确定包含至少两个间断的深度区间的重聚焦区域，进而确定重聚焦信息，对图像对应的数据进行处理，以合成重聚焦图像并进行显示，实现了多深度区间的重聚焦。
在图1所示实施例的基础上，在本实施例中，上述步骤102具体可以包括：
在所述显示设备上显示图形对象，并追踪用户的手部移动的轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，确定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或者，监测用户推动手掌的动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置，在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
需要说明的是，在所述显示设备上显示图形对象，并追踪用户的手部在特定空间区域内的移动轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，而特定空间区域外的手部移动视为无效移动，不改变图形对象的位置，确定所述图形对象移动轨迹所覆盖的所述显示图像中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或，监测用户在特定空间区域内的推动手掌的动作，将所述特定空间区域内推动手掌的动作的运动路径映射为所述显示图像中的空间位置，所述特定空间区域外的推动手掌的动作视为无效动作，不做映射，在所述映射得到的显示图像中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
具体地，动作跟踪模块可以采集、跟踪用户当前的动作，并将采集到的用户动作与用户输入用例集进行匹配，以确定所选择的至少一个重聚焦区域。若该用户动作与输入用例集不匹配，则不进行相应的重聚焦操作，并对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等；或在预定的时间间隔之后，再次探测用户的动作，重复以上过程。
作为一种可行的实施方式，动作跟踪模块可以是摄像头、红外体感设备等。该动作跟踪模块包含可以执行采集、跟踪用户动作的相关操作、指令。用户动作可以是用户手指、手掌、眼球、头部相对于动作跟踪模块的隔空运动。
本实施例提供多深度区间的重聚焦方法，通过动作跟踪模块监测并识别用户动作，若该用户动作可以识别，则进行相应的重聚焦操作，若该用户动作不可以识别，在预设的时间间隔之后，再次监测用户动作，重复上述过程。
例如，显示设备上显示一个图形对象，用户向设备挥手，图形对象跟踪用户挥手的动作，像画笔一样选中所经过的区域为重聚焦区域，如用户挥手形成多个闭合的圆，则在显示设备上显示多个闭合的圆表示选中的多个重聚焦区域；又如，用户用手画出一个轨迹，则图形对象跟踪用户手部的动作，向画笔一样在显示屏上画出相应的轨迹，轨迹所经过区域即为重聚焦区域。其中，用户手部的运动路径将以某种数学关系映射为图像中场景的空间位置，包括X-Y坐标和/或深度信息。
或者，用户向前推动手，则前景被重聚焦；用户向后推动手，则后景被重聚焦；用户向左挥手，则左侧物体被重聚焦；用户向右挥手，则右侧物体被重聚焦。其中，用户手部的运动路径将以某种数学关系映射为图片中场景的空间位置，包括X-Y坐标和/或深度信息。
由上述可知，通过用户与所显示的图像进行交互输入，通过监测用户动作确定包含至少两个间断的深度区间的重聚焦区域，进而确定重聚焦信息，对图像对应的数据进行处理，以合成重聚焦图像并进行显示，实现了多深度区间的重聚焦。
图3为本发明多深度区间的重聚焦方法实施例五的流程图。本实施例的方法可以由多深度区间的重聚焦装置执行，该装置通常以硬件和/或软件的方式来实现，可配置在电子设备中。如图3所示，在本实施例提供的多深度区间的重聚焦方法中，在图1所示实施例的基础上，本实施例提供的方法可以包括：
步骤201、在显示设备上显示图像.
步骤202、获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域。
本步骤中，可以根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象并进行显示，所述图形对象可以包括点、线、圆、椭圆或多边形。
步骤203、确定所述重聚焦区域的重聚焦信息。
对应于步骤202中，若所述图形对象为点，则根据预定义的所述深度区间值将包含所述点的深度区间信息和/或图像像素区间信息作为所述重聚焦信息；或，若所述图形对象为线，则将所述线对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或，所述图形对象为圆，则将所述圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或，若所述图形对象为椭圆，则将所述椭圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或，若所述图形对象为多边形，则将所述多边形所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息。
本步骤中，还可以计算各所述重聚焦区域中的景物的深度区间信息和/或像素区间信息，作为所述重聚焦信息，其中，所述深度区间信息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息：像素坐标信息、强度信息、颜色信息和聚焦信息，本实施例不对此进行限制。
可选，还可以在显示设备上显示相应的所述深度区间信息、像素区间信息和景深信息。
步骤204、根据所述用户输入确定显示信息，所述显示信息包括重聚焦图像的发散中心和/或显示次序。
本实施例不对步骤203与步骤204的顺序进行限制，在实际应用过程中，也可以先执行步骤203，即，在本实施例中，可以先根据用户输入确定显示信息，再根据用户输入确定重聚焦信息；也可以先根据用户输入确定重聚焦信息，再根据用户输入确定显示信息，本实施例不对此进行限制。
发散中心可以为上述用户输入选择的区域中的点，也可以是某个轨迹的起始点，也可以是对触摸屏进行点击时，选择的点的预设的范围。确定发散中心可以为可选的，也可以是预定义的。显示次序可以为上述用户输入选择的次序，也可以是各深度平面的深度次序，如由近到远或由远到近。确定显示次序可以为可选的，该显示次序也可以采用预定义的显示次序。
步骤205、基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理，以合成重聚焦图像。
具体的，在实际应用中，可以基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像；对应地，在所述显示设备上显示所述重聚焦图像包括：显示一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像
步骤206、在所述显示设备上从所述发散中心开始，由内向外或由外向内的显示所述重聚焦图像；或者，在所述显示设备上按照所述显示次序依次，或交互，或同时的显示所述重聚焦图像。
所述显示设备在对重聚焦图像进行显示时，可以从所述重聚焦区域的发散中心对应的重聚焦图像开始，按照预设的顺序依次显示各所述重聚焦图像；或根据预定义信息显示所述重聚焦图像，所述预定义信息包括预定义的所述发散中心、所述显示次序和所述显示图形对象。本实施例不对此进行限制。
本实施例提供多深度区间的重聚焦方法，通过获取用户输入后确定发散中心和/或显示次序，对重聚焦图像进行特定方式的显示。
本实施例提供的多深度区间的重聚焦方法，通过用户与所显示的图像进行交互输入，再根据用户输入确定包含至少两个间断的深度区间的重聚焦区域，进而确定重聚焦信息和显示信息，对图像对应的数据进行处理，以合成重聚焦图像并进行显示，实现了多深度区间的重聚焦。
图4为本发明多深度区间的重聚焦方法实施例一的结构示意图。如图4所示，本实施例提供的多深度区间的重聚焦装置可以包括：显示模块11及处理模块12。
其中，显示模块11用于在显示设备上显示图像及重聚焦图像；
处理模块12用于获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异。
显示模块11具体用于显示在任意深度平面聚焦的图像；或者，在任意深度区间聚焦的图像；所显示的重聚焦图像可以是显示一个重聚焦区域内所有聚焦像素同时重聚焦的图像；也可以是以动作起点为所述显示信息的发散中心，显示重聚焦区域内聚焦像素由发散中心向外依次重聚焦的图像；也可以是以各深度区间的最近深度、中心深度或最远深度等为序，由近到远或由远到近地依次显示包含至少两个深度区间重聚焦的图像。
本实施例的多深度区间的重聚焦装置，可用于执行图1所示方法实施例的技术方案，其实现原理及技术效果类似，此处不再赘述。
在上述实施例的基础上，本实施例提供的多深度区间的重聚焦装置中，上述处理模块12具体还可以用于获取用户在触摸屏上的至少两次单点滑动的输入，确定所述至少两次单点滑动对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每次所述单点滑动对应一个深度区间；或者，获取用户在触摸屏上至少两次多手指发散式的多点滑动，以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域，确定通过所述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中，所述每个封闭的图形区域对应一个深度区间；或者，获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图形，并将所述轨迹或封闭的几何图形移动至所述显示图像的另一个位置，确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每个所述轨迹或封闭的几何图形对应一个深度区间；或者，获取用户在触摸屏上的至少两次单点点击以选择至少两个点，根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦区域，其中，每个所述点对应一个深度区间。
所述处理模块12在获取用户在触摸屏上的输入后，在用户输入用例集中匹配该用户输入对应的深度区间信息和/或像素区间信息，作为重聚焦信息。若该用户输入与用户输入用例集不匹配，则不进行相应的重聚焦操作，并对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等；或在预定的时间间隔之后，再次探测用户的输入，重复以上过程，本实施例不对此进行限制。
需要说明的是，所述处理模块12获取的用户输入可以为用户与显示图像的交互操作，也可以为用户对显示设备的姿态操作，或是显示设备监测到的用户动作，在获取到用户输入后，在用户输入用例集中匹配获取到的用户输入以得到重聚焦信息。深度区间信息包含至少一个深度平面，深度区间可以是由一个或多个连续的深度平面组成；像素区间信息包括以下任意一种或几种信息：像素的坐标信息、强度信息、颜色信息、聚焦信息。
需要说明的是，重聚焦区域可以是封闭的几何图形区域的深度区间所对应的所有区域，也可以是仅是所述封闭几何图形区域选择的深度区间所对应的区域中被所述封闭几何图形所包含的子区域。
本实施例的多深度区间的重聚焦装置，可用于执行上述方法实施例的技术方案，其实现原理及技术效果类似，此处不再赘述。
图5为本发明多深度区间的重聚焦方法实施例二的结构示意图。如图5所示，在上述实施例的基础上，本实施例提供的多深度区间的重聚焦装置中，上述处理模块12还可以包括姿态传感器单元21，用于当用户按住一个物理按钮或一个图形按钮的同时，所述显示设备上显示相应的图形对象，检测用户对设备的姿态操作，所述图形对象标记所述姿态操作所经过的路径，将所述图形对象标记的所述路径作为所述重聚焦区域，用户再次按住所述物理按钮或图形按钮的同时，重复上述动作，选择下一个所述重聚焦区域；或，在所述显示设备上显示所述图形对象，所述图形对象随着用户对设备的所述姿态操作相应的进行物理运动，当用户触发一个物理按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域，用户重复上述动作选择下一个所述重聚焦区域；
所述姿态传感器单元21具体用于获取用户对设备的平移操作，将所述设备的平移距离映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景；或，获取用户对设备的倾斜操作，将所述设备的倾斜的角度映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景。
在实际应用过程中，姿态传感器单元21可以检测设备在转动、偏转、轴向运动等动作时的方向、方位、加速度、角加速度或它们的任意组合，重构设备当前完整的3D姿态。例如，当用户将设备向前旋转或向自己拉近时，姿态传感器感单元21应到设备的当前姿态，与用户输入用例集进行匹配，若匹配，则相应的显示近距离场景的重聚焦图像；当用户将设备向后旋转或推远时，姿态传感器感单元21应到设备的当前姿态，与用户输入用例集进行匹配，若匹配，则相应的显示远距离场景的重聚焦图像；若设备当前的运动姿态不能与用户输入用例集匹配，则不进行相应的重聚焦操作，并对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等；或在预定的时间间隔之后，再次探测设备的姿态，重复以上过程。
本实施例的多深度区间的重聚焦装置，可用于执行上述方法实施例的技术方案，其实现原理及技术效果类似，此处不再赘述。
图6为本发明多深度区间的重聚焦方法实施例三的结构示意图。如图6所示，在上述实施例的基础上，本实施例提供的多深度区间的重聚焦装置中，上述处理模块12还可以包括动作跟踪单元22，用于在所述显示设备上显示图形对象，并追踪用户的手部移动的轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，确定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或，监测用户推动手掌的动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置，在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
需要说明的是，在所述显示设备上显示图形对象，并追踪用户的手部在特定空间区域内的移动轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，而特定空间区域外的手部移动视为无效移动，不改变图形对象的位置，确定所述图形对象移动轨迹所覆盖的所述显示图像中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或，监测用户在特定空间区域内的推动手掌的动作，将所述特定空间区域内推动手掌的动作的运动路径映射为所述显示图像中的空间位置，所述特定空间区域外的推动手掌的动作视为无效动作，不做映射，在所述映射得到的显示图像中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
具体地，动作跟踪单元22可以采集、跟踪用户当前的动作，并将采集到的用户动作与用户输入用例集进行匹配，以确定所选择的至少一个重聚焦区域。若该用户动作与输入用例集不匹配，则不进行相应的重聚焦操作，并对用户进行提示，如，显示提示文字、使用声音提示、使用振动提示等；或在预定的时间间隔之后，再次探测用户的动作，重复以上过程。
作为一种可行的实施方式，动作跟踪单元22可以是摄像头、红外体感设备等。该动作跟踪单元22包含可以执行采集、跟踪用户动作的相关操作、指令。用户动作可以是用户手指、手掌、眼球、头部相对于动作跟踪单元22的隔空运动。
本实施例的多深度区间的重聚焦装置，可用于执行上述方法实施例的技术方案，其实现原理及技术效果类似，此处不再赘述。
图7为本发明多深度区间的重聚焦方法实施例四的结构示意图。如图7所示，在上述实施例的基础上，本实施例提供的多深度区间的重聚焦装置中，上述处理模块12还可以根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象并进行显示，所述图形对象可以包括点、线、圆、椭圆或多边形。
若所述图形对象为点，则处理模块12可以根据预定义的所述深度区间值将包含所述点的深度区间信息和/或图像像素区间信息作为所述重聚焦信息；若所述图形对象为线，则处理模块12可以将所述线对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；若所述图形对象为圆，则处理模块12可以将所述圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；若所述图形对象为椭圆，则处理模块12可以将所述椭圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；若所述图形对象为多边形，则处理模块12可以将所述多边形所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息。
上述处理模块12还可以包括计算单元23，该计算单元23用于计算各所述重聚焦区域中的景物的深度区间信息和/或像素区间信息，作为所述重聚焦信息，其中，所述深度区间信息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息：像素坐标信息、强度信息、颜色信息和聚焦信息。
上述显示模块11还可以用于显示相应的深度区间信息、像素区间信息、景深信息。
本实施例的多深度区间的重聚焦装置，可用于执行上述方法实施例的技术方案，其实现原理及技术效果类似，此处不再赘述。
本实施例提供的电子设备可以包括至少一个处理器，内存控制器，***设备接口，输入输出***，该输入输出***至少连接有显示设备和用户输入设备，还可以包括上述任一实施例的多深度区间的重聚焦装置。
其中，用户输入设备可以为触摸屏，可以为触摸板，也可以为姿态传感器和/或动作跟踪模块；上述显示设备可以用于显示重聚焦交互前或重聚焦过程中的图像和图形对象。
本实施例提供的电子设备可用于执行任一实施例的技术方案，其实现原理及技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (31)

1.一种多深度区间的重聚焦方法，其特征在于，包括：
在显示设备上显示图像；
获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；
对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识的清晰度差异；
在所述显示设备上显示所述重聚焦图像。
2.根据权利要求1所述的方法，其特征在于，所述在显示设备上显示图像包括：
在所述显示设备上显示在任意深度平面聚焦的图像；或者
在所述显示设备上显示在任意深度区间聚焦的图像。
3.根据权利要求1所述的方法，其特征在于，所述获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域包括：
获取用户在触摸屏上的至少两次单点滑动的输入，确定所述至少两次单点滑动对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每次所述单点滑动对应一个深度区间；或
获取用户在触摸屏上至少两次多手指发散式的多点滑动，以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域，确定通过所述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中，所述每个封闭的图形区域对应一个深度区间；或
获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图形，并将所述轨迹或封闭的几何图形移动至所述显示图像的另一个位置，确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每个所述轨迹或封闭的几何图形对应一个深度区间；或
获取用户在触摸屏上的至少两次单点点击以选择至少两个点，根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦区域，其中，每个所述点对应一个深度区间。
4.根据权利要求1所述的方法，其特征在于，所述获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域包括：
当用户按住一个物理按钮或一个图形按钮的同时，所述显示设备上显示相应的图形对象，检测用户对设备的姿态操作，所述图形对象标记所述姿态操作所经过的路径，将所述图形对象标记的所述路径作为所述重聚焦区域，用户再次按住所述物理按钮或图形按钮的同时，重复上述动作，选择下一个所述重聚焦区域；或
在所述显示设备上显示所述图形对象，所述图形对象随着用户对设备的所述姿态操作相应的进行物理运动，当用户触发一个物理按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域，用户重复上述动作选择下一个所述重聚焦区域；
其中，所述检测用户对设备的姿态操作，包括：
获取用户对设备的平移操作，将所述设备的平移距离映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景；或
获取用户对设备的倾斜操作，将所述设备的倾斜的角度映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景。
5.根据权利要求1所述的方法，其特征在于，所述获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域包括：
在所述显示设备上显示图形对象，并追踪用户的手部移动的轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，确定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或
监测用户推动手掌的动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置，在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
6.根据权利要求1-5任意一项所述的方法，其特征在于，在所述根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域之后，在所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像之前，所述方法还包括：
确定所述重聚焦区域的重聚焦信息；
对应，所述对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，具体包括：
基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理，以合成重聚焦图像，并在所述显示设备上显示重聚焦图像。
7.根据权利要求6所述的方法，其特征在于，所述获取用户输入之后，还包括：
根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象并进行显示，所述图形对象包括点、线、圆、椭圆或多边形；
相应的，所述确定所述重聚焦区域的重聚焦信息包括：
所述图形对象为点，则根据预定义的所述深度区间值将包含所述点的深度区间信息和/或图像像素区间信息作为所述重聚焦信息；或
所述图形对象为线，则将所述线对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为圆，则将所述圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为椭圆，则将所述椭圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为多边形，则将所述多边形所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息。
8.根据权利要求6所述的方法，其特征在于，所述获取用户输入之后，还包括：
根据所述用户输入确定显示信息，所述显示信息包括重聚焦图像的发散中心和/或显示次序；
对应，所述在所述显示设备上显示重聚焦图像，具体包括：
在所述显示设备上从所述发散中心开始，由内向外或由外向内的显示所述重聚焦图像；或者，在所述显示设备上按照所述显示次序依次，或交互，或同时的显示所述重聚焦图像。
9.根据权利要求6所述的方法，其特征在于，所述确定所述重聚焦区域的重聚焦信息包括：
计算各所述重聚焦区域中的景物的深度区间信息和/或像素区间信息，作为所述重聚焦信息，其中，所述深度区间信息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息：像素坐标信息、强度信息、颜色信息和聚焦信息。
10.根据权利要求6所述的方法，其特征在于，所述确定所述重聚焦区域的重聚焦信息包括：
在用户输入用例集中匹配所述用户输入，根据所述用户输入在所述显示图像中确定与所述用户输入对应的深度区间信息和/或像素区间信息，作为所述重聚焦信息。
11.根据权利要求7所述的方法，其特征在于，所述确定所述重聚焦区域的重聚焦信息之后，还包括：
在所述显示设备上显示相应的所述深度区间信息、所述像素区间信息和景深信息。
12.根据权利要求6所述的方法，其特征在于，所述基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理，以合成重聚焦图像包括：
基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像；
对应地，在所述显示设备上显示所述重聚焦图像包括：显示一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。
13.根据权利要求7所述的方法，其特征在于，所述在所述显示设备上显示所述重聚焦图像包括：
从所述重聚焦区域的发散中心对应的重聚焦图像开始，按照预设的顺序依次显示各所述重聚焦图像。
14.根据权利要求7所述的方法，其特征在于，所述在所述显示设备上显示所述重聚焦图像包括：
根据预定义信息显示所述重聚焦图像，所述预定义信息包括预定义的发散中心、显示次序和所述显示图形对象。
15.一种多深度区间的重聚焦装置，其特征在于，包括：
显示模块，用于在显示设备上显示图像；
处理模块，用于获取用户输入，根据所述用户输入在所述显示图像中确定包括至少两个间断的深度区间的重聚焦区域，所述至少两个间断的深度区间中的每个深度区间由至少一个深度平面组成，每个所述深度平面包含至少一个聚焦像素，且包含于同一所述深度平面上的聚焦像素所对应的物点具有相同的深度；
所述处理模块还用于对所述重聚焦区域内的图像进行重聚焦处理以在所述显示设备上显示重聚焦图像，所述重聚焦图像相对于所述显示图像中除所述重聚焦区域之外的区域具有视觉上可辨识清晰度差异；
所述显示模块还用于在所述显示设备上显示所述重聚焦图像。
16.根据权利要求15所述的装置，其特征在于，所述显示模块具体用于：
在所述显示设备上显示在任意深度平面聚焦的图像；或者
在所述显示设备上显示在任意深度区间聚焦的图像。
17.根据权利要求15所述的装置，其特征在于，所述处理模块具体用于：
获取用户在触摸屏上的至少两次单点滑动的输入，确定所述至少两次单点滑动对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每次所述单点滑动对应一个深度区间；或
获取用户在触摸屏上至少两次多手指发散式的多点滑动，以每次滑动终止时每个手指所在的位置为顶点或边构建一个封闭的图形区域，确定通过所述至少两次多手指发散式的多点滑动所构建的至少两个图形区域所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中，所述每个封闭的图形区域对应一个深度区间；或
获取用户用多手指在触摸屏上的多点滑动或单手指在触摸屏上的单点滑动所画的轨迹或封闭的几何图形，并将所述轨迹或封闭的几何图形移动至所述显示图像的另一个位置，确定所述轨迹或封闭的几何图形的原始位置以及移动后位置所对应的至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域，其中每个所述轨迹或封闭的几何图形对应一个深度区间；或
获取用户在触摸屏上的至少两次单点点击以选择至少两个点，根据预定义的深度区间值将包含所述点的至少两个间断的深度区间确定为所述重聚焦区域，其中，每个所述点对应一个深度区间。
18.根据权利要求15所述的装置，其特征在于，所述处理模块包括：
姿态传感器单元，用于当用户按住一个物理按钮或一个图形按钮的同时，所述显示设备上显示相应的图形对象，检测用户对设备的姿态操作，所述图形对象标记所述姿态操作所经过的路径，将所述图形对象标记的所述路径作为所述重聚焦区域，用户再次按住所述物理按钮或图形按钮的同时，重复上述动作，选择下一个所述重聚焦区域；或
在所述显示设备上显示所述图形对象，所述图形对象随着用户对设备的所述姿态操作相应的进行物理运动，当用户触发一个物理按钮或一个图形按钮时，将所述图形对象当前所处位置作为所述重聚焦区域，用户重复上述动作选择下一个所述重聚焦区域；
所述姿态传感器单元具体用于获取用户对设备的平移操作，将所述设备的平移距离映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景；或
获取用户对设备的倾斜操作，将所述设备的倾斜的角度映射为所述显示图像中场景的空间位置，重聚焦所述空间位置处的场景。
19.根据权利要求15所述的装置，其特征在于，所述处理模块包括：
动作跟踪单元，用于在所述显示设备上显示图形对象，并追踪用户的手部移动的轨迹，并沿所追踪到的用户手部移动的轨迹移动所述图形对象，确定所述图形对象移动轨迹所覆盖的所述显示图像中的区域中至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域；或
监测用户推动手掌的动作，将所述推动手掌的动作的运动路径映射为所述显示图像中的空间位置，在所述映射得到的显示图像中的空间位置中确定至少两个间断的深度区间，将所述至少两个间断的深度区间确定为所述重聚焦区域。
20.根据权利要求15-19任一项所述的装置，其特征在于，所述处理模块还用于：
确定所述重聚焦区域的重聚焦信息；基于所述重聚焦信息对所述重聚焦区域内的图像进行重聚焦处理，以合成重聚焦图像，
所述显示模块还用于在所述显示设备上显示重聚焦图像。
21.根据权利要求20所述的装置，其特征在于，所述处理模块还用于：
根据所述用户输入生成用于标识用户选择的所述重聚焦区域的图形对象并进行显示，所述图形对象包括点、线、圆、椭圆或多边形；
所述处理模块具体用于：
所述图形对象为点，则根据预定义的所述深度区间值将包含所述点的深度区间信息和/或图像像素区间信息作为所述重聚焦信息；或
所述图形对象为线，则将所述线对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为圆，则将所述圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为椭圆，则将所述椭圆所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息；或
所述图形对象为多边形，则将所述多边形所包含的区域所对应的所述深度区间信息和/或像素区间信息作为所述重聚焦信息。
22.根据权利要求20所述的装置，其特征在于，所述处理模块还用于根据所述用户输入确定显示信息，所述显示信息包括重聚焦图像的发散中心和/或显示次序；
所述显示设备具体用于从所述发散中心开始，由内向外或由外向内的显示所述重聚焦图像；或者，在所述显示设备上按照所述显示次序依次，或交互，或同时的显示所述重聚焦图像。
23.根据权利要求20所述的装置，其特征在于，所述处理模块还包括计算单元，用于计算各所述重聚焦区域中的景物的深度区间信息和/或像素区间信息，作为所述重聚焦信息，其中，所述深度区间信息包括至少一个深度平面，所述像素区间信息包括以下任意一种或几种信息：像素坐标信息、强度信息、颜色信息和聚焦信息。
24.根据权利要求20所述的装置，其特征在于，所述处理模块还用于：
在用户输入用例集中匹配所述用户输入，根据所述用户输入在所述显示图像中确定与所述用户输入对应的深度区间信息和/或像素区间信息，作为所述重聚焦信息。
25.根据权利要求21所述的装置，其特征在于，所述显示模块还用于在所述显示设备上显示相应的所述深度区间信息、所述像素区间信息和景深信息。
26.根据权利要求20所述的装置，其特征在于，所述处理模块具体用于：
基于所述重聚焦信息对所述显示图像所对应的数据进行处理以合成一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像；
对应地，在所述显示设备上显示所述重聚焦图像包括：显示一张多个深度平面同时重聚焦的图像或多张多个深度平面同时重聚焦的图像。
27.根据权利要求21所述的装置，其特征在于，所述显示模块具体用于：
从所述重聚焦区域的发散中心对应的重聚焦图像开始，按照预设的顺序依次显示各所述重聚焦图像。
28.根据权利要求21所述的装置，其特征在于，所述显示模块具体用于：
根据预定义信息显示所述重聚焦图像，所述预定义信息包括预定义的发散中心、显示次序和所述显示图形对象。
29.一种电子设备，包括至少一个处理器、内存控制器、***设备接口和输入输出***，所述输入输出***至少连接有显示设备和用户输入设备，其特征在于，还包括：权利要求15-28任一所述的多深度区间的重聚焦装置。
30.根据权利要求29所述的电子设备，其特征在于，所述用户输入设备为触摸屏、触摸板、姿态传感器和/或动作跟踪模块。
31.根据权利要求30所述的电子设备，其特征在于，所述显示设备用于显示重聚焦交互前或重聚焦过程中的图像和图形对象。
CN201310288099.5A 2013-07-10 2013-07-10 多深度区间的重聚焦方法、装置及电子设备 Active CN104281397B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201310288099.5A CN104281397B (zh) 2013-07-10 2013-07-10 多深度区间的重聚焦方法、装置及电子设备
PCT/CN2014/080053 WO2015003544A1 (zh) 2013-07-10 2014-06-17 多深度区间的重聚焦方法、装置及电子设备
JP2016524663A JP6369842B2 (ja) 2013-07-10 2014-06-17 多深度間隔の再合焦方法および装置および電子デバイス
EP14822408.2A EP3021206B1 (en) 2013-07-10 2014-06-17 Method and device for refocusing multiple depth intervals, and electronic device
KR1020167000950A KR20160019548A (ko) 2013-07-10 2014-06-17 다중 심도 구간 재초점 방법 및 장치 그리고 전자 장치
US14/977,966 US10203837B2 (en) 2013-07-10 2015-12-22 Multi-depth-interval refocusing method and apparatus and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310288099.5A CN104281397B (zh) 2013-07-10 2013-07-10 多深度区间的重聚焦方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN104281397A CN104281397A (zh) 2015-01-14
CN104281397B true CN104281397B (zh) 2018-08-14

Family

ID=52256322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310288099.5A Active CN104281397B (zh) 2013-07-10 2013-07-10 多深度区间的重聚焦方法、装置及电子设备

Country Status (6)

Country Link
US (1) US10203837B2 (zh)
EP (1) EP3021206B1 (zh)
JP (1) JP6369842B2 (zh)
KR (1) KR20160019548A (zh)
CN (1) CN104281397B (zh)
WO (1) WO2015003544A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320075B2 (ja) * 2014-02-19 2018-05-09 キヤノン株式会社 画像処理装置およびその制御方法
CN105335950B (zh) * 2014-05-28 2019-02-12 华为技术有限公司 图像处理方法和图像处理装置
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
EP3151534A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
TWI589150B (zh) * 2016-03-04 2017-06-21 液態三維系統有限公司 ３ｄ自動對焦顯示方法及其系統
JP6752681B2 (ja) * 2016-10-19 2020-09-09 キヤノン株式会社 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体
US10810776B2 (en) * 2016-11-28 2020-10-20 Sony Corporation Image processing device and image processing method
CN107783704B (zh) * 2017-09-27 2021-07-23 北京小米移动软件有限公司 图片效果的调整方法、装置及终端
CN108063894B (zh) * 2017-12-22 2020-05-12 维沃移动通信有限公司 一种视频处理方法及移动终端
CN108600623B (zh) * 2018-04-20 2020-07-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098594A (ja) * 2010-11-04 2012-05-24 Ricoh Co Ltd 撮像装置および撮像方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262169A (ja) * 2001-02-27 2002-09-13 Sony Corp 撮像装置および方法
US7623726B1 (en) * 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
KR101373333B1 (ko) 2007-07-11 2014-03-10 엘지전자 주식회사 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US20110273369A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US20120120277A1 (en) 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
JP5451665B2 (ja) * 2011-02-21 2014-03-26 株式会社デンソーアイティーラボラトリ 文字入力装置、文字入力方法、及びプログラム
CN102314683B (zh) * 2011-07-15 2013-01-16 清华大学 一种非平面图像传感器的计算成像方法和成像装置
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP5497708B2 (ja) * 2011-08-31 2014-05-21 楽天株式会社 携帯型電子機器、携帯型電子機器の制御方法、プログラム、及び情報記憶媒体
JP5822613B2 (ja) * 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
WO2013043761A1 (en) * 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP5848561B2 (ja) 2011-09-20 2016-01-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN104081414B (zh) * 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的***及方法
JP2013088579A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098594A (ja) * 2010-11-04 2012-05-24 Ricoh Co Ltd 撮像装置および撮像方法

Also Published As

Publication number Publication date
JP2016525747A (ja) 2016-08-25
US20160117077A1 (en) 2016-04-28
EP3021206A4 (en) 2016-06-29
US10203837B2 (en) 2019-02-12
WO2015003544A1 (zh) 2015-01-15
JP6369842B2 (ja) 2018-08-08
EP3021206A1 (en) 2016-05-18
EP3021206B1 (en) 2020-02-05
KR20160019548A (ko) 2016-02-19
CN104281397A (zh) 2015-01-14

Similar Documents

Publication Publication Date Title
CN104281397B (zh) 多深度区间的重聚焦方法、装置及电子设备
US10901518B2 (en) User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
KR102438052B1 (ko) 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들
CN113096252B (zh) 一种混合增强教学场景中多移动机制融合方法
CN102915112B (zh) 用于近距离动作跟踪的***和方法
CN105518575B (zh) 与自然用户界面的双手交互
CN102763422B (zh) 用于无设备的增强的现实与交互的投影仪和深度相机
CN108027653A (zh) 虚拟环境中的触觉交互
Beattie et al. Taking the LEAP with the Oculus HMD and CAD-Plucking at thin Air?
CN103608844A (zh) 全自动动态关节连接的模型校准
Shim et al. Gesture-based interactive augmented reality content authoring system using HMD
Laielli et al. Labelar: a spatial guidance interface for fast computer vision image collection
CN104407696B (zh) 移动设备的虚拟球模拟及控制的方法
KR102396390B1 (ko) 증강 현실 기반의 3차원 조립 퍼즐을 제공하는 방법 및 단말
Albertini et al. Designing natural gesture interaction for archaeological data in immersive environments
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
Piumsomboon Natural hand interaction for augmented reality.
Danyluk Designing Camera Controls for Map Environments
Wu Multimodal Communication for Embodied Human-Robot Interaction with Natural Gestures
Bernardos et al. A system for multimodal interaction with Kinect-enabled virtual windows
Papadopoulos et al. Practical chirocentric 3dui platform for immersive environments
Coyne Multi-Modal Teleoperation of a Humanoid Social Robot Initial Evaluation of Control Modalities
Mulder et al. Virtual Environments 2000: Proceedings of the Eurographics Workshop in Amsterdam, The Netherlands, June 1–2, 2000
Romani et al. Involving users in the gestural language definition process for the NInA framework
Sairuni et al. Design Framework for Sketch Based Technique in 3D Navigation of Cluttered Virtual Environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant