CN102113319A - 具有周边观看装置的通信设备 - Google Patents
具有周边观看装置的通信设备 Download PDFInfo
- Publication number
- CN102113319A CN102113319A CN2009801304213A CN200980130421A CN102113319A CN 102113319 A CN102113319 A CN 102113319A CN 2009801304213 A CN2009801304213 A CN 2009801304213A CN 200980130421 A CN200980130421 A CN 200980130421A CN 102113319 A CN102113319 A CN 102113319A
- Authority
- CN
- China
- Prior art keywords
- communication equipment
- control signal
- indication range
- light source
- emission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 78
- 230000002093 peripheral effect Effects 0.000 title description 4
- 239000013598 vector Substances 0.000 claims description 16
- 238000009795 derivation Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000004040 coloring Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 abstract 2
- 230000000007 visual effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000012552 review Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 241000405217 Viola <butterfly> Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000012086 standard solution Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及一种发射通信设备，包括：-摄像机，用于捕获具有显示范围的图像序列；-传感器，用于捕获不能在显示范围内感知的环境事件；-处理器，用于根据环境事件计算控制信号；以及-发射单元，用于向接收通信设备传送所捕获的图像序列和控制信号。
Description
技术领域
本发明涉及一种发射通信设备，包括：用于捕获具有显示范围的图像序列的摄像机、以及用于将所捕获的图像序列传送到接收通信设备的发射单元。
本发明还涉及一种接收通信设备，包括：通过通信网络来从发射通信设备接收视频数据的接收单元，所述视频数据对应于将要以显示范围显示的图像序列；以及用于显示该视频数据的显示器。
例如，本发明与视频电话以及视频会议***有关。
背景技术
随着接入宽带因特网的人数的增长，IP话音（VoIP）应用得到了越来越多的使用。此外，由于带宽限制在减小，因此因特网视频电话也到来了。
世界上有很多研究关注通过信号处理装置来改善视频电话的视听质量。
发明内容
本发明的目的是提出一种提升用户体验的通信设备。
实际上，本发明基于以下观察。对于常规的视频电话和会议***来说，图像再现被局限于所使用的显示器本身。当然，当处于通信近端位置的人想要看到远端位置正在发生什么时，显示器是他们将观看的位置。在这种情况下，人类视觉***的中心部分（在空间中）被刺激，其中在所述中心部分，眼部对于空间细节具有高敏感度。在正常的面对面通信中，当人们“真的在那里”时，不但人类视觉***的中心部分被刺激，而且视觉***的周边部分也被刺激。在周边区域中，人类视觉***对于空间细节不是非常敏感，但其对时间细节（移动的物体）具有高敏感度。这意味着当某人移动时人们能够从其眼角快速发现。虽然可以增加“在那里”的感觉，但在目前的视频会议和视频电话***中完全没有用到刺激人们的周边观看（peripheral viewing）的视觉信息。借助恰当的周边观看，可以在左或右侧发现在远端位置处进入房间的某人，即便此人位于显示器的有限观看范围外也是如此。在视频电话或视频会议中没有使用人类的周边观看感官（sense）的事实是一个问题，就本发明的作者所知，该问题尚未得到解决。解决这个问题意味着在那里的感觉将会得到改善，这是本发明的目标。
为此目的，提供了一种发射通信设备，包括：用于捕获具有显示范围的图像序列的摄像机；用于捕获不能在显示范围内感知的环境事件的传感器；用于从环境事件中计算控制信号的处理器；以及用于向接收通信设备传送所捕获的图像序列和控制信号的发射单元。
还提供了一种对应的接收通信设备，包括：接收单元，用于通过通信网络而从发射通信设备分开接收视频数据和控制信号，该视频数据对应于将要以显示范围显示的图像序列，控制信号代表不能在显示范围内感知的环境事件；显示器，用于显示视频数据；邻近显示器的光源；以及控制器，用于解译控制信号以导出环境事件，并且用于根据控制信号来控制光源。
通过将所显示的视觉信息扩展到显示器外的区域，本发明使得可以在视频电话和视频会议***中刺激人的周边观看感官。借助本发明，可以发现在远端位置处的、发生在你的屏幕上显示的可视图像外的事件。这提供了增强的“在那里”的感觉。
根据本发明的第一实施例，传感器是广角摄像机，并且控制信号是根据由广角摄像机在显示范围外捕获的图像序列计算的。有益地，处理器包括：用于检测在摄像机的观看范围内的人们的一个或多个面部的装置；以及用于围绕这个面部或这些面部进行缩放以便获取将要传送到接收通信设备的、具有该显示范围的图像序列的装置。该处理器可以包括：用于估计进入广角摄像机的观看范围的对象的运动、以便导出运动矢量幅度的装置，其中该运动矢量幅度包含在控制信号中。该处理器还可以包括：用于计算在观看范围内且在显示范围外的像素的颜色信息的装置，所述颜色信息包含在控制信号中。
在接收通信设备侧，控制器可以被适配成导出代表在发射通信设备侧的、显示范围外的对象的运动以及该对象相对于显示器的位置的运动信息，以便接通对应的光源。该控制器可以被适配成导出代表在发射通信设备侧的、显示范围外的对象的运动的量的运动矢量幅度，光源的亮度是以与运动矢量幅度成比例的方式控制的。控制器还可以被适配成导出颜色信息，其代表在发射通信设备侧、显示范围外的对象的位置和/或运动，光源的颜色是依照颜色信息而控制的。
根据本发明的第二实施例，传感器是麦克风阵列，其被布置成检测显示范围外的声音，并且该控制信号是根据麦克风信号中计算的。在这种情况下，处理器包括：用于执行声源定位以便检测声音事件的方向的装置，声音事件的方向包含在控制信号中。
在接收通信设备侧，控制器可以被适配成导出在发射通信设备侧的、显示范围外发出的声音的幅度，光源的强度是以与声音幅度成比例的方式控制的。该控制器还可以被适配成导出在发射通信设备侧的、显示范围外发出的声音的方向，以便接通与声音来自的方向相对应的光源。
从以下描述的实施例可以清楚了解本发明的这些和其他方面，并且本发明的这些和其他方面将参考以下描述的实施例而阐明。
附图说明
现在将参考附图以示例的方式来对本发明进行更详细的描述，其中：
- 图1是根据本发明的通信***的框图；
- 图2显示具有广角镜头的摄像机看到的远端位置处的起居室场景；
- 图3A显示在通信带宽有限的情况下以高视频质量来传送在近端位置处使用摄像机捕获的画面的相关部分，图3B显示在远端位置处接收和显示的捕获的画面；
- 图4显示在远端位置处的起居室中行走的某人，其处于广角摄像机的观看范围内，但是处于主摄像机的显示范围外；
- 图5A和5B显示根据本发明第一实施例的通信***。图5A显示控制信号，该控制信号根据从远端位置处的广角摄像机观看范围内的人检测到的运动的量而导出并被传送，以及图5B显示光源，所述光源在该人的运动持续的时段中根据接收的控制信号而在远端位置处接通；
- 图6显示广角摄像机观看范围，缩放或显示区域，以及根据其来分析运动的左侧和右侧缩放外（out-of-zoom）区域；以及
- 图7A和7B显示根据本发明第二实施例的通信***。图7A显示在近端位置处使用麦克风阵列检测的大声音事件及其方向，图7B显示与大声音事件的方向相对应的光源，其中该光源在远端位置处的声音事件的持续时间中被接通。
具体实施方式
参考图1，描绘了根据本发明的通信***。该通信***包括：近端（在以下描述中也被称为接收端）位置处的本地通信设备，意在用于通过通信网络而与远端（也被称为发射端）位置处的远程通信设备进行通信。该远程设备包括：用于捕获视频信号的摄像机、用于对视频信号执行数字视频处理并且分析和检测视频事件的处理器。数字视频处理例如包括面部追踪和数字缩放。经过处理的视频信号和检测到的数据事件经由视频编码器而被编码，并且通过通信网络而被传送到本地设备。本地设备接收并且借助视频解码器来解码经过编码的视频信号和数据事件。经过解码的视频信号被显示在远程设备的屏幕上。本地设备还包括用于解译数据事件的控制器、以及至少一个邻近屏幕设备的光源，所述光源是由控制器根据对数据事件的解译来控制的。
应该注意的是，对于本领域技术人员来说，面部追踪和数字缩放都是已知的，在面部追踪中对在摄像机视场内观看摄像机的面部进行检测，在数字缩放中控制数字缩放以使得选择观看摄像机的所有面部（不会太多），并且所述面部追踪和数字缩放例如由Philips Webcam SPC1300NC来执行，Philips Webcam SPC1300NC的特征为使用数字缩放进行面部检测和追踪。
对于本领域技术人员来说，显而易见的是，对于视频编码器和解码器，标准解决方案已经存在，并且这些解决方案（像例如用于视频压缩的H.264）提供了用于运送一些低比特率专用数据（即事件数据，该事件数据是低比特率数据）的手段。
当存在邻近显示器的外部光源时，本发明可以应用于视频电话和会议***。在发射端处，本发明需要一些智能（intelligence）来捕获和传送（作为邻近音频和视频的专用数据的）一些低比特率事件数据。现在将通过两个不同的非限制性示例来说明本发明。
参考图2，该图显示由视频电话设备的摄像机捕获的典型起居室视频电话场景。通信线路的这一端是远端位置。清楚的是，摄像机图像包含的信息要多于视频通信严格需要的信息（例如，所述视频通信可以在没有过多墙壁以及没有植物的情况下进行）。
由于通信带宽的限制，合理的是由视频信号处理装置采用这样一种方式来将高分辨率的摄像机图像减小为更低分辨率的图像：即，观看摄像机的人的面部保持完好无损，周围物体被剪裁掉（参见用于图示的图3）。如上所述，市场上的很多网络摄像头中都已经实施了这个将视频面部发现和跟踪与数字缩放结合的特征。对于近端房间中的一个或多个用户来说，优点在于他们可以更好地看到其对话伙伴的面部特征（例如其嘴唇、面部表情或眼睛）。这一点对于在人与人之间进行的高质量通信来说是非常重要的。对于视频面部发现来说，可以使用由Viola和Jones开发的算法。在“Robust Real-time Object Detection”, in Proceeding of the Second International Workshop on Statistical and Computational Theories of Vision – Modeling, Learning, Computing, and Sampling”, Vancouver, Canada, July 13, 2001中对该算法进行了描述。在“Rapid Object Detection using a Boosted Cascade of Simple Features”, in Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), vol. I, pp. 511-518, 2001中也对其进行了描述。当面部或多或少地观看摄像机的方向时，Viola和Jones检测器被训练成仅仅发现图像中的面部。结果，数字缩放仅仅会在参与呼叫的人的身上进行缩放，以便最大限度地表达那些人的面部表情（假设人在面朝摄像机时他/她参与呼叫）。对于数字缩放来说，矩形的缩放区域是以所发现的面部位置为中心的，由此忽略缩放区域外的像素，而且在需要时还会使用像双线性内插的像素内插方法来将所得到的图像扩缩为传送分辨率。
图3A显示根据本发明的发射通信设备。它包括具有广角镜头的摄像机、以及用于接收摄像机输出并且用于递送待传送的视频的视频处理单元。在远端位置处的广角镜头覆盖视角φ1（对应于摄像机视场）。通过使用视频面部和人检测及追踪技术，由视频处理单元在传输之前执行数字缩放，以使得在通信带宽有限的情况下仅仅传送重要的图像区域（其中有人），以用于最高的视频质量。数字视频缩放对应于显示角φ2。请注意，在以上示例中使用了同一个摄像机来捕获用于视频处理目的和传输目的的图像。在这种情况下，该摄像机具有足够大的视角。作为替换，用于视频处理目的的第一摄像机可以不同于用来传送图像的第二摄像机，在此第二情况下，与第二摄像机相比，所述第一摄像机具有大得多的视角。
在图3B中，与在远端侧执行的数字缩放相结合的面部发现的结果在近端侧的接收通信设备的屏幕上看到。在该屏幕上较好地看到人的面部，这对非语言传播线索（面部表情，眼睛，嘴唇动作）来说是重要的。
本发明处理了下列问题。设想一下图4所示的情形，其中新的人进入远端位置处的房间。该房间中存在的人立即注意到这个事件。但在近端位置处，在显示器上只有沙发上的两个人可见，由于该事件是发生在屏幕上的图像外的，因此该事件是不被注意。由于这个新的人没有看着摄像机并且因而面部检测器并未检测到他/她的面部，因此摄像机缩放不对于这个新的人进行调整。例如，他或她可能仅仅走过、而并没有参与视频呼叫的意图，因此放大以便也包括这个新的人将会导致重要的面部的质量恶化。通信中的一方（即在远端位置处的人）注意到场景中的事件、而通信中的另一方（即在近端位置处的人）没有注意到该事件，这一事实使得在近端位置处的人不觉得“他们就好像在那里一样”。
参考图5A，表示在远端位置处进入房间的新的人。当新的人进入摄像机观看范围时，在远端位置处由摄像机检测该新的人。根据该新的人的运动的量，由视频处理单元导出一个代表视频事件数据的控制信号，然后由发射通信设备的发射单元（未显示）将该控制信号传送到近端位置。
如图5B所示，接收通信设备接收代表近端位置处的事件数据项的控制信号。根据本发明的第一实施例，接收通信设备包括邻近显示器的光源，用于再现事件数据项以使在近端位置处的人感觉“他们就好像在那里一样”。光源的特征在于低或很低的空间分辨率。光源是以与在远端位置处新的人的运动的量相对应的亮度接通的（运动越大光越多）。在新的人的运动持续的时段中，所述光源保持接通。关于新的人的空间信息同样被考虑。当新的人处于远端摄像机观看到的左侧时，这时将接通在近端处的显示器的左侧的光源，反之亦然。
发射通信设备的处理器对来自广角摄像机视图的图像序列执行运动估计。为此目的，该处理器例如使用3D递归搜索（3D-RS）算法来进行运动估计。对本领域技术人员来说，这种算法是已知的，并且例如在美国专利6,996,175中描述。基于3D-RS算法，处理器为每一个摄像机图像实现了新的运动矢量场，该场为我们给出了对于RxC个像素的每一个矩形图像块（通常使用RxC=8x8个像素的方块）的运动矢量 
。参见图6，一个很重要的图像区域处于摄像机图像中的缩放区域的左侧，其用RL表示。另一个重要的图像区域在缩放区域的右侧，其用RR表示。然后，处理器计算区域RL和RR中的平均运动的量度。例如，此量度可以是区域RL和RR中的平均运动矢量幅度：
或者是更易于计算（处理器上的运算较少）的平均运动矢量幅度的近似值：
在这里，NL和NR分别是RL和RR中的非零运动矢量的数量。对于这些等式（1）和（2）来说，当处于区域RL或RR中的运动对象尺寸较大时，
或
具有较大值。当运动对象较小时，如果该对象快速移动，那么
或
仍旧具有较大值。这些平均运动矢量幅度是被传送到接收通信设备的控制信号的一部分。
作为本发明的扩展，事件数据可以用在区域（RR或RL）中求取平均的像素的颜色信息来扩展。在这个求平均处理中，仅考虑那些保持相关联的运动矢量幅度超出小的固定阈值的像素，以使得只有移动的程度充分的像素才会对平均颜色产生作用。
然后，通过接收通信设备接收代表事件数据的控制信号。所述设备包括用于解译控制信号以及用于在近端位置处控制光的控制器。
在图5A中，光源在显示器的左侧和右侧。对于本领域技术人员来说，显而易见的是，本发明并不限于一组两个光源。可以有更多的光源，还可以有外部光源。显示器左侧的光的亮度是由
以这样一种方式控制的：即，的值越大，则光越多。更详细地说，当IL是左光源的亮度时，则
其中f()是其自变量的单调递增函数。相似的原理适用于显示器的右侧。依照等式（3），光源的亮度保持固定，直到新的事件数据到来的时刻为止。作为替换，为了使光源的行为特性更为平滑，在时间方向上对事件数据应用滤波操作（像线性内插）。为了确保突然的移动仍旧会导致突然的光变化，当运动产生突然的大变化时，这个时间滤波器不应当使该数据平滑，时间滤波器只应当在后续平均运动幅度的绝对差较小（低于固定阈值）时使数据平滑。
由于本发明，在近端处的人可以从其眼角快速发现显示范围外的视频事件，就好像远端处的人可以快速发现该事件一样。通过该措施，对于近端的人来说，在那里的感觉得到提升。
为了更高的时间精度（考虑到人的眼角与人眼部中心相比看到的时间分辨率更高），事件数据的生成以及从而近端光源的控制是以比所传送的视频的帧速率更高的速率发生的。为此目的，导出在远端位置的事件数据的摄像机应当以高于发射帧速率的更高的帧速率来运行。
作为本发明的扩展，事件数据包含来自移动对象的平均颜色信息，并且光源是用该颜色激活的。
根据本发明的第二实施例，事件数据是根据发射端位置处输入的音频而不是视频产生的。在发射端检测到大声音事件，并且该事件使用接收端处的光源导致突然的闪光。有利的是，在近端位置处的人立即知道该突然的声音来自另一侧，而不是来自他们自己家。此外，有利的是，突然的声音事件的检测不需要在发射端发生，在光源所处的接收端处也可以对传入的音频执行该检测。
在更加改进的方法中，在发射端处，还检测大声音事件的方向，并且将其添加到事件数据。然后，参见图7B，在接收端处，相应的光源在大声音事件的持续时段中接通。为此目的，需要使用用于声源定位的算法来控制麦克风阵列。对本领域技术人员来说，这种用于声源定位的算法是已知的，并且例如在美国专利第6,774,934号中描述了这种算法。
在图7A中，在发射端位置处检测到了大声音事件，例如关门声。发射通信设备的音频处理器检测到这个处于与接收端处的显示范围相对应的数字视频缩放范围φ2外的事件。然后，由发射通信设备的发射单元（未表示）传送所检测到的音频事件数据。此外，还使用麦克风阵列来测量该声音的方向。在图7B中，在接收端位置处，与所述大声音事件的方向相对应的光源将会在该声音事件的持续时间中被接通。
本发明可以借助硬件和/或专用软件来实施。与该软件对应并且加载到程序存储器中的指令集促使通信设备的集成电路执行根据本发明实施例的方法。该指令集可以保存在诸如盘之类的数据载体上。从数据载体中可以读取该指令集，以便将其加载到集成电路的程序存储器中，然后所述指令集将会完成其作用。例如，软件可以被复制到CD-ROM上，所述CD-ROM连同通信设备一起销售。作为替换，使得软件可通过因特网得到。此外，该专用软件还可以默认集成在通信设备的快闪存储器或只读存储器ROM存储器中。
应该注意的是，上述实施例例示而不是限制本发明，并且在不脱离由附加的权利要求限定的本发明的范围的情况下，本领域技术人员将能够设计出很多替换实施例。在权利要求中，放置在括号中的任何参考符号都不应该被解释成是限制权利要求。词语“包括”和“包含”等等不排除除了作为整体而在任何权利要求或说明书中列出的元件或步骤外的部件或步骤的存在。元件的单数引用不排除这种元件的复数引用，反之亦然。
Claims (14)
1. 一种发射通信设备，包括：
- 摄像机，用于捕获具有显示范围的图像序列；
- 传感器，用于捕获不能在显示范围内感知的环境事件；
- 处理器，用于根据环境事件计算控制信号；以及
- 发射单元，用于向接收通信设备传送所捕获的图像序列和控制信号。
2. 如权利要求1所述的发射通信设备，其中传感器是广角摄像机，并且其中控制信号是根据由广角摄像机在显示范围外捕获的图像序列计算的。
3. 如权利要求2所述的发射通信设备，其中处理器包括：用于检测摄像机的观看范围内的人们的一个或多个面部的装置、以及用于围绕这个面部或这些面部进行缩放、以便获取将要传送到接收通信设备的、具有该显示范围的图像序列的装置。
4. 如权利要求2所述的发射通信设备，其中该处理器包括：用于估计进入广角摄像机的观看范围的对象的运动、以便导出运动矢量幅度的装置，其中该运动矢量幅度包含在控制信号中。
5. 如权利要求4所述的发射通信设备，其中该处理器包括：用于计算在观看范围内且在显示范围外的像素的颜色信息的装置，所述颜色信息包含在控制信号中。
6. 如权利要求1所述的发射通信设备，其中传感器是麦克风阵列，其被配置成检测显示范围外的声音，并且其中控制信号是根据麦克风信号计算的。
7. 如权利要求6所述的发射通信设备，其中处理器包括：用于执行声源定位来检测声音事件的方向的装置，声音事件的方向包含在控制信号中。
8. 如权利要求1所述的发射通信设备，其中处理器包括用于降低所捕获的图像序列的空间或时间分辨率的装置。
9. 一种接收通信设备，包括：
- 接收单元，用于通过通信网络从发射通信设备分开接收视频数据和控制信号，该视频数据对应于将要以显示范围显示的图像序列，控制信号代表不能在该显示范围内感知的环境事件；
- 显示器，用于显示视频数据；
- 邻近显示器的光源；以及
- 控制器，用于解译控制信号以导出环境事件，并且用于根据控制信号来控制光源。
10. 如权利要求9所述的接收通信设备，其中控制器被适配成导出运动信息，以便接通相应的光源，其中该运动信息代表在发射通信设备侧的显示范围外的对象的运动、以及该对象相对于显示器的位置。
11. 如权利要求9所述的接收通信设备，其中该控制器被适配成导出运动矢量幅度，其中该运动矢量幅度代表在发射通信设备侧的显示范围外的对象的运动的量，光源的亮度是以与运动矢量幅度成比例的方式控制的。
12. 如权利要求9所述的接收通信设备，其中控制器被适配成导出颜色信息，其中该颜色信息代表在发射通信设备侧的显示范围外的对象的位置和/或运动，光源的颜色是根据颜色信息而被控制的。
13. 如权利要求9所述的接收通信设备，其中控制器被适配成导出在发射通信设备侧的显示范围外发出的声音的幅度，光源的亮度是以与声音幅度成比例的方式控制的。
14. 如权利要求9所述的接收通信设备，其中控制器被适配成导出在发射通信设备侧的显示范围外发出的声音的方向，以便接通与声音所来自的方向相对应的光源。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP08300252.7 | 2008-08-04 | ||
| EP08300252 | 2008-08-04 | ||
| PCT/IB2009/053312 WO2010015970A1 (en) | 2008-08-04 | 2009-07-30 | Communication device with peripheral viewing means |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102113319A true CN102113319A (zh) | 2011-06-29 |
Family
ID=41061184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801304213A Pending CN102113319A (zh) | 2008-08-04 | 2009-07-30 | 具有周边观看装置的通信设备 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20110134237A1 (zh) |
| EP (1) | EP2311256B1 (zh) |
| JP (1) | JP2011530258A (zh) |
| KR (1) | KR20110052678A (zh) |
| CN (1) | CN102113319A (zh) |
| AT (1) | ATE542369T1 (zh) |
| WO (1) | WO2010015970A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107493381A (zh) * | 2017-08-18 | 2017-12-19 | 李英 | 智能化移动终端 |
| CN107750452A (zh) * | 2015-08-06 | 2018-03-02 | Lg 伊诺特有限公司 | 图像处理装置 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8547327B2 (en) * | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
| JP2012055498A (ja) * | 2010-09-09 | 2012-03-22 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 |
| JP2012120143A (ja) * | 2010-11-10 | 2012-06-21 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
| JP5834232B2 (ja) * | 2011-01-17 | 2015-12-16 | パナソニックＩｐマネジメント株式会社 | 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法 |
| US20170070668A1 (en) * | 2015-09-09 | 2017-03-09 | Fortemedia, Inc. | Electronic devices for capturing images |
| US10469800B2 (en) * | 2017-01-26 | 2019-11-05 | Antimatter Research, Inc. | Always-on telepresence device |
| CN107249162A (zh) * | 2017-08-11 | 2017-10-13 | 无锡北斗星通信息科技有限公司 | 智能化音频驱动*** |
| US10868955B2 (en) * | 2017-09-05 | 2020-12-15 | Facebook, Inc. | Modifying capture of video data by an image capture device based on video data previously captured by the image capture device |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4004084A (en) * | 1976-03-03 | 1977-01-18 | Bell Telephone Laboratories, Incorporated | Video conferencing system using spatial reduction and temporal resolution |
| WO1994017636A1 (en) * | 1993-01-29 | 1994-08-04 | Bell Communications Research, Inc. | Automatic tracking camera control system |
| US5625410A (en) * | 1993-04-21 | 1997-04-29 | Kinywa Washino | Video monitoring and conferencing system |
| US5508734A (en) * | 1994-07-27 | 1996-04-16 | International Business Machines Corporation | Method and apparatus for hemispheric imaging which emphasizes peripheral content |
| US6014183A (en) * | 1997-08-06 | 2000-01-11 | Imagine Products, Inc. | Method and apparatus for detecting scene changes in a digital video stream |
| US6888322B2 (en) * | 1997-08-26 | 2005-05-03 | Color Kinetics Incorporated | Systems and methods for color changing device and enclosure |
| IT1306261B1 (it) * | 1998-07-03 | 2001-06-04 | Antonio Messina | Procedimento ed apparato per la guida automatica di videocameremediante microfoni. |
| US6977676B1 (en) * | 1998-07-08 | 2005-12-20 | Canon Kabushiki Kaisha | Camera control system |
| ES2367099T3 (es) * | 1998-11-11 | 2011-10-28 | Koninklijke Philips Electronics N.V. | Disposición de localización de señal mejorada. |
| WO2000034920A1 (en) * | 1998-12-07 | 2000-06-15 | Koninklijke Philips Electronics N.V. | Motion vector estimation |
| WO2001030079A1 (en) * | 1999-10-19 | 2001-04-26 | Koninklijke Philips Electronics N.V. | Camera with peripheral vision |
| US7123745B1 (en) * | 1999-11-24 | 2006-10-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for detecting moving objects in video conferencing and other applications |
| US7099510B2 (en) * | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
| WO2004068856A1 (en) * | 2003-01-28 | 2004-08-12 | Koninklijke Philips Electronics N.V. | Method of and system for augmenting presentation of content |
| JP2005252625A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 撮像装置および画像処理方法 |
| US7768544B2 (en) * | 2005-01-21 | 2010-08-03 | Cutler Ross G | Embedding a panoramic image in a video stream |
-
2009
- 2009-07-30 CN CN2009801304213A patent/CN102113319A/zh active Pending
- 2009-07-30 JP JP2011521665A patent/JP2011530258A/ja not_active Withdrawn
- 2009-07-30 AT AT09786752T patent/ATE542369T1/de active
- 2009-07-30 KR KR1020117004942A patent/KR20110052678A/ko not_active Application Discontinuation
- 2009-07-30 EP EP09786752A patent/EP2311256B1/en not_active Not-in-force
- 2009-07-30 US US13/056,695 patent/US20110134237A1/en not_active Abandoned
- 2009-07-30 WO PCT/IB2009/053312 patent/WO2010015970A1/en active Application Filing
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107750452A (zh) * | 2015-08-06 | 2018-03-02 | Lg 伊诺特有限公司 | 图像处理装置 |
| CN107493381A (zh) * | 2017-08-18 | 2017-12-19 | 李英 | 智能化移动终端 |
| CN107493381B (zh) * | 2017-08-18 | 2018-04-13 | 湖南精彩共赢科技有限公司 | 智能化移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| ATE542369T1 (de) | 2012-02-15 |
| US20110134237A1 (en) | 2011-06-09 |
| EP2311256A1 (en) | 2011-04-20 |
| WO2010015970A1 (en) | 2010-02-11 |
| JP2011530258A (ja) | 2011-12-15 |
| EP2311256B1 (en) | 2012-01-18 |
| KR20110052678A (ko) | 2011-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102113319A (zh) | 具有周边观看装置的通信设备 | |
| EP3855731B1 (en) | Context based target framing in a teleconferencing environment | |
| US7697024B2 (en) | Method and system of tracking and stabilizing an image transmitted using video telephony | |
| US8154583B2 (en) | Eye gazing imaging for video communications | |
| US8159519B2 (en) | Personal controls for personal video communications | |
| US8253770B2 (en) | Residential video communication system | |
| US8274544B2 (en) | Automated videography systems | |
| US20080297588A1 (en) | Managing scene transitions for video communication | |
| JP2010525667A (ja) | テレビ電話におけるプライバシーを最大にするための浅い被写界深度の模擬実験 | |
| US11076127B1 (en) | System and method for automatically framing conversations in a meeting or a video conference | |
| WO2008150427A1 (en) | Multi-camera residential communication system | |
| CN111445392B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| US20230162323A1 (en) | Image frame super-resolution implementation method and apparatus | |
| JP4971499B2 (ja) | リモートビューファインディング | |
| JP2014049797A (ja) | カメラ付き表示装置 | |
| CN108632563A (zh) | 动态可视电话***及其使用方法 | |
| US20030052962A1 (en) | Video communications device and associated method | |
| Kwon et al. | New video enhancement preprocessor using the region-of-interest for the videoconferencing | |
| CN112911191B (zh) | 一种视频通话质量调整方法、装置、电子设备和存储介质 | |
| US11587321B2 (en) | Enhanced person detection using face recognition and reinforced, segmented field inferencing | |
| JP2011055103A (ja) | 集合住宅インターホンシステム | |
| CN116208851A (zh) | 图像处理方法及相关装置 | |
| US11651456B1 (en) | Rental property monitoring solution using computer vision and audio analytics to detect parties and pets while preserving renter privacy | |
| US11936881B2 (en) | Region of interest based image data enhancement in a teleconference | |
| JPH07162827A (ja) | 多地点通信方法および通信端末 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110629 |