CN103442179B - 照明方法和照明*** - Google Patents
照明方法和照明*** Download PDFInfo
- Publication number
- CN103442179B CN103442179B CN201310359180.8A CN201310359180A CN103442179B CN 103442179 B CN103442179 B CN 103442179B CN 201310359180 A CN201310359180 A CN 201310359180A CN 103442179 B CN103442179 B CN 103442179B
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- frame
- scene image
- barrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
Abstract
本发明提供了一种照明方法和照明***。该方法包括：拍摄n帧前方的场景图像，根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及将包括所述局部场景图像的图像投射到前方。本发明的方法和***避免了前方障碍物的遮挡对于观察者视线的影响，从而为观察者提供了去除障碍物之后的前方真实场景。
Description
技术领域
本发明涉及数字图像处理和照明领域，尤其涉及一种照明方法和照明***。
背景技术
前方障碍物的遮挡经常会影响观察者的视线，使观察者无法得到前方的真实场景。
例如，在雨雪天气时，由于前方的雨点或雪花会遮挡视线，雨雪中的行进者或者正在驾驶车辆、船只的驾驶员通常需要额外的照明设备，但同时，前方的雨点或雪花又会发生强烈的灯光反射而影响行进者或者驾驶员的视觉观察。例如，在公园、广场等场地照明或演出中投射大型图像等情况下，行人、车辆等移动障碍物可能会遮挡观众的视线，影响照明或者图像投射效果。例如，在利用照明设备进行搜寻时，前方的小型固定障碍物会影响搜寻者的观察，因而难以搜寻到目标物。
英特尔和卡内基梅隆大学合作开发了一种智能车灯（R.D.Charette and etc.,"Fast Reactive Control for Illumination through Rainand Snow",Proceedings of IEEE Conference on ComputationalPhotography(ICCP),2012.），用以避免在雨雪天气驾车时车辆前方的雨点或雪花强烈的反射灯光而影响驾驶。该技术以高亮投影仪作为车灯，通过摄像头实时拍摄汽车前方的雨点或雪花，利用电脑识别并预测出雨点或雪花的位置，然后将投影灯光中对应位置标为黑色，从而避免它们强烈的反射灯光影响驾驶。但是在这种方案中，标为黑色的位置遮挡了前方的真实场景，使得驾驶员所看到的前方场景很不自然，也同样会影响驾驶员的驾驶感受。
同时在图像处理领域，现有技术中存在通过时空频率分析方法去除障碍物的技术（P.Barnum,S.G.Narasimhan,and T.Kanade,"Analysis of Rain and Snow in Frequency Space",International Journalof Computer Vision(IJCV),December2008.），也存在拍摄多张图像来合成一张没有障碍物遮挡的图像的技术（Scalado,Capture a cleanphoto even in crowded areas and automatically remove moving objects,http://www.scalado.com/display/en/Remove）。
发明内容
有鉴于此，本发明的目的在于提供一种照明技术，用以避免前方障碍物的遮挡对于观察者视线的影响，从而为观察者提供去除了障碍物之后的前方真实场景。
根据本发明的一个方面，提供一种照明方法，所述方法包括：场景拍摄步骤，拍摄n帧前方的场景图像，其中n为大于1的整数；场景预测步骤，根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及场景投射步骤，将包括所述局部场景图像的图像投射到前方。
本发明的上述方法可对所拍摄的多帧场景图像进行处理，预测出下一时刻被障碍物遮挡的场景部分，然后投射这部分场景到前方使得观察者可见。该方法避免了前方障碍物的遮挡对于观察者视线的影响，从而为观察者提供了去除障碍物之后的前方真实场景。
优选地，在所述场景预测步骤中，根据所述n帧场景图像识别出自身运动数据和障碍物运动数据，并基于所述自身运动数据和所述障碍物运动数据来预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像。由于障碍物、照明***自身均可能处于各种运动状态中，因此对于下一帧图像信息的预测，需要从之前的多帧图像中识别出与障碍物运动状态、照明***自身运动状态有关的信息。
优选地，通过比较所述n帧场景图像并检测其中的背景运动来识别所述自身运动数据。
优选地，所述自身运动数据包括自身运动轨迹、各帧的自身运动方向、自身运动速度、自身运动姿态、自身位置中的至少一种。
优选地，通过比较所述n帧场景图像并检测其中移动的障碍物来识别所述障碍物运动数据。
优选地，所述障碍物运动数据包括障碍物运动轨迹、各帧的障碍物运动方向、障碍物运动速度、障碍物运动姿态、障碍物位置中的至少一种。
优选地，在所述场景预测步骤中，进一步包括如下步骤：
根据所述障碍物运动数据合并n帧场景图像中未被障碍物遮挡的部分，形成第n帧场景图像的场景基线图像；
根据所述自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像；
根据所述自身运动数据和所述障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测第n+1帧场景图像中的障碍物图像；以及
根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，计算第n+1帧场景图像中被障碍物遮挡的局部场景图像。
优选地，所述场景预测步骤还包括一对齐步骤，根据所识别的所述自身运动数据，对除了第n帧场景图像之外的n-1帧场景图像进行立体变换，使得之前的n-1帧场景图像与第n帧场景图像实现内容对齐。在有些应用场景下，虽然可以假定场景图像中主要场景处于静止状态而不发生变化，但是当照明***处于较高速度的移动状态时，所拍摄的多帧场景图像中的主要场景之间还是会发生变化，上述优选方案消除了上述变化对于场景预测步骤中图像处理的不良影响。
优选地，在所述场景预测步骤之后还包括一局部场景图像处理步骤，对所述局部场景图像进行包括边缘羽化、亮度处理、对比度处理、表面变形中至少一种的图像处理。在不同应用场景中，障碍物的特性均不同，上述优选方案根据具体应用场景中障碍物的类型对局部场景图像执行各种图像处理，从而使得该局部场景图像与障碍物特性更加贴合。
优选地，在所述场景拍摄步骤之前，还包括一校准步骤，将拍摄场景图像的设备和进行场景投射的设备之间进行校准。在部分应用场景中，如果图像采集设备和图像投影设备的视场差距较大，或者在精度要求极高的特殊应用场景中，上述优选方案可以保证图像拍摄和图像投射在有效范围内具有近似相同的视场。
优选地，使用分光镜来执行所述校准步骤。该分光镜可以同时反射和透射一定比例的光线，可以使处于不同位置的图像采集设备和图像投影设备共享同一光学视场。
优选地，在所述场景拍摄步骤中，在近红外光照射前方的情况下拍摄n帧场景图像。由于近红外光线具有区分近远景、提高场景辨识度的功能，从而该优选方案可获得更好的拍摄效果，提高障碍物在场景中的辨识度。
优选地，包括所述局部场景图像的图像是将所述局部场景图像覆盖到对应的所述障碍物图像上而形成的。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，从而为观察者提供了去除障碍物之后的前方真实场景。
优选地，包括所述局部场景图像的图像是将所述局部场景图像覆盖到对应的所述障碍物图像上、并在其余部分填充照明光而形成的。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，而且在场景图像的其余部分具有充分的照明光，从而为观察者提供了去除障碍物之后更完整的前方真实场景。
优选地，所述照明光包括照明图像。在雨雪天气或搜寻等需要提高照明亮度的应用场景中，该照明光可以是一定色温的白光等；在演出中投射图像的应用场景中，该照明光可以是特定的照明图像等。
优选地，还包括一特殊标识识别步骤，识别前方的特殊标识，在所述场景投射步骤中，进一步将所述特殊标识添加到包括所述局部场景图像的图像中，一同进行投射。在各种应用场景中，前方场景中有可能存在一些特殊标识，上述优选方案在为观察者排除了障碍物影响之外还能向观察者提示场景中的特殊标识信息。
优选地，所述场景拍摄步骤中的拍摄操作和所述场景投射步骤中的投射操作不同时进行。在一些应用场景中，图像采集设备的拍摄操作和图像投影设备的投影操作均有可能对前方场景的光线条件造成一定影响，这会使图像采集设备和图像投影设备之间造成相互的干扰，而上述优选方案避免了这种干扰。
根据本发明的另一个方面，还提供一种照明***，所述***包括：一场景拍摄单元，用于拍摄n帧前方的场景图像，其中n为大于1的整数；一场景预测单元，用于根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及一场景投射单元，将包括所述局部场景图像的图像投射到前方。
本发明的上述***可对所拍摄的多帧场景图像进行处理，预测出下一时刻被障碍物遮挡的场景部分，然后投射这部分场景到前方使得观察者可见。该***避免了前方障碍物的遮挡对于观察者视线的影响，从而为观察者提供了去除障碍物之后的前方真实场景。
优选地，所述场景预测单元根据所述n帧场景图像识别出自身运动数据和障碍物运动数据，并基于所述自身运动数据和所述障碍物运动数据来预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像。由于障碍物、照明***自身均可能处于各种运动状态中，因此对于下一帧图像信息的预测，需要从之前的多帧图像中识别出与障碍物运动状态、照明***自身运动状态有关的信息。
优选地，所述场景预测单元通过比较所述n帧场景图像并检测其中的背景运动来识别所述自身运动数据。
优选地，所述场景预测单元通过比较n帧场景图像并检测其中移动的障碍物来识别所述障碍物运动数据。
优选地，所述场景预测单元进一步包括如下单元：
一第一单元：用于根据所述障碍物运动数据合并n帧场景图像中未被障碍物遮挡的部分，形成第n帧场景图像的场景基线图像；
一第二单元：用于根据所述自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像；
一第三单元：用于根据所述自身运动数据和所述障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测第n+1帧场景图像中的障碍物图像；以及
一第四单元：用于根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，计算第n+1帧场景图像中被障碍物遮挡的局部场景图像。
优选地，所述场景预测单元进一步包括一对齐单元，用于根据所述自身运动数据，对除了第n帧场景图像之外的n-1帧场景图像进行立体变换，使得之前的n-1帧场景图像与第n帧场景图像实现内容对齐。在有些应用场景下，虽然可以假定场景图像中主要场景处于静止状态而不发生变化，但是当照明***处于较高速度的移动状态时，所拍摄的多帧场景图像中的主要场景之间还是会发生变化，上述优选方案消除了上述变化对于场景预测步骤中图像处理的不良影响。
优选地，所述照明***还包括一局部场景图像处理单元，用于对所述局部场景图像进行包括边缘羽化、亮度处理、对比度处理、表面变形中至少一种的图像处理。在不同应用场景中，障碍物的特性均不同，上述局部场景图像处理单元根据具体应用场景中障碍物的类型对局部场景图像执行各种图像处理，从而使得该局部场景图像与障碍物特性更加贴合。
优选地，所述照明***还包括一校准单元，用于在所述场景拍摄单元和所述场景投射单元之间进行视场校准，以保证拍摄和投射在有效范围内具有近似相同的视场。在部分应用场景中，如果场景拍摄单元和场景投射单元的视场差距较大，或者在精度要求极高的特殊应用场景中，上述校准单元可以保证图像拍摄和图像投射在有效范围内具有近似相同的视场。
优选地，所述校准单元包括分光镜。分光镜可以同时反射和透射一定比例的光线，可以使处于不同位置的场景拍摄单元和场景投射单元共享同一光学视场。
优选地，所述照明***还包括一近红外单元，用于在所述场景拍摄单元拍摄n帧场景图像时向前方照射近红外光。由于近红外光线具有区分近远景、提高场景辨识度的功能，从而该近红外单元可获得更好的拍摄效果，提高障碍物在场景中的辨识度。
优选地，所述图像投影单元还用于将所述局部场景图像覆盖到对应的所述障碍物图像上来形成包括所述局部场景图像的图像。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，从而为观察者提供了去除障碍物之后的前方真实场景。
优选地，所述图像投影单元还用于将所述局部场景图像覆盖到对应的所述障碍物图像上、并在其余部分填充照明光来形成包括所述局部场景图像的图像。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，而且在场景图像的其余部分具有充分的照明光，从而为观察者提供了去除障碍物之后更完整的前方真实场景。
优选地，所述照明***还包括一特殊标识识别单元，用于识别前方的特殊标识，所述场景投射单元还用于将所述特殊标识添加到包括所述局部场景图像的图像中，一同进行投射。在各种应用场景中，前方场景中有可能存在一些特殊标识，上述特殊标识识别单元在为观察者排除了障碍物影响之外还能向观察者提示场景中的特殊标识信息。
优选地，在所述照明***中，所述场景拍摄单元所执行的拍摄操作和所述场景投射单元所执行的投射操作不同时进行。在一些应用场景中，场景拍摄单元的拍摄操作和场景投射单元的投影操作均有可能对前方场景的光线条件造成一定影响，这会使场景拍摄单元和场景投射单元之间造成相互的干扰，而上述优选方案避免了这种干扰。
附图说明
图1是本发明一个具体实施方式中照明方法的基本流程图；
图2是本发明一个具体实施方式中场景预测步骤的流程图；
图3是本发明一个具体实施方式中利用分光镜来校准视场的原理示意图；
图4是本发明一个具体实施方式中照明***的基本结构图；
图5是本发明一个具体实施方式中场景预测单元的结构图；
图6是本发明第一应用实施例中拍摄到的场景图像的示意图；
图7是本发明第一应用实施例中场景图像的场景基线图像的示意图；
图8是本发明第一应用实施例中场景图像中障碍物图像的示意图；
图9是本发明第一应用实施例中场景图像中局部场景图像的示意图；
图10是本发明第一应用实施例中投射图像后的场景示意图；
图11是本发明第二应用实施例中拍摄到的场景图像的示意图；
图12是本发明第二应用实施例中场景图像的场景基线图像的示意图；
图13是本发明第二应用实施例中场景图像中障碍物图像的示意图；
图14是本发明第二应用实施例中场景图像中局部场景图像的示意图；
图15是本发明第二应用实施例中投射图像后的场景示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
针对现有技术中障碍物的遮挡影响观察者视线，无法得到前方真实场景的技术问题，本发明创新性地提供了一种照明技术，实施该技术的方法或***可对所拍摄的多幅图像进行处理，预测出被障碍物遮挡的场景部分，然后投射这部分场景使得观察者可见。该技术避免了前方障碍物的遮挡对于观察者视线的影响，从而为观察者提供了去除障碍物之后的前方真实场景。
在本发明中，观察者是指观察前方场景的人或设备。例如在雨雪天气中，观察者可能是雨雪中的行进者、正在驾驶车辆/船只的驾驶员或者监控前方路况的监控设备；在场地照明或投射图像时，观察者可能是演出观众或摄录演出的设备；在照明搜寻过程中，观察者可能是搜寻者或搜寻设备等。
在本发明中，障碍物是指影响观察者观察前方真实场景的人或物体。例如在雨雪天气中，障碍物可能是雨点、雪花、小冰块等移动的小物体；在场地照明或投射图像时，障碍物可能是在场地中走动的人、移动的车辆等；在照明搜寻过程中，障碍物可能是遮挡目标物的小型固定物体等。
在本发明一个具体实施方式中，提供了一种照明方法，如图1所示，该方法包括如下步骤：场景拍摄步骤S1，拍摄n帧前方的场景图像；场景预测步骤S2，根据上述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及场景投射步骤S3，将包括上述局部场景图像的图像投射到前方。
根据上述照明方法，可对所拍摄的n帧场景图像进行处理，预测出n+1帧（下一时刻）被障碍物遮挡的场景部分，然后投射这部分场景到前方使得观察者可见。本领域技术人员可以理解，由于在各种应用场景的实施过程中，本发明的方法步骤有可能被不断地循环执行，因此观察者可以不断地基于之前拍摄的多幅图像观察到去除了障碍物之后的前方真实场景，避免了前方障碍物的遮挡对于观察者视线的影响。
在后续其它具体实施方式中，还提供了可实施上述照明方法的对应照明***，因此在后文中，“照明***”均特指本发明中与上述照明方法所对应的特定照明***。
下面，结合附图来详细介绍上述照明方法的各步骤。
（1）场景拍摄步骤S1，拍摄n帧前方的场景图像。
在上述场景拍摄步骤中，所述n帧场景图像是指照明***中的至少一个图像采集设备按照一定时序采集的n幅前方场景的图像，用以在后续步骤中预测第n+1帧场景图像中的内容。本领域技术人员可以理解，术语“帧”的运用仅用于图像计数，与拍摄图像的时间间隔无关。其中，n帧图像之间的拍摄间隔可以由本领域技术人员根据障碍物特性、图像采集设备性能、***数据处理能力等因素自由设定，既可以以固定时间间隔（固定帧率）来拍摄该n帧图像，也可以以不固定的时间间隔来拍摄该n帧图像。例如在数据处理延时大于图像采集设备帧率时，就可通过增大拍摄的时间间隔来进行调整，甚至可以丢弃部分已拍摄但来不及处理的场景图像，只要能最终获得n帧前方场景图像供后续步骤使用即可。
在本发明具体实施方式中n为大于1的整数。本领域技术人员可以理解，n取值越大，就可以基于更多的之前场景图像来预测第n+1帧场景图像中的内容，从而提高预测精度，但是同时也可能消耗更大的数值计算量和运算时间。本领域技术人员可以根据实际需要来设定n的具体取值。
由上述描述可知，第n+1帧图像并非拍摄所得，而是基于所拍摄的n帧前方场景图像所预测得到，该第n+1帧图像所对应的时间点在前n帧图像拍摄时间之后且与场景投射时间对应，该时间点亦与n帧图像之间的拍摄间隔无关。
在该场景拍摄步骤中，可以利用本领域公知的各种图像采集设备来实施拍摄操作，例如包括CCD传感器或CMOS传感器等。该图像采集设备在顺序拍摄n帧场景图像过程中可以处于移动状态或静止状态。例如，在雨雪中行进时，该图像采集设备可安装于行进者身上的照明***中或安装于行驶的车辆、船只上的照明***中，在行进过程中进行场景图像的拍摄；在场地照明或图像投射时，该图像采集设备可安装于固定的照明***中，在静止状态下进行场景图像的拍摄；在照明搜寻过程中，该图像采集设备可安装于搜寻者携带的照明***上，在搜寻过程中进行场景图像的拍摄。
由于近红外光线具有区分近远景、提高场景辨识度的功能，在本发明一个优选实施方式中，在该场景拍摄过程中，可以设置向前方照射近红外光的一近红外光源，使得该图像采集设备可以在近红外光照射前方的情况下拍摄n帧场景图像，从而获得更好的拍摄效果，提高障碍物在场景中的辨识度。
（2）场景预测步骤S2，根据上述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像。
在该场景预测步骤中，对在场景拍摄步骤中所拍摄的多帧图像进行处理以预测出被障碍物遮挡的场景部分，这为在后续步骤中将被障碍物遮挡的场景部分呈现给观察者提供了基础。
在雨雪天气等应用场景中，障碍物可能是移动物体且照明***可能也是处于移动状态；在场地照明或投射图像的应用场景中，障碍物可能是移动物体而照明***可能处于静止状态；在照明搜寻的应用场景中，障碍物可能处于静止状态然而照明***可能处于移动状态。由此可见，本发明具体实施方式中的障碍物、照明***均可能处于各种运动状态中，因此对于下一帧图像信息的预测，有必要从之前的多帧图像中识别出与障碍物运动状态、照明***自身运动状态有关的信息，这些信息在本发明具体实施方式中分别称为“障碍物运动数据”和“自身运动数据”。在场景预测步骤中，基于上述自身运动数据和障碍物运动数据来预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像。
由于假定场景图像中的主要场景均处于静止状态，在本发明一个具体实施方式中，可通过比较n帧场景图像并检测其中的背景运动来识别照明***的自身运动数据。本领域技术人员可以使用现有技术中可实现背景分离和运动检测的经典算法来实现上述识别（例如论文Zhang X,Li H,Qi Y,et al.Rain removal in video by combining temporaland chromatic properties[C]//Multimedia and Expo,2006IEEEInternational Conference on.IEEE,2006:461-464.中所记载的算法等）。
根据不同应用场景下照明***处于的不同运动状态，例如移动或静止等，所识别出的上述自身运动数据可能包括照明***的自身运动轨迹、各帧的自身运动方向、自身运动速度、自身运动姿态、照明***的自身位置中的一种或多种。
在本发明一个具体实施方式中，可通过比较n帧场景图像并检测其中移动的障碍物来识别障碍物运动数据。本领域技术人员可以使用现有技术中可实现运动对象检测来分离前景的经典算法来实现上述识别（例如论文Zhang HongJiang,Atreyi Kankanhalli,and StephenW.Smoliar.“Automatic Partitioning of Full-motion Video.”MultimediaSystems1,no.1(1993):10–28.中所记载的算法等）。
根据不同应用场景下障碍物处于的不同运动状态，例如移动或静止等，所识别出的障碍物运动数据可能包括障碍物运动轨迹、各帧的障碍物运动方向、障碍物运动速度、障碍物运动姿态、障碍物位置中的一种或多种。
根据本发明一个具体实施方式，如图2所示，在所述场景预测步骤中，可以以如下步骤来进行场景图像内容的预测：
步骤21：根据所识别的障碍物运动数据合并n帧场景图像中未被障碍物遮挡的部分，形成第n帧场景图像的场景基线图像。
在该步骤中，本领域技术人员可以根据各帧场景图像中障碍物的位置等障碍物运动数据获取各帧场景图像中未被障碍物遮挡的部分，并利用本领域公知的最大似然算法（例如论文Van Wie P,Stein M.Alandsat digital image rectification system[J].Geoscience Electronics,IEEE Transactions on,1977,15(3):130-137.中所记载的算法等），来合成各帧场景图像中未被障碍物遮挡的部分，以形成第n帧场景图像的场景基线图像。第n帧场景图像的该场景基线图像中不包含任何障碍物，还原了第n帧场景图像中去除了障碍物影响后的真实场景。
步骤22：根据所识别的自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像。
在该步骤中，本领域技术人员可以根据照明***的自身运动轨迹、自身运动方向、自身运动速度、自身运动姿态等自身运动数据对在步骤21中形成的第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像。该变换可以采用本领域公知的MPEG2标准中所记载的视频运动检测和预测算法来实现。第n+1帧场景图像的该场景基线图像中也不包含任何障碍物，预测出了第n+1帧场景图像中去除了障碍物影响后的真实场景。
步骤23：根据所识别出的自身运动数据和障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测第n+1帧场景图像中的障碍物图像。
第n帧场景图像中的障碍物图像是拍摄第n帧场景图像后已知的。在该步骤中，本领域技术人员可以根据照明***的自身运动轨迹、自身运动方向、自身运动速度、自身运动姿态等自身运动数据以及障碍物运动轨迹、各帧的障碍物运动方向、障碍物运动速度、障碍物运动姿态等障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测n+1帧场景图像中的障碍物图像。该变换可以采用与步骤22中同样的视频运动检测和预测算法来实施，但是区别在于，预测第n+1帧的场景基线图像时由于假定场景图像中的主要场景处于静止状态而不发生变化，因而仅考虑照明***自身运动即可，而预测第n+1帧的障碍物图像时由于照明***和障碍物均可能处于移动状态，因此需要同时考虑自身运动和障碍物运动二者。
步骤24：根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，计算第n+1帧场景图像中被障碍物遮挡的局部场景图像。
在该步骤中，根据在步骤22中预测得到的第n+1帧场景图像的场景基线图像和在步骤23中预测得到的第n+1帧场景图像中的障碍物图像，本领域技术人员就可以计算得到第n+1帧场景图像中被障碍物遮挡的局部场景图像。本领域技术人员可以理解，该局部场景图像正是在第n+1帧场景图像的场景基线图像中与第n+1帧场景图像的障碍物图像位置对应的部分，也就是在第n+1帧场景图像中将被障碍物遮挡的区域。
本领域技术人员可以理解，本发明中对于场景预测步骤S2中各步骤编以步骤21-步骤24，仅是以编号形式区分各步骤以方便对于各步骤的引用和说明，并不代表步骤间的必然执行顺序。本领域技术人员可以在技术可行的条件下以灵活时序来执行上述各步骤，例如可以将步骤23与步骤21、22同时执行，甚至在步骤21、22之前执行等。
在有些应用场景下，虽然可以假定场景图像中主要场景处于静止状态而不发生变化，但是当照明***处于较高速度的移动状态时，所拍摄的多帧场景图像中的主要场景之间还是会发生变化。为了解决该问题以消除上述变化对于场景预测步骤中图像处理的不良影响，在本发明一个优选实施方式中，该场景预测步骤可以进一步包括一对齐步骤，根据所识别的自身运动数据，对除了第n帧场景图像之外的n-1帧场景图像进行立体变换，使得之前的n-1帧场景图像与当前第n帧场景图像实现内容对齐，这样便补偿了由于照明***的移动所引起的主要场景之间变化。本领域技术人员可以采用现有技术中的图象对齐算法（例如论文Van Wie P,Stein M.A landsat digital image rectificationsystem[J].Geoscience Electronics,IEEE Transactions on,1977,15(3):130-137.所记载的算法等），来实施上述立体变换。
在本发明一个优选实施方式中，照明方法在该场景预测步骤之后还可以包括一局部场景图像处理步骤。在不同应用场景中，障碍物的特性，例如形状、表面光滑度、透明度等，均不同，因此在该局部场景图像处理步骤中，根据具体应用场景中障碍物的特性对上述步骤24中计算得到的局部场景图像进行包括边缘羽化、亮度处理、对比度处理、表面变形等图像处理操作，从而使得该局部场景图像与障碍物特性更加贴合。由于上述图像处理操作均为本领域公知技术，本领域技术人员可以根据应用场景中的障碍物类型灵活选用所需的具体算法，此处不再赘述。
（3）场景投射步骤S3，将包括在场景预测步骤中得到的该局部场景图像的图像投射到前方。
如前所述，该局部场景图像正是所预测的第n+1帧场景图像中将被障碍物遮挡的区域。在场景投射步骤中，将包括该局部场景图像的图像投射到前方，使得观察者可以观察到原本应被障碍物所遮挡的场景部分，从而避免了前方障碍物的遮挡对于观察者视线的影响，为观察者提供了去除障碍物之后的前方真实场景。
在该场景投射步骤中，可利用本领域公知的各种图像投影设备来实施该投影操作。该图像投影设备在投射图像过程中可以处于移动状态或静止状态。例如，在雨雪中行进时，该图像投影设备可安装于行进者身上的照明***中或安装于行驶的车辆、船只的照明***中，在行进过程中进行图像投射；当提供场地照明或图像投射时，该图像投影设备可安装于固定的照明***中，在静止状态下进行图像投射；在照明搜寻过程中，该图像投影设备可安装于搜寻者携带的照明***上，在搜寻过程中进行图像投射。
在本发明一个具体实施方式中，可将在上述步骤24中得到的该局部场景图像覆盖到上述步骤23中预测得到的对应障碍物图像上，以形成包括该局部场景图像的图像。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，从而为观察者提供了去除障碍物之后的前方真实场景。
在本发明另一个具体实施方式中，可将在上述步骤24中得到的该局部场景图像覆盖到上述步骤23中预测得到的对应障碍物图像上、并在其余部分填充照明光，以形成包括该局部场景图像的图像。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，而且在场景图像的其余部分具有充分的照明光，从而为观察者提供了去除障碍物之后更完整的前方真实场景。具体地，在雨雪天气或搜寻等需要提高照明亮度的应用场景中，该照明光可以是单色光，例如一定色温的白光等；在演出中投射图像的应用场景中，该照明光可以是特定的照明图像等。
在各种应用场景中，前方场景中有可能存在一些特殊标识，例如重要路牌、指示牌等。在本发明一个优选实施方式中，该照明方法还可以包括一特殊标识识别步骤，通过本领域公知的模式识别算法来识别前方的特殊标识，并将所识别出的该特殊标识在场景投射步骤中添加到包括该局部场景图像的图像中，一同进行投射。这样，在为观察者排除了障碍物影响之外还能向观察者提示场景中的特殊标识信息。
在通常情况下，照明***中的图像采集设备和图像投影设备的方向一致，由于它们均设置于该照明***中，一般可将它们视为同一质点，并将它们在有效拍摄/投射范围内的视场认为是相同的。但在部分应用场景中，如果图像采集设备和图像投影设备的视场差距较大，或者在精度要求极高的特殊应用场景中，可实施本发明一个优选实施方式，即在场景拍摄步骤之前还包括一校准步骤，在图像采集设备和图像投影设备之间进行视场校准，以保证图像拍摄和图像投射在有效范围内具有近似相同的视场。具体地，可使用分光镜来执行所述校准步骤，该分光镜可以同时反射和透射一定比例的光线，可以使处于不同位置的图像采集设备和图像投影设备共享同一光学视场。
在一些应用场景中，图像采集设备的拍摄操作和图像投影设备的投影操作均有可能对前方场景的光线条件，例如亮度、色度等，造成一定影响，这会使图像采集设备和图像投影设备之间造成相互的干扰。为了避免这种有可能的干扰，在本发明一个优选实施方式中，上述场景拍摄步骤中的拍摄操作和上述场景投射步骤中的投射操作不同时进行。
正如上文介绍过的，在本发明一个具体实施方式中，还提供了一种照明***100，如图4所示，该照明***100包括如下单元：场景拍摄单元10，用于拍摄n帧前方的场景图像；场景预测单元20，用于根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及场景投射单元30，将包括所述局部场景图像的图像投射到前方。
上述照明***100可拍摄场景图像并对所拍摄的n帧场景图像进行处理，预测出n+1帧（下一时刻）被障碍物遮挡的场景部分，然后投射这部分场景到前方使得观察者可见。本***的应用过程中，观察者可以不断地基于之前拍摄的多幅图像观察到去除了障碍物的前方真实场景，避免了前方障碍物的遮挡对于观察者视线的影响。
下面，结合附图来详细介绍上述照明***100的各单元功能和构成。
（1）场景拍摄单元10，用于拍摄n帧前方的场景图像。
该场景拍摄单元10可以利用本领域公知的各种图像采集设备来实现，例如包括CCD传感器或CMOD传感器等。该场景拍摄单元10在顺序拍摄n帧场景图像过程中可以处于移动状态或静止状态。例如，在雨雪中行进时，该场景拍摄单元10可安装于行进者身上的照明***中或安装于行驶的车辆、船只上的照明***中，在行进过程中进行场景图像的拍摄；在场地照明或图像投射时，该场景拍摄单元10可安装于固定的照明***中，在静止状态下进行场景图像的拍摄；在照明搜寻过程中，该场景拍摄单元10可安装于搜寻者携带的照明***上，在搜寻过程中进行场景图像的拍摄。
由于近红外光线具有区分近远景、提高场景辨识度的功能，在本发明一个优选实施方式中，照明***100还可包括近红外单元，用于在该场景拍摄单元10拍摄场景图像过程中向前方照射近红外光，使得该场景拍摄单元10可以在近红外光照射前方的情况下拍摄n帧场景图像，从而获得更好的拍摄效果，提高障碍物在场景中的辨识度。
（2）场景预测单元20，用于根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像。
该场景预测单元20对场景拍摄单元10所拍摄的多帧图像进行处理以预测出被障碍物遮挡的场景部分，这为将被障碍物遮挡的场景部分呈现给观察者提供了基础。在本发明一个具体实施方式中，该场景预测单元20根据n帧场景图像识别出自身运动数据和障碍物运动数据，并基于自身运动数据和障碍物运动数据来预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像。
由于假定场景图像中的主要场景均处于静止状态，在本发明一个具体实施方式中，该场景预测单元20可通过比较n帧场景图像并检测其中的背景运动来识别照明***的自身运动数据。在本发明一个具体实施方式中，该场景预测单元20可通过比较n帧场景图像并检测其中移动的障碍物来识别障碍物运动数据。
根据本发明一个具体实施方式，如图5所示，该场景预测单元20可进一步包括如下单元：
第一单元：用于根据所识别的障碍物运动数据合并n帧场景图像中未被障碍物遮挡的部分，形成第n帧场景图像的场景基线图像。
该第一单元可以根据各帧场景图像中障碍物的位置等障碍物运动数据获取各帧场景图像中未被障碍物遮挡的部分，并合成各帧场景图像中未被障碍物遮挡的部分，以形成第n帧场景图像的场景基线图像。第n帧场景图像的该场景基线图像中不包含任何障碍物，还原了第n帧场景图像中去除了障碍物影响后的真实场景。
第二单元：用于根据所识别的自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像。
该第二单元可以根据照明***的自身运动轨迹、自身运动方向、自身运动速度、自身运动姿态等自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像。第n+1帧场景图像的该场景基线图像中也不包含任何障碍物，预测出了第n+1帧场景图像中去除了障碍物影响后的真实场景。
第三单元：用于根据所识别出的自身运动数据和障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测第n+1帧场景图像中的障碍物图像。
该第三单元可以根据照明***的自身运动轨迹、自身运动方向、自身运动速度、自身运动姿态等自身运动数据以及障碍物运动轨迹、各帧的障碍物运动方向、障碍物运动速度、障碍物运动姿态等障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测n+1帧场景图像中的障碍物图像。
第四单元：用于根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，计算第n+1帧场景图像中被障碍物遮挡的局部场景图像。
根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，该第四单元就可以计算得到第n+1帧场景图像中被障碍物遮挡的局部场景图像。本领域技术人员可以理解，该局部场景图像正是在第n+1帧场景图像的场景基线图像中与第n+1帧场景图像的障碍物图像位置对应的部分，也就是在第n+1帧场景图像中将被障碍物遮挡的区域。
在有些应用场景下，虽然可以假定场景图像中主要场景处于静止状态而不发生变化，但是当照明***100处于较高速度的移动状态时，所拍摄的多帧场景图像中的主要场景之间还是会发生变化。为了解决该问题以消除上述变化对于图像处理的不良影响，在本发明一个优选实施方式中，该场景预测单元20可以进一步包括一对齐单元，用于根据所识别的自身运动数据，对除了第n帧场景图像之外的n-1帧场景图像进行立体变换，使得之前的n-1帧场景图像与当前第n帧场景图像实现内容对齐，这样便补偿了由于照明***100的移动所引起的主要场景之间变化。
在本发明一个优选实施方式中，照明***100还可以包括一局部场景图像处理单元，用于对场景预测单元20计算得到的局部场景图像进行包括边缘羽化、亮度处理、对比度处理、表面变形等图像处理操作。
（3）场景投射单元30，将包括该局部场景图像的图像投射到前方。
如前所述，该局部场景图像正是所预测的第n+1帧场景图像中将被障碍物遮挡的区域。该场景投射单元30将包括该局部场景图像的图像投射到前方，使得观察者可以观察到原本应被障碍物所遮挡的场景部分，从而避免了前方障碍物的遮挡对于观察者视线的影响，为观察者提供了去除障碍物之后的前方真实场景。
该场景投射单元30可利用本领域公知的各种图像投影设备来实现。该场景投影单元30在投射图像过程中可以处于移动状态或静止状态。例如，在雨雪中行进时，该场景投影单元30可安装于行进者身上的照明***中或安装于行驶的车辆、船只的照明***中，在行进过程中进行图像投射；当提供场地照明或图像投射时，该场景投影单元30可安装于固定的照明***中，在静止状态下进行图像投射；在照明搜寻过程中，该场景投影单元30可安装于搜寻者携带的照明***上，在搜寻过程中进行图像投射。
在本发明一个具体实施方式中，该场景投影单元30可将该局部场景图像覆盖到对应障碍物图像上，以形成包括该局部场景图像的图像。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，从而为观察者提供了去除障碍物之后的前方真实场景。
在本发明另一个具体实施方式中，该场景投影单元30可将该局部场景图像覆盖到对应障碍物图像上、并在其余部分填充照明光，以形成包括该局部场景图像的图像。这样，观察者不再观察到障碍物图像，取而代之的是相同位置上的该局部场景图像，而且在场景图像的其余部分具有充分的照明光，从而为观察者提供了去除障碍物之后更完整的前方真实场景。
在各种应用场景中，前方场景中有可能存在一些特殊标识，例如重要路牌、指示牌等。在本发明一个优选实施方式中，该照明***100还可以包括一特殊标识识别单元，其识别前方的特殊标识。场景投射单元30可将所识别出的该特殊标识添加到包括该局部场景图像的图像中，一同进行投射。这样，在为观察者排除了障碍物影响之外还能向观察者提示场景中的特殊标识信息。
在通常情况下，照明***100的场景采集单元10和场景投影单元30的方向一致，由于它们均设置于该照明***100中，一般可将它们视为同一质点，并将它们在有效拍摄/投射范围内的视场认为是相同的。但在部分应用场景中，如果场景采集单元10和场景投影单元30的视场差距较大，或者在精度要求极高的特殊应用场景中，可实施本发明一个优选实施方式，即在照明***100中进一步包括一校准单元60，在场景采集单元10和场景投影单元30之间进行视场校准，以保证图像拍摄和图像投射在有效范围内具有近似相同的视场。具体地，可使用分光镜来实现该校准单元，该分光镜可以同时反射和透射一定比例的光线，通过例如图3中所示的配置方式，可以使处于不同位置的场景采集单元10和场景投影单元30共享同一光学视场。
在一些应用场景中，场景采集单元10的拍摄操作和场景投影单元30图像的投影操作均有可能对前方场景的光线条件，例如亮度、色度等，造成一定影响，这会使场景采集单元10和场景投影单元30之间造成相互的干扰。为了避免这种有可能的干扰，在本发明一个优选实施方式的该照明***100中，该场景拍摄单元10所执行的拍摄操作和该场景投射单元30所执行的投射操作不同时进行。
第一应用实施例
下面结合图6-10来介绍本发明第一应用场景实施例。
在本应用实施例中，驾驶员在雨中驾驶汽车，该汽车的车灯位置安装有本发明中的照明***，可执行本发明中的照明方法。其中，作为观察者的驾驶员和该照明***处于共同的移动状态中，而作为障碍物的雨点也处于移动状态中。由于前方众多雨点遮挡视线且雨点造成的灯光反射会影响驾驶员视觉观察，需要利用该照明***执行本发明中的照明方法来为驾驶员提供去除了雨点之后的前方场景，避免雨点对于驾驶员视线的影响。
驾驶员启动该照明***后，校准单元在场景拍摄单元和场景投射单元之间进行视场校准。场景拍摄单元在近红外单元照射前方的条件下拍摄n帧前方的场景图像，n的取值可以在照明***中预置，例如为10。图6示出了所拍摄的其中一帧场景图像，其中包括前方场景和容易遮挡驾驶员视线的雨点。
照明***中，场景预测单元检测出这10帧场景图像中的背景运动，识别出汽车（照明***）的行进轨迹、方向、速度等数据。基于这些数据，场景预测单元中的对齐单元对第1-9帧场景图像进行立体变换，使它们与第10帧场景图像实现内容对齐。同时，场景预测单元检测10帧场景图像中的雨点运动，识别出雨点飞行轨迹、飞行方向、飞行速度等数据。
场景预测单元中的第一单元和第二单元基于这10帧场景图像分别得到第10帧场景基线图像和预测出第11帧场景基线图像。图7是一幅场景基线图像的示意图，其中仅包括前方的原有真实场景而去除了雨点的遮挡。场景预测单元中的第三单元基于10帧场景图像预测出第11帧场景图像中的雨点图像。图8示出了所预测出的第11帧场景图像中的雨点图像，其中包含了第11帧场景图像中的雨点。场景预测单元中的第四单元计算出在第11帧场景图像中将被雨点遮挡的局部场景图像。图9b示出了第11帧的局部场景图像的一部分，为了便于本领域技术人员理解，图9a辅助示出了相应部分的场景图像中前方真实场景与雨点图像的合成效果，其中雨点遮挡住的真实场景部分即为图9a中的局部场景图像。然后，照明***中的局部场景图像处理单元对该局部场景图形执行一系列图像处理。
照明***中的场景投射单元将局部场景图像投射到前方，将局部场景图像在相应位置上覆盖到此时出现在前方的雨点上，并在其余部分填充白色照明光。如果前方场景中有重要的指示路牌，场景投射单元还会将特殊标识识别单元之前识别出的该路牌添加到该局部场景图像中一同进行投射。图10示出了投射局部场景图像后的前方场景，对比图6，投射局部场景图像后的场景中的雨点均被局部场景图像所覆盖，为驾驶员提供了前方真实场景而不会受到雨点的遮挡。本领域技术人员可以理解，图10中的雨点轮廓仅起到示意作用，用于标识出雨点所在的真实位置，然而在本发明照明***的理想运行状态下，图10的真实效果并不包含这些雨点轮廓。
汽车上的照明***不断循环执行本发明中的该照明方法，这样场景投射单元不断地向前方投射基于投射之前拍摄的10帧场景图像所计算得到的局部场景图像，从而避免了驾驶员在行驶过程中受到前方雨点遮挡的影响，为汽车驾驶员提供了去除了雨点之后的前方清晰场景。
与本应用实施例类似，本发明的方法和***可广泛利用于照明***、障碍物均处于移动状态的其他类似应用场景中，其中障碍物可以是例如雪花、冰雹中的小冰块、纷飞的碎纸片等，照明***也可安装于例如各种车辆、船只、飞机、工程机械或步行者的随身装配上等。
第二应用实施例
下面结合图11-15来介绍本发明第二应用场景实施例。
在本应用实施例中，广场上的灯柱投影仪向大型幕布上投射影像供观众观看，但不时经过的行人或车辆有可能遮挡观众的视线。该灯柱投影仪中安装有本发明中的照明***，可执行本发明中的照明方法。其中，作为观察者的观众和该照明***处于静止状态，而作为障碍物的行人或车辆处于移动状态中。此时需要利用该照明***执行本发明中的照明方法来为观众提供去除了障碍物之后的前方场景，避免障碍物对于观众视线的影响。
启动该照明***后，校准单元在场景拍摄单元和场景投射单元之间进行视场校准。场景拍摄单元拍摄n帧前方的场景图像，n的取值可以在照明***中预置，例如为20。图11示出了所拍摄的其中一帧场景图像，其中包括幕布上的影像和遮挡观众视线的行人影像。
照明***中，场景预测单元检测这20帧场景图像中的行人移动，识别出行人的行走轨迹、行走方向、行走速度等数据。
场景预测单元中的第一单元和第二单元基于这20帧场景图像分别得到第20帧场景基线图像和预测出第21帧场景基线图像。图12是一幅场景基线图像的示意图，其中仅包括幕布上的原有真实影像而去除了行人的遮挡。场景预测单元中的第三单元基于这20帧场景图像预测出第21帧场景图像中的行人图像。图13示出了所预测出的第21帧场景图像中的行人影像图像。场景预测单元中的第四单元计算出在第21帧场景图像中将被行人遮挡的局部场景图像。图14示出了第21帧的局部场景图像的一部分。然后，照明***中的局部场景图像处理单元对该局部场景图形执行一系列图像处理。
照明***中的场景投射单元将局部场景图像投射到幕布上，将局部场景图像在相应位置上覆盖到此时出现在前方的行人位置上，并在其余部分填充照明光。图15示出了投射局部场景图像后的前方场景，对比图11，投射局部场景图像后的场景中的行人被局部场景图像所覆盖，为观众提供了前方真实场景而不会受到行人的遮挡。
灯柱上的照明***不断循环执行本发明中的该照明方法，这样场景投射单元不断地向幕布投射基于投射之前拍摄的20帧场景图像所计算得到的局部场景图像，从而避免了观众在观看过程中受到前方行人或车辆遮挡的影响，为观众提供了去除了障碍物之后的前方清晰图景。
与本应用实施例类似，本发明的方法和***可广泛利用于照明***处于静止状态而障碍物处于移动状态的其他类似应用场景中，其中障碍物可以是例如行人、跑过的动物、经过的车辆等，照明***也可安装于例如影院的影片放映机、体育场的照明灯柱等。
第三应用实施例
下面来介绍本发明第三应用场景实施例。
在本应用实施例中，游客在昏暗的树林中用手电设备搜寻遗失的物品，前方的灌木丛等会影响游客的观察。该手电设备中安装有本发明中的照明***，可执行本发明中的照明方法。其中，该照明***处于可移动状态中，而作为障碍物的灌木丛则处于静止状态。此时需要利用该照明***执行本发明中的照明方法来为游客提供去除了前方灌木丛之后的场景，避免障碍物对于游客视线的影响。
启动该照明***后，校准单元在场景拍摄单元和场景投射单元之间进行视场校准。游客可在上下、左右等平面方向上大范围移动手电设备，以使场景拍摄单元从多角度拍摄n帧前方的场景图像，n的取值可以在照明***中预置，例如为10，每帧场景图像中包括较远处场景和近处的灌木丛。
照明***中，场景预测单元检测出这10帧场景图像中的背景运动，识别出手电设备（照明***）的行进轨迹、方向、速度等数据。基于这些数据，场景预测单元中的对齐单元对第1-9帧场景图像进行立体变换，使它们与第10帧场景图像实现内容对齐。
场景预测单元中的第一单元和第二单元基于这10帧场景图像分别得到第10帧场景基线图像和预测出第11帧场景基线图像。场景基线图像仅包括前方的原有真实场景而去除了灌木丛的遮挡。场景预测单元中的第三单元基于10帧场景图像预测出第11帧场景图像中的灌木丛图像。场景预测单元中的第四单元计算出在第11帧场景图像中将被灌木丛遮挡的局部场景图像。然后，照明***中的局部场景图像处理单元对该局部场景图形执行一系列图像处理。
照明***中的场景投射单元将局部场景图像投射到前方，将局部场景图像在相应位置上覆盖到前方的灌木丛上，并在其余部分填充白色照明光。如果前方场景中有重要的指示路牌，场景投射单元还会将特殊标识识别单元之前识别出的该路牌添加到该局部场景图像中一同进行投射。投射局部场景图像后的场景中的灌木丛被局部场景图像所覆盖，为游客提供了前方真实场景而不会受到灌木丛的遮挡。
游客利用手电设备上的照明***不断循环执行本发明中的该照明方法，这样场景投射单元不断地向前方投射基于投射之前拍摄的10帧场景图像所计算得到的局部场景图像，从而避免了游客在搜寻过程中受到前方障碍物遮挡的影响，为游客提供了去除了障碍物之后的前方场景，有可能更顺利地寻找到遗失的物品。
与本应用实施例类似，本发明的方法和***可广泛利用于照明***处于移动状态而障碍物处于静止状态的其他类似应用场景中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
Claims (27)
1.一种照明方法，其特征在于，所述方法包括：
场景拍摄步骤，拍摄n帧前方的场景图像，其中n为大于1的整数；
场景预测步骤，根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及
场景投射步骤，将包括所述局部场景图像的图像投射到前方，
其中，在所述场景预测步骤中，根据所述n帧场景图像识别出自身运动数据和障碍物运动数据，并基于所述自身运动数据和所述障碍物运动数据来预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像，
其中，在所述场景预测步骤中，进一步包括如下步骤：
根据所述障碍物运动数据合并n帧场景图像中未被障碍物遮挡的部分，形成第n帧场景图像的场景基线图像；
根据所述自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像；
根据所述自身运动数据和所述障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测第n+1帧场景图像中的障碍物图像；以及
根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，计算第n+1帧场景图像中被障碍物遮挡的局部场景图像。
2.根据权利要求1所述的方法，其特征在于，通过比较所述n帧场景图像并检测其中的背景运动来识别所述自身运动数据。
3.根据权利要求1所述的方法，其特征在于，所述自身运动数据包括自身运动轨迹、各帧的自身运动方向、自身运动速度、自身运动姿态、自身位置中的至少一种。
4.根据权利要求1所述的方法，其特征在于，通过比较所述n帧场景图像并检测其中移动的障碍物来识别所述障碍物运动数据。
5.根据权利要求1所述的方法，其特征在于，所述障碍物运动数据包括障碍物运动轨迹、各帧的障碍物运动方向、障碍物运动速度、障碍物运动姿态、障碍物位置中的至少一种。
6.根据权利要求1所述的方法，其特征在于，所述场景预测步骤还包括一对齐步骤，根据所识别的所述自身运动数据，对除了第n帧场景图像之外的n-1帧场景图像进行立体变换，使得之前的n-1帧场景图像与第n帧场景图像实现内容对齐。
7.根据权利要求1-6中任一项所述的方法，其特征在于，在所述场景预测步骤之后还包括一局部场景图像处理步骤，对所述局部场景图像进行包括边缘羽化、亮度处理、对比度处理、表面变形中至少一种的图像处理。
8.根据权利要求1-6中任一项所述的方法，其特征在于，在所述场景拍摄步骤之前，还包括一校准步骤，将拍摄场景图像的设备和进行场景投射的设备之间进行校准，以保证拍摄和投射在有效范围内具有近似相同的视场。
9.根据权利要求8所述的方法，其特征在于，使用分光镜来执行所述校准步骤。
10.根据权利要求1-6中任一项所述的方法，其特征在于，在所述场景拍摄步骤中，在近红外光照射前方的情况下拍摄n帧场景图像。
11.根据权利要求1-6中任一项所述的方法，其特征在于，包括所述局部场景图像的图像是将所述局部场景图像覆盖到对应的所述障碍物图像上而形成的。
12.根据权利要求1-6中任一项所述的方法，其特征在于，包括所述局部场景图像的图像是将所述局部场景图像覆盖到对应的所述障碍物图像上、并在其余部分填充照明光而形成的。
13.根据权利要求12所述的方法，其特征在于，所述照明光包括照明图像。
14.根据权利要求1-6中任一项所述的方法，其特征在于，还包括一特殊标识识别步骤，识别前方的特殊标识，
在所述场景投射步骤中，进一步将所述特殊标识添加到包括所述局部场景图像的图像中，一同进行投射。
15.根据权利要求1-6中任一项所述的方法，其特征在于，所述场景拍摄步骤中的拍摄操作和所述场景投射步骤中的投射操作不同时进行。
16.一种照明***，其特征在于，所述***包括：
一场景拍摄单元，用于拍摄n帧前方的场景图像，其中n为大于1的整数；
一场景预测单元，用于根据所述n帧场景图像，预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像；以及
一场景投射单元，将包括所述局部场景图像的图像投射到前方，
其中，所述场景预测单元根据所述n帧场景图像识别出自身运动数据和障碍物运动数据，并基于所述自身运动数据和所述障碍物运动数据来预测第n+1帧场景图像中的障碍物图像和第n+1帧场景图像中被障碍物遮挡的局部场景图像，
其中，所述场景预测单元进一步包括如下单元：
一第一单元：用于根据所述障碍物运动数据合并n帧场景图像中未被障碍物遮挡的部分，形成第n帧场景图像的场景基线图像；
一第二单元：用于根据所述自身运动数据对第n帧场景图像的场景基线图像进行变换，以预测第n+1帧场景图像的场景基线图像；
一第三单元：用于根据所述自身运动数据和所述障碍物运动数据对第n帧场景图像中的障碍物图像进行变换，以预测第n+1帧场景图像中的障碍物图像；以及
一第四单元：用于根据第n+1帧场景图像的场景基线图像和第n+1帧场景图像中的障碍物图像，计算第n+1帧场景图像中被障碍物遮挡的局部场景图像。
17.根据权利要求16所述的***，其特征在于，所述场景预测单元通过比较所述n帧场景图像并检测其中的背景运动来识别所述自身运动数据。
18.根据权利要求16所述的***，其特征在于，所述场景预测单元通过比较n帧场景图像并检测其中移动的障碍物来识别所述障碍物运动数据。
19.根据权利要求16所述的***，其特征在于，所述场景预测单元进一步包括一对齐单元，用于根据所述自身运动数据，对除了第n帧场景图像之外的n-1帧场景图像进行立体变换，使得之前的n-1帧场景图像与第n帧场景图像实现内容对齐。
20.根据权利要求16-19中任一项所述的***，其特征在于，所述照明***还包括一局部场景图像处理单元，用于对所述局部场景图像进行包括边缘羽化、亮度处理、对比度处理、表面变形中至少一种的图像处理。
21.根据权利要求16-19中任一项所述的***，其特征在于，所述照明***还包括一校准单元，用于在所述场景拍摄单元和所述场景投射单元之间进行视场校准，以保证拍摄和投射在有效范围内具有近似相同的视场。
22.根据权利要求21所述的***，其特征在于，所述校准单元包括分光镜。
23.根据权利要求16-19中任一项所述的***，其特征在于，所述照明***还包括一近红外单元，用于在所述场景拍摄单元拍摄n帧场景图像时向前方照射近红外光。
24.根据权利要求16-19中任一项所述的***，其特征在于，所述场景投射单元还用于将所述局部场景图像覆盖到对应的所述障碍物图像上来形成包括所述局部场景图像的图像。
25.根据权利要求16-19中任一项所述的***，其特征在于，所述场景投射单元还用于将所述局部场景图像覆盖到对应的所述障碍物图像上、并在其余部分填充照明光来形成包括所述局部场景图像的图像。
26.根据权利要求16-19中任一项所述的***，其特征在于，所述照明***还包括一特殊标识识别单元，用于识别前方的特殊标识，
所述场景投射单元还用于将所述特殊标识添加到包括所述局部场景图像的图像中，一同进行投射。
27.根据权利要求16-19中任一项所述的***，其特征在于，在所述照明***中，所述场景拍摄单元所执行的拍摄操作和所述场景投射单元所执行的投射操作不同时进行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310359180.8A CN103442179B (zh) | 2013-08-16 | 2013-08-16 | 照明方法和照明*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310359180.8A CN103442179B (zh) | 2013-08-16 | 2013-08-16 | 照明方法和照明*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103442179A CN103442179A (zh) | 2013-12-11 |
| CN103442179B true CN103442179B (zh) | 2016-10-26 |
Family
ID=49695840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310359180.8A Active CN103442179B (zh) | 2013-08-16 | 2013-08-16 | 照明方法和照明*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103442179B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888689B (zh) * | 2014-03-13 | 2017-10-31 | 北京智谷睿拓技术服务有限公司 | 图像采集方法及图像采集装置 |
| EP2953344A1 (en) * | 2014-12-22 | 2015-12-09 | Axis AB | Method for improving live video |
| US20200039420A1 (en) | 2018-08-06 | 2020-02-06 | Koito Manufacturing Co., Ltd. | Vehicle lamp |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551901A (zh) * | 2009-05-25 | 2009-10-07 | 中国人民解放军国防科学技术大学 | 动态遮挡图像的实时补偿和增强方法 |
| WO2010029707A2 (ja) * | 2008-09-12 | 2010-03-18 | 株式会社 東芝 | 画像照射システム及び画像照射方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3645196B2 (ja) * | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
-
2013
- 2013-08-16 CN CN201310359180.8A patent/CN103442179B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010029707A2 (ja) * | 2008-09-12 | 2010-03-18 | 株式会社 東芝 | 画像照射システム及び画像照射方法 |
| CN101551901A (zh) * | 2009-05-25 | 2009-10-07 | 中国人民解放军国防科学技术大学 | 动态遮挡图像的实时补偿和增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103442179A (zh) | 2013-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jazayeri et al. | Vehicle detection and tracking in car video based on motion model | |
| EP1703466B1 (en) | Moving object detection apparatus, method and program | |
| Kong et al. | Detecting abandoned objects with a moving camera | |
| US8848053B2 (en) | Automatic extraction of secondary video streams | |
| US20170132471A1 (en) | Automatic extraction of secondary video streams | |
| CN101633356B (zh) | 检测行人的***及方法 | |
| US8116527B2 (en) | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background | |
| CN102469304A (zh) | 视频处理 | |
| CN102469303A (zh) | 视频监视 | |
| CN103716687A (zh) | 使用指纹以在视频中追踪移动对象的***和方法 | |
| CN103473554A (zh) | 人流统计***及方法 | |
| CN103442179B (zh) | 照明方法和照明*** | |
| Li et al. | A visualized fire detection method based on convolutional neural network beyond anchor | |
| CN109948474A (zh) | Ai热成像全天候智能监控方法 | |
| Reyad et al. | Traffic conflict–based before–after study with use of comparison groups and the empirical Bayes method | |
| Fujiyoshi et al. | Layered detection for multiple overlapping objects | |
| Kim et al. | Automated measurement of crowd density based on edge detection and optical flow | |
| Kristoffersen et al. | Towards semantic understanding of surrounding vehicular maneuvers: A panoramic vision-based framework for real-world highway studies | |
| CN103440626B (zh) | 照明方法和照明*** | |
| Wu et al. | Real-time running detection from a moving camera | |
| Brehar et al. | Pedestrian detection in the context of multiple-sensor data alignment for far-infrared and stereo vision sensors | |
| CN106339666A (zh) | 一种人体目标的夜间监控方法 | |
| Lu et al. | Lane intrusion behaviors dataset: Action recognition in real-world highway scenarios for self-driving | |
| van de Wouw et al. | Development and analysis of a real-time system for automated detection of improvised explosive device indicators from ground vehicles | |
| Salgian et al. | Moving target indication from a moving camera in the presence of strong parallax |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |