CN112385208B - 图像识别装置以及图像识别方法 - Google Patents

图像识别装置以及图像识别方法 Download PDF

Info

Publication number
CN112385208B
CN112385208B CN201980045952.6A CN201980045952A CN112385208B CN 112385208 B CN112385208 B CN 112385208B CN 201980045952 A CN201980045952 A CN 201980045952A CN 112385208 B CN112385208 B CN 112385208B
Authority
CN
China
Prior art keywords
image
condition
recognition rate
recognition
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980045952.6A
Other languages
English (en)
Other versions
CN112385208A (zh
Inventor
三宅康夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112385208A publication Critical patent/CN112385208A/zh
Application granted granted Critical
Publication of CN112385208B publication Critical patent/CN112385208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Analysis (AREA)

Abstract

图像识别装置(99)具备处理电路(170)和控制电路(120)。对处理电路(170)输入对第1被摄体进行多重曝光拍摄而得到的第1图像。处理电路170使用第1图像来计算第1被摄体的识别率。控制电路(120)在识别率比识别率阈值小的情况下,变更多重曝光拍摄的条件。

Description

图像识别装置以及图像识别方法
技术领域
本公开涉及图像识别装置和图像识别方法。
背景技术
近年来,使用图像进行信息处理的装置正在普及。这样的装置能够搭载于各种机械。作为这样的机械,举出自动驾驶车。作为这样的机械,也可以举出在工厂自动化中利用的机器人。
信息处理的一例是在图像中拍照的物体的识别。研究开发了用于进行该识别的算法。在专利文献1中记载有算法的一例。
现有技术文献
专利文献
专利文献1:WO2018/003212A1
专利文献2:WO2017/094229A1
发明内容
发明所要解决的课题
要求提高使用了图像的信息处理的精度的技术。
用于解决课题的手段
本公开提供一种图像识别装置,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像来计算所述第1被摄体的识别率;以及
控制电路,在所述识别率比识别率阈值小的情况下,变更所述多重曝光拍摄的条件。
发明效果
本公开提供一种提高使用了图像的信息处理的精度的技术。
附图说明
图1是图像识别装置的框图。
图2A是多重曝光拍摄的方法的说明图。
图2B是多重曝光拍摄的方法的说明图。
图2C是图像识别装置的框图。
图3是通过多重曝光拍摄得到的图像的说明图。
图4A是多重曝光拍摄的方法的说明图。
图4B是通过多重曝光拍摄得到的图像的说明图。
图5A是通过多重曝光拍摄得到的图像的说明图。
图5B是通过多重曝光拍摄得到的图像的说明图。
图6是表示图像识别装置的控制的流程图。
图7A是表示多重曝光拍摄的条件的变化的说明图。
图7B是表示识别率的变化的说明图。
图8是表示曝光间隔及识别率的变化的说明图。
图9A是表示多重曝光拍摄的条件的变化的说明图。
图9B是表示识别率的变化的说明图。
图10是神经网络的说明图。
图11是图像识别装置的框图。
图12是表示图像识别装置的控制的流程图。
图13A是表示多重曝光拍摄的条件的变化的说明图。
图13B是表示误差E的变化的说明图。
图14是表示图像识别装置的控制的流程图。
图15是表示曝光间隔及识别率的变化的说明图。
图16是表示图像识别装置的控制的流程图。
图17是表示图像识别装置的控制的流程图。
图18是表示曝光间隔的变化的说明图。
图19是表示图像识别装置的控制的流程图。
图20是表示图像识别装置的控制的流程图。
图21A是表示多重曝光拍摄的条件的变化的说明图。
图21B是表示误差E的变化的说明图。
图22是表示图像识别装置的控制的流程图。
具体实施方式
(成为本公开的基础的见解)
在专利文献1中,记载有使用了图像的信息处理的一例。在专利文献1的信息处理中,使用通过进行1次曝光而得到的图像。
本发明人研究了通过使用多重曝光拍摄的图像来提高信息处理的精度。
(本公开的一方式的概述)
本公开的第1方式的图像识别装置,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像来计算所述第1被摄体的识别率;以及
控制电路,在所述识别率比识别率阈值小的情况下,变更所述多重曝光拍摄的条件。
第1方式的技术适于确保识别率的计算精度。
也可以是,在本公开的第2方式中,例如,在第1方式的图像识别装置中,在所述识别率比所述识别率阈值小的情况下变更的所述条件包括从由(a)至(h)构成的组中选择的至少1个,所述(a)至(h)为:(a)在得到所述第1图像时采用的各曝光期间的长度;(b)在得到所述第1图像时采用的各曝光间隔的长度;(c)在得到所述第1图像时采用的曝光次数;(d)所述第1图像的曝光灵敏度;(e)用于得到所述第1图像的拍摄装置的增益;(f)用于得到所述第1图像的拍摄装置的焦距;(g)用于得到所述第1图像的拍摄装置的光圈;以及(h)所述第1图像的输出分辨率。
第2方式的条件的变更能够有助于识别率的提高。
也可以是,在本公开的第3方式中,例如,第1方式或者第2方式的图像识别装置还具备从显示所述识别率的内置显示装置以及向显示所述识别率的外接显示装置输出所述识别率的输出接口中选择的至少一个。
根据第3方式,能够视觉确认识别率。
也可以是,在本公开的第4方式中,例如,第1至第3方式中的任一个图像识别装置还具备用于得到所述第1图像的拍摄装置。
根据第4方式,能够容易地得到第1图像。
也可以是,在本公开的第5方式中,例如,在第1至第4方式中的任一个图像识别装置中,将所述条件与所述第1图像建立对应。
根据第5方式,容易将多重曝光拍摄的条件作为信息利用。
也可以是,在本公开的第6方式中,例如,第5方式的图像识别装置使用在所述控制电路中保持的所述条件来作为与所述第1图像建立对应的所述条件。
也可以是,在本公开的第7方式中,例如,第5方式的图像识别装置可以还具备用于得到所述第1图像的拍摄装置,使用在所述拍摄装置中保持的所述条件作为与所述第1图像建立对应的所述条件。
根据第6方式或根据第7方式,均能够适当地将多重曝光拍摄的条件与第1图像建立对应。
也可以是,在本公开的第8方式中,例如,在第1至第7方式中的任一个图像识别装置中,所述处理电路可以进行使用多组分别与所述第1图像和所述第1被摄体的物体名对应的训练图像和正确答案标签的组合的有监督学习,在所述有监督学习后,使用所述第1图像来计算所述识别率。
根据第8方式的处理电路,能够确保识别率的计算精度。
也可以是,在本公开的第9方式中,例如,第8方式的图像识别装置还具备用于得到所述训练图像的第2拍摄装置。
根据第9方式的拍摄装置,容易进行学习。
也可以是,在本公开的第10方式中,例如,在第8方式或第9方式的图像识别装置中,所述处理电路读入由神经网络表现的运算模型,所述处理电路可以进行所述有监督学习,在所述有监督学习后,使用所述第1图像来计算所述识别率。
神经网络适于使用图像的信息处理。
也可以是,在本公开的第11方式中,例如,在第1至第10方式中的任一个图像识别装置中,反复进行基于所述处理电路的所述识别率的计算和所述识别率比所述识别率阈值小的情况下的基于所述控制电路的所述条件的变更,直到结束条件成立为止。
第11方式适于得到高识别率。
也可以是,在本公开的第12方式中,例如,在第1至第11方式中的任一个图像识别装置中,所述处理电路可以计算第1识别率和第2识别率,所述第1识别率是作为所述识别率的第1识别率,且表示所述第1被摄体是第1物体的可靠性(probability),所述第2识别率表示所述第1被摄体是第2物体的可靠性,所述控制电路在从所述第1识别率减去所述第2识别率而得到的差量为Z以下的情况下,也变更所述多重曝光拍摄的条件。在此,Z为0以上的值。
能够构成图像识别装置,使得能够识别为图像中的被摄体不仅可能是特定的物体,还可能是其他物体。第9方式的技术在这样的图像识别装置中能够利用。
也可以是,在本公开的第13方式中,例如,在第1至第12方式中的任一个图像识别装置中,所述处理电路可以通过对基于互不相同的所述条件而得到的多个所述第1图像进行所述识别率的计算,来计算多个参照用的所述识别率,所述控制电路可以通过相互比较多个参照用的所述识别率,来选择成为基础的所述条件即基础条件,所述处理电路使用根据所述基础条件而得到的所述第1图像、而且是用于计算多个参照用的所述识别率的所述第1图像不同的所述第1图像,计算应与所述识别率阈值进行比较的所述识别率。
第13方式从快速发现得到高识别率的多重曝光拍摄的条件的观点来看是有利的。
本公开的第14方式的图像识别装置,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像,来计算所述第1被摄体的速度的推定范围,所述推定范围是值V±误差E的范围;以及
控制电路,在所述误差E比误差阈值大的情况下,变更所述多重曝光拍摄的条件。
第14方式的技术适于确保第1被摄体的速度的计算精度。
本公开的第15方式的图像识别方法,包括:
使用对第1被摄体进行多重曝光拍摄而得到的第1图像来计算所述第1被摄体的识别率的步骤;以及
在所述识别率比识别率阈值小的情况下,变更所述多重曝光拍摄的条件的步骤。
第15方式的技术适于确保识别率的计算精度。
本公开的第16方式的图像识别方法,包括:
使用对第1被摄体进行多重曝光拍摄而得到的第1图像,来计算所述第1被摄体的速度的推定范围的步骤,所述推定范围是值V±误差E的范围;以及
在所述误差E比误差阈值大的情况下,变更所述多重曝光拍摄的条件的步骤。
第16方式的技术适于确保第1被摄体的速度的计算精度。
本公开的第17方式的图像识别装置,
是具备存储器和处理器的图像识别装置,
所述处理器,
输入对第1被摄体进行多重曝光拍摄而得到的第1图像,
使用所述第1图像来计算所述第1被摄体的识别率,
在所述识别率比识别率阈值小的情况下,变更所述多重曝光拍摄的条件。
第17方式的技术适于确保识别率的计算精度。
本公开的第18方式的图像识别装置,
是具备存储器和处理器的图像识别装置,
所述处理器,
输入对第1被摄体进行多重曝光拍摄而得到的第1图像,
使用所述第1图像,来计算所述第1被摄体的速度的推定范围,所述推定范围是值V±误差E的范围,
在所述误差E比误差阈值大的情况下,变更所述多重曝光拍摄的条件。
第18方式的技术适于确保第1被摄体的速度的计算精度。
本公开的第19方式的图像识别装置,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像来计算所述第1被摄体的识别率;以及
控制电路,变更所述多重曝光拍摄的条件,
所述处理电路通过对根据互不相同的所述条件得到的多个所述第1图像进行所述识别率的计算,来计算多个所述识别率。
第19方式的技术适于确保识别率的计算精度。
本公开的第20方式的图像识别装置,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像,来计算所述第1被摄体的速度的推定范围,所述推定范围是值V±误差E的范围;以及
控制电路,变更所述多重曝光拍摄的条件,
所述处理电路通过对根据互不相同的所述条件得到的多个所述第1图像进行所述推定范围的计算,来计算多个所述误差E。
第20方式的技术适于确保第1被摄体的速度的计算精度。
图像识别装置的技术能够应用于图像识别方法。图像识别方法的技术能够应用于图像识别装置。
(实施方式1)
图1表示实施方式1中的图像识别装置99。图像识别装置99包括光学***110、拍摄装置100、图像形成电路130、控制电路120、处理电路170以及显示装置160。图像形成电路130包括输出缓冲器140。
在图像识别装置99中,构成有相机部80。相机部80包括光学***110、拍摄装置100、图像形成电路130以及控制电路120。
在本实施方式中,光学***110包括至少1个镜头。控制电路120是***控制器。
在以下的说明中,有时使用识别率这样的用语。对识别率进行说明。在本实施方式中,图像识别装置99识别图像中的被摄体。在图像识别装置99中,计算识别率,作为表示该识别的可靠性的数值。
具体而言,图像识别装置99能够进行如下方式的识别:被摄体有识别率X的程度是称为Y的物体。X为0%以上且100%以下的值。Y是物体名。Y例如是汽车、人、家、标识、信号灯。
典型地,识别率可采用的值的数量多于2个。识别率可采用的值包括大于0%且小于100%的值。典型地,在处理电路170中,构成有计算机。识别率在该计算机的精度的范围内可采用0%以上且100%以下的任意的值。
[关于图像识别装置99的构成要素的动作]
拍摄装置100穿过光学***110对被摄体进行拍摄。具体而言,拍摄装置100包括图像传感器。拍摄装置100使用图像传感器进行拍摄。拍摄装置100输出表示拍摄内容的信号。该信号与RAW数据对应。
图像形成电路130将该信号转换为图像。具体而言,图像形成电路130将RAW数据转换为图像数据。这样,RAW数据被图像化。以下,有时将图像数据简称为图像。图像形成电路130经由输出缓冲器140向处理电路170输出图像。
图像形成电路130也可以是能够执行各种图像处理的电路。图像处理例如是各种校正处理、颜色处理等。作为校正处理,例示了暗帧校正、缺陷像素校正。作为颜色处理,例示了白平衡处理、颜色矩阵处理、拜耳插值处理。也可采用其他图像处理。例如,边缘强调、2值化处理能够有助于识别率的提高。在执行了图像处理的情况下,图像形成电路130经由输出缓冲器140向处理电路170输出图像处理后的图像。
图像处理也可以由处理电路170负责。图像识别装置99也可以不具有进行图像处理的构成要素。
处理电路170使用图像来计算识别率。具体而言,处理电路170识别图像中的被摄体是什么。换言之,处理电路170识别图像中的被摄体的物体名。然后,处理电路170计算表示该识别的可靠性的识别率。
处理电路170向显示装置160输出图像、识别出的物体名、以及该识别的识别率。另外,处理电路170向控制电路120输出识别率。
显示装置160显示图像、识别出的物体名和该识别的识别率。
控制电路120控制拍摄装置100的拍摄条件。另外,控制电路120控制图像形成电路130的图像形成条件。
[关于多重曝光拍摄]
拍摄装置100能够执行多重曝光拍摄。通过多重曝光拍摄,能够得到包括多张1个被摄体的像的RAW数据。图像形成电路130能够将这样的RAW数据转换为包括多张1个被摄体的像的图像。以下,有时将这样的图像称为第1图像。另外,有时将该1个被摄体称为第1被摄体。
对处理电路170输入对第1被摄体进行多重曝光拍摄而得到的第1图像。处理电路170使用该第1图像,来计算第1被摄体的识别率。根据第1图像,与仅包括1张1个被摄体的像的图像相比,容易兼顾图像中的被摄体的轮廓的清晰度和图像中包含的运动信息的多少。因此,从得到高识别率的观点来看,第1图像是有利的。具体而言,处理电路170识别第1图像中的第1被摄体的物体名,计算表示该识别的可靠性的识别率。
以下,举出具体例进一步说明与仅包括1张1个被摄体的像的图像相比,第1图像从得到高的识别率的观点出发是有利的理由。
仅包含1张1个被摄体的像的图像有时也包含运动信息。例如,考虑以长曝光时间拍摄行驶中的车的情况。在该情况下,得到抖动大的被摄体的像。根据包含抖动大的被摄体的像的图像,容易判别被摄体是否正在移动。这是因为,在这样的图像中包含与被摄体相关的运动信息。但是,在抖动大的被摄体的像中,赋予被摄体特征的轮廓模糊。因此,难以判别为与像对应的被摄体是车。
相反,考虑以短曝光时间拍摄行驶中的车的情况。在该情况下,得到抖动小的被摄体的像。在抖动小的被摄体的像中,容易得到赋予被摄体特征的清晰的轮廓。因此,容易判别为与像对应的被摄体是车。但是,在抖动小的被摄体的像中,难以从图像判别车是否正在移动。这是因为,这样的图像缺乏与作为被摄体的车辆相关的运动信息。
与此相对,在通过多重曝光拍摄得到的图像中,容易兼顾图像中的被摄体的轮廓的清晰度和图像中包含的运动信息的多少。能够实现该兼顾这一点,从确保识别率的计算精度的观点来看是有利的。另外,能够实现该兼顾这一点,从在后述的实施方式2中确保第1被摄体的速度的计算精度的观点来看也是有利的。
通过多重曝光拍摄来实现该兼顾的情况出现在后面详细说明的图4B的上侧。具体而言,在图4B的例子中,得到被摄体C的清晰的轮廓。该清晰的轮廓赋予车特征。因此,根据图4B的图像,容易判别为与像对应的被摄体是车。另外,图4B的图像包含被摄体C的多个像,因此包含运动信息。因此,容易从图像判别为作为被摄体的车正在行驶。如上所述,从确保识别率的计算精度以及第1被摄体的速度的计算精度的观点来看,容易辨别它们是有利的。
控制电路120在识别率比识别率阈值小的情况下,变更多重曝光拍摄的条件。该变更能够有助于识别率的提高。识别率阈值例如是处于10%以上且70%以下的范围的特定的值。
如根据以上的说明所理解的那样,处理电路170以及控制电路120具有适于提高识别率的计算精度的结构。另外,处理电路170和控制电路120的动作不需要过度的运算负荷。因此,根据本实施方式的技术,也能够兼顾运算负荷的抑制和识别率的计算精度提高。
具体而言,在本实施方式中,在变更了多重曝光拍摄的条件的情况下,反映了该变更的第1图像输入到处理电路170。处理电路170使用该第1图像,再次计算识别率。
更具体而言,在本实施方式中,反复进行基于处理电路170的识别率的计算和识别率比识别率阈值小的情况下的基于控制电路120的条件的变更,直到结束条件成立为止。
多重曝光拍摄的条件的变更方式没有特别限定。例如,有时拍摄装置100具有寄存器。在该情况下,控制电路120能够对该寄存器写入条件。该写入例如能够通过串行通信等来进行。
在识别率比识别率阈值小的情况下变更的多重曝光拍摄的条件例如包括从由条件(a)、条件(b)、条件(c)、条件(d)、条件(e)、条件(f)、条件(g)以及条件(h)构成的组中选择的至少1个。条件(a)是在得到第1图像时采用的各曝光期间的长度。条件(b)是在得到第1图像时采用的各曝光间隔的长度。曝光间隔与曝光期间之间的非曝光期间对应。条件(c)是在得到第1图像时采用的曝光次数。条件(d)是第1图像的曝光灵敏度。条件(e)是用于得到第1图像的拍摄装置100的增益。条件(f)是用于得到第1图像的拍摄装置100的焦距。条件(g)是用于得到第1图像的拍摄装置100的光圈。条件(h)是第1图像的输出分辨率。这些条件的变更能够有助于识别率的提高。
在图1的例子中,显示装置160是图像识别装置99的内部显示装置。这样,图像识别装置99具备显示识别率的内部显示装置。具体而言,内部显示装置能够显示第1图像、识别出的物体名以及该识别的识别率。
但是,图像识别装置99也可以具备向显示识别率的外接显示装置输出识别率的输出接口。具体而言,图像识别装置99也可以具备将第1图像、识别出的物体名以及该识别的识别率向外接显示装置输出的输出接口。并且,外接显示装置也可以显示第1图像、识别出的物体名以及该识别的识别率。
图像识别装置99可以具备内部显示装置以及输出接口中的一方。图像识别装置99也可以具备这两者。
在本实施方式中,多重曝光拍摄的条件与第1图像建立对应。这样,容易将多重曝光拍摄的条件作为信息利用。该建立对应例如在得到第1图像之后进行。
在一例中,显示装置160将对第1图像进行多重曝光拍摄时的多重曝光拍摄的条件重叠显示在第1图像上。该重叠相当于多重曝光拍摄的条件与第1图像的建立对应。在另一例中,以文本文件形式存储表示对第1图像进行多重曝光拍摄时的多重曝光拍摄的条件与第1图像对应的意思的信息。该存储也相当于多重曝光拍摄的条件与第1图像的建立对应。
在一例中,使用在控制电路120中保持的条件作为与第1图像建立对应的条件。
在另一例中,图像识别装置99具备用于得到第1图像的拍摄装置100。使用在拍摄装置100中保持的条件作为与第1图像建立对应的条件。
参照图2A、图2B以及图2C对多重曝光拍摄的具体方式进行说明。
在图2A以及图2B中,示出了在1帧期间中存在多次曝光期间的形式。在该形式中,在1帧期间中执行多次曝光动作。然后,读出通过曝光得到的信号。图2A以及图2B的“传感器数据输出”相当于该读出。图2A以及图2B的形式能够在拍摄装置100的图像传感器具有全局快门功能的情况下实现。
具体而言,图2A的形式能够在拍摄装置100具有串行地进行曝光和读出的图像传感器的情况下实现。在该形式中,在1帧期间中,非曝光的期间和曝光的期间交替出现,之后,读出通过这些多次曝光得到的信号。在本实施方式中,采用图2A的形式。
图2B的形式能够在拍摄装置100具有并行地进行曝光和读出的图像传感器的情况下实现。在图2B中,帧F2后续于帧F1。在帧F1的1帧期间中,非曝光的期间和曝光的期间交替出现。通过这些多次曝光得到的信号在帧F2中被读出。这样,在该形式中,在某个帧中非曝光的期间和曝光的期间交替出现,通过这些曝光得到的信号在其后的帧中被读出。
多重曝光拍摄以及全局快门功能例如能够通过由像素电极和对置电极夹着光电转换膜的层叠型的拍摄装置来实现。例如,在这样的层叠型的拍摄装置中,通过控制施加于对置电极的电压,能够设定曝光期间和非曝光期间。关于层叠型的拍摄装置的具体例,请参照专利文献2等。
在变形例的图像识别装置99中,拍摄装置100不具有全局快门功能。即使是这样的图像识别装置99,也能够得到多重曝光拍摄了第1被摄体而得到的第1图像。具体而言,如图2C所示,变形例的图像形成电路130包括帧存储器151以及帧加法电路152。在该变形例中,拍摄装置100将由图像传感器得到的数据输出到帧存储器151。该1个输出数据仅包括1张1个被摄体的像。在帧存储器151中贮存多个输出数据。帧加法电路152进行这些多个输出数据的帧相加。这样,得到伪多重曝光图像。
在本说明书中,这种伪多重曝光图像也包括在上述第1图像中。在得到伪多重曝光图像的情况下,也可以说第1被摄体被多重曝光拍摄。具体而言,在该情况下,可以说拍摄装置100与图像形成电路130协作而对第1被摄体进行多重曝光拍摄。另外,“在得到第1图像时采用”这样的表现是包含在拍摄装置100中采用的情况和在图像形成电路130中采用的情况这两者的意思的表现。
关于多重曝光拍摄的条件的设定,在图2A以及图2B的例子中,能够对拍摄装置100进行。在图2C的例子中,该设定能够对拍摄装置100以及图像形成电路130进行。
参照图3、图4A、图4B、图5A以及图5B,对通过多重曝光拍摄得到的图像进行说明。
图3是通过多重曝光拍摄得到的图像的一例。在图3的图像中,拍摄被摄体A、被摄体B、被摄体C以及被摄体D。
被摄体A以及被摄体B是静止的被摄体。在通过多重曝光拍摄得到静止的被摄体的像的情况和通过通常曝光拍摄得到静止的被摄体的像的情况下,在多重曝光拍摄和通常曝光拍摄中曝光时间的合计不同的情况下,亮度值产生差。但是,除此以外,在外观上不会产生大的差异。在图3的例子中,被摄体A是树。被摄体B是家。
被摄体C以及被摄体D是正在运动的被摄体。当对正在运动的被摄体进行多重曝光拍摄时,该被摄体的多个像相互错位地出现。被摄体C是运动快的被摄体。在被摄体C的各像之间存在大的错位。被摄体D是运动慢的被摄体。在被摄体D的各像之间存在小的错位。在图3的例子中,被摄体C是车。被摄体D是人。
参照图4A以及图4B,进一步说明被摄体C的多重曝光拍摄。
图4A表示在被摄体C的多重曝光拍摄中采用了图2A的形式。在图4A的具体例中,依次出现曝光期间T1、T2以及T3。另外,在图4A中表示曝光间隔W1和W2。如图所示,曝光间隔与曝光期间之间的非曝光期间对应。
在图4B的下侧示出了在曝光期间T1得到的被摄体C的像、在曝光期间T2得到的被摄体C的像以及在曝光期间T3得到的被摄体C的像。当这些像被复用时,得到图4B的上侧所示的多重曝光图像。所得到的多重曝光图像能够从图像传感器输出。
参照图5A以及图5B,对曝光间隔和所得到的多重曝光图像的关系进行说明。
图5A的块箭头表示被摄体C的行进方向。图5B示出了被摄体C在其行进方向上移动的情况下的各像。图5B的上侧的图像表示在曝光间隔长的情况下得到的多重曝光图像。在该情况下,被摄体C的各像之间的错位大。图5B的下侧的图像表示在曝光间隔短的情况下得到的多重曝光图像。在该情况下,被摄体C的各像之间的错位小。根据曝光间隔,被摄体C的各像之间的错位的大小发生变化。
[多重曝光拍摄条件的变更方法的具体例]
按照图6的流程图,能够变更多重曝光拍摄的条件。
在步骤S1中,设定多重曝光拍摄的条件的初始值。该设定能够通过控制电路120进行。在步骤S1之后,流程进入步骤S2。
在步骤S2中,判定结束条件是否成立。该判定例如通过控制电路120进行。关于结束条件的具体例将后述。在结束条件成立的情况下,流程结束。在结束条件不成立的情况下,流程进入步骤S3。
在步骤S3中,通过拍摄装置100进行拍摄。按照所设定的多重曝光拍摄的条件进行拍摄。在步骤S3之后,流程进入步骤S4。
在步骤S4中,从拍摄装置100向图像形成电路130输出RAW数据。该RAW数据表示步骤S3的拍摄内容。在步骤S4之后,流程进入步骤S5。
在步骤S5中,通过图像形成电路130,RAW数据被图像化。图像形成电路130将得到的图像数据向处理电路170输出。在步骤S5之后,流程进入步骤S6。
在步骤S6中,通过处理电路170进行识别处理。在识别处理中,进行图像中包含的被摄体的识别。用于识别的图像有时是上述的第1被摄体被多重曝光拍摄而得到的第1图像。在这种情况下,处理电路170使用第1图像来计算第1被摄体的识别率。然后,处理电路170将识别率向控制电路120输出。具体而言,处理电路170识别第1图像中的第1被摄体的物体名,计算表示该识别的可靠性的识别率。然后,处理电路170将识别率向控制电路120输出。在步骤S6之后,流程进入步骤S7。
在步骤S7中,通过控制电路120判定识别率是否比识别率阈值小。在识别率比识别率阈值小的情况下,流程进入步骤S8。在识别率为识别率阈值以上的情况下,流程进入步骤S2。
在步骤S8中,通过控制电路120变更多重曝光拍摄的条件。在步骤S8之后,流程进入步骤S2。
步骤S2的结束条件的第1例是从图像识别装置99的外部输入了结束命令的条件。在输入了结束命令的情况下,流程结束。在未输入结束命令的情况下,流程进入步骤S3。
步骤S2的结束条件的第2例是输入了使图像识别装置99的电源断开的命令的条件。在输入了该命令的情况下,流程结束。在未输入该命令的情况下,流程进入步骤S3。
步骤S2的结束条件的第3例是在最近的步骤S6中计算出的识别率比第1上限阈值大这样的条件。在识别率比第1上限阈值大的情况下,流程结束。在识别率为第1上限阈值以下的情况下,流程进入步骤S3。典型地,第1上限阈值比识别率阈值大。
步骤S2的结束条件的第4例是在最近的步骤S6中计算出的识别率比第1下限阈值小的条件。在识别率比第1下限阈值小的情况下,流程结束。在识别率为第1下限阈值以上的情况下,流程进入步骤S3。典型地,第1下限阈值比识别率阈值小。
也可以在第3例的条件或者第4例的条件成立的情况下结束流程,在不是这样的情况下使流程进入步骤S3。
步骤S2的结束条件的第5例是在步骤S6中计算出的识别率比第1上限阈值大这样的状况连续地持续第1阈值次数这样的条件。在该状况连续地持续第1阈值次数的情况下,流程结束。否则,流程进入步骤S3。该条件也可以说是导致上述状况的帧连续出现第1阈值次数这样的条件。
步骤S2的结束条件的第6例是在步骤S6中计算出的识别率比第1下限阈值小这样的状况连续地持续第2阈值次数这样的条件。在该状况连续地持续第2阈值次数的情况下,流程结束。否则,流程进入步骤S3。该条件也可以说是导致上述状况的帧连续出现第2阈值次数这样的条件。
也可以在第5例的条件或者第6例的条件成立的情况下结束流程,在不是这样的情况下使流程进入步骤S3。在该情况下,第1阈值次数以及第2阈值次数可以相同,也可以不同。
步骤S2的结束条件的第7例是在图6的“开始”之后进行了第3阈值次数的步骤S3的拍摄的条件。在步骤S3的拍摄进行了第3阈值次数的情况下,流程结束。否则,流程进入步骤S3。该条件也可以说是在图6的“开始”之后生成了第3阈值次数的帧这样的条件。
也能够改变图6的流程图。例如,在按照图2C形成伪多重曝光图像的情况下,可以改变图6的流程图,以进行帧相加。
按照图6的流程图的多重曝光拍摄的条件的变更能够提高识别率。关于这一点,参照图7A以及图7B进行说明。在图7A以及图7B的例子中,变更的上述条件设为曝光间隔。
图7A表示帧n中的多重曝光拍摄的条件和帧n+α中的多重曝光拍摄的条件。n和α是自然数。图7A表示按照图6的流程图,曝光间隔从2ms变更为4ms的情况。
图7B表示帧n中的识别率和帧n+α中的识别率。在图7B的例子中,第1被摄体设为汽车。图7B表示按照图6的流程图提高了第1被摄体的识别率的情况。具体而言,表示在第1图像中的第1被摄体被识别为汽车的情况下,表示该识别的可靠性的识别率从35%上升到85%。
在图7A以及图7B的例子中,在步骤S7中识别率比识别率阈值小的情况下,延长曝光间隔。实际上,有时通过延长曝光间隔,识别率也会上升。但是,有时通过缩短曝光间隔,识别率也会上升。
这在某多重曝光拍摄的条件由数值表示的情况下能够一般化。在步骤S7中识别率比识别率阈值小的情况下,可以增大其数值,也可以减小其数值。在通过使数值向增大的方向或减小的方向变化而识别率上升的情况下,考虑识别率成为识别率阈值以上为止使该数值向该方向变化。另一方面,在使数值向该方向变化时识别率降低的情况下,考虑使该数值向反方向变化。而且,在由于向反方向的数值的变化而识别率上升的情况下,考虑识别率成为识别率阈值以上为止使该数值向该反方向变化。
有时,上述数值越大或者越小,识别率就越上升。但是,典型地,在上述数值中存在用于提高识别率的最佳值。在该典型的情况下,若使数值向某一方向变化,则在该数值跨越最佳值时识别率的变化从增加转为减少。通过采用该跨越时的附近的数值,识别率能够设为接近极大值的值。
通过按照图6的流程图的多重曝光拍摄的条件变更,识别率发生变化。参照图8对该变化的方式的例子进行说明。在图8的例子中,变更的上述条件设为曝光间隔。
在图8的例子中,在与帧N相关的步骤S7中,判定为识别率为识别率阈值以上。因此,在其后的帧N+1中,维持帧N的曝光间隔。
在与帧N+1相关的步骤S7中,判定为识别率为识别率阈值以上。因此,在其后的帧N+2中,维持帧N+1的曝光间隔。
在与帧N+2相关的步骤S7中,判定为识别率比识别率阈值小。因此,在其后的帧N+3中,采用比帧N+2的曝光间隔长的曝光间隔。
在与帧N+3相关的步骤S7中,判定为识别率比识别率阈值小。因此,在其后的帧N+4中,采用比帧N+3的曝光间隔长的曝光间隔。
在与帧N+4相关的步骤S7中,判定为识别率比识别率阈值小。因此,在其后的帧N+5中,采用比帧N+4的曝光间隔长的曝光间隔。
在图8的例子中,在帧N+5中,采用比帧N+4长的曝光间隔,其结果,达到了识别率超过识别率阈值。
[在能够识别为图像中的被摄体不仅可能是特定的物体也有可能是其他物体的图像识别装置中,能够利用的技术]
在图7A以及图7B的例子中,识别出图像中的被摄体可能是汽车。另一方面,没有识别出图像中的被摄体可能是人以及可能是家。即,在图7A以及图7B的例子中,仅识别出在图像中被摄体可能是特定的物体。但是,现实中,有时也可能识别为图像中的被摄体不仅可能是特定的物体,也有可能是其他物体。以下,对在这样的情况下能够利用的技术进行说明。另外,以下,对于参照图6、图7A、图7B以及图8说明的内容,有时省略其说明。
在以下的说明中,有时使用第1识别率、第2识别率以及第3识别率这样的用语。第1识别率表示第1被摄体为第1物体的可靠性。第1识别率相当于图6的流程图的识别率。第2识别率表示第1被摄体为第2物体的可靠性。第3识别率表示第1被摄体为第3物体的可靠性。第1物体是优先级为1的物体。第2物体是优先级为2的物体。第3物体是优先级为3的物体。优先级的数值小意味着优先级高。即,在这些物体中,第1物体的优先级最高。
计算第1识别率、第2识别率以及第3识别率,在它们中第1识别率不是最大。在该情况下,变更多重曝光拍摄的条件,使得在第1识别率、第2识别率以及第3识别率之中第1识别率成为最大。
以下,参照图9A以及图9B,举出具体例说明该技术。在图9A以及图9B的具体例中,第1物体是人。第2物体是汽车。第3物体是家。第1识别率表示第1被摄体为人的可靠性。第2识别率表示第1被摄体为汽车的可靠性。第3识别率表示第1被摄体是家的可靠性。在该具体例中,采用曝光间隔作为被变更的多重曝光拍摄的条件。
图9A表示帧n中的多重曝光拍摄的条件和帧n+α中的多重曝光拍摄的条件。n和α是自然数。图9A表示曝光间隔从2ms变更为4ms。
图9B表示帧n中的识别率和帧n+α中的识别率。在帧n中,第1识别率是40%。第2识别率是75%。第3识别率是20%。第1识别率比第3识别率高。但是,第1识别率比第2识别率低。
因此,变更曝光间隔,使得在第1识别率、第2识别率以及第3识别率之中第1识别率成为最大。该变更的结果是,在帧n+α中,在第1识别率、第2识别率以及第3识别率之中,第1识别率成为最大。具体而言,第1识别率是60%。第2识别率是30%。第3识别率无识别。无识别能够处理为0%。
在上述的说明中,叙述了识别为图像中的被摄体是第1物体的可靠性、是第2物体的可靠性、以及是第3物体的可靠性的情况。但是,被识别为正确答案的物体的候补的物体的数量既可以是2个,也可以是4个以上。
例如,处理电路170可以构成为,计算第1识别率和第2识别率,所述第1识别率是作为上述的识别率的第1识别率,且表示第1被摄体是第1物体的可靠性,所述第2识别率表示第1被摄体是第2物体的可靠性。并且,控制电路120在从第1识别率减去第2识别率而得到的差为Z以下的情况下,也能够变更多重曝光拍摄的条件。在此,Z为0以上的值。这样的处理电路170和控制电路120适于实现上述技术。
Z也可以是大于0的值,例如10%以上且20%以下的范围的值。这样,能够使第1识别率比第2识别率大。通过在第1识别率与第2识别率之间产生显著性差异,也能够提高识别的可靠性。
有时能够识别为图像中的被摄体不仅有可能是特定的物体,也有可能是其他物体。在这种情况下能够利用的技术不限于设定优先级的技术。例如,也可以将最初得到的第1识别率以及第2识别率中较大的一方与图6的流程图的识别率建立对应。更一般地说,设对于某个第1被摄体的物体名的多个候选与表示其可靠性的识别率一起在最初得到。在该情况下,能够将多个识别率中的最大的识别率与图6的流程图的第1被摄体的识别率建立对应。
[处理电路170的具体例]
在一具体例中,处理电路170进行使用多组训练图像以及正确答案标签的组合的有监督学习。训练图像与第1图像对应。正确答案标签与第1被摄体的物体名对应。如之前说明的那样,物体名例如是汽车、人、家等。处理电路170在有监督学习后,使用第1图像计算识别率。根据这样的处理电路170,能够确保识别率的计算精度。
在本实施方式中,图像识别装置99具备用于得到第1图像的拍摄装置100。以下,有时将该拍摄装置称为第1拍摄装置。图像识别装置99具备用于得到训练图像的第2拍摄装置。在本实施方式中,第2拍摄装置与第1拍摄装置100相同。即,将1个第1拍摄装置100用作第1拍摄装置和第2拍摄装置两者。但是,第2拍摄装置也可以是与第1拍摄装置100不同的拍摄装置。
在一具体例中,处理电路170读入由神经网络表现的运算模型。处理电路170进行有监督学习,在有监督学习后,使用第1图像计算识别率。这样的处理电路170能够基于神经网络进行有监督学习,在有监督学习后,使用第1图像来计算识别率。神经网络适于使用图像的信息处理。神经网络例如是DCNN(Deep Convolutional Neural Network,深卷积神经网络)。
参照图10对处理电路170所具有的DCNN的例子进行说明。图10所示的DCNN具有输入层、多个中间层和输出层。
对图10所示的DCNN的学习进行说明。为了学习DCNN,处理电路170将由训练图像中包含的多个像素的值构成的矢量输入到输入层。然后,处理电路170在中间层中进行卷积等处理。由此,进行训练图像中包含的多个像素的卷积。然后,处理电路170计算来自输出层的输出和与输入的训练图像对应的正确答案标签的误差。
例如,在成为识别候选的物体是人、汽车以及家的情况下,处理电路170将输出层的节点数设定为3个。即,来自输出层的输出矢量由从第1节点输出的第1输出值、从第2节点输出的第2输出值、以及从第3节点输出的第3输出值构成。处理电路170使第1输出值与训练图像的被摄体为人的可靠性对应。处理电路170使第2输出值与训练图像的被摄体为汽车的可靠性对应。处理电路170使第3输出值与训练图像的被摄体为家的可靠性对应。另外,处理电路170生成与正确答案标签对应的教师矢量。在上述的例子中,在正确答案标签为人的情况下,生成教师矢量(1,0,0)。然后,处理电路170求出教师矢量与来自DCNN的输出层的输出矢量的误差矢量。处理电路170对中间层的各节点的系数(例如权重)进行更新,使得误差矢量接近0矢量。另外,处理电路170可以不仅更新中间层,还更新输入层中的各节点的系数。
处理电路170通过使用多个训练图像与正确答案标签的组合来学习DCNN。但是,DCNN的学习的方式不限于上述的例子。
为了计算针对第1图像的识别率,处理电路170使用已学习的DCNN。具体而言,处理电路170将第1图像中包含的多个像素的值输入到DCNN的输入层,在中间层中进行卷积处理。然后,处理电路170基于来自输出层的输出矢量求出识别率。在上述的例子中,在求出了输出矢量(0.04,0.92,0.01)的情况下,处理电路170求出表示第1图像的第1被摄体是汽车的可靠性的第1识别率0.92。
另外,处理电路170也可以在将图像输入到DCNN之前,对该图像进行前处理。例如,在前处理中包括基于滤波的噪声去除。由此,学习及识别的精度提高。
在处理电路170中进行学习不是必须的。控制电路120也可以构成为通过模板匹配、特征匹配等来计算识别率。处理电路170也可以构成为通过支持矢量机(SVM:SupportVector Machine)那样的模式识别模型来计算识别率。
[使用多个拍摄装置100的例子]
在图11的例子中,图像识别装置199具有2个相机部80。由这2个相机部80共用处理电路170和显示装置160。2个相机部80也可以构成立体相机。
2个相机部80的一方的多重曝光拍摄的条件也可以与另一方的多重曝光拍摄的条件不同。这样,能够以二者并行的方式执行图6的识别处理等。由此,能够进行高速的图像识别。
(实施方式2)
以下,对实施方式2进行说明。以下,有时省略与实施方式1重复的说明。
在实施方式2中,代替识别率,计算与第1被摄体的速度相关的值。具体而言,向处理电路170输入对第1被摄体进行多重曝光拍摄而得到的第1图像。处理电路170使用第1图像来计算第1被摄体的速度的推定范围。推定范围是值V±误差E的范围。推定范围是值V±误差E的范围是指推定范围是值V-误差E以上、值V+误差E以下的范围。第1图像与仅包括1张1个被摄体的像的图像相比,适于确保第1被摄体的速度的计算精度。另外,速度既可以是绝对值,也可以是矢量。
进一步对推定范围进行说明。在现实的速度的推定中,有时考虑误差的存在。在该情况下,有时不是速度为某一点的值的定点推定,而是速度处于某范围的具有宽度的推定。后者的具有宽度的推定与上述推定范围的计算对应。
控制电路120在误差E比误差阈值大的情况下,变更多重曝光拍摄的条件。误差E大启示了第1被摄体的速度的计算精度低。在实施方式2中,在误差E大时,变更多重曝光拍摄的条件。通过该变更,能够减小误差E。即,能够得到启示第1被摄体的速度的计算精度高的状况。误差阈值例如是处于3%以上且20%以下的范围的特定的值。
具体而言,在本实施方式中,在变更了多重曝光拍摄的条件的情况下,反映了该变更的第1图像输入到处理电路170。处理电路170使用该第1图像,再次计算第1被摄体的速度的推定范围。
更具体而言,在本实施方式中,反复进行基于处理电路170的推定范围的计算和误差E比误差阈值大的情况下的基于控制电路120的条件的变更,直到结束条件成立为止。
处理电路170向显示装置160输出图像和第1被摄体的速度的推定范围。处理电路170也可以构成为向显示装置160输出值V以及误差E。另外,处理电路170向控制电路120输出误差E。
显示装置160显示图像和第1被摄体的速度的推定范围。显示装置160也可以构成为显示值V以及误差E。
控制电路120控制拍摄装置100的拍摄条件。控制电路120与实施方式1同样地,能够变更多重曝光拍摄的条件。变更的条件与实施方式1同样地,能够包括从由条件(a)~(h)构成的组中选择的至少1个。另外,控制电路120控制图像形成电路130的图像形成条件。
在实施方式2中,显示装置160是图像识别装置99的内部显示装置。这样,图像识别装置99具备显示第1被摄体的速度的推定范围的内部显示装置。具体而言,内部显示装置能够显示第1图像和推定范围。内部显示装置也可以构成为显示值V以及误差E。
图像识别装置99也可以具备向显示推定范围的外接显示装置输出推定范围的输出接口。具体而言,图像识别装置99也可以具备将第1图像和推定范围向外接显示装置输出的输出接口。并且,外接显示装置也可以显示第1图像和推定范围。另外,输出接口也可以构成为输出值V以及误差E。并且,外接显示装置也可以构成为显示值V以及误差E。
图像识别装置99也可以具备内部显示装置以及输出接口中的一方。图像识别装置99也可以具备这两者。
在实施方式2中,也与实施方式1同样地,能够将多重曝光拍摄的条件与第1图像建立对应。
在实施方式2中,也与实施方式1同样地,处理电路170进行使用多组训练图像以及正确答案标签的组合的有监督学习。训练图像与第1图像对应。正确答案标签与第1被摄体的速度对应。处理电路170在有监督学习后,使用第1图像计算第1被摄体的速度的推定范围。根据这样的处理电路170,容易确保第1被摄体的速度的计算精度。
实施方式1的其他技术也能够应用于实施方式2。
[多重曝光拍摄条件的变更的方法的具体例]
在实施方式2中,能够按照图12的流程图变更多重曝光拍摄的条件。以下,对图12的流程图进行说明。在以下的说明中,有时省略与图6的流程图重复的说明。
在步骤S16中,处理电路170计算图像中包含的被摄体的速度的推定范围。该计算中使用的图像有时是上述的第1被摄体被多重曝光拍摄而得到的第1图像。在这种情况下,处理电路170使用第1图像来计算第1被摄体的速度的推定范围。然后,处理电路170将误差E向控制电路120输出。在步骤S16之后,流程进入步骤S17。
在步骤S17中,通过控制电路120判定误差E是否比误差阈值大。在误差E比误差阈值大的情况下,流程进入步骤S8。在误差E为误差阈值以下的情况下,流程进入步骤S2。
实施方式2的步骤S2的结束条件的第1例是实施方式1的步骤S2的结束条件的第1例。
实施方式2的步骤S2的结束条件的第2例是实施方式1的步骤S2的结束条件的第2例。
步骤S2的结束条件的第3例是在最近的步骤S16中计算出的误差E比第2上限阈值大这样的条件。在误差E比第2上限阈值大的情况下,流程结束。在误差E为第2上限阈值以下的情况下,流程进入步骤S3。典型地,第2上限阈值比误差阈值大。
步骤S2的结束条件的第4例是在最近的步骤S16中计算出的误差E比第2下限阈值小的条件。在误差E比第2下限阈值小的情况下,流程结束。在误差E为第2下限阈值以上的情况下,流程进入步骤S3。典型地,第2下限阈值小于误差阈值。
也可以在第3例的条件或者第4例的条件成立的情况下结束流程,在不是这样的情况下使流程进入步骤S3。
步骤S2的结束条件的第5例是在步骤S16中计算出的误差E比第2上限阈值大这样的状况连续地持续第4阈值次数这样的条件。在该状况连续地持续第4阈值次数的情况下,流程结束。否则,流程进入步骤S3。此外,该条件也可以说是导致上述状况的帧连续出现第4阈值次数这样的条件。
步骤S2的结束条件的第6例是在步骤S16中计算出的误差E比第2下限阈值小这样的状况连续地持续第5阈值次数这样的条件。在该状况连续地持续第5阈值次数的情况下,流程结束。否则,流程进入步骤S3。此外,该条件也可以说是导致上述状况的帧连续出现第5阈值次数这样的条件。
也可以在第5例的条件或者第6例的条件成立的情况下结束流程,在不是这样的情况下使流程进入步骤S3。在该情况下,第4阈值次数以及第5阈值次数可以相同,也可以不同。
实施方式2的步骤S2的结束条件的第7例是实施方式1的步骤S2的结束条件的第7例。
按照图12的流程图的多重曝光拍摄的条件的变更能够提高速度的计算精度。关于这一点,参照图13A以及图13B进行说明。另外,在图13A以及图13B的例子中,变更的上述条件设为曝光间隔。
图13A表示帧n中的多重曝光拍摄的条件和帧n+α中的多重曝光拍摄的条件。n和α是自然数。图13A表示按照图12的流程图,曝光间隔从2ms变更为4ms。
图13B表示帧n中的值V和误差E以及帧n+α中的值V和误差E。在两个帧中,值V是50km/h。帧n中的误差E为15km/h。帧n+α中的误差E为5km/h。帧n+α中的误差E比帧n中的误差E小。图13B表示按照图12的流程图提高了第1被摄体的速度的计算精度。
(实施方式3)
在实施方式3中,能够按照图14的流程图变更多重曝光拍摄的条件。以下,对图14的流程图进行说明。在以下的说明中,有时省略与图6的流程图重复的说明。
在步骤S1之后,流程进入步骤S21。在步骤S21中,判定转移条件是否成立。关于转移条件的具体例将后述。在转移条件成立的情况下,流程进入步骤S26。在转移条件不成立的情况下,流程进入步骤S22。
在步骤S22中,依次执行图6的步骤S3、S4、S5以及S6。在步骤S22之后,流程进入步骤S23。
在步骤S23中,判定在步骤S6中进行了识别处理的帧是从“开始”数起的偶数帧还是奇数帧。在该帧是偶数帧的情况下,流程进入步骤S24。在该帧是奇数帧的情况下,流程进入步骤S25。
在步骤S24中,通过控制电路120将多重曝光拍摄的条件变更为条件A。在步骤S24之后,流程进入步骤S21。
在步骤S25中,通过控制电路120将多重曝光拍摄的条件变更为条件B。在步骤S25之后,流程进入步骤S21。
在该具体例中,步骤S21的转移条件是从“开始”数起分别得到J次识别率A和识别率B的条件。J为自然数。J例如为1。识别率A是在步骤S24中采用了条件A的状态下执行步骤S22的步骤S6而得到的识别率。识别率B是在步骤S25中采用了条件B的状态下执行步骤S22的步骤S6而得到的识别率。条件A和条件B是互不相同的拍摄条件。
在步骤S26中,将识别率A与识别率B进行比较。在识别率A为识别率B以上的情况下,流程进入步骤S27。在识别率A比识别率B小的情况下,流程进入步骤S28。
在流程进入步骤S27的情况下,条件A被设定为基础条件。在流程进入步骤S28的情况下,条件B被设定为基础条件。
如从上述的说明所理解的那样,识别率A以及识别率B用于设定基础条件。能够将识别率A以及识别率B称为参照用的识别率。
在步骤S27或者步骤S28之后,在步骤S29中,依次执行图6的步骤S3、S4、S5以及S6。
在步骤S29中,进行步骤S3的拍摄。在条件A被设定为基础条件的情况下,步骤S29的初次拍摄在多重曝光拍摄的条件被设定为条件A的状态下进行。在条件B被设定为基础条件的情况下,步骤S29的初次拍摄在多重曝光拍摄的条件被设定为条件B的状态下进行。在步骤S29之后,流程进入步骤S2。
在步骤S2中,与实施方式1同样地,判定结束条件是否成立。在结束条件成立的情况下,流程结束。在结束条件不成立的情况下,流程进入步骤S7。
在步骤S7中,与实施方式1同样地,通过控制电路120判定识别率是否比识别率阈值小。在识别率比识别率阈值小的情况下,流程进入步骤S8。在识别率为识别率阈值以上的情况下,流程进入步骤S29。
在步骤S8中,与实施方式1同样地,通过控制电路120变更多重曝光拍摄的条件。在步骤S8之后,流程进入步骤S29。
根据图14的流程图,可知在步骤S26中,根据条件A和条件B中的哪一个能够得到更高的识别率。在步骤S29中,能够将得到更高的识别率的条件用作初次多重曝光拍摄的条件。这样,从快速发现在步骤S29以后得到高识别率的多重曝光拍摄的条件的观点来看是有利的。
通过按照图14的流程图的多重曝光拍摄的条件变更,识别率发生变化。参照图15对该变化的方式的例子进行说明。另外,在图15的例子中,变更的上述条件设为曝光间隔。
在图15的例子中,在与帧N相关的步骤S22中,以条件A进行多重曝光拍摄。
在与帧N+1相关的步骤S22中,以条件B进行多重曝光拍摄。
在该例子中,条件A以及条件B是曝光间隔。如图15的下图所示,帧N+1的曝光间隔比帧N的曝光间隔短。这意味着条件B的曝光间隔比条件A的曝光间隔短。如图15的上图所示,帧N+1的识别率比帧N的识别率低。在该状况下,在步骤S26中,判定为识别率A≥识别率B。然后,流程进入步骤S27,条件A被设定为基础条件。
由于基础条件是条件A,因此在帧N+2中,以条件A进行步骤S29的多重曝光拍摄。在该帧N+2的步骤S7中,判定为识别率比识别率阈值小。因此,在其后的帧N+3中,采用比帧N+2的曝光间隔长的曝光间隔。
在与帧N+3相关的步骤S7中,判定为识别率比识别率阈值小。因此,在其后的帧N+4中,采用比帧N+3的曝光间隔长的曝光间隔。
在与帧N+4相关的步骤S7中,判定为识别率比识别率阈值小。因此,在其后的帧N+5中,采用比帧N+4的曝光间隔长的曝光间隔。
在图15的例子中,在帧N+5中,采用比帧N+4长的曝光间隔,其结果,识别率达到超过识别率阈值。
这样,在实施方式3中,处理电路170对通过互不相同的条件得到的多个第1图像进行识别率的计算,由此计算多个参照用的识别率。控制电路120通过相互比较多个参照用的识别率,来选择成为基础的条件即基础条件。基础条件例如是上述互不相同的条件中的能够得到最大识别率的条件。处理电路170使用根据基础条件得到的第1图像而且是与用于计算多个参照用的识别率的第1图像不同的第1图像,计算出应与识别率阈值进行比较的识别率。
在实施方式3中,具体而言,作为多重曝光拍摄的条件,准备条件A和条件B。使用条件A,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件A得到的第1图像,计算作为第1图像中的第1被摄体的识别率的识别率A。使用条件B,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件B得到的第1图像,计算作为第1图像中的第1被摄体的识别率的识别率B。控制电路120将识别率A与识别率B进行比较。控制电路120通过该比较来选择基础条件。基础条件是条件A以及条件B中的得到高识别率的条件。处理电路170使用根据基础条件得到的第1图像而且是与用于计算识别率A以及识别率B的第1图像不同的第1图像,计算应与识别率阈值进行比较的识别率。
然后,处理电路170使用通过基础条件得到的第1图像来计算第1被摄体的识别率。控制电路120在识别率比识别率阈值小的情况下,变更多重曝光拍摄的条件。具体而言,在多重曝光拍摄的条件发生了变更的情况下,反映了该变更的第1图像被输入到处理电路170。处理电路170使用该第1图像,再次计算识别率。
(实施方式4)
在实施方式4中,能够按照图16的流程图变更多重曝光拍摄的条件。以下,对图16的流程图进行说明。在以下的说明中,有时省略与图12和/或图14的流程图重复的说明。
在步骤S1之后,流程进入步骤S21。在步骤S21中,判定转移条件是否成立。关于转移条件的具体例将后述。在转移条件成立的情况下,流程进入步骤S36。在转移条件不成立的情况下,流程进入步骤S32。
在步骤S32中,依次执行图12的步骤S3、S4、S5以及S16。在步骤S32之后,流程进入步骤S23。
在步骤S23中,判定进行了步骤S16的被摄体的速度的计算的帧是从“开始”数起的偶数帧还是奇数帧。在该帧是偶数帧的情况下,流程进入步骤S24。在该帧是奇数帧的情况下,流程进入步骤S25。
在步骤S24中,通过控制电路120将多重曝光拍摄的条件变更为条件A。在步骤S24之后,流程进入步骤S21。
在步骤S25中,通过控制电路120将多重曝光拍摄的条件变更为条件B。在步骤S25之后,流程进入步骤S21。
在该具体例中,步骤S21的转移条件是从“开始”数起分别得到K次误差EA和误差EB的条件。K是自然数。K例如为1。误差EA是在步骤S24中采用了条件A的状态下执行步骤S32的步骤S16而得到的误差E。误差EB是在步骤S25中采用了条件B的状态下执行步骤S32的步骤S16而得到的误差E。
在步骤S36中,将误差EA与误差EB进行比较。在误差EA为误差EB以下的情况下,流程进入步骤S27。在误差EA比误差EB大的情况下,流程进入步骤S28。
在流程进入步骤S27的情况下,条件A被设定为基础条件。在流程进入步骤S28的情况下,条件B被设定为基础条件。
如从上述的说明所理解的那样,误差EA以及误差EB用于设定基础条件。能够将误差EA以及误差EB称作参照用的误差E。
在步骤S27或步骤S28之后,在步骤S39中,依次执行图12的步骤S3、S4、S5以及S16。
在步骤S39中,进行步骤S3的拍摄。在条件A被设定为基础条件的情况下,步骤S39的初次拍摄在多重曝光拍摄的条件被设定为条件A的状态下进行。在条件B被设定为基础条件的情况下,步骤S39的初次拍摄在多重曝光拍摄的条件被设定为条件B的状态下进行。在步骤S39之后,流程进入步骤S2。
在步骤S2中,与实施方式2同样地,判定结束条件是否成立。在结束条件成立的情况下,流程结束。在结束条件不成立的情况下,流程进入步骤S17。
在步骤S17中,与实施方式2同样地,通过控制电路120判定误差E是否比误差阈值大。在误差E比误差阈值大的情况下,流程进入步骤S8。在误差E为误差阈值以下的情况下,流程进入步骤S39。
在步骤S8中,与实施方式2同样地,通过控制电路120变更多重曝光拍摄的条件。在步骤S8之后,流程进入步骤S39。
根据图16的流程图,可知在步骤S36中,根据条件A和条件B中的哪一个得到更小的误差E。在步骤S39中,该得到更小的误差E的条件被用作初次多重曝光拍摄的条件。这样,从快速发现在步骤S39以后得到小的误差E的多重曝光拍摄的条件的观点来看是有利的。
这样,在实施方式4中,处理电路170对通过互不相同的条件得到的多个第1图像进行推定范围的计算,由此计算多个参照用的误差E。控制电路120通过相互比较多个参照用的误差E,来选择成为基础的条件即基础条件。基础条件例如是上述互不相同的条件中的能够得到最小的误差E的条件。处理电路170使用根据基础条件得到的第1图像而且是与用于计算多个参照用的误差E的第1图像不同的第1图像,计算应该与误差阈值进行比较的误差E。
在实施方式4中,具体而言,准备条件A和条件B作为多重曝光拍摄的条件。使用条件A,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件A得到的第1图像,计算作为误差E的误差EA。使用条件B,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件B得到的第1图像,计算作为误差E的误差EB。控制电路120将误差EA与误差EB进行比较。控制电路120通过该比较来选择基础条件。基础条件是在条件A以及条件B中得到小的误差E的条件。处理电路170使用根据基础条件得到的第1图像而且是与用于计算误差EA以及误差EB的第1图像不同的第1图像,计算应与误差阈值进行比较的误差E。
然后,处理电路170使用通过基础条件得到的第1图像,计算第1被摄体的速度的推定范围。控制电路120在误差E比误差阈值大的情况下,变更多重曝光拍摄的条件。具体而言,在多重曝光拍摄的条件发生了变更的情况下,反映了该变更的第1图像输入到处理电路170。处理电路170使用该第1图像,再次计算推定范围。
(参考实施方式1)
在参考实施方式1中,能够按照图17的流程图变更多重曝光拍摄的条件。以下,对图17的流程图进行说明。在以下的说明中,有时省略与图6和/或图14的流程图重复的说明。
在步骤S1之后,流程进入步骤S2。在步骤S2中,与实施方式1同样地,判定结束条件是否成立。在结束条件成立的情况下,流程结束。在结束条件不成立的情况下,流程进入步骤S3。
与实施方式1同样地,依次执行图6的步骤S3、S4、S5以及S6。在步骤S6之后,流程进入步骤S23。
在步骤S23中,与实施方式3同样地,判定在步骤S6中进行了识别处理的帧是从“开始”数起的偶数帧还是奇数帧。在该帧是偶数帧的情况下,流程进入步骤S24。在该帧是奇数帧的情况下,流程进入步骤S25。
在步骤S24中,与实施方式3同样地,通过控制电路120将多重曝光拍摄的条件变更为条件A。在步骤S24之后,流程进入步骤S2。
在步骤S25中,与实施方式3同样地,通过控制电路120将多重曝光拍摄的条件变更为条件B。在步骤S25之后,流程进入步骤S2。
通过按照图17的流程图的多重曝光拍摄的条件变更,识别率发生变化。参照图18对该变化的方式的例子进行说明。另外,在图18的例子中,变更的上述条件设为曝光间隔。
在图18的例子中,在与帧N、N+2以及N+4相关的步骤S3中,以条件A进行多重曝光拍摄。在与帧N+1、N+3以及N+5相关的步骤S3中,以条件B进行多重曝光拍摄。
在该例子中,条件A以及条件B是曝光间隔。如图18所示,帧N+1的曝光间隔比帧N的曝光间隔短。这意味着条件B的曝光间隔比条件A的曝光间隔短。
这样,在图18的例子中,反复进行长曝光间隔下的多重曝光拍摄和短曝光间隔下的多重曝光拍摄。典型地,通过某一个曝光间隔得到高识别率。这样,能够削减直到发现得到高识别率的条件为止所执行的流程图的重复数。在这一点上,图18的例子比图6的例子有利。
这样,在参考实施方式1中,图像识别装置99具备处理电路170和控制电路120。处理电路170输入第1被摄体被多重曝光拍摄的第1图像,使用第1图像计算第1被摄体的识别率。控制电路120变更多重曝光拍摄的条件。处理电路170对通过互不相同的条件得到的多个第1图像进行识别率的计算,由此计算多个识别率。
具体而言,作为多重曝光拍摄的条件,准备条件A和条件B。使用条件A,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件A得到的第1图像,计算第1图像中的第1被摄体的识别率。使用条件B,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件B得到的第1图像,计算第1图像中的第1被摄体的识别率。
(参考实施方式2)
在参考实施方式2中,能够按照图19的流程图变更多重曝光拍摄的条件。以下,对图19的流程图进行说明。在以下的说明中,有时省略与图12和/或图17的流程图重复的说明。
在步骤S1之后,流程进入步骤S2。在步骤S2中,与实施方式2同样地,判定结束条件是否成立。在结束条件成立的情况下,流程结束。在结束条件不成立的情况下,流程进入步骤S3。
与实施方式2同样地,依次执行图6的步骤S3、S4、S5以及S16。在步骤S16之后,流程进入步骤S23。
在步骤S23中,与实施方式4同样地,判定在步骤S16中进行了被摄体的速度的计算的帧是从“开始”数起的偶数帧还是奇数帧。在该帧是偶数帧的情况下,流程进入步骤S24。在该帧是奇数帧的情况下,流程进入步骤S25。
在步骤S24中,与实施方式4同样地,通过控制电路120将多重曝光拍摄的条件变更为条件A。在步骤S24之后,流程进入步骤S2。
在步骤S25中,与实施方式4同样地,通过控制电路120将多重曝光拍摄的条件变更为条件B。在步骤S25之后,流程进入步骤S2。
这样,在参考实施方式2中,图像识别装置99具备处理电路170和控制电路120。处理电路170输入第1被摄体被多重曝光拍摄的第1图像,使用第1图像,计算第1被摄体的速度的推定范围。控制电路120变更多重曝光拍摄的条件。处理电路170对通过互不相同的条件得到的多个第1图像进行推定范围的计算,由此计算多个误差E。
具体而言,作为多重曝光拍摄的条件,准备条件A和条件B。使用条件A,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件A得到的第1图像,来计算第1被摄体的速度的推定范围。使用条件B,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件B得到的第1图像来计算推定范围。
(实施方式5)
以下,对实施方式5进行说明。以下,有时省略与实施方式1和2重复的说明。
在实施方式5中,代替第1被摄体的速度,计算与以第1被摄体为基准时的拍摄装置100的相对速度相关的值。也可以选择作为第1被摄体而静止的被摄体。在该情况下,计算出的拍摄装置100的相对速度是拍摄装置100的速度,即设置有拍摄装置100的移动体,例如车辆的速度。在本实施方式中,通过拍摄静止的第1被摄体,计算与设置有拍摄装置100的移动体的速度相关的值。具体而言,向处理电路170输入对第1被摄体进行多重曝光拍摄而得到的第1图像。处理电路170使用第1图像和到第1被摄体的距离信息,计算设置有拍摄装置100的移动体的速度的推定范围。到第1被摄体的距离信息例如可以通过立体相机、TOF(Timeof Flight:飞行时间)传感器、激光雷达以及声纳等装置来取得。
另外,在第1被摄体具有一定的大小的情况下,也可以基于第1图像中的第1被摄体的大小来取得到第1被摄体的距离信息。另外,关于根据多重曝光拍摄的图像计算设置有拍摄装置100的移动体的速度的技术,例如国际公开公报WO2018/139212号以及美国申请公开公报2019/0113332号中所记载。为了参考,将国际公开公报WO2018/139212号以及美国申请公开公报2019/0113332号的全部公开内容援引于本说明书。推定范围是值V±误差E的范围。推定范围是值V±误差E的范围是指推定范围是值V-误差E以上、值V+误差E以下的范围。第1图像与仅包括1张1个被摄体的像的图像相比,适于确保第1被摄体的速度的计算精度。另外,速度既可以是绝对值,也可以是矢量。
进一步对推定范围进行说明。在现实的速度的推定中,有时考虑误差的存在。在该情况下,有时不是速度为某一点的值的定点推定,而是速度处于某范围的具有宽度的推定。后者的具有宽度的推定与上述推定范围的计算对应。
控制电路120在误差E比误差阈值大的情况下,变更多重曝光拍摄的条件。误差E大启示了设置有拍摄装置100的移动体的速度的计算精度低。在实施方式5中,在误差E大时,变更多重曝光拍摄的条件。通过该变更,能够减小误差E。即,能够得到启示设置有拍摄装置100的移动体的速度的计算精度高的状况。误差阈值例如是处于3%以上且20%以下的范围的特定的值。
具体而言,在本实施方式中,在变更了多重曝光拍摄的条件的情况下,反映了该变更的第1图像输入到处理电路170。处理电路170使用该第1图像和到第1被摄体的距离信息,再次计算设置有拍摄装置100的移动体的速度的推定范围。
更具体而言,在本实施方式中,反复进行基于处理电路170的推定范围的计算和误差E比误差阈值大的情况下的基于控制电路120的条件的变更,直到结束条件成立为止。
处理电路170向显示装置160输出图像和设置有拍摄装置100的移动体的速度的推定范围。处理电路170也可以构成为向显示装置160输出值V以及误差E。另外,处理电路170向控制电路120输出误差E。
显示装置160显示图像和设置有拍摄装置100的移动体的速度的推定范围。显示装置160也可以构成为显示值V以及误差E。
控制电路120控制拍摄装置100的拍摄条件。控制电路120与实施方式1同样地,能够变更多重曝光拍摄的条件。变更的条件与实施方式1同样地,可以包括从由条件(a)~(h)构成的组中选择的至少1个。另外,控制电路120控制图像形成电路130的图像形成条件。
在实施方式5中,显示装置160是图像识别装置99的内部显示装置。这样,图像识别装置99具备显示设置有拍摄装置100的移动体的速度的推定范围的内部显示装置。具体而言,内部显示装置能够显示第1图像和推定范围。内部显示装置也可以构成为显示值V以及误差E。
图像识别装置99也可以具备向显示推定范围的外接显示装置输出推定范围的输出接口。具体而言,图像识别装置99也可以具备将第1图像和推定范围向外接显示装置输出的输出接口。并且,外接显示装置也可以显示第1图像和推定范围。另外,输出接口也可以构成为输出值V以及误差E。并且,外接显示装置也可以构成为显示值V以及误差E。
图像识别装置99也可以具备内部显示装置以及输出接口中的一方。图像识别装置99也可以具备这两者。
在实施方式5中,也与实施方式1同样地,能够将多重曝光拍摄的条件与第1图像建立对应。
在实施方式5中,也与实施方式1同样地,处理电路170进行使用多组训练图像和正确答案标签的组合的有监督学习。训练图像与第1图像对应。正确答案标签与设置有拍摄装置100的移动体的速度对应。处理电路170在有监督学习后,使用第1图像来计算设置有拍摄装置100的移动体的速度的推定范围。根据这样的处理电路170,容易确保设置有拍摄装置100的移动体的速度的计算精度。
实施方式1的其他技术也能够应用于实施方式5。
[多重曝光拍摄条件的变更方法的具体例]
在实施方式5中,能够按照图20的流程图变更多重曝光拍摄的条件。以下,对图20的流程图进行说明。在以下的说明中,有时省略与图6的流程图重复的说明。
在步骤S46中,通过处理电路170确定图像中包含的被摄体中的建筑物、标识等静止的被摄体,计算以该被摄体为基准时的设置了拍摄装置100的移动体的速度的推定范围。该计算中使用的图像有时是上述的第1被摄体被多重曝光拍摄而得到的第1图像。在该情况下,处理电路170使用第1图像,计算以第1被摄体为基准时的设置有拍摄装置100的移动体的速度的推定范围。然后,处理电路170将误差E向控制电路120输出。在步骤S16之后,流程进入步骤S17。
在步骤S17中,通过控制电路120判定误差E是否比误差阈值大。在误差E比误差阈值大的情况下,流程进入步骤S8。在误差E为误差阈值以下的情况下,流程进入步骤S2。
实施方式5的步骤S2的结束条件的第1例是实施方式1的步骤S2的结束条件的第1例。
实施方式5的步骤S2的结束条件的第2例是实施方式1的步骤S2的结束条件的第2例。
步骤S2的结束条件的第3例是在最近的步骤S46中计算出的误差E比第2上限阈值大这样的条件。在误差E比第2上限阈值大的情况下,流程结束。在误差E为第2上限阈值以下的情况下,流程进入步骤S3。典型地,第2上限阈值比误差阈值大。
步骤S2的结束条件的第4例是在最近的步骤S46中计算出的误差E比第2下限阈值小的条件。在误差E比第2下限阈值小的情况下,流程结束。在误差E为第2下限阈值以上的情况下,流程进入步骤S3。典型地,第2下限阈值小于误差阈值。
也可以在第3例的条件或者第4例的条件成立的情况下结束流程,在不是这样的情况下使流程进入步骤S3。
步骤S2的结束条件的第5例是在步骤S46中计算出的误差E比第2上限阈值大这样的状况连续地持续第4阈值次数这样的条件。在该状况连续地持续第4阈值次数的情况下,流程结束。否则,流程进入步骤S3。此外,该条件也可以说是导致上述状况的帧连续出现第4阈值次数这样的条件。
步骤S2的结束条件的第6例是在步骤S46中计算出的误差E比第2下限阈值小这样的状况连续地持续第5阈值次数这样的条件。在该状况连续地持续第5阈值次数的情况下,流程结束。否则,流程进入步骤S3。此外,该条件也可以说是导致上述状况的帧连续出现第5阈值次数这样的条件。
也可以在第5例的条件或者第6例的条件成立的情况下结束流程,在不是这样的情况下使流程进入步骤S3。在该情况下,第4阈值次数以及第5阈值次数可以相同,也可以不同。
实施方式2的步骤S2的结束条件的第7例是实施方式1的步骤S2的结束条件的第7例。
按照图20的流程图的多重曝光拍摄的条件的变更能够提高速度的计算精度。关于这一点,参照图21A以及图21B进行说明。另外,在图21A以及图21B的例子中,变更的上述条件设为曝光间隔。
图21A表示帧n中的多重曝光拍摄的条件和帧n+α中的多重曝光拍摄的条件。n和α是自然数。图21A表示按照图20的流程图,曝光间隔从2ms变更为4ms。
图21B表示帧n中的值V和误差E以及帧n+α中的值V和误差E。在两个帧中,值V是50km/h。帧n中的误差E为15km/h。帧n+α中的误差E为5km/h。帧n+α中的误差E比帧n中的误差E小。图21B表示按照图20的流程图提高了设置有拍摄装置100的移动体的计算精度的情况。
(实施方式6)
在实施方式6中,能够按照图22的流程图变更多重曝光拍摄的条件。以下,对图22的流程图进行说明。在以下的说明中,有时省略与图20和/或图14的流程图重复的说明。
在步骤S1之后,流程进入步骤S21。在步骤S21中,判定转移条件是否成立。关于转移条件的具体例将后述。在转移条件成立的情况下,流程进入步骤S36。在转移条件不成立的情况下,流程进入步骤S42。
在步骤S42中,依次执行图20的步骤S3、S4、S5以及S46。在步骤S42之后,流程进入步骤S23。
在步骤S23中,判定进行了步骤S46的设置有拍摄装置100的移动体的速度的计算的帧是从“开始”数起的偶数帧还是奇数帧。在该帧是偶数帧的情况下,流程进入步骤S24。在该帧是奇数帧的情况下,流程进入步骤S25。
在步骤S24中,通过控制电路120将多重曝光拍摄的条件变更为条件A。在步骤S24之后,流程进入步骤S21。
在步骤S25中,通过控制电路120将多重曝光拍摄的条件变更为条件B。在步骤S25之后,流程进入步骤S21。
在该具体例中,步骤S21的转移条件是从“开始”数起分别得到K次误差EA和误差EB的条件。K是自然数。K例如为1。误差EA是在步骤S24中采用了条件A的状态下执行步骤S42的步骤S16而得到的误差E。误差EB是在步骤S25中采用了条件B的状态下执行步骤S42的步骤S16而得到的误差E。
在步骤S36中,将误差EA与误差EB进行比较。在误差EA为误差EB以下的情况下,流程进入步骤S27。在误差EA比误差EB大的情况下,流程进入步骤S28。
在流程进入步骤S27的情况下,条件A被设定为基础条件。在流程进入步骤S28的情况下,条件B被设定为基础条件。
如从上述的说明所理解的那样,误差EA以及误差EB用于设定基础条件。能够将误差EA以及误差EB称作参照用的误差E。
在步骤S27或步骤S28之后,在步骤S49中,依次执行图20的步骤S3、S4、S5以及S16。
在步骤S49中,进行步骤S3的拍摄。在条件A被设定为基础条件的情况下,步骤S49的初次拍摄在多重曝光拍摄的条件被设定为条件A的状态下进行。在条件B被设定为基础条件的情况下,步骤S49的初次拍摄在多重曝光拍摄的条件被设定为条件B的状态下进行。在步骤S49之后,流程进入步骤S2。
在步骤S2中,与实施方式4同样地,判定结束条件是否成立。在结束条件成立的情况下,流程结束。在结束条件不成立的情况下,流程进入步骤S17。
在步骤S17中,与实施方式4同样地,通过控制电路120判定误差E是否比误差阈值大。在误差E比误差阈值大的情况下,流程进入步骤S8。在误差E为误差阈值以下的情况下,流程进入步骤S49。
在步骤S8中,与实施方式4同样地,通过控制电路120变更多重曝光拍摄的条件。在步骤S8之后,流程进入步骤S49。
根据图22的流程图,可知在步骤S36中,根据条件A和条件B中的哪一个得到更小的误差E。在步骤S49中,该得到更小的误差E的条件被用作初次的多重曝光拍摄的条件。这样,从快速发现在步骤S49以后得到小的误差E的多重曝光拍摄的条件的观点来看是有利的。
这样,在实施方式6中,处理电路170对通过互不相同的条件得到的多个第1图像进行推定范围的计算,由此计算多个参照用的误差E。控制电路120通过相互比较多个参照用的误差E,来选择成为基础的条件即基础条件。基础条件例如是上述互不相同的条件中的能够得到最小的误差E的条件。处理电路170使用根据基础条件得到的第1图像、而且是与用于计算多个参照用的误差E的第1图像不同的第1图像,计算出应该与误差阈值进行比较的误差E。
在实施方式6中,具体而言,准备条件A和条件B作为多重曝光拍摄的条件。使用条件A,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件A得到的第1图像,计算作为误差E的误差EA。使用条件B,对第1被摄体进行多重曝光拍摄。处理电路170使用使用条件B得到的第1图像,计算作为误差E的误差EB。控制电路120将误差EA与误差EB进行比较。控制电路120通过该比较来选择基础条件。基础条件是在条件A以及条件B中得到小的误差E的条件。处理电路170使用根据基础条件得到的第1图像、而且是与用于计算误差EA以及误差EB的第1图像不同的第1图像,计算应与误差阈值进行比较的误差E。
然后,处理电路170使用通过基础条件得到的第1图像,计算第1被摄体的速度的推定范围。控制电路120在误差E比误差阈值大的情况下,变更多重曝光拍摄的条件。具体而言,在多重曝光拍摄的条件发生了变更的情况下,反映了该变更的第1图像输入到处理电路170。处理电路170使用该第1图像,再次计算推定范围。
工业上的可利用性
本公开的图像识别装置能够利用于自动驾驶车、工业用机器人、民用机器人等各种图像识别***。
附图标记说明
80相机部
99、199图像识别装置
100拍摄装置
110光学***
120控制电路
130图像形成电路
140输出缓冲器
151帧存储器
152帧加法电路
160显示装置
170处理电路
A、B、C、D被摄体

Claims (16)

1.一种图像识别装置,其中,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像来识别所述第1被摄体的物体名,然后计算表示所述第1被摄体是具有所述物体名的物体的可靠性的识别率,所述第1图像包含多个所述第1被摄体的像,并且所述第1图像是通过在1帧期间执行多次曝光拍摄的多重曝光拍摄而得到的;以及
控制电路,在所述识别率比识别率阈值小的情况下,变更所述多重曝光拍摄在1帧期间执行的多次曝光拍摄的条件。
2.根据权利要求1所述的图像识别装置,其中,
在所述识别率比所述识别率阈值小的情况下变更的所述条件包括从由(a)至(h)构成的组中选择的至少1个,(a)至(h)为:
(a)在得到所述第1图像时采用的各曝光期间的长度;
(b)在得到所述第1图像时采用的各曝光间隔的长度;
(c)在得到所述第1图像时采用的曝光次数;
(d)所述第1图像的曝光灵敏度;
(e)用于得到所述第1图像的拍摄装置的增益;
(f)用于得到所述第1图像的拍摄装置的焦距;
(g)用于得到所述第1图像的拍摄装置的光圈;以及
(h)所述第1图像的输出分辨率。
3.根据权利要求1或2所述的图像识别装置,其中,还具备从显示所述识别率的内置显示装置以及向显示所述识别率的外接显示装置输出所述识别率的输出接口中选择的至少一个。
4.根据权利要求1或2所述的图像识别装置,其中,还具备用于得到所述第1图像的拍摄装置。
5.根据权利要求1或2所述的图像识别装置,其中,将多重曝光拍摄所述第1被摄体时的所述条件与所述第1图像建立对应。
6.根据权利要求5所述的图像识别装置,其中,使用在所述控制电路中保持的所述条件来作为与所述第1图像建立对应的所述条件。
7.根据权利要求5所述的图像识别装置,其中,
还具备用于得到所述第1图像的拍摄装置,
使用在所述拍摄装置中保持的所述条件作为与所述第1图像建立对应的所述条件。
8.根据权利要求1或2所述的图像识别装置,其中,所述处理电路进行使用多组分别与所述第1图像和所述第1被摄体的物体名对应的训练图像和正确答案标签的组合的有监督学习,在所述有监督学习后,使用所述第1图像来计算所述识别率。
9.根据权利要求8所述的图像识别装置,其中,还具备用于得到所述训练图像的第2拍摄装置。
10.根据权利要求8所述的图像识别装置,其中,
所述处理电路读入由神经网络表现的运算模型,
所述处理电路进行所述有监督学习,在所述有监督学习后,使用所述第1图像来计算所述识别率。
11.根据权利要求1或2所述的图像识别装置,其中,反复进行基于所述处理电路的所述识别率的计算和所述识别率比所述识别率阈值小的情况下的基于所述控制电路的所述条件的变更,直到结束条件成立为止。
12.根据权利要求1或2所述的图像识别装置,其中,
所述处理电路计算第1识别率和第2识别率,所述第1识别率是作为所述识别率的第1识别率,且表示所述第1被摄体是第1物体的可靠性,所述第2识别率表示所述第1被摄体是第2物体的可靠性,
所述控制电路在从所述第1识别率减去所述第2识别率而得到的差为Z以下的情况下,也变更所述多重曝光拍摄的条件,
在此,Z为0以上的值。
13.根据权利要求1或2所述的图像识别装置,其中,
所述处理电路通过对根据互不相同的所述条件得到的多个所述第1图像进行所述识别率的计算,来计算多个参照用的所述识别率,
所述控制电路通过相互比较多个参照用的所述识别率,来选择成为基础的所述条件即基础条件,
所述处理电路使用根据所述基础条件而得到的所述第1图像、而且是与用于计算多个参照用的所述识别率的所述第1图像不同的所述第1图像,计算应与所述识别率阈值进行比较的所述识别率。
14.一种图像识别装置,其中,具备:
处理电路,输入对第1被摄体进行多重曝光拍摄而得到的第1图像,使用所述第1图像,计算所述第1被摄体的速度的推定范围,所述推定范围是值V±误差E的范围;以及
控制电路,在所述误差E比误差阈值大的情况下,变更所述多重曝光拍摄的条件。
15.一种图像识别方法,其中,包括:
使用对第1被摄体进行多重曝光拍摄而得到的第1图像来识别所述第1被摄体的物体名,然后计算表示所述第1被摄体是具有所述物体名的物体的可靠性的识别率的步骤,所述第1图像包含多个所述第1被摄体的像,并且所述第1图像是通过在1帧期间执行多次曝光拍摄的多重曝光拍摄而得到的;以及
在所述识别率比识别率阈值小的情况下,变更所述多重曝光拍摄在1帧期间执行的多次曝光拍摄的条件的步骤。
16.一种图像识别方法,其中,包括:
使用对第1被摄体进行多重曝光拍摄而得到的第1图像,来计算所述第1被摄体的速度的推定范围的步骤,所述推定范围是值V±误差E的范围;以及
在所述误差E比误差阈值大的情况下,变更所述多重曝光拍摄的条件的步骤。
CN201980045952.6A 2018-10-26 2019-10-03 图像识别装置以及图像识别方法 Active CN112385208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-202188 2018-10-26
JP2018202188 2018-10-26
PCT/JP2019/039070 WO2020085028A1 (ja) 2018-10-26 2019-10-03 画像認識装置および画像認識方法

Publications (2)

Publication Number Publication Date
CN112385208A CN112385208A (zh) 2021-02-19
CN112385208B true CN112385208B (zh) 2024-05-24

Family

ID=70330960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980045952.6A Active CN112385208B (zh) 2018-10-26 2019-10-03 图像识别装置以及图像识别方法

Country Status (4)

Country Link
US (1) US11394889B2 (zh)
JP (1) JP7345101B2 (zh)
CN (1) CN112385208B (zh)
WO (1) WO2020085028A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493914B2 (en) * 2020-06-26 2022-11-08 Intel Corporation Technology to handle ambiguity in automated control systems
US11989888B2 (en) * 2021-08-04 2024-05-21 Sony Semiconductor Solutions Corporation Image sensor with integrated efficient multiresolution hierarchical deep neural network (DNN)
WO2023149295A1 (ja) * 2022-02-01 2023-08-10 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
JP2007306436A (ja) * 2006-05-12 2007-11-22 Sharp Corp 撮像装置
JP2008206021A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd 撮像装置及びレンズ鏡筒
JP2011188094A (ja) * 2010-03-05 2011-09-22 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
JP2011244144A (ja) * 2010-05-17 2011-12-01 Panasonic Corp 撮像装置
CN102469253A (zh) * 2010-11-16 2012-05-23 华晶科技股份有限公司 影像拍摄装置及其曝光时间调整方法
CN105407290A (zh) * 2014-09-08 2016-03-16 奥林巴斯株式会社 摄像装置和摄像方法
CN107465867A (zh) * 2016-06-06 2017-12-12 奥林巴斯株式会社 摄像装置和摄像方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3238816B2 (ja) 1993-12-24 2001-12-17 キヤノン株式会社 撮像装置
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP4822004B2 (ja) * 2006-12-28 2011-11-24 カシオ計算機株式会社 撮影装置及びそのプログラム
JP4895204B2 (ja) 2007-03-22 2012-03-14 富士フイルム株式会社 画像成分分離装置、方法、およびプログラム、ならびに、正常画像生成装置、方法、およびプログラム
JP2010066221A (ja) * 2008-09-12 2010-03-25 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP2015192222A (ja) 2014-03-27 2015-11-02 パナソニックIpマネジメント株式会社 撮像装置及び撮像制御方法
JP6537385B2 (ja) 2015-07-17 2019-07-03 日立オートモティブシステムズ株式会社 車載環境認識装置
US9549125B1 (en) * 2015-09-01 2017-01-17 Amazon Technologies, Inc. Focus specification and focus stabilization
EP3840364A1 (en) 2015-12-03 2021-06-23 Panasonic Intellectual Property Management Co., Ltd. Image-capture device
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
WO2018021035A1 (ja) * 2016-07-26 2018-02-01 ソニー株式会社 画像処理装置および方法、内視鏡システム、並びにプログラム
JP6827240B2 (ja) * 2017-03-22 2021-02-10 パナソニックIpマネジメント株式会社 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002310804A (ja) * 2001-04-11 2002-10-23 Nec Corp 赤外線撮像装置及びドリフト補正方法
JP2007306436A (ja) * 2006-05-12 2007-11-22 Sharp Corp 撮像装置
JP2008206021A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd 撮像装置及びレンズ鏡筒
JP2011188094A (ja) * 2010-03-05 2011-09-22 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
JP2011244144A (ja) * 2010-05-17 2011-12-01 Panasonic Corp 撮像装置
CN102469253A (zh) * 2010-11-16 2012-05-23 华晶科技股份有限公司 影像拍摄装置及其曝光时间调整方法
CN105407290A (zh) * 2014-09-08 2016-03-16 奥林巴斯株式会社 摄像装置和摄像方法
CN107465867A (zh) * 2016-06-06 2017-12-12 奥林巴斯株式会社 摄像装置和摄像方法

Also Published As

Publication number Publication date
JPWO2020085028A1 (ja) 2021-09-30
WO2020085028A1 (ja) 2020-04-30
JP7345101B2 (ja) 2023-09-15
US11394889B2 (en) 2022-07-19
CN112385208A (zh) 2021-02-19
US20210195085A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN111741211B (zh) 图像显示方法和设备
CN112385208B (zh) 图像识别装置以及图像识别方法
CN109858309B (zh) 一种识别道路线的方法和装置
CN109819675B (zh) 图像生成装置以及图像生成方法
CN110248097A (zh) 追焦方法、装置、终端设备、计算机可读存储介质
CN112183578B (zh) 一种目标检测方法、介质及***
US8873800B2 (en) Image processing apparatus and method, and program
CN112000226B (zh) 一种人眼视线估计方法、装置及视线估计***
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10764500B2 (en) Image blur correction device and control method
CN110121055B (zh) 用于对象识别的方法和设备
CN114885112B (zh) 基于数据融合的高帧率视频生成方法及装置
JP7508525B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN114757994B (zh) 一种基于深度学习多任务的自动对焦方法及***
US20230353881A1 (en) Methods and systems for shift estimation for one or more output frames
CN114885144B (zh) 基于数据融合的高帧率3d视频生成方法及装置
CN113793276B (zh) 根据模糊严重程度对图片分区域自适应去模糊的方法
JP6602089B2 (ja) 画像処理装置及びその制御方法
CN115191928A (zh) 信息处理装置、信息处理方法、学习方法以及存储介质
JP7013205B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP2022038285A (ja) 機械学習装置及び遠赤外線撮像装置
EP4047548A1 (en) Image processing method and apparatus, training method and apparatus of machine learning model, and program
JP7523312B2 (ja) 物体認識装置、物体認識システム、物体認識装置の学習方法、物体認識装置の物体認識方法、物体認識装置の学習プログラム及び物体認識装置の物体認識プログラム
WO2023149295A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2024009377A1 (ja) 情報処理装置、自己位置推定方法、及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant